summaryrefslogtreecommitdiff
path: root/common/common.h
diff options
context:
space:
mode:
Diffstat (limited to 'common/common.h')
-rw-r--r--common/common.h9
1 files changed, 0 insertions, 9 deletions
diff --git a/common/common.h b/common/common.h
index d68a8ef8..17d271e6 100644
--- a/common/common.h
+++ b/common/common.h
@@ -120,15 +120,6 @@ std::vector<llama_token> llama_tokenize(
const std::string & text,
bool add_bos);
-std::vector<llama_token> llama_tokenize_bpe(
- struct llama_context * ctx,
- const std::string & text,
- bool add_bos);
-
std::string llama_token_to_str(
const struct llama_context * ctx,
llama_token token);
-
-std::string llama_token_to_str_bpe(
- const struct llama_context * ctx,
- llama_token token);