diff options
Diffstat (limited to 'common/common.h')
-rw-r--r-- | common/common.h | 9 |
1 files changed, 0 insertions, 9 deletions
diff --git a/common/common.h b/common/common.h index d68a8ef8..17d271e6 100644 --- a/common/common.h +++ b/common/common.h @@ -120,15 +120,6 @@ std::vector<llama_token> llama_tokenize( const std::string & text, bool add_bos); -std::vector<llama_token> llama_tokenize_bpe( - struct llama_context * ctx, - const std::string & text, - bool add_bos); - std::string llama_token_to_str( const struct llama_context * ctx, llama_token token); - -std::string llama_token_to_str_bpe( - const struct llama_context * ctx, - llama_token token); |