summaryrefslogtreecommitdiff
path: root/llama.h
diff options
context:
space:
mode:
Diffstat (limited to 'llama.h')
-rw-r--r--llama.h15
1 files changed, 2 insertions, 13 deletions
diff --git a/llama.h b/llama.h
index 7ce478d5..4e7638c0 100644
--- a/llama.h
+++ b/llama.h
@@ -247,6 +247,8 @@ extern "C" {
LLAMA_API int llama_n_ctx (const struct llama_context * ctx);
LLAMA_API int llama_n_embd (const struct llama_context * ctx);
+ LLAMA_API enum llama_vocab_type llama_vocab_type(const struct llama_context * ctx);
+
LLAMA_API int llama_model_n_vocab(const struct llama_model * model);
LLAMA_API int llama_model_n_ctx (const struct llama_model * model);
LLAMA_API int llama_model_n_embd (const struct llama_model * model);
@@ -368,13 +370,6 @@ extern "C" {
int n_max_tokens,
bool add_bos);
- LLAMA_API int llama_tokenize_bpe(
- struct llama_context * ctx,
- const char * text,
- llama_token * tokens,
- int n_max_tokens,
- bool add_bos);
-
LLAMA_API int llama_tokenize_with_model(
const struct llama_model * model,
const char * text,
@@ -390,12 +385,6 @@ extern "C" {
char * buf,
int length);
- LLAMA_API int llama_token_to_str_bpe(
- const struct llama_context * ctx,
- llama_token token,
- char * buf,
- int length);
-
LLAMA_API int llama_token_to_str_with_model(
const struct llama_model * model,
llama_token token,