summaryrefslogtreecommitdiff
path: root/llama.cpp
diff options
context:
space:
mode:
Diffstat (limited to 'llama.cpp')
-rw-r--r--llama.cpp27
1 files changed, 3 insertions, 24 deletions
diff --git a/llama.cpp b/llama.cpp
index 2c9071a8..208dcef0 100644
--- a/llama.cpp
+++ b/llama.cpp
@@ -3052,33 +3052,10 @@ static bool llama_is_control_token(const llama_vocab & vocab, llama_token id) {
return vocab.id_to_token[id].type == LLAMA_TOKEN_TYPE_CONTROL;
}
-static bool llama_is_user_defined_token(const llama_vocab & vocab, llama_token id) {
- return vocab.id_to_token[id].type == LLAMA_TOKEN_TYPE_USER_DEFINED;
-}
-
-static bool llama_is_unused_token(const llama_vocab & vocab, llama_token id) {
- return vocab.id_to_token[id].type == LLAMA_TOKEN_TYPE_UNUSED;
-}
-
static bool llama_is_byte_token(const llama_vocab & vocab, llama_token id) {
return vocab.id_to_token[id].type == LLAMA_TOKEN_TYPE_BYTE;
}
-static bool llama_is_bos_token(const llama_vocab & vocab, llama_token id) {
- GGML_ASSERT(llama_is_control_token(vocab, id));
- return id == vocab.special_bos_id;
-}
-
-static bool llama_is_eos_token(const llama_vocab & vocab, llama_token id ) {
- GGML_ASSERT(llama_is_control_token(vocab, id));
- return id == vocab.special_eos_id;
-}
-
-static bool llama_is_pad_token(const llama_vocab & vocab, llama_token id ) {
- GGML_ASSERT(id < 0 || llama_is_control_token(vocab, id));
- return id == vocab.special_pad_id;
-}
-
static uint8_t llama_token_to_byte(const llama_vocab & vocab, llama_token id) {
GGML_ASSERT(llama_is_byte_token(vocab, id));
const auto& token_data = vocab.id_to_token.at(id);
@@ -4800,9 +4777,11 @@ static void llama_model_quantize_internal(const std::string & fname_inp, const s
std::vector<std::thread> workers;
std::mutex mutex;
+#ifdef GGML_USE_K_QUANTS
auto use_more_bits = [] (int i_layer, int num_layers) -> bool {
return i_layer < num_layers/8 || i_layer >= 7*num_layers/8 || (i_layer - num_layers/8)%3 == 2;
};
+#endif
int idx = 0;
@@ -5947,7 +5926,7 @@ size_t llama_set_state_data(struct llama_context * ctx, uint8_t * src) {
rng_ss.str(std::string(&rng_buf[0], rng_size));
rng_ss >> ctx->rng;
- GGML_ASSERT(rng_ss.fail() == false);
+ GGML_ASSERT(!rng_ss.fail());
}
// set logits