llama
1#include "arg.h"
2#include "common.h"
3#include "ngram-cache.h"
4#include "ggml.h"
5#include "llama.h"
6
7#include <cstdint>
8#include <fstream>
9#include <iostream>
10#include <string>
11#include <unordered_map>
12#include <vector>
13
14int main(int argc, char ** argv){
15gpt_params params;
16
17if (!gpt_params_parse(argc, argv, params, LLAMA_EXAMPLE_LOOKUP)) {
18return 1;
19}
20
21// init llama.cpp
22llama_backend_init();
23llama_numa_init(params.numa);
24
25// load the model
26llama_init_result llama_init = llama_init_from_gpt_params(params);
27
28llama_model * model = llama_init.model;
29llama_context * ctx = llama_init.context;
30GGML_ASSERT(model != nullptr);
31
32// tokenize the prompt
33std::vector<llama_token> inp;
34inp = ::llama_tokenize(ctx, params.prompt, true, true);
35fprintf(stderr, "%s: tokenization done\n", __func__);
36
37
38llama_ngram_cache ngram_cache;
39llama_ngram_cache_update(ngram_cache, LLAMA_NGRAM_STATIC, LLAMA_NGRAM_STATIC, inp, inp.size(), true);
40fprintf(stderr, "%s: hashing done, writing file to %s\n", __func__, params.lookup_cache_static.c_str());
41
42llama_ngram_cache_save(ngram_cache, params.lookup_cache_static);
43
44return 0;
45}
46