/
vshmidt
/
llama.cpp
Обзор
Документация
Войти
/
vshmidt
/
llama.cpp
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
Аналитика
Безопасность
master
src/unicode-data.h
20 строк
630 B
Xuan Son Nguyen
llama : reduce compile time and binary size (#9712)
02 окт 2024, 16:49
Не верифицирован
02 окт 2024, 16:49
a39ab21
Код
Авторство
О чём код?
#pragma once #include <cstdint> #include <vector> #include <unordered_map> #include <unordered_set> struct range_nfd { uint32_t first; uint32_t last; uint32_t nfd; }; static const uint32_t MAX_CODEPOINTS = 0x110000; extern const std::initializer_list<std::pair<uint32_t, uint16_t>> unicode_ranges_flags; extern const std::unordered_set<uint32_t> unicode_set_whitespace; extern const std::initializer_list<std::pair<uint32_t, uint32_t>> unicode_map_lowercase; extern const std::initializer_list<std::pair<uint32_t, uint32_t>> unicode_map_uppercase; extern const std::initializer_list<range_nfd> unicode_ranges_nfd;