gigachat-tokenizer-starter

Spring Boot Starter для точной токенизации текста под модели GigaChat (v3/ultra). Поддерживает расчет токенов для чат-сообщений, умную обрезку текста по знакам препинания и автонастройку через YAML. Основан на DJL и HuggingFace.