/
githubmirror
/
nbs
Обзор
Документация
Войти
/
githubmirror
/
nbs
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
library/cpp/yson/tokenizer.h
28 строк
685 B
qkrorlqr
Initial NBS OpenSource export
28 апр 2023, 21:54
28 апр 2023, 21:54
783a858
Код
Авторство
О чём код?
#pragma once #include "public.h" #include "lexer.h" namespace NYson { //////////////////////////////////////////////////////////////////////////////// class TTokenizer { public: explicit TTokenizer(const TStringBuf& input); bool ParseNext(); const TToken& CurrentToken() const; ETokenType GetCurrentType() const; TStringBuf GetCurrentSuffix() const; const TStringBuf& CurrentInput() const; private: TStringBuf Input; TToken Token; TStatelessLexer Lexer; size_t Parsed; }; //////////////////////////////////////////////////////////////////////////////// } // namespace NYson