/
githubmirror
/
nbs
Обзор
Документация
Войти
/
githubmirror
/
nbs
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
library/cpp/yson/tokenizer.cpp
37 строк
898 B
qkrorlqr
Initial NBS OpenSource export
28 апр 2023, 21:54
28 апр 2023, 21:54
783a858
Код
Авторство
О чём код?
#include "tokenizer.h" namespace NYson { //////////////////////////////////////////////////////////////////////////////// TTokenizer::TTokenizer(const TStringBuf& input) : Input(input) , Parsed(0) { } bool TTokenizer::ParseNext() { Input = Input.Tail(Parsed); Token.Reset(); Parsed = Lexer.GetToken(Input, &Token); return !CurrentToken().IsEmpty(); } const TToken& TTokenizer::CurrentToken() const { return Token; } ETokenType TTokenizer::GetCurrentType() const { return CurrentToken().GetType(); } TStringBuf TTokenizer::GetCurrentSuffix() const { return Input.Tail(Parsed); } const TStringBuf& TTokenizer::CurrentInput() const { return Input; } //////////////////////////////////////////////////////////////////////////////// } // namespace NYson