/
ilya.petrash
/
SimplePyScripts
Обзор
Документация
Войти
/
ilya.petrash
/
SimplePyScripts
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
Аналитика
Безопасность
master
tokenize_string__using_tokenize.py
24 строки
685 B
gil9red
Refactoring. Using black code style
18 июн 2023, 16:31
18 июн 2023, 16:31
c3133e4
Код
Авторство
О чём код?
#!/usr/bin/env python3 # -*- coding: utf-8 -*- __author__ = "ipetrash" import io import tokenize as T from operator import itemgetter # SOURCE: https://ru.stackoverflow.com/a/851992/201445 def tokenize_string(data): tokens = T.tokenize(io.BytesIO(data.strip().encode()).readline) next(tokens) # skip encoding token return list(filter(None, map(itemgetter(1), tokens))) # filter ENDMARKER if __name__ == "__main__": print(tokenize_string("Myvar5:=arr[-10];")) # ['Myvar5', ':', '=', 'arr', '[', '-', '10', ']', ';'] print(tokenize_string("x = 10 * 3")) # ['x', '=', '10', '*', '3'] print(tokenize_string("a = b + c")) # ['a', '=', 'b', '+', 'c']