/
dava
/
MagDipl
Обзор
Документация
Войти
/
dava
/
MagDipl
Код
Запросы
0
Задачи
Вики
Пакеты
0
Релизы
0
CI/CD
Аналитика
Безопасность
master
core/preprocess.py
30 строк
733 B
david
beta_version
23 фев 2026, 11:20
23 фев 2026, 11:20
777dfb5
Код
Авторство
О чём код?
import re import nltk from nltk.corpus import stopwords from nltk.stem.snowball import RussianStemmer try: nltk.data.find("corpora/stopwords") except LookupError: # не валим импорт, если нет интернета; попробуем скачать try: nltk.download("stopwords", quiet=True) except Exception: pass stop_words = set(stopwords.words("russian")) stemmer = RussianStemmer() def preprocess_text(text: str) -> str: text = text.lower() text = re.sub(r"[^а-яa-z\s]", " ", text) tokens = text.split() tokens = [ stemmer.stem(word) for word in tokens if word not in stop_words and len(word) > 2 ] return " ".join(tokens)