/
githubmirror
/
Open-Assistant
Обзор
Документация
Войти
/
githubmirror
/
Open-Assistant
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
data/datasets/nsfw_selfharm_reddit/utils/is_question.py
18 строк
681 B
Jithin James
nsfw_csam_reddit/ -> nsfw_selfharm_reddit/
10 мар 2023, 21:26
10 мар 2023, 21:26
4a93ed3
Код
Авторство
О чём код?
from transformers import AutoModelForSequenceClassification, AutoTokenizer, pipeline class IsQuestion: def __init__(self): self.tokenizer = AutoTokenizer.from_pretrained("shahrukhx01/question-vs-statement-classifier") self.model = AutoModelForSequenceClassification.from_pretrained("shahrukhx01/question-vs-statement-classifier") self.classifier = pipeline("sentiment-analysis", model=self.model, tokenizer=self.tokenizer) self.labels = { "LABEL_0": False, "LABEL_1": True, } def __call__(self, text: str) -> bool: return self.labels[self.classifier(text)[0]["label"]] is_question = IsQuestion()