/
githubmirror
/
Open-Assistant
Обзор
Документация
Войти
/
githubmirror
/
Open-Assistant
Код
Запросы
0
Пакеты
0
Релизы
0
Аналитика
Безопасность
main
data/datasets/nsfw_selfharm_reddit/utils/__init__.py
13 строк
415 B
Jithin James
nsfw_csam_reddit/ -> nsfw_selfharm_reddit/
10 мар 2023, 21:26
10 мар 2023, 21:26
4a93ed3
Код
Авторство
О чём код?
from datasets import load_dataset from .is_question import is_question from .reddit import init_praw_reddit, scrap_subreddit __all__ = ["is_question", "scrap_subreddit", "init_praw_reddit"] def save_to_huggingface(df, name): TMP_FILE = "/tmp/save_to_huggingface_tmp.json" df.to_json(TMP_FILE, orient="records") hf_dataset = load_dataset("json", data_files=TMP_FILE) hf_dataset.push_to_hub(name)