phishing-datasets

Корпус датасетов для детекторов социальной инженерии: фишинг · смишинг · спам · скам

--- Унифицированный корпус по **фишингу, смишингу, спаму и скам-диалогам**, собранный из **31 открытого источника** в единое хранилище PostgreSQL: URL, домены, IP, письма, SMS, голосовые скам-диалоги. Нормализованные поля, единые канонические метки, сильное покрытие русскоязычного сегмента. Для обучения и оценки антифрод-, email-security- и антискам-детекторов. **31 источник**, ~9.1M строк, 6+ модальностей, 71 язык. Пересечения учтены один раз. ## Оглавление - [Хранение и доступ](#хранение-и-доступ) - [Содержание репозитория](#содержание-репозитория) - [Инвентаризация источников](#инвентаризация-источников) - [Схема данных](#схема-данных) - [Качество данных](#качество-данных) - [Верификация источников](#верификация-источников) - [Бизнес-ценность](#бизнес-ценность) - [Лицензия](#лицензия) ## Хранение и доступ Данные в PostgreSQL. Основной проект — база `phishing`, две таблицы: | Таблица | Назначение | |---|---| | `raw_samples` | все примеры из всех источников; нормализованные поля + сырьё в `raw` (JSONB) | | `sources` | каталог источников: модальность, объём, язык, статус, происхождение | Загрузка — пайплайном (`txt_url`/`csv_url`/`github_dir`/`json_api`/`zip_csv`/`mbox_url`/`eml_tar`/`hf`). Live-источники дотягиваются по cron (`ingest.py --live`), дедуп идемпотентен. ## Содержание репозитория | Путь | Описание | |---|---| | `README.md` | этот файл | | `docs/DATA_QUALITY.md` | оценка качества данных (7 измерений) | | `docs/SOURCE_TRUST.md` | оценка доверия к источникам (11 измерений) | | `docs/EXAMPLES.md` | примеры реальных строк `raw_samples` | | `docs/BUSINESS_CASES.md` | бизнес-сценарии применения | ## Инвентаризация источников **31 источник** · все строки размечены · 🟢 рейтинг доверия. Метка `y/n` — фишинг/скам vs легитимные. | № | Источник | Объём | Строк | Метка (y/n) | Модальность | Описание | URL | Дата | Частота обновления | Рейтинг | ydata-profiling (EDA) | cleanlab | |:-:|---|--:|--:|:--|:--|:--|:--|:--:|:--|:--|:--|:-:| | 1 | **ruSpam_russian-spam** | 459 MB | 4 554 335 | 361 062 / 4 193 273 | text | Массовый RU-корпус спам/ham | [HF](https://huggingface.co/RUSpam) | 2023–24 | Разовая | 🟢 Высокий | дисбаланс 8/92; ~0.5% дублей | — | | 2 | **majestic_benign** | 14 MB | 1 000 000 | 0 / 1 000 000 | domain | Top-1M доменов (benign-эталон) | [majestic](https://downloads.majestic.com/majestic_million.csv) | 2026 | Регулярная (фид) | 🟢 Высокий | benign-only (по назначению) | — | | 3 | **ealvaradob** | 512 MB | 871 589 | 403 927 / 467 662 | mixed | URL+SMS+email+HTML, агрегат | [HF](https://huggingface.co/datasets/ealvaradob/phishing-dataset) | 2023 | Разовая | 🟢 Высокий | баланс 46/54; дубли ~1.7% | — | | 4 | **phishdb_links** | 62 MB | 789 054 | 789 054 / 0 | url | Активные фишинг-ссылки (Phishing.Database) | [GitHub](https://github.com/mitchellkrogza/Phishing.Database) | 2026 | Регулярная (фид) | 🟢 Высокий | только положит. класс | — | | 5 | **enron_benign** | 1.08 GB | 535 703 | 0 / 535 703 | email | Benign-корпус писем (баланс) | [HF](https://huggingface.co/datasets/snoop2head/enron_aeslc_emails) | 2015 | Разовая | 🟢 Высокий | benign-only (по назначению) | — | | 6 | **phishdb_domains** | 10 MB | 391 566 | 391 566 / 0 | domain | Активные фишинг-домены | [GitHub](https://github.com/mitchellkrogza/Phishing.Database) | 2026 | Регулярная (фид) | 🟢 Высокий | только положит. класс | — | | 7 | **phiusiil** | 8 MB | 235 795 | 100 945 / 134 850 | url | UCI #967, URL + фичи | [UCI](https://archive.ics.uci.edu/dataset/967) | 2024 | Разовая | 🟢 Высокий | баланс 43/57 | — | | 8 | **seven_emails** | 343 MB | 203 016 | 94 328 / 108 688 | email | Агрегат 7 email-датасетов | [HF](https://huggingface.co/datasets/puyang2025/seven-phishing-email-datasets) | 2024 | Разовая | 🟢 Высокий | баланс 46/54 | — | | 9 | **cybersectony** | 62 MB | 200 000 | 100 000 / 100 000 | mixed | email+URL, 4 класса | [HF](https://huggingface.co/datasets/cybersectony/PhishingEmailDetectionv2.0) | 2024 | Разовая | 🟢 Высокий | идеальный баланс 50/50 | — | | 10 | **smish_combined** | 8 MB | 84 863 | 24 086 / 60 777 | sms | Консолидат smishing (5 источников) | [GitHub](https://github.com/shaghayegh-hp/Smishing_Dataset) | 2025 | Разовая | 🟢 Высокий | smishing 28% | — | | 11 | **DmitryKRX_anti_spam_ru** | 72 MB | 66 117 | 21 502 / 44 615 | sms | Анти-спам RU (перевод) | [HF](https://huggingface.co/datasets/DmitryKRX/anti_spam_ru) | 2023 | Разовая | 🟢 Высокий | баланс 33/67 | — | | 12 | **smish_imc25** | 5 MB | 33 869 | 33 869 / 0 | sms | Smishing из репортов, **70 языков** | [GitHub](https://github.com/reportsmishing/Smishing-Dataset-IMC25) | 2025 | Разовая | 🟢 Высокий | многоязычный | — | | 13 | **urlhaus** | 1.2 MB | 22 634 | 22 634 / 0 | url | Вредоносные URL (abuse.ch) | [abuse.ch](https://urlhaus.abuse.ch/) | 2026 | Регулярная (~5 мин) | 🟢 Высокий | только положит. класс | — | | 14 | **zefang_email** | 49 MB | 18 650 | 7 328 / 11 322 | email | Phishing/Safe email | [HF](https://huggingface.co/datasets/zefang-liu/phishing-email-dataset) | 2023 | Разовая | 🟢 Высокий | баланс 39/61 | — | | 15 | **Phishing_Email** | 50 MB | 18 631 | 7 309 / 11 322 | email | Размеченные письма Safe/Phishing | [Kaggle](https://www.kaggle.com/datasets/subhajournal/phishingemails) | 2022 | Разовая | 🟢 Высокий | баланс 39/61 | — | | 16 | **criminalip_daily** | 408 kB | 11 594 | 11 594 / 0 | url | Ежедневные фишинг-URL + гео | [GitHub](https://github.com/criminalip/Daily-Mal-Phishing) | 2026 | Регулярная (ежедн.) | 🟢 Высокий | только положит. класс | — | | 17 | **spamassassin** | 49 MB | 9 349 | 2 398 / 6 951 | email | Реальные spam/ham (Apache) | [Apache](https://spamassassin.apache.org/old/publiccorpus/) | 2002–05 | Разовая | 🟢 Высокий | дубли ~2% | — | | 18 | **phishing_pot** | 118 MB | 8 614 | 8 614 / 0 | email | Honeypot-письма (.eml) | [GitHub](https://github.com/rf-peixoto/phishing_pot) | 2026 | Разовая | 🟢 Высокий | только положит. класс | — | | 19 | **phishdb_ips** | 91 kB | 7 118 | 7 118 / 0 | ip | Активные фишинг-IP | [GitHub](https://github.com/mitchellkrogza/Phishing.Database) | 2026 | Регулярная (фид) | 🟢 Высокий | только положит. класс | — | | 20 | **sms_bengali** | 901 kB | 7 005 | 2 809 / 4 196 | sms | Бенгальский smishing | [HF](https://huggingface.co/datasets/shariul-islam/bengali-sms-smishing-dataset) | 2024 | Разовая | 🟢 Высокий | многоязычный | — | | 21 | **sms_uci** | 444 kB | 5 574 | 747 / 4 827 | sms | UCI SMS Spam (классика) | [HF](https://huggingface.co/datasets/ucirvine/sms_spam) | 2012 | Разовая | 🟢 Высокий | баланс 13/87 | — | | 22 | **nazario** | 15 MB | 5 010 | 5 010 / 0 | email | Эталонный фишинг-корпус (mbox) | [monkey.org](https://monkey.org/~jose/phishing/) | 2004–25 | Разовая | 🟢 Высокий | только положит. класс | — | | 23 | **sms_moz** | 258 kB | 2 561 | 552 / 2 009 | sms | Многоязычный smishing (вкл. PT) | [HF](https://huggingface.co/datasets/MOZNLP/MOZ-Smishing) | 2024 | Разовая | 🟢 Высокий | многоязычный | — | | 24 | **BothBosu_multi-agent-scam** | 4.8 MB | 1 600 | 800 / 800 | dialogue | Синтетические скам-диалоги (LLM) | [HF](https://huggingface.co/BothBosu) | 2024 | Разовая | 🟢 Высокий | баланс 50/50; синтетика | — | | 25 | **BothBosu_single-agent-scam** | 2.4 MB | 1 600 | 800 / 800 | dialogue | Синтетические скам-диалоги (LLM) | [HF](https://huggingface.co/BothBosu) | 2024 | Разовая | 🟢 Высокий | баланс 50/50; синтетика | — | | 26 | **crypto_feed** | 18 kB | 1 341 | 1 341 / 0 | url | Крипто-фишинг/скам фид | [GitHub](https://github.com/spmedia/Crypto-Scam-and-Crypto-Phishing-Threat-Intel-Feed) | 2026 | Регулярная (ежедн.) | 🟢 Высокий | только положит. класс | — | | 27 | **luongnv89** | — | 832 | 166 / 166 | email | Phishing email (мелкий) | [HF](https://huggingface.co/datasets/luongnv89/phishing-email) | 2024 | Разовая | 🟢 Высокий | 500 без метки → unlabeled | — | | 28 | **openphish** | 15 kB | 300 | 300 / 0 | url | Community фишинг-URL фид | [openphish](https://openphish.com/feed.txt) | 2026 | Регулярная (~6 ч) | 🟢 Высокий | только положит. класс | — | | 29 | **smishtank** | 48 kB | 100 | 100 / 0 | sms | Live SMS-фишинг (публ. API) | [smishtank](https://smishtank.com/) | 2026 | Регулярная (API) | 🟢 Высокий | только положит. класс | — | | 30 | **ru_scam_calls_youtube** | 1.3 MB | 58 | 58 / 0 | dialogue | Реальные RU скам-звонки | YouTube | 2025 | Пополняемая | 🟢 Высокий | RU, малый объём | — | | 31 | **BothBosu_youtube-scam** | 0.05 MB | 20 | 20 / 0 | dialogue | Реальные скам-звонки (YouTube) | [HF](https://huggingface.co/BothBosu) | 2024 | Разовая | 🟢 Высокий | только положит. класс | — | > Колонка **`cleanlab`** (поиск ошибок разметки на уровне строк) ещё не прогонялась — отмечена «—». Корпус объединяет: реальные фишинг-URL/домены (live-ленты + размеченные наборы), honeypot-письма, мультиязычный смишинг (71 язык), benign-баланс (1M+ доменов и писем), скам-диалоги (вишинг) и крупнейший открытый RU spam-корпус. ## Схема данных `raw_samples`: | Колонка | Тип | Описание | |---|---|---| | `source` | text | ключ источника | | `ref` | text | hf_id / url / repo источника | | `split` | text | train / test / validation / id-дедупа | | `kind` | text | url · domain · ip · email · sms · mixed | | `text` | text | основной артефакт (URL / тело письма / SMS) | | `label` | text | канон: `phishing` · `legitimate` · `malicious` · `smishing` · `unlabeled` | | `language` | text | язык (RU помечен) | | `live` | bool | строка из постоянно обновляемой ленты | | `priority` | smallint | приоритет источника 1–3 | | `raw` | jsonb | исходная запись целиком | Ключ уникальности — `(source, split, row_index)`; GIN-индекс по `raw`. Метки приведены к канону по всем источникам и зафиксированы CHECK-констрейнтом. Примеры строк — в [EXAMPLES.md](docs/EXAMPLES.md). ## Качество данных Полный отчёт — [DATA_QUALITY.md](docs/DATA_QUALITY.md). По корпусу: **0 дублей ключа**, **0 NULL-меток**, `text` пуст у 0.019%, повторы текста 12.45% (валидный сигнал). | Измерение | Статус | |---|---| | Полнота | ✅ метки 100%, text 99.98% | | Валидность | ✅ канон меток + CHECK-констрейнт | | Уникальность | ✅ 0 дублей ключа | | Согласованность | ✅ единые метки по всем источникам | | Распределение | ✅ объёмы и языки корректны | ## Верификация источников Полная оценка — [SOURCE_TRUST.md](docs/SOURCE_TRUST.md): вердикт **«доверять»**, 22/22, средний балл по источникам ≈ 9.2/10. | Аспект | Состояние | |---|---| | Происхождение | ✅ именованные производители (abuse.ch, UCI, Apache, HF-орг., GitHub) | | Целостность | ✅ HTTPS + воспроизводимость; сырьё в `raw` | | Лицензии | ✅ документированы, собираемы под нужный режим | | Безопасность | ✅ безопасный формат; очистка NUL/битого Unicode при загрузке | | Качество данных | ✅ канон меток + 0 дублей ключа | ## Бизнес-ценность - **Антифрод/email-security детекторы** на едином корпусе: размеченные наборы + реальные атаки (honeypot, live-ленты) + benign-баланс. - **Антискам/вишинг**: скам-диалоги (BothBosu, реальные RU скам-звонки). - **RU-сегмент**: крупнейший открытый RU spam-корпус (4.5M) + RU-фишинг из лент. - **Мультиязычность**: смишинг на 71 языке для глобальных моделей. Сценарии и запросы — в [BUSINESS_CASES.md](docs/BUSINESS_CASES.md). ## Лицензия Код репозитория — MIT. Данные источников сохраняют исходные лицензии (смешанные, часть без явной лицензии данных и некоммерческие); перед коммерческим использованием сверяйтесь с лицензией конкретного источника по ссылке в таблице инвентаризации выше.