DWH_BSHA
ФоркИзбранное
0
0
3 месяца назад
3 месяца назад
3 месяца назад
3 месяца назад
3 месяца назад
3 месяца назад
3 месяца назад
3 месяца назад
3 месяца назад
3 месяца назад
Data Governance в финансовых технологиях
Вариант 2 — DWH и Data Lake для Anti-Fraud
Описание проекта
Цель работы
Используемые технологии
Структура репозитория
Архитектура решения
Data Lake
DWH (Data Warehouse)
Этапы работы ETL-процесса
1. Генерация данных
2. Загрузка в Data Lake
Реализованные проверки Data Governance
1. Проверка полноты данных
2. Проверка диапазона суммы
3. Проверка по чёрным спискам
Построение anti-fraud витрины
Формирование отчёта обязательного контроля
Управление метаданными и версиями схем
Обоснование структуры решения
Почему используется Data Lake
Почему используется DWH
Почему используется parquet
Выявленные нарушения
Результаты работы
Data Lake
DWH
Metadata
Контрольные вопросы
1. Чем отличается Data Lake от DWH с точки зрения Data Governance?
2. Какие политики управления данными необходимы для anti-fraud?
3. Как часто должны пересчитываться признаки мошенничества и почему?
Вывод
README.md