synthetic_generation

Генератор синтетических данных

Семантика проекта

Пользователь может запросить генерацию синтетических данных через веб-интерфейс. Эти данные формируются на основе заранее подготовленных справочников-шаблонов. Например, можно создать список реально существующих адресов для города Москвы, включая ФИО, номер телефона и другие атрибуты (которые будут сгенерированы псевдослучайно).

Запрос из веб-интерфейса отправляется в Кафку. Возможно, между веб-частью и Кафкой потребуется промежуточное звено в виде Python-приемника.

С другой стороны Кафки находится слушатель, который ожидает поступления запроса. Этот слушатель может быть масштабируемым. Он читает данные из справочников, хранящихся в базе данных PostgreSQL, и записывает готовый файл в Minio. Пользователь может получить доступ к готовым файлам через ссылки или другие доступные методы получения файлов из Minio.