main.py - develop - Seler1ty/DataSet_Pipeline

main.py
62 строки2 KB
Seler1ty
-m create extra_information.py, update main.py requirements.txt
20 дек 2025, 18:44
20 дек 2025, 18:44c42351f
from json_to_csv import geojson_to_csv
from area import add_area_to_csv
from population import add_population_to_csv
from ndvi import add_ndvi_to_csv
from route_osm import process_all_quarters
from extra_information import add_extra_columns
import os

def main():
    """Основной пайплайн обработки данных"""
    print("Запуск пайплайна обработки данных")

    # Конвертация GeoJSON в CSV
    print("\n1. Конвертация GeoJSON в CSV")
    geojson_files = ['parks', 'areas']

    for filename in geojson_files:
        print(f"  {filename}...")
        geojson_to_csv(filename)

    # Добавление площади
    print("\n2. Добавление площади")

    if os.path.exists('parks.csv'):
        add_area_to_csv('parks.csv', 'parks_with_area.csv', 'park')

    if os.path.exists('areas.csv'):
        add_area_to_csv('areas.csv', 'areas_with_area.csv', 'area')

    # Добавление населения
    print("\n3. Добавление населения")

    if os.path.exists('areas_with_area.csv'):
        add_population_to_csv('areas_with_area.csv', 'areas_final.csv')

    # Добавление NDVI
    print("\n4. Добавление NDVI")

    if os.path.exists('parks_with_area.csv'):
        add_ndvi_to_csv('parks_with_area.csv', 'parks_final.csv')

    # Анализ доступности парков
    print("\n5. Анализ доступности парков")

    if os.path.exists('parks_final.csv') and os.path.exists('areas_final.csv'):
        process_all_quarters(
            parks_file='parks_final.csv',
            quarters_file='areas_final.csv',
            output_file='final_dataset.csv',
            batch_size=50
        )

    # Добавление дополнительной информации
    print("\n6. Добавление дополнительной информации")

    if os.path.exists('final_dataset.csv'):
        add_extra_columns('final_dataset.csv')

    print("\nПайплайн завершен")

if __name__ == "__main__":
    main()