Сжатие и кодирование данных

1. Скачиваем набор данных

2. Создаем папку и переходим в нее

3. Внутри контейнера загружаем файлы

4. Объединяем части в один файл

5. Скачиваем еще один файл

6. Обогащаем данные

7. Создаем таблицу

8. Наполняем таблицу данными

9. Запрос для проверки объема читаемых данных

Экспериментируем с кодеками и сжатием

10. Создаем таблицу с первыми вариантами кодеков и сжатия и наполняем ее данными

11. Смотрим на размер столбцов в 1 версии таблицы

12. Смотрим общий размер таблицы версии 1

13. Выполняем диагностический запрос

Выбор оптимального типа данных

14. Смотрим максимальные и минимальные значения в столбцах. Выполнять в clickhouse-client

15. Создаем таблицу 2 версии

16. Смотрим на размер столбцов во 2 версии таблицы

17. Смотрим общий размер таблицы версии 2

18. Выполняем диагностические запросы

Применяем LowCardinality и Enum

19. Создаем таблицы 3 версии

20. Смотрим на размер столбцов в 3 версии таблицы

21. Смотрим общий размер таблицы версии 3

22. Выполняем диагностические запросы

Применяем различные кодеки общего и специального назначения

23. Создаем таблицу 4 версии

24. Смотрим на размер столбцов в 4 версии таблицы

25. Смотрим общий размер таблицы версии 4

26. Смотрим информацию обо всех столбцах в 4 версии таблицы

27. Выполняем диагностические запросы

28. Смотрим, сколько нулевых значений в столбце precipitation

29. Смотрим, сколько нулевых значений в столбце snowDepth

30. Смотрим, сколько нулевых значений в столбце tempMax

31. Находим лучший вариант кодека для каждого столбца

Финальный вариант

32. Создаем таблицы финальной версии

33. Смотрим на размер столбцов в финальной версии таблицы

34. Смотрим общий размер таблицы финальной версии

35. Выполняем диагностический запрос

Основные выводы из анализа

Анализ по версиям таблиц

Топ самых эффективных оптимизаций по столбцам:

Эффективность кодеков:

Выводы