ai-tools-comparision
2 года назад
9 месяцев назад
README.md
Сравнение AI chats для разработки
Предуведомление
- Сравниваются сервисы, а не AI модели
- Code AutoCompletion не рассматриваем, только взаимодействие в формате чата
Критерии отбора
- работает в России (с VPN или без)
- используемая модель хорошо себя показывает в бенчмарках по разработке
- есть бесплатная версия
Для чего используется AI в разработке
- сгенерировать код
- объяснить как работает технология\библиотека
- описать, что делает код
- пересказать статью или книгу
- написать тест
- найти ошибку в коде
Основные критерии сравнения
- работа без VPN
- длина контекста
- ссылки на источники
- работа с файлами
- поиск фактов в интернете
Дополнительные критерии сравнения
- возможность сохранить диалог
- возможность поделится диалогом
- relates - отображение вопросов, связанных с заданным
- focus - фокусирование модели на ответы из определенной области: математика, только оффлайн поиск, видео...
- оценка ответа
- выбор модели
Не являются критериями сравнения
Преамбула - не являются учитывая задачи, указанные выше.
- генерация картинок
- доступность на мобильных устройствах
- работа по API, цена запроса по API
- стоимость платной версии
Итоговая таблица
| Perplexity | Perplexity Labs | Copilot | ChatGPT | Gemini | YandexGPT | GigaCode | Deepseek Coder | Mistral | ||
|---|---|---|---|---|---|---|---|---|---|---|
| Сервис | https://www.perplexity.ai/ | https://labs.perplexity.ai/ | https://copilot.microsoft.com/ | https://chatgpt.com/ | https://gemini.google.com | https://console.yandex.cloud/ | https://gigacode.ru/#/#chat | https://chat.deepseek.com/coder/ | https://chat.mistral.ai/chat | Сервис |
| Размер контекста free\paid | 4 000\32 000 | ??? | 4 000\8 000 | 4 000\128 000 | 32 000\1 000 000 | 8000 | 32 000 | 128 000 | 128000 | Размер контекста free\paid |
| Бесплатная версия | + | + | + | + | + | + | + | + | + | Бесплатная версия |
| Платная версия | + | + | + | + | + | Платная версия | ||||
| Без VPN | + | + | + | + | + | + | Без VPN | |||
| Ссылки на источники | + | + | + только для фактов | + | Ссылки на источники | |||||
| Поиск в интернете | + | + | + | + | Поиск в интернете | |||||
| Точность поиска в интернете | + | Точный поиск в интернете | ||||||||
| Сохранить диалог | + | + | + | +- в истории действий аккаунта | + | + | + | Сохранить диалог | ||
| Поделиться диалогом | + | + | + | + | + | Поделиться диалогом | ||||
| Файлы | + (pdf, txt) | + | Файлы | |||||||
| Focus | + | Focus | ||||||||
| Related | + | + | + | Related | ||||||
| Оценка ответа | + | + | + | + | + | + | + | Оценка ответа | ||
| Выбор модели | Платная версия | + | Платная версия | + | + | + | + | Выбор модели | ||
| Модели | GPT, Claude, Llama | Llama, Mixtral | GPT | GPT | Gemini | YandexGPT | GigaCode | DeepSeek | Mistral | Модели |
| Последние версии моделей | GPT-4o, Claude-2.1, Llama 3.1 405B | Llama-3.1, Mixtral 1 | GPT-4 | GPT-4o | Gemini 1.5 Pro | YandexGPT 3 Pro | ??? | DeepSeek-Coder-V2 | Mistral Large 2 | Последние версии моделей |
| Ограничения бесплатной версии | 5 запросов в сутки в Pro режиме. 3 файла в сутки | Может переключаться на GPT-3.5 | Есть лимит на анализ файлов и GPT-4o в сутки, далее только GPT-4o mini | Модель Gemini 1.5 Flash, меньшая длина контекста | Вход через Yandex Cloud | Нет веб-чата, только в IDE | Ограничения бесплатной версии |
Бенчмарки
https://symflower.com/en/company/blog/2024/dev-quality-eval-v0.5.0-deepseek-v2-coder-and-claude-3.5-sonnet-beat-gpt-4o-for-cost-effectiveness-in-code-generation/
https://symflower.com/en/company/blog/2024/dev-quality-eval-v0.5.0-deepseek-v2-coder-and-claude-3.5-sonnet-beat-gpt-4o-for-cost-effectiveness-in-code-generation/images/header.svg
https://habr.com/ru/news/822503/
https://habr.com/ru/articles/831272/