AI-модели: как выбирать под задачу

Модель — расходный материал сервиса, а не его суть. Через полгода линейка поменяется, поэтому в архитектуре важно не «какая модель лучше», а возможность заменить её без переписывания системы.

Критерии выбора

• Тип задачи. Классификация и извлечение данных, генерация текста, рассуждение по длинному контексту, работа с кодом — под каждую задачу оптимальна разная модель.
• Длина контекста. Сколько документов и истории диалога должно поместиться в один запрос.
• Качество против стоимости. Массовый поток однотипных запросов почти всегда дешевле обрабатывать младшей моделью, оставив старшую на сложные случаи.
• Задержка. Для чата с гостем важны секунды ответа, для ночной пакетной обработки — нет.

Практическое правило

Начинайте с младшей модели и набора реальных примеров. Если качество на этих примерах устраивает — переплата за старшую модель не нужна. Если нет — сначала уточните инструкции и данные, и только потом повышайте класс модели: чаще всего проблема в постановке задачи, а не в её мощности.

Что дальше

Проверять качество на потоке помогают evals и регрессионные тесты, а маршрутизацией между моделями занимается router.