Как подключить нейросеть к Telegram-боту: архитектура, которая не ломается

«Бот с ChatGPT за 10 минут» работает до первой нагрузки. В моих проектах нейросеть отвечает клиентам, оценивает записи звонков, пишет тексты вакансий — и почти все проблемы были не в модели, а в том, как бот с ней разговаривает. Ниже схема, к которой я пришёл.

Схема

1. Бот принимает сообщение и сразу отвечает пользователю «думаю…» или показывает статус «печатает». Запрос к модели в обработчике сообщения напрямую не делается.
2. Задача кладётся в очередь (база данных или очередь задач). Так бот не зависает, когда модель отвечает 30 секунд, и переживает перезапуск.
3. Обработчик очереди собирает контекст: системную инструкцию, нужные фрагменты базы знаний, последние сообщения диалога.
4. Запрос к модели с таймаутом. При ошибке — повтор, затем запасная модель или провайдер.
5. Проверка ответа: длина, формат, запрещённые темы. Если ответ не прошёл проверку — шаблонный ответ и передача менеджеру.
6. Отправка пользователю с учётом ограничений Telegram (длина сообщения, разметка).
7. Учёт: сколько токенов и денег ушло, сколько ошибок, кто из пользователей тратит больше всего.

Что сокращает расходы в разы

• Не отправлять всю историю переписки: хватит последних 5–10 сообщений и краткого резюме.
• База знаний по кусочкам: искать нужные фрагменты (RAG) и отправлять только их, а не весь документ.
• Неизменная инструкция в начале запроса: у ряда провайдеров повторяющееся начало тарифицируется дешевле. У DeepSeek такой «кэш» в 50 раз дешевле обычного ввода — расчёт.
• Дешёвая модель по умолчанию, дорогая — только для сложных случаев.
• Лимиты на пользователя: число запросов в день, чтобы один человек не съел месячный бюджет.

Надёжность

• Таймауты и повторы с паузой — внешний API иногда отвечает минуту или возвращает ошибку перегрузки.
• Запасная модель. В одном проекте основной провайдер начал отвечать ошибкой 500 на определённую модель, и бот неделями молча не работал. Теперь в моих ботах цепочка моделей: если первая не ответила — вторая, если и она — шаблонный ответ и уведомление мне.
• Контроль баланса. Закончились деньги у провайдера — бот перестаёт отвечать. Нужен мониторинг баланса и ошибок с уведомлением.
• Ответ в JSON там, где ответ разбирает код. Например, оценка звонка по 10 критериям — строгая структура, а не свободный текст.

Качество ответов

• Системная инструкция: роль, тон, что можно и нельзя обещать, когда передавать менеджеру.
• Ответы только по базе знаний для фактов о компании — цены, сроки, условия. Модель не должна их «придумывать».
• Набор тестовых вопросов, на которых бот проверяется после каждого изменения инструкции.
• Логи диалогов (с маскировкой персональных данных), чтобы видеть ошибки.

Где AI-бот полезен бизнесу, а где лучше обойтись кнопками: AI-бот для бизнеса.

Персональные данные

Если модель зарубежная, отправка в неё персональных данных — трансграничная передача по 152-ФЗ. Практично маскировать телефоны, ФИО и адреса перед отправкой или обрабатывать их без модели. Подробнее: 152-ФЗ для сайта и бота.

Частые вопросы