Мартовский Код

Fine-tuning (дообучение)

Fine-tuning (файн-тюнинг, дообучение нейросети) — это доработка готовой языковой модели на ваших примерах: модели показывают сотни или тысячи пар «запрос → эталонный ответ», и она корректирует внутренние веса под задачу. Итог — модель, которая стабильно отвечает в нужном формате, стиле или узкой предметной области.

Главное заблуждение: «дообучим модель на наших документах, и она будет их знать». Для знаний fine-tuning подходит плохо: факты в весах перемешиваются, устаревают при каждом обновлении документов, а источник ответа проверить нельзя. Знания подключают через RAG — поиск по векторной базе с передачей найденных фрагментов в контекст. Fine-tuning меняет то, как модель отвечает; RAG — то, что она знает.

Три способа адаптировать модель под задачу:

ПодходЧто меняетКакие данные нужныСрокПорядок стоимости
ПромптингИнструкции в запросеНе нужныЧасыВходит в любой проект
RAGЗнания в контекстеВаши документыНеделиПилот от 130 000 ₽
Fine-tuningВеса моделиСотни–тысячи размеченных парНедели–месяцыВ составе продукта от 390 тыс. ₽

Порядок выбора всегда один: сначала промпт, затем RAG, и только если оба упёрлись в потолок — дообучение. В большинстве бизнес-проектов до fine-tuning дело не доходит: промпт и RAG закрывают задачу дешевле и быстрее.

Ключевые преимущества

  • Меняет веса модели: учит формату и стилю, а не фактам
  • Знания компании подключаются через RAG, а не через дообучение
  • Нужны сотни–тысячи размеченных пар «запрос → эталонный ответ»
  • Оправдан на стабильной узкой задаче, где промпт и RAG упёрлись в потолок
  • Порядок работы: сначала промптинг, потом RAG, дообучение — последним

Примеры

Классификация обращений техподдержки по 40 внутренним категориям: дообученная компактная модель дешевле и стабильнее большой модели с длинным промптом. Извлечение полей из отраслевых документов — актов, смет, накладных — в строгий JSON. Ответы в выверенном тоне бренда для массовых коммуникаций. Разметка и суммаризация звонков по внутренней методологии отдела продаж.

Когда это нужно

Fine-tuning оправдан, когда: задача узкая и стабильная (классификация, извлечение, форматирование), накоплены сотни–тысячи качественных примеров, промпт и RAG уже выжаты, а объём запросов большой — дообученная компактная модель экономит на каждом вызове. Не оправдан, когда: нужно «знание» документов (это RAG), данные меняются еженедельно, примеров меньше пары сотен или задача ещё не устоялась.

Связанные термины

Частые вопросы

Чем fine-tuning отличается от RAG?

RAG подкладывает модели ваши документы в момент запроса: знания обновляются мгновенно, источник ответа проверяем. Fine-tuning меняет саму модель: она усваивает формат и стиль, но не становится надёжным хранилищем фактов. Для «отвечай по нашей базе» — RAG. Для «отвечай в нашем формате» — fine-tuning. В зрелых проектах их нередко сочетают.

Сколько данных нужно для дообучения?

Для корректировки стиля и формата — от нескольких сотен пар «запрос → эталонный ответ». Для классификации и извлечения — от 500–1000 примеров на устойчивый результат. Качество важнее объёма: 300 вычитанных пар дают больше, чем 3000 сырых. Подготовка и разметка данных — основная часть трудозатрат всего проекта.

Сколько стоит fine-tuning?

Отдельной услугой его почти не заказывают — это этап внутри продукта с ИИ, а вилка таких проектов — 390 тыс. – 2 млн ₽. Основные затраты — не машинное время, а сбор и разметка примеров. Начинать дешевле с RAG-пилота от 130 000 ₽: он показывает, нужен ли fine-tuning вообще.

Можно ли дообучить ChatGPT на данных компании?

У OpenAI и других провайдеров есть API дообучения для части моделей: модель остаётся у провайдера, вы обращаетесь к своей версии. Открытые модели (Llama, Qwen) дообучают методом LoRA и разворачивают в своём контуре — вариант для закрытых данных. В обоих случаях сначала проверьте, не решается ли задача промптом и RAG — чаще всего решается.

Готовы начать проект?

Расскажите о задаче — мы предложим решение, сроки и стоимость. Первая консультация бесплатна.

30 минут · Бесплатно · Без обязательств