Почему модель выдумывает и что с этим делать

Как модель продолжает текст, а не проверяет факты

Нейросеть не хранит энциклопедию. Она обучается на огромном массиве текстов, запоминая не сами факты, а то, как они обычно сочетаются в похожих контекстах. Когда вы задаёте вопрос, модель не ищет ответ в памяти — она генерирует продолжение, которое с высокой вероятностью встретилось бы в обучающих данных. Если в этих данных чаще попадались правдоподобные, но выдуманные детали, модель воспроизведёт их с той же уверенностью, что и реальные.

Проблема не в том, что модель «обманывает». Она просто не отличает факт от наиболее вероятного продолжения. Например, если в обучающих текстах чаще упоминается вымышленный учёный в контексте научных открытий, модель будет ссылаться на него так же уверенно, как на реального. Для неё это не ошибка — это наиболее подходящий вариант развития текста в данной ситуации.

Почему «не выдумывай» и температура не решают вопрос

Температура регулирует случайность выбора слов: при низких значениях модель чаще выбирает наиболее вероятные варианты, при высоких — допускает менее очевидные. Но если наиболее вероятный вариант — выдумка, низкая температура только укрепит её в ответе. Температура влияет на стиль, но не на механизм: модель по-прежнему продолжает текст, а не сверяется с фактами.

Инструкция «отвечай только то, что знаешь» — это ещё один контекстный сигнал, который модель учитывает наравне с остальными. Она не отключает генерацию продолжений, а лишь смещает вероятности в сторону более осторожных формулировок. Но если в обучающих данных осторожные ответы чаще сопровождались выдумками (например, «насколько я помню, это сделал X»), модель воспроизведёт этот шаблон. Инструкция не меняет принцип работы — она лишь добавляет ещё один слой контекста, который модель учитывает при генерации.

Три случая, которые путают чаще всего

Когда модель даёт неверный ответ, причина может быть одной из трёх — и каждая требует своего подхода.

1. Нет знания в обучающих данных Модель не встречала нужную информацию в текстах, на которых обучалась. В этом случае она либо откажется отвечать (если настроена на осторожность), либо сгенерирует правдоподобное продолжение на основе похожих контекстов. Например, если спросить о редком термине, модель может «придумать» определение, опираясь на слова, которые чаще всего встречаются рядом с похожими терминами в обучающих данных.

2. Знание есть, но не нашлось Информация в обучающих данных была, но модель не связала её с вопросом. Это случается, когда вопрос сформулирован непривычно или требует вывода, а не прямого цитирования. Например, если спросить о популярности чего-либо в недавнем прошлом, модель может ответить на основе устаревших данных или общих трендов, а не конкретных замеров — просто потому, что в обучающих текстах чаще встречались обобщения, чем точные цифры.

3. Знание противоречиво В обучающих данных есть несколько версий одного и того же факта. Модель выберет ту, которая чаще встречалась в похожих контекстах, даже если она неверна. Например, если в части источников написано, что событие произошло в одном году, а в другой части — в другом, модель может выбрать любую из дат или усреднить их в несуществующий промежуточный вариант. Это не ошибка с её точки зрения — это наиболее вероятное продолжение текста в данном контексте.

Что действительно снижает выдумки

Эти методы не устраняют проблему полностью, но делают ответы надёжнее.

1. Дать источник в запросе Если прикрепить к вопросу документ или ссылку, модель будет генерировать продолжение на его основе, а не на общих данных. Но это работает только если источник содержит нужную информацию — иначе модель начнёт выдумывать поверх него. Например, если в документе нет ответа на вопрос, но есть похожий контекст, модель может «придумать» ответ, который «должен был бы» там быть.

2. Требовать цитату из источника Инструкция «ответь только цитатой из прикреплённого документа» заставляет модель искать прямые совпадения. Если их нет, она либо откажется отвечать, либо проигнорирует инструкцию — но вероятность выдумки снижается. Однако это не гарантирует точность: если в документе есть несколько противоречивых утверждений, модель может выбрать любое из них или усреднить их.

3. Разрешить ответ «не знаю» Если модель настроена отвечать только при высокой уверенности, она чаще будет отказываться от ответа, а не придумывать его. Но это не решает проблему полностью: уверенность модели не равна достоверности. Модель может быть уверена в выдумке, если она чаще встречалась в обучающих данных, чем реальный факт.

4. Проверять ответ отдельным шагом После генерации ответа можно попросить модель проверить его на соответствие источнику или логике. Это не гарантирует стопроцентную точность, но отсеивает очевидные выдумки. Например, если модель сгенерировала ответ на основе документа, можно попросить её подтвердить, что каждое утверждение есть в этом документе. Однако если документ содержит противоречия, модель может выбрать ту часть, которая лучше подходит под шаблон ответа.

Почему поиск по документам не убирает проблему

Поиск по документам смещает контекст, но не меняет механизм. Модель по-прежнему генерирует продолжение, а не ищет факты. Если в найденном документе нет нужной информации, модель начнёт выдумывать поверх него — например, придумает цитату, которая «должна была бы» там быть, или выдаст обобщение, основанное на похожих контекстах.

Кроме того, поиск сам по себе может давать сбои:

• Если запрос сформулирован неточно, поиск вернёт нерелевантные документы. Модель будет генерировать ответ на их основе, а не на основе вопроса.
• Если документ содержит противоречивую информацию, модель выберет ту часть, которая лучше подходит под шаблон ответа. Например, если в документе есть два утверждения о дате события, модель может выбрать любое из них или усреднить их.
• Если документ слишком большой, модель может «потерять» нужную информацию в контексте. Чем больше контекст, тем выше вероятность, что модель сфокусируется на менее релевантной части.

Как проверять выдумки у себя

Самый надёжный способ — задать модели вопросы с известными ответами и замерить долю ошибок. Например:

• «Назови столицу страны, которая расположена в Западной Европе и граничит с Германией и Испанией» (ответ должен быть однозначным).
• «Кто написал произведение, в котором есть фраза «Все счастливые семьи похожи друг на друга»?» (ответ должен быть конкретным).
• «Какой химический элемент обозначается символом, состоящим из двух букв, первая из которых — заглавная латинская A?» (ответ должен быть однозначным).

Если модель ошибается чаще, чем в каждом десятом случае, её ответы нельзя считать надёжными. Для более точной оценки можно использовать набор вопросов из разных областей: история, наука, культура, технологии. Чем шире охват, тем яснее картина. Важно, чтобы вопросы были сформулированы так, чтобы ответ на них не зависел от конкретных дат или чисел — иначе модель может ошибиться из-за устаревших данных или обобщений.

Тупик: сменить модель на более крупную

Более крупная модель лучше запоминает факты и реже выдумывает на простых вопросах. Но это не решает проблему полностью:

• Она по-прежнему генерирует продолжения, а не ищет факты. Если в обучающих данных чаще встречались выдумки, чем реальные факты, модель воспроизведёт их с той же уверенностью.
• На сложных или неоднозначных вопросах она может выдумывать с той же уверенностью, что и маленькая модель. Чем сложнее вопрос, тем выше вероятность, что модель сгенерирует правдоподобное продолжение, а не точный ответ.
• Чем больше модель, тем дороже её использовать — и тем сложнее проверять её ответы. Крупные модели требуют больше вычислительных ресурсов, что увеличивает стоимость и время генерации.

Кроме того, даже самая большая модель не застрахована от ошибок в обучающих данных. Если в них чаще встречались выдумки, чем реальные факты, модель воспроизведёт их с той же уверенностью. Размер модели не меняет принцип работы — он лишь увеличивает объём данных, на которых она обучается.

Позиция редакции

Проблема выдумок не решается одним методом. Даже комбинация источников, проверок и настроек не даёт стопроцентной гарантии — потому что модель не понимает факты, а продолжает текст. Это не баг, а особенность работы нейросетей.

Единственный надёжный способ избежать выдумок — не полагаться на модель как на источник фактов. Она может быть полезна для генерации идей, формулировок или гипотез, но проверять её ответы должен человек — или отдельная система, которая сверяется с достоверными источниками.

Это не значит, что модели бесполезны. Но их стоит использовать там, где выдумки не критичны: для черновиков, креатива или поиска идей. В задачах, где важна точность, модель — только первый шаг, а не окончательный ответ.

Когда эта позиция неверна? Если появится модель, которая не генерирует продолжения, а действительно ищет факты в базе знаний — и при этом не будет выдумывать поверх них. Пока таких моделей нет. Существующие подходы, такие как поиск по документам или проверка ответов, лишь смещают проблему, но не устраняют её полностью.