Урок 2. Почему ИИ уверенно выдумывает

Есть слово, которое стоит запомнить: галлюцинация. Так называют ситуацию, когда нейросеть выдаёт выдуманное за факт — придумывает несуществующую книгу, приписывает цитату не тому человеку, изобретает дату или ссылку.

Почему так происходит

Вспомни первый урок: модель подбирает правдоподобное продолжение. У неё нет отдельной кнопки «проверить, правда ли это». Если спросить про книгу, которой не существует, самым правдоподобным продолжением будет… рассказ об этой книге. Модель не умеет отвечать «не знаю» так же охотно, как умеет отвечать.

И вот что важно: выдумка выглядит точно так же, как правда. Тот же уверенный тон, те же аккуратные формулировки, часто даже конкретные цифры — именно конкретика и создаёт ощущение достоверности.

Где выдумывает чаще всего

• Ссылки и источники. Придуманные адреса страниц — классика жанра;
• цитаты. Красивая фраза, приписанная известному человеку, который её не говорил;
• даты, имена, номера. Всё, что нужно помнить точно;
• узкие темы. Чем реже тема встречалась в текстах, тем больше модель додумывает;
• свежие события. Про то, что случилось после её обучения, она знать не может — но иногда всё равно что-нибудь расскажет.

Как защититься

1. любой факт, который пойдёт в доклад или сочинение, проверяй в другом месте;
2. проси указать источник — и проверяй, что он существует, а не просто верь ссылке;
3. прямо пиши в запросе: «если не знаешь точно — так и скажи». Это заметно помогает;
4. не спрашивай о том, что случилось на днях: скорее всего, модель об этом не знает.

Частые вопросы