Урок 1. Как нейросеть «думает»

Когда ты пишешь нейросети вопрос, внутри не происходит ничего похожего на размышление. Модель делает одну простую вещь, только очень много раз подряд: угадывает следующее слово.

Ты набираешь в телефоне «с днём» — и клавиатура подсказывает «рождения». Она не поздравляет и не понимает праздников, она просто видела эту пару слов миллионы раз. Большая нейросеть делает то же самое, но подсказывает не одно слово, а целые страницы, и учитывает не два предыдущих слова, а весь разговор.

Откуда она всё знает

Модель «прочитала» гигантское количество текстов: книги, статьи, форумы, документацию. Не запомнила их наизусть — это невозможно, — а уловила закономерности: какие слова с какими встречаются, как устроены предложения, как обычно отвечают на вопросы. Этот процесс называют обучением, и он занимает месяцы работы тысяч компьютеров.

Что из этого следует

• Она не понимает смысла так, как ты. Она видит статистику слов, а не картину мира;
• у неё нет доступа к правде. Есть только то, что чаще встречалось в текстах;
• она не помнит вчерашний разговор, если только это специально не включено;
• она угадывает, а не вычисляет. Поэтому в математике модель может ошибиться там, где калькулятор не ошибётся никогда.

Почему тогда она такая полезная

Потому что огромная доля человеческой работы — это как раз перекладывание текста: объяснить, пересказать, переформулировать, набросать план, придумать варианты, перевести, найти ошибку. Здесь модель действительно сильна. А вот проверять факты и принимать решения по-прежнему придётся тебе.

Частые вопросы