Нейросети обсуждают все: одни обещают, что они заменят половину профессий, другие — что это мыльный пузырь. Но за обоими лагерями легко потерять главное: у технологии длинная и довольно драматичная история. Ей больше восьмидесяти лет, она пережила две волны разочарования и несколько раз почти исчезала из повестки.
Вот десять фактов, которые объясняют, откуда взялись современные модели — и почему они ведут себя именно так, а не иначе.
Трансформер — архитектура, на которой построены почти все современные языковые модели. Звучит сложно, но базовая механика укладывается в одну фразу: модель разбивает текст на кусочки, смотрит на контекст через внимание и предсказывает следующий токен. И так — по шагу.
Ниже — разбор этой механики на примерах, без формул.
Коротко: что делает трансформер
Трансформер — это нейросеть, которая получает текст, разбивает его на токены (кусочки слов и символов) и на каждом шаге предсказывает следующий токен.
Пример:
«Кот сидел на подоконнике и смотрел в …»
Модель смотрит на все предыдущие слова и выдаёт вероятности:
«окно» — 40%
«сад» — 25%
«небо» — 10%
«улицу» — 8%
и так далее.
Потом выбирает один токен, добавляет его к тексту и повторяет: получилось «окно» — дальше предсказывает следующее слово уже с учётом «окно».
Так и генерируется текст: по одному токену за шаг.
