Секрет внимания

Разрежь фразу на токены тремя способами и запиши звук рядом чисел — сначала честно, потом так, чтобы модель «услышала» другую ноту. Поймёшь, почему одна архитектура работает и с текстом, и со звуком, и с картинками.

~6 мин

Наведи внимание слова «он» на того, о ком речь во фразе про кубок и чемодан, а потом добавляй соседей к слову «ключ», пока у него не останется один смысл.

~6 мин

Собери запросы слов «сидел» и «на» так, чтобы они нашли свои ключи, посчитай очки внимания руками и покрути резкость softmax — и разберёшь, из чего сделано внимание.

~7 мин

Разложи слова одной фразы двумя способами и увидишь, зачем трансформеру несколько голов внимания. Прогони букву «Т» через четыре фильтра и найди тот, что не заметил её перекладину.

~7 мин

Уточняй места трёх слов, пока из мешка не останется одна фраза, наведи внимание глагола на того, кто обогнал, и найди номер места по двум стрелкам часов.

~7 мин

Сдвинь вектор «ключа» к смыслу, который подсказали соседи, и попробуй одной прямой отделить «не плохо» от «не хорошо» — увидишь, из чего кроме внимания сделан слой трансформера.

~6 мин

Двигай сложность модели, пока она не начнёт зубрить, подбери шаг, с которым учится вся стопка слоёв разом, и посчитай, как «лифт» спасает сигнал слова от испорченного телефона.

~7 мин

Поставь порог спам-фильтру на трансформере-читателе, угадай спрятанное слово по соседям с обеих сторон и дообучи модель отзывов на трёх примерах так, чтобы она не споткнулась на иронии.

~8 мин

Покрути температуру и найди, когда модель пишет не скучно и не чушь, собери историю по одному куску без права вернуться и подбери, насколько уверенно модели говорить, если она права в семи ответах из десяти.

~7 мин

Посчитай, во что обойдётся вниманию картинка, если сделать токеном каждый пиксель, и наведи служебный токен [CLS] на патч с собакой — так смотрит на фото Vision Transformer.

~6 мин

Проведи фразу «Кот уснул на тёплом подоконнике» через весь трансформер: разрежь её на токены, собери векторы, посчитай, что «уснул» забирает у соседей, и сложи из шагов путь от фразы до ответа.

~8 мин

Выпускное задание: разметь сочинения и научи модель узнавать текст нейросети, поставь детектору порог и реши, чья ошибка дороже, — а потом собери итоги курса.

~6 мин