Секрет внимания
Байтик попадает в Детективное агентство связей! 12 миссий о трансформерах: self-attention, Query-Key-Value, multi-head attention, позиционное кодирование, энкодеры (BERT), декодеры (GPT) и Vision Transformer.
Первые 3 урока этого курса — бесплатно, без карты. Дальше — подписка от 699 ₽ в месяц на все курсы.
О чём этот курс
Курс раскрывает архитектуру трансформеров — основу ChatGPT, BERT и других современных моделей. Дети узнают о self-attention, Query-Key-Value, multi-head attention, позиционном кодировании, энкодерах (BERT) и декодерах (GPT), Vision Transformer. Каждый концепт объясняется через понятные аналогии.
Чему научитесь
- Понимание механизма внимания (attention)
- Знание архитектуры трансформера
- Query, Key, Value — как ИИ ищет связи
- Различие энкодеров (BERT) и декодеров (GPT)
- Представление о Vision Transformer
Для кого
Продвинутый уровень, от 9 лет. Для тех, кто хочет понять, как устроен ChatGPT.
Как проходит обучение
Интерактивные задания
Квизы, головоломки, симуляторы и творческие задачи в каждом уроке
Система XP и наград
За правильные ответы начисляются очки опыта и открываются достижения
12 уроков по ~30 минут
Каждый урок — самостоятельная тема с теорией и практикой
Робот-проводник Байтик
Дружелюбный персонаж объясняет сложные темы простым языком
Программа курса
Одна архитектура правит всеми
БесплатноПочему рекуррентные сети уступили трансформеру и что изменила статья Attention Is All You Need.
~30 мин
Что значит обращать внимание?
БесплатноSelf-attention: каждое слово опрашивает остальные и решает, на что смотреть.
~30 мин
Запрос, ключ, значение
БесплатноЗапрос, ключ и значение: как скалярное произведение и softmax превращаются в веса внимания.
~30 мин
Много голов лучше одной
PROМногоголовое внимание: почему одной головы мало и как результаты голов склеиваются.
~30 мин
Где моё место?
PROПозиционное кодирование: без него трансформер не отличает предложение от мешка слов.
~30 мин
Полный слой трансформера
PROПолный блок трансформера: внимание, полносвязный слой и две пары Add & Norm.
~30 мин
Стопка блоков
PROСтопка блоков: нижние слои ловят синтаксис, верхние — смысл, и откуда берутся новые способности.
~30 мин
Трансформер читает
PROBERT: двунаправленное чтение и обучение методом маскирования слов.
~30 мин
Трансформер пишет
PROGPT: авторегрессия слово за словом и что делает температура с распределением.
~30 мин
Трансформер видит
PROVision Transformer: изображение как последовательность патчей и роль токена [CLS].
~30 мин
Проект: Разбираем трансформер
PROПроект: разобрать трансформер по шагам — от токенизации до оценок внимания.
~30 мин
Выпускной: Мастер внимания
PROИтог курса: чем внимание принципиально лучше последовательной обработки.
~30 мин
Похожие курсы
ИИ учится читать
Байтик встречает Профессора Лекса! 12 миссий о том, как ИИ читает и понимает текст: токены, эмбеддинги, внимание, перевод, анализ тональности, чат-боты и границы NLP.
Не учи с нуля
Байтик попадает в Великую библиотеку знаний! 12 миссий о трансферном обучении: предобученные модели, feature extraction, fine-tuning, few-shot и zero-shot learning.
Фабрика нового
Байтик попадает на Фабрику нового с изобретателем Генезисом и хамелеоном Латентом! 12 миссий о генеративных моделях: GAN, VAE, диффузия, латентное пространство, Stable Diffusion и создание изображений из шума.
Регистрация бесплатная. Первые 3 урока этого курса — без карты, а курс «Знакомство с ИИ» открыт целиком.