Все чувства вместе

Нарисуй кота для настоящей нейросети, а потом напиши ей слово «кот» буквами — и увидишь, где кончается одно чувство. Разложи фото, звуки и слова по группам и сравни с мультимодальной моделью, а потом реши, с чем работает помощник, которому показывают фото и задают вопрос голосом.

~7 мин

Подбери три числа, из которых экран соберёт жёлтый пиксель, запиши звук честно и сломай запись, убавив замеры, и разберись, почему «мать любит дочь» и «дочь любит мать» из одних и тех же слов значат разное.

~6 мин

Собери вектор подписи — и рядом встанет фото, собери вектор фото — и рядом встанет подпись. Потом спрячь из альбома все снимки паспорта по оценкам CLIP и выясни, какой чужой снимок он счёл похожим сильнее настоящих паспортов.

~7 мин

Уточняй промпт «нарисуй кота», пока под него не останется одна картинка, потом разложи шесть промптов про кота и собаку и узнай, почему генератор путает, кто из них слева. В конце угадай, какой промпт генератор первых лет нарисует без ошибки.

~7 мин

Покрути смелость модели, которая подписывает фото велосипедиста, и найди, где подписи ещё не врут. Потом выбери полезный ответ незрячему на вопрос про полку в магазине и выложи четыре фото так, чтобы модель не прочитала по ним, где ты живёшь.

~7 мин

Проведи фильтром по спектрограмме слова «да» и найди, где звук начинается и кончается. Собери три записи для маленького распознавателя речи и посмотри, чью речь он потом разберёт, а потом реши, что из голосовой просьбы дойдёт до языковой модели.

~7 мин

Сведи звук ударов по мячу с картинкой: подбери поправку, при которой промах наименьший, и узнай, почему одной поправки мало. Реши, какой вопрос не решить по стоп-кадру, и прогони гонку внимания на пяти секундах видео.

~7 мин

Проверь по восьми вопросам, хватит ли цепочке моделей одной подписи к фото, и сузь голосовое «Ну, отлично» тоном и кадром до одного смысла. Потом найди просьбу, которую цепочка «расшифровка → языковая модель» провалит, а модель, которая слышит сама, — нет.

~7 мин

Наведи запрос патча с красным мячом на нужное слово подписи, а потом собери запросы слов «мяч» и «солнце» так, чтобы каждый нашёл свой кусок фото. В конце объясни, почему запрос «солнце» легко увести к мячу.

~7 мин

Найди честную уверенность для помощника, который на трёх фото из десяти «увидел» то, чего нет, и поставь порог, с которого голосовому помощнику просыпаться. Потом угадай, что CLIP скажет про яблоко с наклейкой «iPod».

~7 мин

Реши, какие разрешения нужны «Лупе» — помощнику для слабовидящих, собери путь вопроса от кадра до ответа голосом и напиши ей правило, как отвечать. В конце раздай задачи проекта команде и ИИ.

~8 мин

Выпускной проект — гид для музея, которому показывают картину и задают вопрос голосом. Собери для него четыре пары «фото + вопрос» и сдай экзамен на новых посетителях, настрой смелость его рассказа и реши, кого опросить, чтобы честно узнать, понимает ли он людей.

~8 мин