ИИ учится играя

Полайкай ленту и посмотри, как она учится на твоих лайках, разложи кадры без подписей и разберись, кто в обучении с подкреплением агент, а кто среда. В конце разведи задачи: где учат наградами, а где — готовыми ответами.

~7 мин

Настрой награды робота-уборщика и добейся, чтобы он повёл себя иначе, найди награды с лазейкой и реши, с какой уверенности роботу-пылесосу ехать убирать пятно — и какая ошибка ему дороже.

~8 мин

Пройди лабиринт за агента и набери больше очков во втором эпизоде, научи нейрон разделять примеры и посмотри, сколько поправок ему понадобилось. Потом разберись, почему роботов учат ходить в симуляторе.

~7 мин

Найди лучший из трёх игровых автоматов, не спустив все попытки на разведку, и настрой ручку, которая решает, насколько смело бот пробует новое. Потом разберись, почему её сначала держат высоко, а потом опускают.

~6 мин

Собери роботу-уборщику правила «вижу → делаю» и доведи уборку без единой аварии, сыграй в «угадай число» против машины и выясни, почему агенту хватает одного снимка мира, чтобы выбрать ход.

~6 мин

Подкрути веса правила, по которому бот в бою решает — атаковать или отступать, доведи обучение политики до лучших весов и нарочно сломай его слишком большим шагом, а потом разберись, почему предсказуемого вратаря обыгрывают.

~6 мин

Проложи агенту маршрут до флажка с самым большим итогом, сделай бота терпеливым и нетерпеливым и посмотри, за какой наградой он пойдёт первым, а потом посчитай ценность клетки по уравнению Беллмана.

~6 мин

Проведи фильтр по кадру Breakout и посмотри, как DQN находит в пикселях мяч и ракетку, реши, с какой уверенности в проигрыше AlphaGo Zero сдавать партию, и разберись, почему бот, игравший только с копиями себя, не остался новичком.

~8 мин

Выбери четыре мира симулятора так, чтобы робот-пёс не упал на настоящих улицах, найди, где «идеально в симуляторе» оборачивается провалом в реальности, и реши, как не дать роботу «попробовать» опасное, пока он учится.

~7 мин

Назначь награду роботу-уборщику, добейся, чтобы он её взломал, и почини; обучи модель-судью отличать честную уборку от хитрости и проверь её на новых случаях. В конце реши, что делать, когда лазейка уже закрыта.

~7 мин

Проведи пробные обучения бота для «Сокобана» и найди, сколько случайных ходов ему нужно, вытащи обучение его сети из мелкой ямы разгоном и найди по журналу тренировки, что чинить, когда бот набирает очки, а уровни не проходит.

~6 мин

Выпускной проект: выбери миры симулятора для робота-курьера так, чтобы он сдал экзамен в настоящей школе, реши, с какой уверенности камеры ему тормозить перед человеком, и вынеси вердикт — как выпускать его в коридоры.

~7 мин