Спуск в долину

Покрути вес модели руками и найди, где средняя ошибка меньше всего, потом спусти шар по всей горе ошибок, выбрав длину шага, и разберись, почему у дна шаги сами становятся короче.

~6 мин

Покрути два веса и порог и найди, в какую сторону надо сдвигать каждый, сравни перебор всех вариантов с поиском по наклону на миллионе положений и реши, куда шагнуть по готовому градиенту.

~7 мин

Подбери цвет, которого не видишь, по одним подсказкам «добавь/убавь» у каждой ручки, посчитай один шаг спуска по формуле и сравни, что выходит за три больших шага и за пятьдесят маленьких.

~6 мин

Подбери шаг обучения, при котором шар садится в узкую яму, и сломай спуск слишком большим шагом, потом обучи нейрон на своих примерах и разберись, что он подбирает сам, а что задают заранее.

~6 мин

Попрыгай весом через дно ошибки и посмотри, как она скачет, посчитай по формуле два шага со слишком большим шагом обучения и выбери лучший шаг по пробным запускам сети.

~6 мин

Сравни, что дают 50 и 1000 шагов расшумления, проведи фильтр по картинке и прикинь, сколько умножений стоит одна итерация, а потом поставь диагноз спуску по кривой ошибки.

~6 мин

Подбери шаг, при котором спуск проходит мимо мелкой ямки к настоящему дну, покрути границу и найди ровные места, где счётчик угаданных не шевелится, и реши, как проверить, дно ли под ногами.

~6 мин

Посмотри, как один нейрон сам двигает линию к точке, где ошибся, сравни на цепочке из миллиона звеньев два способа найти вину каждого — шевелить звенья по одному или пройти один раз назад — и объясни, почему ошибку несут от выхода к входу.

~6 мин

Найди уверенность, при которой штраф на выходе меньше всего, и посмотри, какие ответы штрафуются сильнее, проведи рамку фильтра и увидь, как вход решает вину веса, а потом посчитай сигнал ошибки назад по цепочке «× 5 → + 10 → × 2».

~7 мин

Двигай веса по одному и найди, какой сильнее двигает счётчик угаданных, выясни пробными эпохами, какой слой глубокой сети учится быстрее, и посчитай, что остаётся от сигнала ошибки после пяти звеньев.

~6 мин

Найди вес модели руками по линейке ошибок, проведи три итерации спуска по формуле и сравни, куда пришёл, а потом спустись сам по трём ручкам цвета, выбирая длину шагов.

~6 мин

Расставь свои примеры и посмотри, как нейрон сам спускается к правилу, выбери по пробным запускам лучший рецепт обучения большой сети и реши, что делать, когда одной прямой не хватает.

~6 мин