Курс "Нейронные сети и глубокое обучение" Самарского Университета

Лектор Артем Владимирович Никоноров, д.т.н., artniko@gmail.com
Ассистент Виктория Витальевна Евдокимова, аспирант Самарского Университета, data.science.sbj@gmail.com

Курс основывается на предыдущих более обзорных лекциях и туториалах по глубокому обучению и его приложениях, в частности, вот небольшая обзорная лекция в Кавказском Математическом Центре. Также во многом этот курс является адаптацией известнейшего курса http://cs231n.stanford.edu/

Предварительный график проведения курса.

Седьмая лекция в 14-30 МСК (15-30 по Самаре) 23.11.2020 в Zoom.

Ссылка будет позже.

Телеграмм группа курса: https://t.me/DL_SamU_2020

Предположительно, лекции будут вестись раз в две недели по понедельникам. Продолжительность лекции два астрономических часа.

Видеозапись первой лекции

Предварительный лекционный план.

План может меняться в процессе курса.

Лекция 1. Классификация, основанная на данных
Видеозапись лекции 14.09.2020
Введение в курс.
Задача классификации изображений.
Подходы основанные на данных.
Линейная классификация и knn-классификатор.

Презентация к лекции 1

Лекция 2. Функции потерь и оптимизация.
Видеозапись лекции 28.09.2020
Мультиклассовый SVM и его функция потерь.
Софтмакс и мультимодальная логистическая регрессия.
Оптимизация функции потерь.
Стохастический градиентный спуск (SGD).

Презентация к лекции 2

Лекция 3. Нейронные сети и обратное распространение ошибки.
Видеозапись лекции 28.09.2020
Классификация с точки зрения нейронной сети.
Многослойный перцептрон.
Представление сети в виде вычислительного графа. Алгоритм обратного распространения ошибки на вычислительном графе.

Презентация к лекции 3

Лекция 4. Сверточные сети (СНС).
История.
Основные операции СНС.
Применение СНС вне задач машинного зрения.

Презентация к лекции 4

Лекция 5. Инструментарий глубокого обучения.
Видеозапись лекции 30.10.2020
CPU vs GPU vs TPU.
Пакеты глубокого обучения, Tensorflow, Keras и другие.
Вычислительные графы СНС.

Презентация к лекции 5

Лекция 6. Обучение СНС, часть 1.
Активационные функции, обработка данных сетью.
Пакетная нормализация и другие трюки.
Transfer learning.

Презентация к лекции 6

Лекция 7. Обучение СНС, часть 2.
Политики обновления гиперпараметров.
Тюнинг процесса обучения. Аугментация данных.

Лекция 8. Архитектуры СНС
Базовые архитектуры - AlexNet, VGG, GoogleNet, ResNet, UNET и другие.

Лекция 9. Генеративные и рекуррентные модели
RNN/LSTM.
Механизм attention. Обработка естественного языка. GAN сети.

Лекция 10. Прикладные сценарии использования СНС
TBD.

Лекция 11. Перспективы развития ИИ
TBD.

Предварительный план лабораторных работ.

План может меняться в процессе курса.

Л.Р. 1
kNN, многоклассовый SVM, SoftMax.
Материалы к лабораторной.

Л.Р. 2
Двухслойная сеть.
Материалы к лабораторной.

Л.Р. 3
Многослойный перцептрон, обратное распространение ошибки, сверточные сети.
Материалы к лабораторной.

Л.Р. 4
Использование библиотеки Tensorflow для обучения СНС.
Материалы к лабораторной.

Л.Р. 5
Решение прикладной задачи с применением СНС.

Литература и дополнительные источнки

1. Отличная книга на русском по глубокому обучению -
   С. И. Николенко, А. Кадурин, Е. В. Архангельская, Глубокое обучение. Погружение в мир нейронных сетей. 2018

2. Отличная книга по техническим аспектам реализации на Python -
   Шолле Франсуа, Глубокое обучение на Python

3. Лекционный курс К.В. Воронцова по машинному обучению.

4. Видеолекция академика Ю.И. Журавлева об истоках машинного обучения в СССР и о сочетании эвристики и науки в распознавании образов.

5. Видеолекции С.И. Николенко по GAN сетям 1, 2. Хорошая проерка ваших знаний, на выходе из настоящего курса вы полностью понимать то, что говорится в этих лекциях по GAN.