Курс "Нейронные сети и глубокое обучение" Самарского университета

Лектор Артем Владимирович Никоноров, д.т.н., artniko@gmail.com
Ассистент Виктория Витальевна Евдокимова, аспирант Самарского университета, data.science.sbj@gmail.com

Курс основывается на предыдущих более обзорных лекциях и туториалах по глубокому обучению и его приложениях, в частности, вот небольшая обзорная лекция в Кавказском Математическом Центре. Также во многом этот курс является адаптацией известнейшего курса http://cs231n.stanford.edu/

6235 - Зачет и экзамен (январь 2021).

Зачет по лабораторным 25.12.20 с 11.30, подробности в чате в личном кабинете.
Консультация в 10-00 25 января 2021 в zoom, ссылка будет позднее.
Экзамен 26 января 2021.

Вопросы.
Примеры задач.

График проведения курса 2020-2021.

Лекционный курс закончен, видеозаписи 2020-21 годов приведены ниже.

Телеграмм группа курса: https://t.me/DL_SamU_2020

Лекции раз в две недели по понедельникам. Продолжительность лекции два астрономических часа.

Видеозапись первой лекции

Лекционный план 2020-2021

Лекция 1. Классификация, основанная на данных
Видеозапись лекции 14.09.2020
Введение в курс.
Задача классификации изображений.
Подходы основанные на данных.
Линейная классификация и knn-классификатор.

Презентация к лекции 1

Лекция 2. Функции потерь и оптимизация.
Видеозапись лекции 28.09.2020
Мультиклассовый SVM и его функция потерь.
Софтмакс и мультимодальная логистическая регрессия.
Оптимизация функции потерь.
Стохастический градиентный спуск (SGD).

Презентация к лекции 2

Лекция 3. Нейронные сети и обратное распространение ошибки.
Видеозапись лекции 28.09.2020
Классификация с точки зрения нейронной сети.
Многослойный перцептрон.
Представление сети в виде вычислительного графа. Алгоритм обратного распространения ошибки на вычислительном графе.

Презентация к лекции 3

Лекция 4. Сверточные сети (СНС).
История.
Основные операции СНС.
Применение СНС вне задач машинного зрения.

Презентация к лекции 4

Лекция 5. Инструментарий глубокого обучения.
Видеозапись лекции 30.10.2020
CPU vs GPU vs TPU.
Пакеты глубокого обучения, Tensorflow, Keras и другие.
Вычислительные графы СНС.

Презентация к лекции 5

Лекция 6. Обучение СНС, часть 1.

Видеозапись лекции 09.11.2020

Активационные функции, обработка данных сетью.
Пакетная нормализация и другие трюки.
Transfer learning.

Презентация к лекции 6

Лекция 7. Обучение СНС, часть 2.

Видеозапись лекции 23.11.2020

Политики обновления гиперпараметров.
Тюнинг процесса обучения. Аугментация данных.

Презентация к лекции 7

Лекция 8. Архитектуры СНС

Видеозапись лекции 07.12.2020

Базовые архитектуры - AlexNet, VGG, GoogleNet, ResNet, UNET и другие.

Презентация к лекции 8

Лекция 9. Генеративные и рекуррентные модели

Видеозапись лекции 23.12.2020

1. RNN/LSTM.
   Механизм attention. Обработка естественного языка.

Презентация к лекции 9.1

2. GAN сети.

Презентация к лекции 9.2

3. Детектирование и сегментация.

Презентация к лекции 9.3

Лекция 10. Нейростевые модели и искусственный интеллект

Видеозапись лекции 10, 18.01.2021

План лабораторных работ.

План может меняться в процессе курса.

Л.Р. 1
kNN, многоклассовый SVM, SoftMax.
Материалы к лабораторной.

Л.Р. 2
Двухслойная сеть.
Материалы к лабораторной.

Л.Р. 3
Многослойный перцептрон, обратное распространение ошибки, сверточные сети.
Материалы к лабораторной.

Л.Р. 4
Использование библиотеки Tensorflow для обучения СНС.
Материалы к лабораторной.

Л.Р. 5
Решение прикладной задачи с применением СНС.

Задание на Л.Р. 5:

1. Определите задачу.
2. Предложите ее решение на основе СНС.
3. Реализуйте предложенное решение с использованием библиотеки глубокого обучения (например, Tensorflow).
4. Опишите результаты работы в виде статьи по шаблону конференции ИТНТ.

Интересные задачи можно найти в сборниках следующих конференций:
CVPR: IEEE Conference on Computer Vision and Pattern Recognition
ICCV: International Conference on Computer Vision
ECCV: European Conference on Computer Vision
или на сайте Kaggle .

Литература и дополнительные источники

1. Отличная книга на русском по глубокому обучению -
   С. И. Николенко, А. Кадурин, Е. В. Архангельская, Глубокое обучение. Погружение в мир нейронных сетей. 2018

2. Отличная книга по техническим аспектам реализации на Python -
   Шолле Франсуа, Глубокое обучение на Python

3. Лекционный курс К.В. Воронцова по машинному обучению.

4. Видеолекция академика Ю.И. Журавлева об истоках машинного обучения в СССР и о сочетании эвристики и науки в распознавании образов.

5. Видеолекции С.И. Николенко по GAN сетям 1, 2. Хорошая проверка ваших знаний, на выходе из настоящего курса вы должны полностью понимать то, что говорится в этих лекциях по GAN.