DL_Course_SamU/README.md

Курс "Нейронные сети и глубокое обучение" Самарского университета

Лектор Артем Владимирович Никоноров, д.т.н., artniko@gmail.com
Ассистенты: Виктория Витальевна Евдокимова, Никита Александрович Фирсов

Телеграмм группа курса: https://t.me/DL_SamU_2022

Курс основывается на предыдущих более обзорных лекциях и туториалах по глубокому обучению и его приложениях, в частности, вот небольшая обзорная лекция в Кавказском Математическом Центре. Также во многом этот курс является адаптацией известнейшего курса http://cs231n.stanford.edu/

Материалы курса за 2020-21 годы расположены здесь.

Курс 2022 года состоит из трех частей:
Введение в глубокое обучение: краткий обзор всех достижений машинного обучения до сверточных нейронных сетей, две лекции.
Основы глубокого обучения: собственно основной материал курса, порядка 8 лекций.
Дополнительные главы глубокого обучения: новинки и SOTA решения, трансформеры, метаобучение, zero shot learning и другое.

График проведения курса 2022-2023

Видеозаписи лекций 2020-21 годов можно найти по ссылке.

Лекции раз в две недели по четвергам. Начало в 19-00 по Самаре. Продолжительность лекции два астрономических часа.

Первая лекция: 10.09.22 в 10:00 в Zoom.

Следующая лекция: 07.10.22 в 10:00 в Zoom.

Подключиться к конференции Zoom
https://us02web.zoom.us/j/8366671872?pwd=NS9ZaXNWWG55Y0pESUZIZHlRa0U5dz09

Идентификатор конференции: 836 667 1872
Код доступа: 810019

Лекционный план 2022-2023

Часть первая. Введение в глубокое обучение.

Лекции 1,2. Классификация, основанная на данных

Введение в курс.
Задача классификации изображений.
Подходы основанные на данных.
Основные идеи - От MLP до CNN.

Видеозапись первой части
Видеозапись второй части
Презентация - TBD.

Часть вторая. Основы глубокого обучения.

Лекция 3. Функции потерь и оптимизация.

Мультиклассовый SVM и его функция потерь.
Софтмакс и мультимодальная логистическая регрессия.
Оптимизация функции потерь.
Стохастический градиентный спуск (SGD).

Видеозапись третьей лекции
Презентация к лекции

Лекция 3. Нейронные сети и обратное распространение ошибки.

Классификация с точки зрения нейронной сети.
Многослойный перцептрон.
Представление сети в виде вычислительного графа. Алгоритм обратного распространения ошибки на вычислительном графе.

Лекция 4. Сверточные сети (СНС).
История.
Основные операции СНС.
Применение СНС вне задач машинного зрения.

Лекция 5. Инструментарий глубокого обучения.
CPU vs GPU vs TPU.
Пакеты глубокого обучения, Tensorflow, Keras и другие.
Вычислительные графы СНС.

Лекция 6. Обучение СНС, часть 1.

Активационные функции, обработка данных сетью.
Пакетная нормализация и другие трюки.
Transfer learning.

Лекция 7. Обучение СНС, часть 2.

Политики обновления гиперпараметров.
Тюнинг процесса обучения. Аугментация данных.

Лекция 8. Архитектуры СНС

Базовые архитектуры - AlexNet, VGG, GoogleNet, ResNet, UNET и другие.

Часть третья. Дополнительные главы

Лекция 9. Генеративные и рекуррентные модели

1. RNN/LSTM.
   Механизм attention. Обработка естественного языка.

2. GAN сети.

3. Детектирование и сегментация.

Лекция 10. SOTA модели
Трансформеры
Zero shot подходы
Метаобучение
Федеративное обучение

План лабораторных работ

Списки групп и статус выполнения лабораторных работ можно найти в гугл-таблице .

• для групп 6231, 6233
• для группы 1143

Литература и дополнительные источники

1. Отличная книга на русском по глубокому обучению -
   С. И. Николенко, А. Кадурин, Е. В. Архангельская, Глубокое обучение. Погружение в мир нейронных сетей. 2018

2. Отличная книга по техническим аспектам реализации на Python -
   Шолле Франсуа, Глубокое обучение на Python

3. Лекционный курс К.В. Воронцова по машинному обучению.

4. Видеолекция академика Ю.И. Журавлева об истоках машинного обучения в СССР и о сочетании эвристики и науки в распознавании образов.

5. Видеолекции С.И. Николенко по GAN сетям 1, 2. Хорошая проверка ваших знаний, на выходе из настоящего курса вы должны полностью понимать то, что говорится в этих лекциях по GAN.