10 KiB
Курс "Нейронные сети и глубокое обучение" Самарского Университета
Лектор Артем Владимирович Никоноров, д.т.н., artniko@gmail.com
Ассистент Виктория Витальевна Евдокимова, аспирант Самарского Университета, data.science.sbj@gmail.com
Курс основывается на предыдущих более обзорных лекциях и туториалах по глубокому обучению и его приложениях, в частности, вот небольшая обзорная лекция в Кавказском Математическом Центре. Также во многом этот курс является адаптацией известнейшего курса http://cs231n.stanford.edu/
6235 - Зачет и экзамен.
Зачет по лабораторным 25.12.20 с 11.30, подробности в чате в личном кабинете.
Консультация в 10-00 25 января в zoom, ссылка будет позднее.
Экзамен 26 января.
Предварительный график проведения курса.
Лекционный курс закончен, видеозаписи 2020-21 годов приведены ниже.
Телеграмм группа курса: https://t.me/DL_SamU_2020
Лекции раз в две недели по понедельникам. Продолжительность лекции два астрономических часа.
Предварительный лекционный план.
План может меняться в процессе курса.
Лекция 1. Классификация, основанная на данных
Видеозапись лекции 14.09.2020
Введение в курс.
Задача классификации изображений.
Подходы основанные на данных.
Линейная классификация и knn-классификатор.
Лекция 2. Функции потерь и оптимизация.
Видеозапись лекции 28.09.2020
Мультиклассовый SVM и его функция потерь.
Софтмакс и мультимодальная логистическая регрессия.
Оптимизация функции потерь.
Стохастический градиентный спуск (SGD).
Лекция 3. Нейронные сети и обратное распространение ошибки.
Видеозапись лекции 28.09.2020
Классификация с точки зрения нейронной сети.
Многослойный перцептрон.
Представление сети в виде вычислительного графа.
Алгоритм обратного распространения ошибки на вычислительном графе.
Лекция 4. Сверточные сети (СНС).
История.
Основные операции СНС.
Применение СНС вне задач машинного зрения.
Лекция 5. Инструментарий глубокого обучения.
Видеозапись лекции 30.10.2020
CPU vs GPU vs TPU.
Пакеты глубокого обучения, Tensorflow, Keras и другие.
Вычислительные графы СНС.
Лекция 6. Обучение СНС, часть 1.
Активационные функции, обработка данных сетью.
Пакетная нормализация и другие трюки.
Transfer learning.
Лекция 7. Обучение СНС, часть 2.
Политики обновления гиперпараметров.
Тюнинг процесса обучения.
Аугментация данных.
Лекция 8. Архитектуры СНС
Базовые архитектуры - AlexNet, VGG, GoogleNet, ResNet, UNET и другие.
Лекция 9. Генеративные и рекуррентные модели
- RNN/LSTM.
Механизм attention. Обработка естественного языка.
- GAN сети.
- Детектирование и сегментация.
Лекция 10. Нейростевые модели и исуксственный интеллект
Видеозапись лекции 10, 18.01.2021
План лабораторных работ.
План может меняться в процессе курса.
Л.Р. 1
kNN, многоклассовый SVM, SoftMax.
Материалы к лабораторной.
Л.Р. 2
Двухслойная сеть.
Материалы к лабораторной.
Л.Р. 3
Многослойный перцептрон, обратное распространение ошибки, сверточные сети.
Материалы к лабораторной.
Л.Р. 4
Использование библиотеки Tensorflow для обучения СНС.
Материалы к лабораторной.
Л.Р. 5
Решение прикладной задачи с применением СНС.
Задание на Л.Р. 5:
- Определите задачу.
- Предложите ее решение на основе СНС.
- Реализуйте предложенное решение с использованием библиотеки глубокого обучения (например, Tensorflow).
- Опишите результаты работы в виде статьи по шаблону конференции ИТНТ.
Интересные задачи можно найти в сборниках следующих конференций:
CVPR: IEEE Conference on Computer Vision and Pattern Recognition
ICCV: International Conference on Computer Vision
ECCV: European Conference on Computer Vision
или на сайте Kaggle .
Литература и дополнительные источнки
-
Отличная книга на русском по глубокому обучению -
С. И. Николенко, А. Кадурин, Е. В. Архангельская, Глубокое обучение. Погружение в мир нейронных сетей. 2018 -
Отличная книга по техническим аспектам реализации на Python -
Шолле Франсуа, Глубокое обучение на Python -
Видеолекция академика Ю.И. Журавлева об истоках машинного обучения в СССР и о сочетании эвристики и науки в распознавании образов.
-
Видеолекции С.И. Николенко по GAN сетям 1, 2. Хорошая проерка ваших знаний, на выходе из настоящего курса вы полностью понимать то, что говорится в этих лекциях по GAN.