|
|
|
@ -1,3 +1,69 @@
|
|
|
|
|
# Курс "Нейронные сети и глубокое обучение" Самарского Университета
|
|
|
|
|
Лектор Артем Владимирович Никоноров, д.т.н., artniko@gmail.com
|
|
|
|
|
Ассистент Евдокимова Виктория Витальевна, аспирант Самарского Университета, vkutikova94@gmail.com.
|
|
|
|
|
Ассистент Евдокимова Виктория Витальевна, аспирант Самарского Университета, vkutikova94@gmail.com
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Курс основывается на предыдущих более обзорных лекциях и туториалах по глубокому обучению и его приложениях, в частности, вот небольшая обзорная лекция в Кавказком Математическом Центре. Также во многом этот курс является адаптацией известнейшего курса http://cs231n.stanford.edu/
|
|
|
|
|
|
|
|
|
|
## Предварительный лекционный план.
|
|
|
|
|
|
|
|
|
|
План может менятся в процессе курса.
|
|
|
|
|
|
|
|
|
|
**Лекция 1. Классификация, основанная на данных**
|
|
|
|
|
Введение в курс.
|
|
|
|
|
Задача классификации изображений.
|
|
|
|
|
Подходы основанные на данных.
|
|
|
|
|
Линейная классификация и knn-классификатор.
|
|
|
|
|
|
|
|
|
|
**Лекция 2. Функции потерь и оптимизация.**
|
|
|
|
|
Мультиклассовый SVM и его функция потерь.
|
|
|
|
|
Софтмакс и мультимодальная логистическая регрессия.
|
|
|
|
|
Оптимизация функции потерь.
|
|
|
|
|
Стохастический градиентный спуск.
|
|
|
|
|
|
|
|
|
|
**Лекция 3. Нейронные сети и обратное распространение ошибки.**
|
|
|
|
|
Алгоритм обратного распространения ошибки.
|
|
|
|
|
Многослойный перцептрон.
|
|
|
|
|
Классификация с точки зрения нейронной сети.
|
|
|
|
|
|
|
|
|
|
**Лекция 4. Сверточные сети (СНС).**
|
|
|
|
|
История.
|
|
|
|
|
Основные операции СНСС.
|
|
|
|
|
Применение СНС вне задач машинного зрения.
|
|
|
|
|
|
|
|
|
|
**Лекция 5. Инструментарий глубокого обучения.**
|
|
|
|
|
CPU vs GPU vs TPU.
|
|
|
|
|
Пакеты глубокого обучения, Tensorflow, Keras и другие.
|
|
|
|
|
Вычислительные графы СНС.
|
|
|
|
|
|
|
|
|
|
**Лекция 6. Обучение СНС, часть 1.**
|
|
|
|
|
Активационные функции, обработка данных сетью.
|
|
|
|
|
Пакетная нормализация и другие трюки.
|
|
|
|
|
Transfer learning.
|
|
|
|
|
|
|
|
|
|
**Лекция 7. Обучение СНС, часть 2.**
|
|
|
|
|
Политики обновления гиперпараметров.
|
|
|
|
|
Тюнинг процесса обучения.
|
|
|
|
|
Аугментация данных.
|
|
|
|
|
|
|
|
|
|
**Лекция 8. Архитектуры СНС**
|
|
|
|
|
Базовые архитектуры - AlexNet, VGG, GoogleNet, ResNet, UNET и другие.
|
|
|
|
|
|
|
|
|
|
**Лекция 9. Генеративные и рекуррентные модели**
|
|
|
|
|
RNN/LSTM.
|
|
|
|
|
Механизм attention.
|
|
|
|
|
Обработка естественного языка.
|
|
|
|
|
GAN сети.
|
|
|
|
|
|
|
|
|
|
**Лекция 10. Прикладные сценарии использования СНС**
|
|
|
|
|
TBD.
|
|
|
|
|
|
|
|
|
|
**Лекция 11. Перспективы развития ИИ**
|
|
|
|
|
TBD.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|