|
|
|
@ -34,14 +34,15 @@ https://t.me/+Ce9a_zQqPTI5MTJi
|
|
|
|
|
|
|
|
|
|
## Лекционный план 2024
|
|
|
|
|
|
|
|
|
|
**Часть первая. Введение в глубокое обучение.**
|
|
|
|
|
**Часть первая. Вводные лекции, в том числе для самостоятельного изучения.**
|
|
|
|
|
|
|
|
|
|
**Лекции 1,2. Классификация, основанная на данных**
|
|
|
|
|
**Лекции 1. Введение в искусственные нейронные сети.**
|
|
|
|
|
|
|
|
|
|
Введение в курс.
|
|
|
|
|
Задача классификации изображений.
|
|
|
|
|
Введение в курс и краткая история вопроса.
|
|
|
|
|
Примеры решения задач на базе искусственных нейронных сетей.
|
|
|
|
|
Подходы основанные на данных.
|
|
|
|
|
Основные идеи - От MLP до CNN.
|
|
|
|
|
Задачи технического зрения и предиктивной диагностики БАС.
|
|
|
|
|
**Дополнительный материал:** Основные идеи - От MLP до CNN.
|
|
|
|
|
|
|
|
|
|
[Видеозапись первой части](https://youtu.be/pruCadZdhmQ)
|
|
|
|
|
[Видеозапись второй части](https://youtu.be/bsdpRfQM-O8)
|
|
|
|
@ -51,7 +52,7 @@ https://t.me/+Ce9a_zQqPTI5MTJi
|
|
|
|
|
|
|
|
|
|
**Часть вторая. Основы глубокого обучения.**
|
|
|
|
|
|
|
|
|
|
**Лекция 3. Функции потерь и оптимизация.**
|
|
|
|
|
**Лекция 2. Основы построения и применения искусственных нейронных сетей. Математическая формализация нейросетевого подхода.**
|
|
|
|
|
|
|
|
|
|
Мультиклассовый SVM и его функция потерь.
|
|
|
|
|
Софтмакс и мультимодальная логистическая регрессия.
|
|
|
|
@ -63,7 +64,7 @@ https://t.me/+Ce9a_zQqPTI5MTJi
|
|
|
|
|
[Презентация к лекции 3](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/Lecture_3_SGD_22.pdf)
|
|
|
|
|
[Python-ноутбук к лекции 3](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/Lecture_3.ipynb)
|
|
|
|
|
|
|
|
|
|
**Лекция 4. Нейронные сети и обратное распространение ошибки.**
|
|
|
|
|
**Лекция 3. Обучение нейронных сетей на основе обратного распространения ошибки.**
|
|
|
|
|
|
|
|
|
|
Классификация с точки зрения нейронной сети.
|
|
|
|
|
Многослойный перцептрон.
|
|
|
|
@ -76,15 +77,16 @@ https://t.me/+Ce9a_zQqPTI5MTJi
|
|
|
|
|
|
|
|
|
|
[Презентация к лекции 4](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/lecture_4_BP_22.pdf)
|
|
|
|
|
|
|
|
|
|
**Лекция 5. Сверточные сети (СНС).**
|
|
|
|
|
**Лекция 4. Сверточные нейронные сети (СНС).**
|
|
|
|
|
История.
|
|
|
|
|
Основные операции СНС.
|
|
|
|
|
Применение СНС для решения задач технического зрения и предиктивной диагностики БАС.
|
|
|
|
|
Применение СНС вне задач машинного зрения.
|
|
|
|
|
Разбор задач к самостоятельной: расчет выхода сверточной сети.
|
|
|
|
|
|
|
|
|
|
[Презентация к лекции 5](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/Lecture_5_CNN_22.pdf)
|
|
|
|
|
|
|
|
|
|
**Лекция 6. Инструментарий глубокого обучения.**
|
|
|
|
|
**Лекция 5. Инструментарий глубокого обучения.**
|
|
|
|
|
CPU vs GPU vs TPU.
|
|
|
|
|
Пакеты глубокого обучения, Tensorflow, Keras и другие.
|
|
|
|
|
Вычислительные графы СНС.
|
|
|
|
@ -98,7 +100,7 @@ CPU vs GPU vs TPU.
|
|
|
|
|
Три задачи из лекций 2-5.
|
|
|
|
|
**Внимание:** участие в самостоятельной, как и сдача лабораторных, необходимое условие для допуска к экзамену.
|
|
|
|
|
|
|
|
|
|
**Лекция 7. Обучение СНС, часть 1.**
|
|
|
|
|
**Лекция 6.1. Обучение СНС, часть 1.**
|
|
|
|
|
|
|
|
|
|
Активационные функции, обработка данных сетью.
|
|
|
|
|
Пакетная нормализация и другие трюки.
|
|
|
|
@ -109,20 +111,21 @@ Transfer learning.
|
|
|
|
|
[Презентация к лекции 7](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/lecture_7_Training1_22.pdf)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**Лекция 8. Обучение СНС, часть 2.**
|
|
|
|
|
**Лекция 6.2. Обучение СНС, часть 2.**
|
|
|
|
|
|
|
|
|
|
Политики обновления гиперпараметров.
|
|
|
|
|
Тюнинг процесса обучения.
|
|
|
|
|
Аугментация данных.
|
|
|
|
|
Вопросы регуляризации и аугментации данных.
|
|
|
|
|
|
|
|
|
|
[Видеозапись восьмой лекции](https://youtu.be/X77_BhagkJ0)
|
|
|
|
|
|
|
|
|
|
[Презентация к лекции 8](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/lecture_8_Training2_22.pdf)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**Лекция 9. Архитектуры СНС**
|
|
|
|
|
**Лекция 7. Базовые архитектуры СНС**
|
|
|
|
|
|
|
|
|
|
Базовые архитектуры - AlexNet, VGG, GoogleNet, ResNet, UNET и другие.
|
|
|
|
|
Основные архитектуры для решения задач технического зрения и предиктивной аналитики БАС.
|
|
|
|
|
|
|
|
|
|
[Видеозапись девятой лекции](https://youtu.be/ihkqOdUQsmo)
|
|
|
|
|
|
|
|
|
@ -132,14 +135,20 @@ Transfer learning.
|
|
|
|
|
|
|
|
|
|
**Часть третья. Дополнительные главы**
|
|
|
|
|
|
|
|
|
|
**Лекция 10. Трансформерные архитектуры**
|
|
|
|
|
**Лекция 8. Трансформерные архитектуры**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Сети-трансформеры.
|
|
|
|
|
Механизм внимания.
|
|
|
|
|
ViT-модели.
|
|
|
|
|
Применение в задачах технического зрения, анализа видео, интеллектуальной эксплуатации технических систем в том числе БАС.
|
|
|
|
|
|
|
|
|
|
[Видеозапись десятой лекции](https://youtu.be/LjZxH6jGk-E)
|
|
|
|
|
|
|
|
|
|
[Презентация к лекции 10](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/lecture_10_Transfomers_22.pdf)
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
**Самостоятельное изучение**
|
|
|
|
|
**Лекция 11. Генеративные и рекуррентные модели**
|
|
|
|
|
|
|
|
|
|
|
|
|
|
@ -147,15 +156,16 @@ Transfer learning.
|
|
|
|
|
Механизм attention.
|
|
|
|
|
Обработка естественного языка.
|
|
|
|
|
|
|
|
|
|
2. GAN сети.
|
|
|
|
|
2. GAN сети и другие генеративные порходы.
|
|
|
|
|
|
|
|
|
|
3. Детектирование и сегментация.
|
|
|
|
|
|
|
|
|
|
**Лекция 12. SOTA модели**
|
|
|
|
|
Трансформеры
|
|
|
|
|
Zero shot подходы
|
|
|
|
|
Метаобучение
|
|
|
|
|
Федеративное обучение
|
|
|
|
|
|
|
|
|
|
Zero shot подходы.
|
|
|
|
|
Метаобучение.
|
|
|
|
|
Федеративное обучение.
|
|
|
|
|
Диффузные модели и мосты Шредингера.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|