diff --git a/README.md b/README.md index 59e5a26..3276365 100644 --- a/README.md +++ b/README.md @@ -34,14 +34,15 @@ https://t.me/+Ce9a_zQqPTI5MTJi ## Лекционный план 2024 -**Часть первая. Введение в глубокое обучение.** +**Часть первая. Вводные лекции, в том числе для самостоятельного изучения.** -**Лекции 1,2. Классификация, основанная на данных** +**Лекции 1. Введение в искусственные нейронные сети.** -Введение в курс. -Задача классификации изображений. +Введение в курс и краткая история вопроса. +Примеры решения задач на базе искусственных нейронных сетей. Подходы основанные на данных. -Основные идеи - От MLP до CNN. +Задачи технического зрения и предиктивной диагностики БАС. +**Дополнительный материал:** Основные идеи - От MLP до CNN. [Видеозапись первой части](https://youtu.be/pruCadZdhmQ) [Видеозапись второй части](https://youtu.be/bsdpRfQM-O8) @@ -51,7 +52,7 @@ https://t.me/+Ce9a_zQqPTI5MTJi **Часть вторая. Основы глубокого обучения.** -**Лекция 3. Функции потерь и оптимизация.** +**Лекция 2. Основы построения и применения искусственных нейронных сетей. Математическая формализация нейросетевого подхода.** Мультиклассовый SVM и его функция потерь. Софтмакс и мультимодальная логистическая регрессия. @@ -63,7 +64,7 @@ https://t.me/+Ce9a_zQqPTI5MTJi [Презентация к лекции 3](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/Lecture_3_SGD_22.pdf) [Python-ноутбук к лекции 3](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/Lecture_3.ipynb) -**Лекция 4. Нейронные сети и обратное распространение ошибки.** +**Лекция 3. Обучение нейронных сетей на основе обратного распространения ошибки.** Классификация с точки зрения нейронной сети. Многослойный перцептрон. @@ -76,15 +77,16 @@ https://t.me/+Ce9a_zQqPTI5MTJi [Презентация к лекции 4](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/lecture_4_BP_22.pdf) -**Лекция 5. Сверточные сети (СНС).** +**Лекция 4. Сверточные нейронные сети (СНС).** История. Основные операции СНС. +Применение СНС для решения задач технического зрения и предиктивной диагностики БАС. Применение СНС вне задач машинного зрения. Разбор задач к самостоятельной: расчет выхода сверточной сети. [Презентация к лекции 5](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/Lecture_5_CNN_22.pdf) -**Лекция 6. Инструментарий глубокого обучения.** +**Лекция 5. Инструментарий глубокого обучения.** CPU vs GPU vs TPU. Пакеты глубокого обучения, Tensorflow, Keras и другие. Вычислительные графы СНС. @@ -98,7 +100,7 @@ CPU vs GPU vs TPU. Три задачи из лекций 2-5. **Внимание:** участие в самостоятельной, как и сдача лабораторных, необходимое условие для допуска к экзамену. -**Лекция 7. Обучение СНС, часть 1.** +**Лекция 6.1. Обучение СНС, часть 1.** Активационные функции, обработка данных сетью. Пакетная нормализация и другие трюки. @@ -109,20 +111,21 @@ Transfer learning. [Презентация к лекции 7](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/lecture_7_Training1_22.pdf) -**Лекция 8. Обучение СНС, часть 2.** +**Лекция 6.2. Обучение СНС, часть 2.** Политики обновления гиперпараметров. Тюнинг процесса обучения. -Аугментация данных. +Вопросы регуляризации и аугментации данных. [Видеозапись восьмой лекции](https://youtu.be/X77_BhagkJ0) [Презентация к лекции 8](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/lecture_8_Training2_22.pdf) -**Лекция 9. Архитектуры СНС** +**Лекция 7. Базовые архитектуры СНС** -Базовые архитектуры - AlexNet, VGG, GoogleNet, ResNet, UNET и другие. +Базовые архитектуры - AlexNet, VGG, GoogleNet, ResNet, UNET и другие. +Основные архитектуры для решения задач технического зрения и предиктивной аналитики БАС. [Видеозапись девятой лекции](https://youtu.be/ihkqOdUQsmo) @@ -132,14 +135,20 @@ Transfer learning. **Часть третья. Дополнительные главы** -**Лекция 10. Трансформерные архитектуры** +**Лекция 8. Трансформерные архитектуры** + + +Сети-трансформеры. +Механизм внимания. +ViT-модели. +Применение в задачах технического зрения, анализа видео, интеллектуальной эксплуатации технических систем в том числе БАС. [Видеозапись десятой лекции](https://youtu.be/LjZxH6jGk-E) [Презентация к лекции 10](https://github.com/kvvik/DL_Course_SamU/blob/master/Lectures/lecture_10_Transfomers_22.pdf) - +**Самостоятельное изучение** **Лекция 11. Генеративные и рекуррентные модели** @@ -147,15 +156,16 @@ Transfer learning. Механизм attention. Обработка естественного языка. -2. GAN сети. +2. GAN сети и другие генеративные порходы. 3. Детектирование и сегментация. **Лекция 12. SOTA модели** -Трансформеры -Zero shot подходы -Метаобучение -Федеративное обучение + +Zero shot подходы. +Метаобучение. +Федеративное обучение. +Диффузные модели и мосты Шредингера.