Курс представляет собой общее введение в область цифровой обработки сигналов и не претендует на фундаментальность изложения теоретического материала. Основной упор в курсе направлен на оттачивание практических навыков с минимальным погружением в теоретические аспекты (доказательства и математические выводы) цифровой обработки сигналов в рамках лекционных занятий. Основная цель курса состоит в том, чтобы за ограниченный интервал времени погрузить обучающегося в рассматриваемую область и описать наиболее значимыми для практического использования инструменты цифровой обработки сигналов. Дополнительно в рамках настоящего курса кратко обсуждается связь области цифровой обработки сигналов и методов машинного обучения, а также акцентируется внимание на практическое использование цифровой обработки сигналов в задачах, связанных с обработкой звука, изображений и сигналов активности головного мозга человека. Рассматриваемый курс может выступать в виде самостоятельного введения в область цифровой обработки сигналов, а также может рассматриваться в качестве отдельного раздела других учебных дисциплин: "Распознавание диктора", "Распознавание речи", "Синтез речи" и т.п.
Версии курса, прочитанные в НИУ ВШЭ в Санкт-Петербурге в 2022 и 2023 годах, могут быть найдены по следующим ссылкам:
Цифровая обработка сигналов 2022, НИУ ВШЭ, Санкт-Петербург (ссылка);
Цифровая обработка сигналов 2023, НИУ ВШЭ, Санкт-Петербург (ссылка).
Материалы курса содержат презентации лекций и практических занятий, видеозаписи занятий, описания тестовых заданий и проектов, а также лабораторных работ.
Учебно-методическое пособие по курсу "Распознавание диктора" под авторством Волохова В.А., Лаврентьевой Г.М., Новосёлова С.А. и Матвеева Ю.А. содержится набор лабораторных
работ по ряду разделов курса «Распознавание диктора». Приводятся основные
теоретические сведения, необходимые для выполнения каждой работы, содержание, порядок выполнения и требования
для сдачи лабораторного задания, контрольные вопросы, списки рекомендуемой
литературы, а также примеры программных кодов, написанных с использованием
языка Python. Предназначено
для студентов магистратуры, обучающихся по направлению 09.04.02
«Информационные системы и технологии» и осваивающих образовательную программу
по профилю подготовки «Речевые технологии и машинное обучение», а также научных
руководителей магистрантов. Пособие, а также заготовки программных кодов, сопровождающие его, могут быть найдены по следующей ссылке.
Настоящий курс представляет собой общее введение в область цифровой обработки сигналов и не претендует на фундаментальность изложения теоретического материала. Курс может быть использован при проведении занятий в магистратуре по соответствующим специальностям и направления, где основной упор направлен на оттачивание практических навыков с минимальным погружением в теоретические аспекты (доказательства и математические выводы) цифровой обработки сигналов в рамках лекционных занятий. Основная цель курса состоит в том, чтобы за ограниченный интервал времени погрузить обучающегося в рассматриваемую область и описать наиболее значимыми для практического использования инструменты цифровой обработки сигналов. Дополнительно в рамках настоящего курса кратко обсуждается связь области цифровой обработки сигналов и методов машинного обучения. Рассматриваемый курс может выступать в виде самостоятельного введения в область цифровой обработки сигналов, а также может рассматриваться в качестве отдельного раздела других учебных дисциплин: "Распознавание диктора", "Распознавание речи", "Синтез речи" и т.п.
Учебный план
Основными учебными компонентами курса являются:
Лекционные занятия в количестве четырёх лекций, которые могут быть прочитаны в течение восьми академических часов.
Тестовые задания в количестве четырёх домашних работ студентов по темам рассматриваемых лекций.
Лабораторный практикум в количестве четырёх лабораторных работ, рассчитанных на шестнадцать академических часов.
Экзамен в качестве итоговой аттестации.
Лекционные занятия
Лекционный материал охватывает следующие тематические разделы:
Основы цифровой обработки сигналов. Что такое сигнал и его обработка? Фундаментальные концепции в цифровой обработке сигналов. Дискретизация по времени и теорема отсчетов, дискретизация по амплитуде. Хранение, обработка и передача цифровых сигналов. Сигналы дискретного времени, их примеры и классификация. Энергия и мощность сигналов дискретного времени. Разница между «цифровыми» и «аналоговыми» частотами. Как ваш компьютер воспроизводит звук? Цифровая обработка сигналов как LEGO. Схемы, построенные из блоков цифровой обработки сигналов. Алгоритм Карплуса–Стронга (презентация). Звуковое сопровождение к некоторым слайдам (имя папки соответствует номеру слайда, ссылка).
Представление сигналов в спектральной области. Что такое спектр? Почему синусоиды лежат в основе преобразования Фурье? Естественные детекторы синусоид у человека. Формы преобразования Фурье для дискретного времени. Преобразование Фурье для цифровых изображений. Машина для восстановления сигнала. Идея алгоритма быстрого преобразования Фурье. Оконное преобразование Фурье. Банк фильтров. Вычисление мел-частотных кепстральных коэффициентов (презентация). Звуковое сопровождение к некоторым слайдам (имя папки соответствует номеру слайда, ссылка).
Цифровые фильтры. Что такое цифровой фильтр? Что такое линейный инвариантный к сдвигу фильтр? Что такое физически реализуемый фильтр? Что такое z-преобразование? Нерекурсивные и рекурсивные линейные инвариантные к сдвигу фильтры. Основные характеристики линейных инвариантных к сдвигу фильтров. Что такое взаимная корреляция и свёртка? Теорема о свёртке. Фильтры как инструмент создания звуковых эффектов (презентация). Звуковое сопровождение к некоторым слайдам (имя папки соответствует номеру слайда, ссылка).
Цифровая обработка сигналов и машинное обучение. Нерекурсивные и рекурсивные фильтры – это нейронные сети! Нерекурсивный фильтр и ResNet-блок. Банк фильтров и Inception-блок. «Свёртка» в свёрточных нейронных сетях. Понижение частоты дискретизации и пулинг. Рекурсия и фильтрация в методе моментов. Цифровая обработка сигналов и голосовая биометрия. Мел-частотные кепстральные коэффициенты в задаче верификации дикторов. Синтез фильтров и end-to-end обучение системы верификации дикторов (презентация).
Видеолекции
Первый прототип видеолекций по данному курсу был записан в рамках Летней школы по машинному обучению ЦРТ 2019. Полный обзор всех блоков лекций школы можно получить по следующей ссылке. О летней школе ЦРТ можно найти информацию здесь.
Тестовые задания
Основные тестовые задания представлены ниже:
Тест №1 (ссылка). Тестовые задания составлены на основе лекции №1.
Тест №2 (ссылка). Тестовые задания составлены на основе лекции №2.
Тест №3 (ссылка). Тестовые задания составлены на основе лекций №2 и №3.
Тест №4 (ссылка). Тестовые задания составлены на основе лекций №3 и №4.
Лабораторный практикум
В настоящий момент существует некоторый идейный набросок лабораторных работ в виде порядка выполнения (ссылка). Предполагается, что при выполнении лабораторного практикума обучающимися будут написаны некоторые программные коды, например, на языке Python, демонстрирующие усвоение теоретического материала. Вспомогательные звукозаписи для выполнения лабораторного практикума могут быть найдены по следующей ссылке.
Экзамен
Основные вопросы для подготовки к экзамену могут найдены по следующей ссылке. Поскольку рассматриваемый курс является общим введением в цифровую обработку сигналов рекомендуется принимать экзамен по одной из следующих схем:
Экзамен в форме собеседования, предполагающий сдачу основного теоретического минимума в рамках материалов курса в режиме вопрос-ответ.
Экзамен в форме защиты актуальных научных исследований или анализа научных публикаций, связанных с цифровой обработкой сигналов, выбранных обучающимися самостоятельно. Для защиты обучающемуся рекомендуется составить презентацию на 7-10 слайдов, демонстрирующих цель и задачи, идею исследования и основные результаты.
Список литературы
Hayes M.H. Schaum’s Ouline of Theory and Problems of Digital Signal Processing. McGraw-Hill, 1999 (ссылка).
Hsu H.P. Schaum’s Ouline of Theory and Problems of Signals and Systems. McGraw-Hill, 1995 (ссылка).
Hsu H.P. Schaum’s Ouline of Theory and Problems of Probability, Random Variables, and Random Processes. McGraw-Hill, 1997 (ссылка).
Hsu H.P. Schaum’s Ouline of Theory and Problems of Analog and Digital Communications. McGraw-Hill, 2003 (ссылка).
Prandoni P., Vetterli M. Signal Processing for Communications. EPFL Press, 2008 (ссылка).
Настоящий курс представляет собой общее введение в область цифровой обработки сигналов и не претендует на фундаментальность изложения теоретического материала. Курс может быть использован при проведении занятий в магистратуре по соответствующим специальностям и направления, где основной упор направлен на оттачивание практических навыков с минимальным погружением в теоретические аспекты (доказательства и математические выводы) цифровой обработки сигналов в рамках лекционных занятий. Основная цель курса состоит в том, чтобы за ограниченный интервал времени погрузить обучающегося в рассматриваемую область и описать наиболее значимыми для практического использования инструменты цифровой обработки сигналов. Дополнительно в рамках настоящего курса кратко обсуждается связь области цифровой обработки сигналов и методов машинного обучения. Рассматриваемый курс может выступать в виде самостоятельного введения в область цифровой обработки сигналов, а также может рассматриваться в качестве отдельного раздела других учебных дисциплин: "Распознавание диктора", "Распознавание речи", "Синтез речи" и т.п.
Учебный план
Основными учебными компонентами курса являются:
Лекционные занятия в количестве четырёх лекций, которые могут быть прочитаны в течение восьми академических часов.
Тестовые задания в количестве четырёх домашних работ студентов по темам рассматриваемых лекций.
Лабораторный практикум в количестве четырёх лабораторных работ, рассчитанных на шестнадцать академических часов.
Экзамен в качестве итоговой аттестации.
Лекционные занятия
Лекционный материал охватывает следующие тематические разделы:
Основы цифровой обработки сигналов. Что такое сигнал и его обработка? Фундаментальные концепции в цифровой обработке сигналов. Дискретизация по времени и теорема отсчетов, дискретизация по амплитуде. Хранение, обработка и передача цифровых сигналов. Сигналы дискретного времени, их примеры и классификация. Энергия и мощность сигналов дискретного времени. Разница между «цифровыми» и «аналоговыми» частотами. Как ваш компьютер воспроизводит звук? Цифровая обработка сигналов как LEGO. Схемы, построенные из блоков цифровой обработки сигналов. Алгоритм Карплуса–Стронга (презентация). Звуковое сопровождение к некоторым слайдам (имя папки соответствует номеру слайда, ссылка).
Представление сигналов в спектральной области. Что такое спектр? Почему синусоиды лежат в основе преобразования Фурье? Естественные детекторы синусоид у человека. Формы преобразования Фурье для дискретного времени. Преобразование Фурье для цифровых изображений. Машина для восстановления сигнала. Идея алгоритма быстрого преобразования Фурье. Оконное преобразование Фурье. Банк фильтров. Вычисление мел-частотных кепстральных коэффициентов (презентация). Звуковое сопровождение к некоторым слайдам (имя папки соответствует номеру слайда, ссылка).
Цифровые фильтры. Что такое цифровой фильтр? Что такое линейный инвариантный к сдвигу фильтр? Что такое физически реализуемый фильтр? Что такое z-преобразование? Нерекурсивные и рекурсивные линейные инвариантные к сдвигу фильтры. Основные характеристики линейных инвариантных к сдвигу фильтров. Что такое взаимная корреляция и свёртка? Теорема о свёртке. Фильтры как инструмент создания звуковых эффектов (презентация). Звуковое сопровождение к некоторым слайдам (имя папки соответствует номеру слайда, ссылка).
Цифровая обработка сигналов и машинное обучение. Нерекурсивные и рекурсивные фильтры – это нейронные сети! Нерекурсивный фильтр и ResNet-блок. Банк фильтров и Inception-блок. «Свёртка» в свёрточных нейронных сетях. Понижение частоты дискретизации и пулинг. Рекурсия и фильтрация в методе моментов. Цифровая обработка сигналов и голосовая биометрия. Мел-частотные кепстральные коэффициенты в задаче верификации дикторов. Синтез фильтров и end-to-end обучение системы верификации дикторов (презентация).
Видеолекции
Видеолекции по данному курсу были записаны в рамках Летней школы по машинному обучению ЦРТ 2019. Полный обзор всех блоков лекций школы можно получить по следующей ссылке. О летней школе ЦРТ можно найти информацию здесь.
Тестовые задания
Основные тестовые задания представлены ниже:
Тест №1 (ссылка). Тестовые задания составлены на основе лекции №1.
Тест №2 (ссылка). Тестовые задания составлены на основе лекции №2.
Тест №3 (ссылка). Тестовые задания составлены на основе лекций №2 и №3.
Тест №4 (ссылка). Тестовые задания составлены на основе лекций №3 и №4.
Лабораторный практикум
В настоящий момент существует некоторый идейный набросок лабораторных работ в виде порядка выполнения (ссылка). Предполагается, что при выполнении лабораторного практикума обучающимися будут написаны некоторые программные коды, например, на языке Python, демонстрирующие усвоение теоретического материала. Вспомогательные звукозаписи для выполнения лабораторного практикума могут быть найдены по следующей ссылке.
Экзамен
Основные вопросы для подготовки к экзамену могут найдены по следующей ссылке. Поскольку рассматриваемый курс является общим введением в цифровую обработку сигналов рекомендуется принимать экзамен по одной из следующих схем:
Экзамен в форме собеседования, предполагающий сдачу основного теоретического минимума в рамках материалов курса в режиме вопрос-ответ.
Экзамен в форме защиты актуальных научных исследований или анализа научных публикаций, связанных с цифровой обработкой сигналов, выбранных обучающимися самостоятельно. Для защиты обучающемуся рекомендуется составить презентацию на 7-10 слайдов, демонстрирующих цель и задачи, идею исследования и основные результаты.
Список литературы
Hayes M.H. Schaum’s Ouline of Theory and Problems of Digital Signal Processing. McGraw-Hill, 1999 (ссылка).
Hsu H.P. Schaum’s Ouline of Theory and Problems of Signals and Systems. McGraw-Hill, 1995 (ссылка).
Hsu H.P. Schaum’s Ouline of Theory and Problems of Probability, Random Variables, and Random Processes. McGraw-Hill, 1997 (ссылка).
Hsu H.P. Schaum’s Ouline of Theory and Problems of Analog and Digital Communications. McGraw-Hill, 2003 (ссылка).
Prandoni P., Vetterli M. Signal Processing for Communications. EPFL Press, 2008 (ссылка).
Всем привет! Давно ничего не выкладывал здесь, так как не было каких-то новых методических наработок. В этом году они появились в виде нескольких обзорных лекций по цифровой обработке сигналов, которые мне посчастливилось прочитать в рамках третьей летней школы, организованной сотрудниками группы компаний Центр речевых технологий (ЦРТ). Блок лекций по цифровой обработке сигналов выглядел следующим образом:
Основы цифровой обработки сигналов. Что такое сигнал и его обработка? Фундаментальные концепции в цифровой обработке сигналов. Дискретизация по времени и теорема отсчетов, дискретизация по амплитуде. Хранение, обработка и передача цифровых сигналов. Сигналы дискретного времени, их примеры и классификация. Энергия и мощность сигналов дискретного времени. Разница между «цифровыми» и «аналоговыми» частотами. Как ваш компьютер воспроизводит звук? Цифровая обработка сигналов как LEGO. Схемы, построенные из блоков цифровой обработки сигналов. Алгоритм Карплуса–Стронга.
Представление сигналов в спектральной области. Что такое спектр? Почему синусоиды лежат в основе преобразования Фурье? Естественные детекторы синусоид у человека. Формы преобразования Фурье для дискретного времени. Преобразование Фурье для цифровых изображений. Машина для восстановления сигнала. Идея алгоритма быстрого преобразования Фурье. Оконное преобразование Фурье. Банк фильтров. Вычисление мел-частотных кепстральных коэффициентов.
Цифровые фильтры. Что такое цифровой фильтр? Что такое линейный инвариантный к сдвигу фильтр? Что такое физически реализуемый фильтр? Что такое z-преобразование? Нерекурсивные и рекурсивные линейные инвариантные к сдвигу фильтры. Основные характеристики линейных инвариантных к сдвигу фильтров. Что такое взаимная корреляция и свёртка? Теорема о свёртке. Фильтры как инструмент создания звуковых эффектов.
Цифровая обработка сигналов и машинное обучение. Нерекурсивные и рекурсивные фильтры – это нейронные сети! Нерекурсивный фильтр и ResNet-блок. Банк фильтров и Inception-блок. «Свёртка» в свёрточных нейронных сетях. Понижение частоты дискретизации и пулинг. Рекурсия и фильтрация в методе моментов. Цифровая обработка сигналов и голосовая биометрия. Мел-частотные кепстральные коэффициенты в задаче верификации дикторов. Синтез фильтров и end-to-end обучение системы верификации дикторов.
Полный обзор всех блоков лекций школы в формате видеолекций можно получить по следующей ссылке. О летней школе ЦРТ можно найти информацию здесь. Всех с наступающим Новым 2020 годом и удачи! С уважением, Владимир Волохов.
Здравствуйте. Сообщаю информацию по времени, когда можно будет отчитаться по долгам по соответствующим курсам.
1. Курс "Инженерная и компьютерная графика", ИТС-11БО и РТ-11БО. Сдача лабораторных работ и зачета состоится 05.01.2017 в ауд. 306 (первый уч. корпус) с 12.00 до 14.00. 2. Курс "Основы цифровой обработки сигналов", ИТС-31БО. Сдача лабораторных работ и зачета состоится 05.01.2018 в ауд. 306 (первый уч. корпус) с 14.00 до 16.00, а также 06.01.2018 в ауд. 306 (первый уч. корпус) с 12.00 до 15.00. 3. Курс "Основы цифровой обработки сигналов", РТ-31БО. Сдача лабораторных работ и зачета состоится 05.01.2018 в ауд. 306 (первый уч. корпус) с 16.00 до 18.00, а также 06.01.2018 в ауд. 306 (первый уч. корпус) с 15.00 до 18.00. 4. Курс "Стат. теория РТС", РТ-41БО. Сдача зачета и лабораторных работ состоится 06.01.2018 в ауд. 306 (первый уч. корпус) с 15.00 до 18.00.
Начинает свою работу страница курса "Прикладная информатика: машинное обучение" (осенняя сессия). Для участия в курсе необходима регистрация на сайте. Документы для зачисления на курс можно скачать по следующей ссылке. Обращаю внимание на то, что договор для учащихся, получивших высшее образование (бакалавр, магистр, специалист), отличается от договора для учащихся без высшего образования в п. 3.6. Заполнять договор и остальные документы можно вручную (максимально разборчиво вписав необходимые данные), места выделенные красным требуется заменить на свои ФИО. Договор должен быть составлен в 2-х экземплярах. Оплату обучения можно будет производить после того, как вторая версия договора с подписями и печатями будет у вас!
Важно! Примеры оформления документов можно скачать здесь.
В настоящем разделе размещена информация, затрагивающая литературу, ссылки, лекционные и практические занятия по темам курса, а также примеры реализаций алгоритмов.
Место и время проведения
Знаменская башня (ул. Первомайская, д. 2а). Занятия проводятся два раза в неделю: среда (15.00 до 17.35) и суббота (с 12.00 до 15.35).
Темы лекционных занятий
Введение и обзор материала курса. Линейная регрессия с одной переменной (презентация .pptx). Python 3 скачиваем здесь. Ссылки на библиотеки NumPy, SciPy, Matplotlib и Scikit-Learn. Опционально могут быть установлены библиотеки OpenCV, Pandas и Scikit-Image. Возможной сборкой пакетов для работы с Python может служить Anaconda. Коды можно набивать в текстовом редакторе Siblime Text 3, далее выполняя их через командную строку. Как установить библиотеку OpenCV под Python 3 можно прочитать здесь. Полезным введением в язык программирования Python является следующий online-курс, а также следующий источник. Для улучшения понимания внутренней работы Python рекомендуется обратиться к Python Tutor.
Линейная регрессия со множеством переменных. Классификация. Логистическая регрессия (презентация .pptx).
Искусственные нейронные сети (представление) (презентация .pptx). Для работы со сверточными нейронными сетям, возможно, окажутся полезными следующие библиотеки: OpenCV, Theano, TensorFlow и Caffe.
Рекомендации по применению алгоритмов машинного обучения. Построение систем машинного обучения. Оптическое распознавание символов. Данные, данные, данные ...(презентация .pptx). Дополнительно рекомендуется ознакомиться с лекцией "Метрики качества классификации" курса "Введение в машинное обучение" от Высшей школы экономики. Ссылка на презентации из данной лекции находится здесь.
Анализ главных компонент (презентация .pptx). Копию оригинальной статьи К. Пирсона 1901 г., в которой было предложено описание анализа главных компонент может быть найдена здесь. Ссылка на статью Turk M., Pentland А. Eigenfaces for Recognition // Journal of Cognitive neuroscience. 1991. V. 3, №1. P. 73–86 может быть найдена здесь. Опционально, про применение анализа главных компонент в задаче шумоподавления на цифровых изображениях можно узнать из следующего источника. В лекции №29 курса Strang G. Linear Algebra (18.06, 1999, MIT) можно ознакомиться с темой, посвященной SVD - Singular Value Decomposition (ссылка).
Детектирование лиц на основе алгоритма Виола / Джонса (презентация .pptx). Ссылка на статью Viola P., Jones M. Robust Real-time Object Detection // Int. J. Computer Vision. 2004. V. 57, №2. P. 137–154 (ссылка). Видеоролики, демонстрирующие использование алгоритма Виола / Джонса для управления мобильным роботом (ссылка 1, ссылка 2). Демонстрационный программный код, показывающий работу детектора Виола / Джонса можно найти здесь. Для запуска кода потребуется установить библиотеку OpenCV по следующей ссылке.
Ng A. Machine Learning (CS 229), 2009. Stanford University(ссылка 1, ссылка 2).
Ng A. Unsupervised Feature Learning and Deep Learning. Stanford University (ссылка 1, ссылка 2).
Ng A. Machine Learning (Open Classroom). Stanford University (ссылка).
Сайт посвященный новой области машинного обучения - глубокому обучению (Deep Learning). Глубокое обучение введено с целью смещения машинного обучения к одной из его первоначальных целей - искусственному интеллекту (Artificial Intelligence) (ссылка 1, ссылка 2).
Goodfellow I., Bengio Y., Courville A. Deep Learning. MIT Press, 2016 (ссылка).
Li F.-F. et al. CS231n: Convolutional Neural Networks for Visual Recognition, 2017. Stanford University (ссылка).
TensorFlow and Deep Learning, without PhD. Google Codelabs (ссылка).
Профессиональный информационно-аналитический ресурс, который затрагивает машинное обучение, а также распознавание образов и интеллектуальный анализ данных (ссылка).
Анохин Н., Гулин В., Нестеров П. Data Mining. Проект Техносфера (ссылка).
Szelicki R. Computer Vision: Algorithms and Applications. Springer, 2010(ссылка).
Конушин A. Семантическая классификация изображений (видеолекции), 2010. Сomputer Science клуб при ПОМИ РАН(ссылка).
Ерухимов В. Компьютерное зрение и библиотека OpenCV (видеолекции), 2011. Сomputer Science клуб при ПОМИ РАН(ссылка).
Конушин А. Курсы "Введение в компьютерное зрение" и "Доп. главы компьютерного зрения" (видеолекции), 2011. Лаборатория компьютерной графики при ВМК МГУ(ссылка).
Efros A. Learning-Based Methods in Vision (16-721), 2009. Carnegie Mellon University (ссылка).
Kemelmacher I., Rao R., Seitz S., Shapiro L. Computer Vision (CSE 455), 2003 - 2017. University of Washington (ссылка).
Lazebnik S. Computer Vision (COMP 776), 2016. The University of North Carolina at Chapel Hill (ссылка).
Thrun S. Computer Vision / Introduction to Computer Vision (CS 223b), 2004 - 2009. Stanford University (ссылка).
Online курсы
Информация по наиболее интересным online курсам приведена в первой презентации. Напоминаю, что с 2011 года ряд западных университетов начал практику создания online-курсов (www.coursera.org, www.udacity.org) по различным дисциплинам. Например, "Искусственный интеллект", "Машинное обучение", "Компьютерное зрение" и т.д. Для ознакомления с материалами курсов (видеолекциями, практическими заданиями и т.д.) нужна регистрация!
Руководитель курса: доцент кафедры инфокоммуникаций и радиофизики Волохов В.А.
