Настоящий курс представляет собой общее введение в область цифровой обработки сигналов и не претендует на фундаментальность изложения теоретического материала. Курс может быть использован при проведении занятий в магистратуре по соответствующим специальностям и направления, где основной упор направлен на оттачивание практических навыков с минимальным погружением в теоретические аспекты (доказательства и математические выводы) цифровой обработки сигналов в рамках лекционных занятий. Основная цель курса состоит в том, чтобы за ограниченный интервал времени погрузить обучающегося в рассматриваемую область и описать наиболее значимыми для практического использования инструменты цифровой обработки сигналов. Дополнительно в рамках настоящего курса кратко обсуждается связь области цифровой обработки сигналов и методов машинного обучения. Рассматриваемый курс может выступать в виде самостоятельного введения в область цифровой обработки сигналов, а также может рассматриваться в качестве отдельного раздела других учебных дисциплин: "Распознавание диктора", "Распознавание речи", "Синтез речи" и т.п.
Учебный план
Основными учебными компонентами курса являются:
- Лекционные занятия в количестве четырёх лекций, которые могут быть прочитаны в течение восьми академических часов.
- Тестовые задания в количестве четырёх домашних работ студентов по темам рассматриваемых лекций.
- Лабораторный практикум в количестве четырёх лабораторных работ, рассчитанных на шестнадцать академических часов.
- Экзамен в качестве итоговой аттестации.
Лекционные занятия
Лекционный материал охватывает следующие тематические разделы:
- Основы цифровой обработки сигналов. Что такое сигнал и его обработка? Фундаментальные концепции в цифровой обработке сигналов. Дискретизация по времени и теорема отсчетов, дискретизация по амплитуде. Хранение, обработка и передача цифровых сигналов. Сигналы дискретного времени, их примеры и классификация. Энергия и мощность сигналов дискретного времени. Разница между «цифровыми» и «аналоговыми» частотами. Как ваш компьютер воспроизводит звук? Цифровая обработка сигналов как LEGO. Схемы, построенные из блоков цифровой обработки сигналов. Алгоритм Карплуса–Стронга (презентация). Звуковое сопровождение к некоторым слайдам (имя папки соответствует номеру слайда, ссылка).
- Представление сигналов в спектральной области. Что такое спектр? Почему синусоиды лежат в основе преобразования Фурье? Естественные детекторы синусоид у человека. Формы преобразования Фурье для дискретного времени. Преобразование Фурье для цифровых изображений. Машина для восстановления сигнала. Идея алгоритма быстрого преобразования Фурье. Оконное преобразование Фурье. Банк фильтров. Вычисление мел-частотных кепстральных коэффициентов (презентация). Звуковое сопровождение к некоторым слайдам (имя папки соответствует номеру слайда, ссылка).
- Цифровые фильтры. Что такое цифровой фильтр? Что такое линейный инвариантный к сдвигу фильтр? Что такое физически реализуемый фильтр? Что такое z-преобразование? Нерекурсивные и рекурсивные линейные инвариантные к сдвигу фильтры. Основные характеристики линейных инвариантных к сдвигу фильтров. Что такое взаимная корреляция и свёртка? Теорема о свёртке. Фильтры как инструмент создания звуковых эффектов (презентация). Звуковое сопровождение к некоторым слайдам (имя папки соответствует номеру слайда, ссылка).
- Цифровая обработка сигналов и машинное обучение. Нерекурсивные и рекурсивные фильтры – это нейронные сети! Нерекурсивный фильтр и ResNet-блок. Банк фильтров и Inception-блок. «Свёртка» в свёрточных нейронных сетях. Понижение частоты дискретизации и пулинг. Рекурсия и фильтрация в методе моментов. Цифровая обработка сигналов и голосовая биометрия. Мел-частотные кепстральные коэффициенты в задаче верификации дикторов. Синтез фильтров и end-to-end обучение системы верификации дикторов (презентация).
Видеолекции
Видеолекции по данному курсу были записаны в рамках Летней школы по машинному обучению ЦРТ 2019. Полный обзор всех блоков лекций школы можно получить по следующей ссылке. О летней школе ЦРТ можно найти информацию здесь.
Тестовые задания
Основные тестовые задания представлены ниже:
- Тест №1 (ссылка). Тестовые задания составлены на основе лекции №1.
- Тест №2 (ссылка). Тестовые задания составлены на основе лекции №2.
- Тест №3 (ссылка). Тестовые задания составлены на основе лекций №2 и №3.
- Тест №4 (ссылка). Тестовые задания составлены на основе лекций №3 и №4.
Лабораторный практикум
В настоящий момент существует некоторый идейный набросок лабораторных работ в виде порядка выполнения (ссылка). Предполагается, что при выполнении лабораторного практикума обучающимися будут написаны некоторые программные коды, например, на языке Python, демонстрирующие усвоение теоретического материала. Вспомогательные звукозаписи для выполнения лабораторного практикума могут быть найдены по следующей ссылке.
Экзамен
Основные вопросы для подготовки к экзамену могут найдены по следующей ссылке. Поскольку рассматриваемый курс является общим введением в цифровую обработку сигналов рекомендуется принимать экзамен по одной из следующих схем:
- Экзамен в форме собеседования, предполагающий сдачу основного теоретического минимума в рамках материалов курса в режиме вопрос-ответ.
- Экзамен в форме защиты актуальных научных исследований или анализа научных публикаций, связанных с цифровой обработкой сигналов, выбранных обучающимися самостоятельно. Для защиты обучающемуся рекомендуется составить презентацию на 7-10 слайдов, демонстрирующих цель и задачи, идею исследования и основные результаты.
Список литературы
- Hayes M.H. Schaum’s Ouline of Theory and Problems of Digital Signal Processing. McGraw-Hill, 1999 (ссылка).
- Hsu H.P. Schaum’s Ouline of Theory and Problems of Signals and Systems. McGraw-Hill, 1995 (ссылка).
- Hsu H.P. Schaum’s Ouline of Theory and Problems of Probability, Random Variables, and Random Processes. McGraw-Hill, 1997 (ссылка).
- Hsu H.P. Schaum’s Ouline of Theory and Problems of Analog and Digital Communications. McGraw-Hill, 2003 (ссылка).
- Prandoni P., Vetterli M. Signal Processing for Communications. EPFL Press, 2008 (ссылка).
Автор курса: к.т.н., доцент Волохов В.А.