Первая лекция по курсу "Методы машинного обучения" 2015 (факультатив) состоится 03.10.2015 в ауд. 306 (1-ый учебный корпус ФГБОУ ВПО ЯрГУ им. П.Г. Демидова). Начало в 14.00. С программой курса можно ознакомиться здесь. В настоящем разделе будет размещаться информация, затрагивающая литературу, ссылки, лекционный материал по тематике курса и примеры реализаций алгоритмов. По всем вопросам обращайтесь либо на электронную почту (volokhov@piclab.ru), либо оставляйте комментарии в рамках настоящего поста. Отвечу, даже не сомневайтесь :) Удачи!

Темы лекционных занятий
  1. Занятие № 1. Введение и обзор материала курса. Линейная регрессия с одной переменной (презентация .pptx). Про автономный вертолет читаем здесь. С оригинальным Стэнфордским курсом по машинному обучению Andrew Ng можно ознакомиться здесь. Неплохо написанную книжку по машинному обучению Stephen Marsland "Machine Learning: An Algorithmic Perspective" можно скачать здесь. Эта книга хорошо подходит для понимания базовых концепций в данной области. В ней есть примеры реализации алгоритмов машинного обучения на языке Python. Рекомендуется ознакомиться с книжкой написанной Александром Борисовичем Мерковым (к.т.н., сотрудник Института системного анализа РАН) "Введение в методы статистического обучения" (ссылка). Книга написана просто, доступно и дает хороший обзор современных методов распознавания. Также рекомендуется ознакомиться с отечественным профессиональным информационно-аналитическим ресурсом, который посвящен машинному обучению, распознаванию образов и интеллектуальному анализу данных (ссылка).
  2. Занятие № 2. Введение в систему компьютерного моделирования MATLAB (архив .rar). Законченная реализация алгоритма линейной регрессии с одной и несколькими переменными из online курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка).
  3. Занятие № 3. Линейная регрессия со множеством переменных. Классификация. Логистическая регрессия (презентация .pptx).
  4. Занятие № 4. Законченная реализация алгоритма логистической регрессии с регуляризацией и без нее из online курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка).
  5. Занятие № 5. Искусственные нейронные сети (представление) (презентация .pptx).
  6. Занятие № 6. Законченная реализация алгоритма логистической регрессии с регуляризацией и нейронной сети прямого распространения для решения задачи многоклассовой классификации на базе данных рукописных цифр MNIST из online курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка). Обращаю внимание на то, что в предложенной реализации по умолчанию используется только 5000 тренировочных примеров (вместо изначальных 60000) из базы данных MNIST, а также на то, что тестирование рассматриваемых алгоритмов осуществляется на примерах, которые использовались на этапе обучения. Дополнительно разрешение используемых фрагментов символов уменьшено до 20x20 пикселей по сравнению с оригинальным (28x28 пикселей). Поэтому сравнить полученные результаты с уже имеющимися на аналогичной базе данных (ссылка) нельзя! Несколько баз данных для обучение, в том числе MNIST (в удобном, родном для MATLAB формате mat) можно найти здесь. Интересно почитать следующую статью про сверточную нейронную сеть LeNet 5 (ссылка).
  7. Занятие № 7. Искусственные нейронные сети (обучение) (презентация .pptx). Автономное вождение / проект ALVINN (видео позаимствовано из курса Andrew Ng "Machine Learning" на www.coursera.org). "Соревнования века" Darpa Grand Challenge 2005 (ссылка 1, ссылка 2) и Darpa Urban Challenge 2007 (ссылка). О проекте "Stanley" можно почитать, например, здесь.
  8. Занятие № 8. Законченная реализация алгоритма обучения нейронной сети прямого распространения для решения задачи многоклассовой классификации на базе данных рукописных цифр MNIST из online курса Andrew Ng "Machine Learning" на www.coursera.org (ссылка).
Практические задания

Для всех желающих здесь будут выкладываться исходные практические задания из курса Andrew Ng "Machine Learning" на www.coursera.org, которые можно решать самостоятельно. Разбор решений будет производиться на лекциях, решенные задания будут последовательно выкладываться в разделе "Темы лекционных занятий".
  1. Линейная регрессия (ссылка).
  2. Логистическая регрессия (ссылка).
  3. Многоклассовая классификация и нейронные сети (ссылка).
  4. Обучение нейронных сетей (ссылка).
Тестовые задания
  1. Тест № 1. Введение и обзор материала курса. Линейная регрессия с одной переменной (ссылка). Сроки решения произвольные.
  2. Тест № 2. Линейная регрессия со множеством переменных. Классификация. Логистическая регрессия. Искусственные нейронные сети (представление) (ссылка). Сроки решения произвольные.
Дополнительные материалы
  1. Ng A. Machine Learning (CS 229), 2009. Stanford University (ссылка).
  2. Ng A. Unsupervised Feature Learning and Deep Learning. Stanford University (ссылка 1, ссылка 2).
  3. Сайт посвященный новой области машинного обучения - глубокому обучению (Deep Learning). Глубокое обучение введено с целью смещения машинного обучения к одной из его первоначальных целей - искусственному интеллекту (Artificial Intelligence) (ссылка 1, ссылка 2).
  4. Воронцов К.В. Машинное обучение, 2012/2013. ШАД Яндекс (ссылка).
  5. Профессиональный информационно-аналитический ресурс, который затрагивает машинное обучение, а также распознавание образов и интеллектуальный анализ данных (ссылка).
  6. Szelicki R. Computer Vision: Algorithms and Applications. Springer, 2010 (ссылка).
  7. Сетевой журнал "Компьютерная графика и мультимедиа" (ссылка).
  8. Конушин A. Семантическая классификация изображений (видеолекции), 2010. Сomputer Science клуб при ПОМИ РАН (ссылка).
  9. Ерухимов В. Компьютерное зрение и библиотека OpenCV (видеолекции), 2011. Сomputer Science клуб при ПОМИ РАН (ссылка).
  10. Конушин А. Курсы "Введение в компьютерное зрение" и "Доп. главы компьютерного зрения" (видеолекции), 2011. Лаборатория компьютерной графики при ВМК МГУ (ссылка).
  11. Efros A. Learning-Based Methods in Vision (16-721), 2009. Carnegie Mellon University (ссылка).
  12. Kemelmacher I., Rao R., Seitz S., Shapiro L. Computer Vision (CSE 455), 2003 - 2010. University of Washington (ссылка).
  13. Lazebnik S. Computer Vision (COMP 776), 2008 - 2011. The University of North Carolina at Chapel Hill (ссылка).
  14. Thrun S. Computer Vision / Introduction to Computer Vision (CS 223b), 2004 - 2009. Stanford University (ссылка).
Online курсы

Информация по наиболее интересным online курсам приведена в первой презентации. Напоминаю, что с 2011 года ряд западных университетов начал практику создания online курсов (www.coursera.org, www.udacity.org) по различным дисциплинам. Например, "Искусственный интеллект", "Машинное обучение", "Компьютерное зрение" и т.д. Для ознакомления с материалами курсов (видеолекциями, практическими заданиями и т.д.) нужна регистрация!

Руководитель курса: доц. каф. ДЭС Волохов В.А.