• Функция SoftMax

    Функция SoftMax, по-русски функция мягкого максимума, часто используется в нейронных сетях в качестве функции активации при решении задачи классификации. SoftMax задается следующей формулой:

    где $z_i$ – значение на выходе из i-го нейрона до активации, а N – общее количество нейронов в слое.

    Почему именно эта функция используется для задач классификации?

    Читать дальше

  • Сохранение нейросети в процессе обучения

    Обучение нейронной сети, как правило, требует значительного времени, поэтому важно сохранять обученную сеть для дальнейшего использования. Но иногда бывает что веса, полученные на последней эпохе обучения сети, не являются лучшими. Например, у нас началось переобучение и обобщающая способность сети стала снижаться. Можно перезапустить процесс обучения с меньшим количеством эпох, но это не является хорошим решением если обучение идет долго. Альтернативный вариант – использовать ModelCheckpoint Callback, который позволяет сохранять веса нейронной сети на каждой эпохе обучения.

    Читать дальше

  • Остановка обучения нейросети при переобучении

    Переобучение - это одна из самых частых проблем при обучении глубоких нейронных сетей и в машинном обучении в целом. При переобучении нейронная сеть адаптируется к особенностям обучающего набора данных, а не находит общие закономерности. В результате сеть хорошо работает на обучающем наборе, но плохо на тех данных, которые она не видела в процессе обучения. Таким образом, у модели снижается обобщающая способность.

    Один из вариантов решения этой проблемы – остановить процесс обучения нейросети при появлении первых признаков переобучения. В Keras это можно сделать с помощью EarlyStopping Callback, в этой статье я расскажу, как его использовать.

    Читать дальше

  • Отзыв на курс по нейронным сетям на Python

    Максим Бушуев

    Получил сегодня очень приятное письмо с отзывом на курс по нейросетям:

    Здравствуйте, Андрей Владимирович! Меня зовут Максим Бушуев, я школьник из Нижнего Новгорода, учусь в 11 классе и увлекаюсь программированием, в особенности компьютерным зрением. Мы с моим товарищем из наукограда Сарова разрабатывали систему беспилотного автомобиля и решили добавить контроль усталости водителя на основе того, как долго у него открыты и закрыты глаза, после чего сделали это основной фишкой работы. Никак не могли реализовать классификацию открытых и закрытых глаз, только детектирование. Пришли к выводу, что нужно делать сверточную нейросеть, но я с нейросетями в принципе никогда не работал. Тут мне и пришел на помощь Ваш видеокурс “Программирование глубоких нейронных сетей на Python”, ведь с этим языком я знаком. Хочу выразить вам свою глубочайшую благодарность за данный видеокурс в открытом доступе. Благодаря Вам мы с товарищем создали и обучили собственную сверточную нейросеть, после чего получили золотую медаль на международной выставке юных изобретателей в Индонезии.

    С уважением, Максим Бушуев.

  • Перевод термина Accuracy

    Accuracy – это одна из популярных метрик качества моделей машинного обучения. Она часто используется для классификации и показывает долю данных, для которых класс был определен правильно. Хотя это не самая показательная метрика, но её проще всего считать и она интуитивно понятная, поэтому применяется часто.

    В своих лекциях и текстах я стараюсь переводить англоязычные термины на русский язык. Раньше я переводил Accuracy как точность. Но коллеги, в первую очередь Дмитрий Усталов, подсказали, что точность – это перевод другой метрики, Precision (которая часто используется вместе с Recall). Поэтому для перевода Accuracy лучше использовать другое слово.

    Читать дальше

  • Новый курс по Нейронным сетям

    Совместно с Университетом Искуственного Интеллекта мы запускаем новый курс “Основы нейронных сетей на Python”. Курс основан на материалах по нейросетям, которые уже есть на моем сайте, но ориентирован на получение практических навыков программирования нейросетей для разных задач: компьютерное зрение, обработка текстов и др.

    Чем отличается новый курс

    В видеолекциях на Youtube я очень кратко рассказываю основные идеи. В новом курсе вместо видеолекций будут вебинары продолжительностью 2 часа, на которых я буду подробно рассказывать обо всех этапах решения задачи машинного обучения, которую мы будем рассматривать: как загрузить данные, как провести их предварительную обработку, как привести данные к виду, с которым может работать нейронная сеть, как подобрать подходящую архитектуру нейросети, как ее обучить и использовать для распознавания.

    Читать дальше

  • Конференция BigDataConf 2018

    Конференция BigDataConf2018

    С опознадием рассказываю о конференции BigDataConf 2018, которая проходила в этом году в Москве 13 сентября. Я выступал с докладом о том, чем сейчас занимаюсь в Банке Точка: поиск компаний, которые занимаются отмыванием денег и другими сомнительными операциями.

    Читать дальше

  • Библиотека программиста ворует мой контент

    У меня начали воровать контент! Приятно, что это делает достаточно популярный сайт Библиотека программиста.

    1. Статья “Компьютерные сети от А до Я: классификация, стандарты и уровни”. Скриншоты и текст из видео о классификации сетей и стандартов компьютерных сетей.

    2. Статья “Компьютерные сети от А до Я: технология Ethernet и коммутаторы”. Текст и скриншоты из видео про классический Ethernet, коммутаторы Ethernet и CSMA/CD.

    3. Статья “Разбираем по косточкам компьютерные сети: HTTP, TCP, REST”. Опять текст и скриншоты из видео про TCP, установку соединения в TCP, HTTP. Про REST у меня ничего нет.

    Не знаю, расстраиваться ли мне из-за того, что берут мой контент без разрешения и ссылки. Или радоваться тому, что мой контент кому-то нужен.

  • Поиск объектов на изображениях

    Одна из востребованных задач компьютерного зрения, которая может быть решена с помощью глубоких нейронных сетей – это поиск на изображении объектов заданного типа. В этой статье я расскажу, как можно решить такую задачу с помощью предварительно обученных нейронных сетей из TensorFlow Object Detection API. Эта система является частью TensorFlow и распространяется бесплатно, также как и сама TensorFlow. Полный текст кода из статьи можно найти в репозитории курса на github, а также в ноутбуке на Colaboratory (это бесплатная облачная платформа от Google, где уже установлены библиотеки глубокого обучения и есть GPU, ноутбук можно выполнить прямо на этой платформе).

    Читать дальше

  • Поступай на матмех 2018

    Поступай на матмех 2018

    Источник фото: math-mech.ru

    Я работал на матмехе УрФУ 5 лет. Сейчас я занимаюсь собственным бизнесом: консалтингом в области машинного обучения и больших данных. У меня есть крупный контракт с банком Точка.

    Самое интересное, что мы сделали на матмехе - открыли магистратуру по анализу данных совместно со Школой Анализа Данных компании Яндекс. Успешные студенты магистратуры могут получить два диплома: УрФУ и ШАД. Кроме того, студентам магистратуры дают реальные проекты компании Яндекс, Сбербанк, УБРиР, Точка, СКБ Контур, Наумен, Экзамус и др. Многих магистрантов берут на работу до окончания магистратуры.

    Самая крутая фишка матмеха в том, что там очень хорошо учат математике и программированию одновременно. Сейчас во всем мире это мало кто умеет делать.

    Об уровне образования матмеха по сравнению с другими странами я могу судить по опыту участия в проекте Еврокомиссии ERASMUS+, где есть университеты из Германии, Англии, Финляндии, Дании, Иордании и России. На матмехе учат точно не хуже, чем в тех Европейских университетах, где я был. Мой бывший аспирант, который недавно защитил диссертацию, сейчас работает в Германии. Другой аспирант недавно получил Best Paper Award на престижной международной конференции класса A. Летом на матмех приезжают студенты из Франции, Индии и Китая чтобы изучать HPC и машинное обучение.

    Я участвую во флешмобе: рассказываю о любимом матмехе, пока у абитуриентов есть время до 26 июля подать туда документы. Расскажите, почему надо поступать на матмех, что вам дал факультет, когда вы поступили, на каком направлении учились, поделитесь классным воспоминанием… Проявите фантазию! :)

    #УрФУ #поступай #поступайнаматмех #хочувурфу

    Полезные ссылки

    1. Про факультет для абитуриентов.
    2. Группа абитуриентов матмеха вконтакте.

Подпишитесь на RSS