• Тонкая настройка нейронной сети

    Предварительно обученные нейронные сети можно использовать для решения не только тех задач, на которых они обучались, но и других, достаточно похожих, с помощью технологии переноса обучения (transfer learning). Для этого от предварительно обученной сети “обрезается” классификатор и вместо него добавляется новый, приспособленный для нашей задачи. Например, вместо классификатора, обученного на наборе данных ImageNet с 1000 классов, мы добавляли в нейронную сеть классификатор для распознавания собак и кошек, в котором всего два класса. Затем этот классификатор обучается на новых данных.

    Тонкая настройка сети (fine tuning) позволяет пойти дальше и еще больше увеличить качество работы предварительно обученной сети на новой задаче. Для этого обучается не только новый классификатор, который был добавлен в сеть, но и некоторые слои предварительно обученной нейронной сети. Это особенно эффективно, когда новый набор данных достаточно сильно отличается от исходного набора, на котором обучалась сеть.

    Читать дальше

  • Установка TensorFlow в Anaconda с помощью pip

    В Anaconda, самом популярном дистрибутиве Python для машинного обучения, анализа данных и научных вычислений, пакеты устанавливаются с помощью conda. К сожалению, данный подход не всегда работает при установке TensorFlow. Если у вас не получилось установить TensorFlow стандартными средствами Anaconda, можно попробовать использовать pip. Именно такой метод установки официально рекомендуется на сайте TensorFLow.

    Читать дальше

  • День ШАД в Уральском федеральном университете

    Приглашаем на День Школы анализа данных компании Яндекс в Уральском федеральном университете. На нём вы сможете поближе познакомиться со Школой анализа данных, понять, насколько она вам интересна, и определиться с поступлением.

    День ШАД в УрФУ состоится 7 апреля, по адресу г. Екатеринбург, ул. Тургенева, д. 4., ауд. 509. Начало в 12-50.

    Докладчики из Яндекса расскажут об условиях приёма и о программе, различиях между обучением в ШАД и в вузе, возможности совмещать учёбу в Школе с магистратурой, а также о карьерных перспективах после окончания.

    Кроме того, на мероприятии выступят выпускники и студенты — чтобы вы взглянули на Школу не только глазами преподавателей, но и со стороны учащихся. Полина Чикурова расскажет историю первокурсника. Выпускник Павел Гейн покажет, как можно использовать полученные в ШАД знания – решит несколько задач обработки текста методами машинного обучения. После выступлений вы сможете задать вопросы докладчикам.

    Если вы хотите прийти, обязательно зарегистрируйтесь на сайте до полудня 6 апреля (UTC+5). Любые вопросы о ШАД в Екатеринбурге присылайте на maisie@yandex-team.ru.

    Программа

    12-50. ШАД в Екатеринбурге. Маргарита Шадрина, Яндекс.

    Маргарита расскажет о правилах поступления и обучения в ШАД и ответит на основные организационные вопросы, которые возникают у абитуриентов. Вы узнаете:

    • кто может поступать в ШАД;
    • что нужно сдавать для поступления;
    • сложно ли учиться в ШАД и часто ли отчисляют;
    • сколько времени уходит на учёбу;
    • чем обучение в ШАД отличается от обучения в вузе;
    • что даёт обучение в ШАД для будущей карьеры;
    • как совмещать учёбу в магистратуре УрФУ и ШАД;
    • в чем разница между магистратурой УрФУ “Анализ Данных” и ШАД.


    13:30. История студента ШАД. Полина Чикурова, СКБ Контур.

    Полина учится на первом курсе магистратуры УрФУ “Анализ данных” и на первом курсе Школы анализа данных. Она расскажет историю первокурсника.

    14:00. Обработка текстов. Павел Гейн, Яндекс.

    Павел – выпускник ШАД 2016 года, разработчик в Яндексе. Покажет на примере, как можно использовать знания, полученные в ШАД, для решения прикладных задач.

  • Фестиваль Техноночь 2018 в Екатеринбурге

    Фестиваль Техноночь в Екатеринбурге

    В этом году я буду выступать на фестивале Техноночь в Технопарке Университетском. Расскажу о глубоких нейронных сетях. Приходите!

    10 февраля пройдёт ТехноНочь - ежегодное мероприятие для тех, кто интересуется новыми технологиями и инженерией. С 14:00 до 22:00 в Технопарке «Университетский» на Конструкторов 5 все желающие смогут принять участие в лекциях, мастер-классах и посмотреть на достижения уральских разработчиков и технологических предпринимателей. В центре внимания в этом году технологии будущего: машинное обучение, прототипирование, электронная инженерия, интернет вещей, блокчейн, кибербезопасность.

    Читать дальше

  • Установка CUDA 9 в Windows 10 для TensorFlow и Keras

    Недавно вышла версия TensorFlow 1.5 с поддержкой CUDA 9, поэтому можно переводить TensorFlow и Keras на новую версию CUDA. В этой статье я расскажу, как установить CUDA 9 и CuDNN 7 в Windows 10. По установке для Linux будет отдельная статья.

    Что нужно устанавливать

    Чтобы TensorFlow и Keras могли использовать GPU под Windows, необходимо установить три компонента:

    1. Microsoft Visual Studio. Любая GPU-программа содержит код как для GPU, так и для CPU. Данные для проведения расчетов нужно загрузить из файлов и передать их в память GPU, где они будут обработаны. Результаты обработки передаются обратно на CPU для сохранения и визуализации. NVIDIA СUDA включает компилятор только для GPU. Код для CPU генерируется с помощью внешнего компилятора, для Windows это Microsoft Visual Studio.
    2. NVIDIA CUDA - библиотека, которая позволяет использовать GPU для проведения вычислений общего назначения (general purpose computing), а не только обрабатывать графику.
    3. Библиотека cuDNN. Это библиотека для CUDA, которая содержит эффективные реализации операций с нейронными сетями. В отличие от Theano, TensorFlow не может работать без cuDNN.

    Читать дальше

  • Перенос обучения в Keras

    Предварительно обученные нейронные сети позволяют решать задачи компьютерного зрения не тратя значительного времени на обучение сети. Такие сети создаются крупными компаниями (Google, Microsoft и т.п.), включают большое количество слоев, обладают высокой точностью и обучаются на больших вычислительных кластерах с GPU.

    Технология переноса обучения (transfer learning) позволяет использовать готовые нейронные сети для решения задач нового типа, не тех, для которых сети предварительно обучались. В этой статье я расскажу как использовать перенос обучения для задач компьютерного зрения в Keras. Мы рассмотрим как с помощью сети VGG16 распознавать собак и кошек на фотографиях.

    Читать дальше

  • Как подготовить набор изображений для обучения нейронной сети в Keras

    Ранее в курсе “Программирование глубоких нейронных сетей на Python” мы работали только с наборами данных, встроенными в Keras. В этой статья я расскажу, как подготовить свой собственный набор изображений для обучения в Keras глубоких нейронных сетей.

    Читать дальше

  • Итоги 2017 года

    Results of the Year 2017

    В этом году я решил поменять формат подведения итогов и вместо длинного списка событий и достижений написать только одно, которое имело самое большое влияние на мою жизнь. В 2017 году такое достижение - это создание совместной магистратуры УрФУ и Школы Анализа Данных компании Яндекс.

    Читать дальше

  • Новый хостинг для сайта

    С начала января я использую новый хостинг для сайта - платформу Netlify. Почти все проблемы, связанные с переездом на новый хостинг, я уже исправил. Но если вы столкнетесь с неисправностями в работе сайта, то напишите мне, пожалуйста, любым удобным способом из указанных на странице контактов.

    Netlify оказалась удобнее, чем GitHub Pages, в первую очередь потому, что позволяют подключить сертификат для HTTPS к собственному домену. В GitHub Pages этого сделать нельзя, поэтому приходится дополнительно использовать CloudFlare. Кроме того, Netlify, как и CloudFlare, предоставляет CDN и DNS. То есть все преимущества GitHub Pages и CloudFlare в одном месте.

    Netlify поддерживает Continuous Deployment - когда вы делаете push в репозиторий на GitHub, сайт автоматически соберется и выложится на Netlify.

    Еще одним преимуществом Netlify является официальное разрешение использовать хостинг как для персональных, так и для коммерческих проектов. Мой сайт постепенно перерастает из персонального в коммерческий, и для меня это становится важно.

    И самое главное - у Netlify есть бесплатный тариф, который включает сертификат для HTTPS.

  • Чем европейские университеты отличаются от североамериканских

    Во время визита в Лаппеенрантский технологический университет в Финляндии поговорили с профессором Ахметом Сефахом (Ahmed Seffah) об устройстве университетов в разных странах и регионах. Ранее Ахмет работал в университете Конкордия в Монреале, Канада, поэтому может сравнить университеты Европы и Северной Америки на основании собственного опыта.

    Visit to LUT

    Читать дальше


Подпишитесь на RSS