• Пять проблем в работе команды

    В связи со сменой работы у меня появилась новая область интересов: Scrum и организация командной работы. На самом деле это важная часть Soft Skills, которыми я давно интересовался. Однако ранее я недооценивал важность именно командной работы. Как пишет Джефф Сазерленд в книге “Scrum. Революционный метод управления проектами”, производительность хорошего и плохого разработчика может отличаться в 10 раз, а производительность хорошей и плохой команды – на несколько порядков. Поэтому не имеет смысл оптимизировать работу отдельных людей, нужно заниматься организацией правильной и эффективной работы команды в целом.

    Какие проблемы могут возникнуть в командной работе? Об этом есть отличная книга Патрика Ленсиони “The Five Dysfunctions of a Team” (в русском переводе “Пять пороков команды”). Недавно я эту книгу прочитал и она мне очень понравилась как по содержанию, так и по форме изложения.

    Читать дальше

  • Keras и TensorFlow в облаке с GPU бесплатно от Google Colaboratory

    Если у вас не получается установить Keras и TensorFlow, или у вас нет GPU от NVIDIA, то для вас есть отличная новость от Google. Для распространения технологий машинного обучения и глубоких нейронных сетей Google сделал доступной свою облачную платформу Colaboratory. Эта среда, похожая на Jupyter Notebook, в которой уже установлены библиотеки TensorFlow и Keras, а также доступны GPU NVIDIA K80. Есть все, что нужно для обучения глубоких нейросетей. Использование этой платформы полностью бесплатно. Давайте рассмотрим, как можно выполнять заданий курса “Программирование глубоких нейронных сетей на Python” на Colaboratory.

    Читать дальше

  • Тонкая настройка нейронной сети

    Предварительно обученные нейронные сети можно использовать для решения не только тех задач, на которых они обучались, но и других, достаточно похожих, с помощью технологии переноса обучения (transfer learning). Для этого от предварительно обученной сети “обрезается” классификатор и вместо него добавляется новый, приспособленный для нашей задачи. Например, вместо классификатора, обученного на наборе данных ImageNet с 1000 классов, мы добавляли в нейронную сеть классификатор для распознавания собак и кошек, в котором всего два класса. Затем этот классификатор обучается на новых данных.

    Тонкая настройка сети (fine tuning) позволяет пойти дальше и еще больше увеличить качество работы предварительно обученной сети на новой задаче. Для этого обучается не только новый классификатор, который был добавлен в сеть, но и некоторые слои предварительно обученной нейронной сети. Это особенно эффективно, когда новый набор данных достаточно сильно отличается от исходного набора, на котором обучалась сеть.

    Читать дальше

  • Установка TensorFlow в Anaconda с помощью pip

    В Anaconda, самом популярном дистрибутиве Python для машинного обучения, анализа данных и научных вычислений, пакеты устанавливаются с помощью conda. К сожалению, данный подход не всегда работает при установке TensorFlow. Если у вас не получилось установить TensorFlow стандартными средствами Anaconda, можно попробовать использовать pip. Именно такой метод установки официально рекомендуется на сайте TensorFLow.

    Читать дальше

  • День ШАД в Уральском федеральном университете

    Приглашаем на День Школы анализа данных компании Яндекс в Уральском федеральном университете. На нём вы сможете поближе познакомиться со Школой анализа данных, понять, насколько она вам интересна, и определиться с поступлением.

    День ШАД в УрФУ состоится 7 апреля, по адресу г. Екатеринбург, ул. Тургенева, д. 4., ауд. 509. Начало в 12-50.

    Докладчики из Яндекса расскажут об условиях приёма и о программе, различиях между обучением в ШАД и в вузе, возможности совмещать учёбу в Школе с магистратурой, а также о карьерных перспективах после окончания.

    Кроме того, на мероприятии выступят выпускники и студенты — чтобы вы взглянули на Школу не только глазами преподавателей, но и со стороны учащихся. Полина Чикурова расскажет историю первокурсника. Выпускник Павел Гейн покажет, как можно использовать полученные в ШАД знания – решит несколько задач обработки текста методами машинного обучения. После выступлений вы сможете задать вопросы докладчикам.

    Если вы хотите прийти, обязательно зарегистрируйтесь на сайте до полудня 6 апреля (UTC+5). Любые вопросы о ШАД в Екатеринбурге присылайте на maisie@yandex-team.ru.

    Программа

    12-50. ШАД в Екатеринбурге. Маргарита Шадрина, Яндекс.

    Маргарита расскажет о правилах поступления и обучения в ШАД и ответит на основные организационные вопросы, которые возникают у абитуриентов. Вы узнаете:

    • кто может поступать в ШАД;
    • что нужно сдавать для поступления;
    • сложно ли учиться в ШАД и часто ли отчисляют;
    • сколько времени уходит на учёбу;
    • чем обучение в ШАД отличается от обучения в вузе;
    • что даёт обучение в ШАД для будущей карьеры;
    • как совмещать учёбу в магистратуре УрФУ и ШАД;
    • в чем разница между магистратурой УрФУ “Анализ Данных” и ШАД.


    13:30. История студента ШАД. Полина Чикурова, СКБ Контур.

    Полина учится на первом курсе магистратуры УрФУ “Анализ данных” и на первом курсе Школы анализа данных. Она расскажет историю первокурсника.

    14:00. Обработка текстов. Павел Гейн, Яндекс.

    Павел – выпускник ШАД 2016 года, разработчик в Яндексе. Покажет на примере, как можно использовать знания, полученные в ШАД, для решения прикладных задач.

  • Фестиваль Техноночь 2018 в Екатеринбурге

    Фестиваль Техноночь в Екатеринбурге

    В этом году я буду выступать на фестивале Техноночь в Технопарке Университетском. Расскажу о глубоких нейронных сетях. Приходите!

    10 февраля пройдёт ТехноНочь - ежегодное мероприятие для тех, кто интересуется новыми технологиями и инженерией. С 14:00 до 22:00 в Технопарке «Университетский» на Конструкторов 5 все желающие смогут принять участие в лекциях, мастер-классах и посмотреть на достижения уральских разработчиков и технологических предпринимателей. В центре внимания в этом году технологии будущего: машинное обучение, прототипирование, электронная инженерия, интернет вещей, блокчейн, кибербезопасность.

    Читать дальше

  • Установка CUDA 9 в Windows 10 для TensorFlow и Keras

    Недавно вышла версия TensorFlow 1.5 с поддержкой CUDA 9, поэтому можно переводить TensorFlow и Keras на новую версию CUDA. В этой статье я расскажу, как установить CUDA 9 и CuDNN 7 в Windows 10. По установке для Linux будет отдельная статья.

    Что нужно устанавливать

    Чтобы TensorFlow и Keras могли использовать GPU под Windows, необходимо установить три компонента:

    1. Microsoft Visual Studio. Любая GPU-программа содержит код как для GPU, так и для CPU. Данные для проведения расчетов нужно загрузить из файлов и передать их в память GPU, где они будут обработаны. Результаты обработки передаются обратно на CPU для сохранения и визуализации. NVIDIA СUDA включает компилятор только для GPU. Код для CPU генерируется с помощью внешнего компилятора, для Windows это Microsoft Visual Studio.
    2. NVIDIA CUDA - библиотека, которая позволяет использовать GPU для проведения вычислений общего назначения (general purpose computing), а не только обрабатывать графику.
    3. Библиотека cuDNN. Это библиотека для CUDA, которая содержит эффективные реализации операций с нейронными сетями. В отличие от Theano, TensorFlow не может работать без cuDNN.

    Читать дальше

  • Перенос обучения в Keras

    Предварительно обученные нейронные сети позволяют решать задачи компьютерного зрения не тратя значительного времени на обучение сети. Такие сети создаются крупными компаниями (Google, Microsoft и т.п.), включают большое количество слоев, обладают высокой точностью и обучаются на больших вычислительных кластерах с GPU.

    Технология переноса обучения (transfer learning) позволяет использовать готовые нейронные сети для решения задач нового типа, не тех, для которых сети предварительно обучались. В этой статье я расскажу как использовать перенос обучения для задач компьютерного зрения в Keras. Мы рассмотрим как с помощью сети VGG16 распознавать собак и кошек на фотографиях.

    Читать дальше

  • Как подготовить набор изображений для обучения нейронной сети в Keras

    Ранее в курсе “Программирование глубоких нейронных сетей на Python” мы работали только с наборами данных, встроенными в Keras. В этой статья я расскажу, как подготовить свой собственный набор изображений для обучения в Keras глубоких нейронных сетей.

    Читать дальше

  • Итоги 2017 года

    Results of the Year 2017

    В этом году я решил поменять формат подведения итогов и вместо длинного списка событий и достижений написать только одно, которое имело самое большое влияние на мою жизнь. В 2017 году такое достижение - это создание совместной магистратуры УрФУ и Школы Анализа Данных компании Яндекс.

    Читать дальше


Подпишитесь на RSS