data science яндекс обучение
Опыт обучения в Яндекс.Практикум. Можно ли вкатиться в Data Science за 8 месяцев
Недавно я завершил прохождение специализации Data Science на платформе Яндекс.Практикум и хочу написать, текст, который был бы полезен мне самому 8 месяцев назад, то есть — обзор учебной программы того, что понравилось или напротив не оправдало моих ожиданий, а также поделиться некоторыми приемами, которые могут сделать обучение эффективнее.
Почему Data Science?
Если вы читаете это, то наверняка для себя уже ответили на этот вопрос. Мне же сфера DS представляется таким глобальным конвейером по автоматизации применения научного метода — то есть по сбору наблюдений и получению из них моделей с предсказательной силой. И то, насколько Data Science изменил и еще изменит наш мир, думаю, можно сравнить изменениями, которые принесла автоматизация ручного труда. И когда эти мысли пришли мне в голову, то я решил, что очень хочу быть активным участником этих преобразований.
Бэкграунд
Мой опыт в онлайн обучении начался осенью 2018 года с попытки пройти специализацию “Машинное обучение и анализ данных” от МФТИ и Яндеса (https://datasciencecourse.ru/). Тогда, только загоревшись идеей изучить эту “чертову ИИ магию”, я решил, что вполне осилю учебу параллельно с моей текущей работой SMM менеджера. Но курс оказался мне не по зубам, думаю тут сказалась и моя низкая математическая подготовка и нулевой опыт в программировании.
Тогда я понял, что для начала необходимо подтянуть математику я взялся за прохождение онлайн курса “Современная комбинаторика” от МФТИ на Coursera (https://www.coursera.org/learn/modern-combinatorics/home/info) с замечательным харизматичным лектором Андреем Райгородским. Впервые в жизни я понял, как можно получать удовольствие от решения математических задач и кайфовать от красоты доказательств, которые можешь понять.
После этого был курс по теории вероятностей на Stepik от Computer Science Center с лектором Александром Храбровым (https://stepik.org/course/3089/syllabus). Курс тоже очень понравился, много интересных задач, решение которых отпечатывает в голове некоторое понимание того, как работают такие часто контринтуитивные штуки, как случайные величины и их распределения. И параллельно практиковался в Python по записям курса для студентов МФТИ “Алгоритмы и структуры данных на Python” от еще одного прекрасного лектора Константина Хирьянова (https://www.youtube.com/playlist?list=PLRDzFCPr95fK7tr47883DFUbm4GeOjjc0)
Заниматься удавалось в основном по вечерам и обучение шло чрезвычайно медленно, например прохождение курса по теории вероятностей, в описании которого указано 37 часов, у меня заняло около четырех месяцев. И спустя два года такого фонового обучения я начал понимать, что быстрее состарюсь чем как-то серьезно продвинусь к своей цели.
Тут, по совпадению, начало сворачиваться финансирование проекта, где я был SMM. И тогда я решил пока не искать новую работу, а снять свои накопления, которых хватало примерно на год оплаты аренды жилья и обеспечения базовых потребностей и поступить на платную специализацию по Data Science стоимостью в районе 100 тысяч рублей, с реальными преподавателями, однокурсниками и дедлайнами, чтобы уже не оставить себе вариантов отлынивать от учебы и сдавать все вовремя.
С выбором специализации я определился примерно за неделю, на самом деле подобных программ на рынке сейчас всего около трех или четырех, с примерно похожим набором курсов, но по срокам и сумме мне подходил больше всего Практикум, ну и еще подкупило то, что к подготовке программы приложила руку ШАД (Школа Анализа Данных), а это уже определенный знак качества.
Структура программы Яндекс.Практикум
Сначала в общих чертах опишу базовые единицы из которых строится курс, а потом более подробнее остановлюсь на некоторых моментах. Общая структура Специализации выглядит примерно так:
На момент моего поступления в программе было три модуля, содержащих в общей сложности: 15 курсов, 2 сборных проекта и один финальный проект. Один курс соответствует какому-то определенному навыку, которым должен обладать средний джуниор дата-сайентист. Тема — это раздел внутри курса. Каждая тема в свою очередь разбита на несколько уроков.
Например: Курс — Статистический анализ, тема — Описательная статистика, урок — Гистограммы частот.
Урок — элементарная частица специализации, состоит из теории и закрепляющей практики. Теория представляет собой пару страниц текста с примерами кода, иллюстрациями и поясняющими схемами.
В качестве практики необходимо выполнить задание в онлайн-тренажере, который представляет собой окошко с интерпретатором Python открытое в левой части того же экрана, где перед глазами находится задание и теория.
Рабочее пространство студента. Пунктирная разметка добавлена для пояснения.
В конце каждого курса необходимо выполнить самостоятельный проект в котором студент демонстрирует полученные за курс навыки и знания. Технически проект представляет собой тетрадку Jupyter Notebook, запущенную через JupyterHub развернутом на сервере Яндекса, в которой студент пишет код решения, поставленной задачи. Как правило, задача по проекту состоит из некоторого набора данных и описания того что необходимо получить в качестве результата.
Интерфейс Jupyterhub при выполнении проекта
После выполнения задания, по нажатию соответствующей кнопки тетрадка с проектом отправляется к ревьюеру, который смотрит твой код, проверяет выполнены ли задачи в полном объеме и (иногда) дает полезные рекомендации и замечания по улучшению кода.
Организация учебного процесса
Прохождение курса и выполнение проекта составляет один спринт. Чаще всего на один спринт отводится две недели — неделя на теорию и практику в тренажере и еще неделя на выполнение проекта.
Сам термин «спринт» похоже пришел из методологии разработки, таких как Agile и иже с ними. Да и в целом, насколько я могу судить, весь учебный процесс постарались завернуть в нечто приближенное к разработке продукта в IT.
Основное взаимодействие с командой программы происходит, через корпоративный мессенджер Slack, который, представляет собой что-то вроде гибрида мессенджера и классического форума, с возможностью интеграции с планировщиками заданий и прочими сервисами. При записи на программу выдается приглашение в рабочее пространство Slack для студентов потока, в рабочем пространстве созданы несколько постоянных веток:
с общей информацией по программе от команды Практикума
для обмена литературой и ссылками на материалы,
для неформального общения между студентами.
Также при открытии нового спринта создаются временные ветки по каждому курсу для обсуждений касающихся заданий в тренажёре и текущего проекта.
Cтудентов нашего потока сопровождала команда состоящая из:
Куратора, которая занималась всеми организационными вопросами;
Двух наставников — состоявшихся экспертов в предметной области, делятся опытом, проводят групповые онлайн семинары, можно сравнить с научным руководителем;
Двух преподавателей — также опытных DS специалистов, которые отвечают на вопросы по проектам и тренажеру;
Старшего студента — студента из предыдущего потока, который берет на себя часть работы по ответам на текущие вопросы;
Ревьюеров — проверяющих самостоятельные проекты
Что было круто
Подача материала. На всем протяжении программы не перестаешь ей радоваться. Сразу видно, что над контентом работала большая команда профессионалов, которые не просто дают хороший учебный материал, но еще и думаю о том, чтобы сделать его живым и человечным. Тут и забавные персонажи в иллюстрациях и тонкий юмор, как в самих заданиях, так в и текстах, которые появляются после их успешного выполнения. Надо сказать, что Практикум сделал беспроигрышную ставку, с момента прохождения бесплатной части в такую подачу влюбляешься сразу и стиль повествования ничуть не разочаровывает на протяжении всей остальной программы.
Пример иллюстрации переобученной модели к теме метрик классификации.
Данные. В каждом проекте используются реальные наборы данных, которые действительно интересно изучать, никаких тебе Титаников и набивших оскомину ирисов 🙂 Некоторые данные предоставлены партнерами Практикума, или даже собраны из данных сервисов Яндекса.
Атмосфера. Также стоит отметить непринужденный стиль всех коммуникаций начиная от Куратора до ревьюера — тут не душно 🙂
Какие ожидания не оправдались
Признаюсь, что ожидал от курса, что он будет чем-то вроде научно-популярного изложения лекций Константина Воронцова в ШАД (плэй-лист на YouTube), так чтобы основные методы машинного обучения были разобраны с нуля, с наглядными иллюстрациями и популярным языком, а в идеале мы бы еще и написали их реализации самостоятельно на Python, что называется from scratch. Сейчас я конечно понимаю, что за срок отведенный на всю программу, реализовать такое, чуть менее фантастично, чем загрузка всех знаний DS напрямую в голову через порт, как в фильме Матрица. И конечно, с такими завышенными ожиданиями некоторое разочарование меня и еще нескольких студентов моего потока таки постигло.
Тем не менее, как мне показалось, 70% из описанного ребятам из Практикума удалось. Первые два модуля практически полностью соответствовали моим ожиданиям. До какого-то момента изложение шло так, что пришедший с нуля человек, мог бы не просто научится мастерски владеть fit-predict, но еще и понимать, что там происходит внутри, просто посвящая учебе 2-3 часа в день.
В этом плане особенно понравился курс по линейной алгебре, там было даже написание модели линейной регрессии с нуля. Курс по численным методам, также продолжал держать марку, довольно подробно разобраны методы градиентного спуска и градиентного бустинга.
Но начиная с середины последнего модуля, примерно с курса Анализ временных рядов, по моим ощущениям, глубина погружения стала заметно мельчать. Наиболее поверхностно, на мой взгляд, были изложены “state of the art” — штуки, типа трансформеров и Bert моделей в обработке естественного языка и глубоких свёрточных сетей типа ResNet. Что в целом логично, материала в каждой из этих тем на отдельный модуль, если не на специализацию.
Тем не менее, на групповых зумах в онлайн-консультациях с наставниками всегда можно было задать вопрос и мы часто разбирали сложные моменты которые выходили за рамки программы. Благодаря этому задел на будущее оставался и интереса разбираться подробнее только прибавлялось.
Сейчас я немного изменил свое мнение и считаю, что в некоторых случаях, может быть не слишком плохо сначала научится применять какой-то метод, имея поверхностное представление о том, как он работает, но впоследствии разбираясь в подробнее, если это понадобится. Ведь область знаний Data Sciense настолько обширна, что пытаясь разобраться во всем с самых основ можно просто никуда не продвинуться и растратить весь энтузиазм.
Что с трудоустройством
За пару недель до конца программы студентов подключают к программе акселерации, на которой дают практические советы по тому, как составлять резюме, натаскивают на основные вопросы на собеседованиях, учат обращаться с github и писать сопроводительные письма.
Плюсы программы в том, что к проверке резюме привлекаются действующие HR специалисты, имеющие опыт в рекрутинге в области DS.
Мне удалось оценить только рекомендации по составлению резюме на HeadHunter. В ожидании финального спринта я решил параллельно начать движение в сторону трудоустройства и создав резюме в качестве теста откликнулся примерно на 10 вакансий. Основная часть компаний выслала отказ в приглашении на собеседование, но также было несколько звонков от HR, а одна компания выслала тестовое задание.
Тестовое оказалось интересным и довольно объемным. В нем был датасет из 185 таблиц без особого описания данных, а только с указанием, что это параметры оборудования и необходимо научится прогнозировать значения столбца target, обозначающего тип аварии на оборудовании. Нужно было самостоятельно разобраться с правильной постановкой задачи, выбрать метрику и учесть специфику временных рядов при формировании выборки. Задание увлекло настолько, что я уже начал опаздывать по финальному проекту в Практикуме, но спортивный азарт и пара литров кофе помогли мне справиться в срок.
В итоге по результатам тестового я попал на собеседование и нечаянно получил офер на позицию джуниора в компанию, занимающуюся IT интеграцией в нефтяной отрасли. Сложно сказать насколько этот опыт отражает, качество программы акселерации, возможно это просто некоторый выброс, но как мне показалось спрос на специалистов в DS существует, по крайней мере в Москве и если вы готовы некоторое время поработать на начальной позиции, то устроится вполне реально.
Как сделать обучение более эффективным
В направлении психологии, занимающейся изучением памяти и обучения людей есть такое понятие — желаемые трудности (https://en.wikipedia.org/wiki/Desirable_difficulty), суть феномена состоит в том, что при создании усложнений в процессе обучения материал может усваиваться лучше.
Например можно увеличивать интервалы между повторением материала и решением задачи или, например, подталкивать обучающихся к самостоятельному выводу теоремы, вместо заучивания готовых правил, работает даже написание заданий менее читаемым шрифтом. Но тут главное соблюсти баланс и не превратить свою учебу в адский стресс, ведь тогда мотивация и продуктивность могут только просесть.
В своем обучении я тоже старался применять эти техники, например:
Не смотрел подсказки к заданиям, пока не переберу все варианты, до которых могу додуматься;
Не копировал код из примеров, а старался запоминать и писать по памяти;
Не смотрел разборы сложных моментов в проектах и старался не читать спойлеры в групповом чате до отправки решения;
Для каждого курса создавал отдельный юпитер ноутбук и вел в нем полный конспект с решением задач. Это оказалось удобно еще и потому, что позволяло сэкономить кучу времени, быстро проверяя выполняется ли код, не ожидая по нескольку секунд ответа тренажера. Еще по таким конспектам бывает очень удобно освежить тему в памяти, но конечно если придерживаться метода желаемых трудностей, то лучше также стараться вспоминать все самому.
Решал проекты на локальной машине. Хотя Яндекс и предоставляет все необходимое окружение для выполнения каждого проекта, но бывает полезнее все потрогать своими руками и научится устанавливать все самому. Так, например, проходя курс по SQL я научился устанавливать spark под windows, а в курсе по компьютерному зрению сначала хорошенько попрыгал с бубном заставляя свой ноутбук использовать для вычислений графический процессор, чтобы не ждать очередь на сервер Яндекса, а потом и вовсе пришлось освоить облачный сервис Google Collaboratory который предоставляет GPU для вычислений.
Общее впечатление
Специализация по Data Science Яндекс.Практикум позиционируется как кузница джуниор дата-сайентистов, которые после прохождения могут сразу идти решать пусть и не самые сложные, но реальные задачи по извлечению добавленной стоимости из данных. По моим впечатлениям, это довольно близко к истине, но при соблюдении главного условия — параллельно с программой придется многое изучать самостоятельно и разбираться в том что кажется непонятным. Если изначально подходить к этой программе с таким настроем, и закладывать время на дополнительные занятия и эксперименты, то можно максимизировать пользу от обучения и избежать разочарований.
Вот и все, что хотел рассказать про свои впечатления о Практикуме, надеюсь что кому-то этот текст будет полезен. А если интересно продолжение, как будет складываться мой дальнейший путь в DS, то подпишитесь на меня тут, это замотивирует меня почаще что-нибудь публиковать. И главное, не бойтесь сложностей и ошибок, ведь они добавляют разметку жизненного опыта в датасет, на котором обучаются нейронные сети вашего мозга.
Data science яндекс обучение
Программы, курсы и соревнования, посвященные анализу данных и машинному обучению.
Офлайн
Школа анализа данных
Двухлетняя программа для студентов старших курсов и выпускников, которые хотят стать продвинутыми датасаентистами или архитекторами систем хранения и обработки больших данных.
Специализация Яндекса на мехмате МГУ
Специализация «Теория и практика Data Science» подготовит специалистов для работы в индустрии и науке
Онлайн-магистратура по наукам о данных ВШЭ
Первая в России англоязычная магистерская программа, реализуемая полностью онлайн созданная совместно Яндексом и ВШЭ. Цель программы — подготовить специалистов по современному анализу данных, разработчиков машинного обучения и будущих исследователей.
Совместная магистратура ННГУ и Школы анализа данных
Программа «Когнитивные системы» готовит специалистов, умеющих строить системы искусственного интеллекта.
«Сделать невозможно, а я всё равно сделаю»
Антон Осокин о конференциях, работе учёного и о том, что двигает науку вперёд
Премия им. Ильи Сегаловича
Поддержка талантливых студентов, аспирантов и научных руководителей. Студенты и аспиранты могут сами подавать заявки на соискание премии, а также номинировать научных руководителей.
Совместная специальность Яндекса и БГУ
Магистерская программа «Алгоритмы и системы обработки больших объемов информации»
Как стать
специалистом по Data Science
Зарплата
специалиста по Data Science
Чему вы научитесь в Практикуме
За 8 месяцев обучения по 15 часов в неделю вы освоите востребованные навыки и соберёте портфолио. Вот какие проекты в него войдут:
Как выглядит процесс обучения
Обучение поделено на двухнедельные отрезки — спринты. Каждый спринт вы изучаете одну тему, закрепляете её на практике, сдаёте самостоятельную работу, а затем переходите к следующей теме.
Онлайн-тренажёр
С первого дня вы учитесь на практике. Мы даём знания небольшими частями, которые нужно сразу применить, написав собственный код в онлайн-тренажёре.
Самостоятельная работа
Тренажёр — это только часть обучения. Основные навыки вы приобретете по мере решения задач инструментами профессиональных разработчиков, а код-ревьюер даст вам обратную связь.
Поддержка
Команда наставников проверяет и комментирует ваши работы, помогает разобраться в сложностях и обучает собственным профессиональным приёмам. Поддержка в чате доступна 24/7.
Специалисты по Data Science учат Data Science
Наставники — аналитики из Яндекса и других IT-компаний. Некоторые из них, как и вы, не сразу выбрали свою профессию и тоже осваивали её с нуля.
71,1% выпускников трудоустраиваются
Мы делаем всё, чтобы студенты нашли новую работу после обучения: выдаём официальный диплом, учим собирать портфолио проектов, помогаем с поиском работы.
71,1% выпускников находят работу, большинство из них — за 4 месяца после выпуска. Институт образования НИУ ВШЭ подтвердил данные через исследование трудоустройства выпускников.
Сколько стоит обучение
Вводная часть —
бесплатно
Платное продолжение
13 000 ₽ помесячный платёж.
Итоговая сумма составит 104 000 ₽
95 000 ₽ при оплате сразу за
8 месяцев обучения.
Программа обучения
Основы Python и анализа данных: бесплатный вводный курс
Вводный курс, из которого вы узнаете, что такое анализ данных и чем занимаются специалисты по data science. Решая кейсы из разных областей, вы изучите азы Python и библиотеки pandas, научитесь строить некоторые графики и верно их трактовать. Но главное — оцените свои силы, мотивацию и запас времени, чтобы решить, идти ли дальше.
+ 1 проект в портфолио
Предобработка данных
Научитесь очищать данные от выбросов, пропусков и дубликатов, а также преобразовывать разные форматы данных.
+ 1 проект в портфолио
Исследовательский анализ данных
Статистический анализ данных
Научитесь анализировать взаимосвязи в данных методами статистики. Узнаете, что такое статистическая значимость, гипотезы и доверительные интервалы.
+ 1 проект в портфолио
Научитесь предварительному исследованию данных, сформулируете и проверите гипотезы.
+ 1 проект в портфолио
Введение в машинное обучение
Освоите основные концепции машинного обучения. Познакомитесь с библиотекой Scikit-Learn и примените её для создания первого проекта с машинным обучением.
+ 1 проект в портфолио
Обучение с учителем (классификация и регрессия)
Углубитесь в самую востребованную область машинного обучения — обучение с учителем. Узнаете, как обращаться с несбалансированными данными.
+ 1 проект в портфолио
Машинное обучение в бизнесе
Примените свои знания о машинном обучении к задачам бизнеса. Узнаете, что такое бизнес-метрики, KPI и A/B-тестирование.
+ 1 проект в портфолио
Подготовите данные для машинного обучения. С помощью модели оцените её качество.
+ 1 проект в портфолио
Линейная алгебра
Заглянете внутрь нескольких изученных ранее алгоритмов и лучше поймёте, как их применять. На практике освоите с нуля главные концепции линейной алгебры: линейные пространства, линейные операторы, евклидовы пространства.
+ 1 проект в портфолио
Численные методы
Разберёте ряд алгоритмов и приспособите их к решению практических задач с использованием численных методов. Разберётесь, как обучаются нейронные сети. Для этого вы освоите приближённые вычисления, оценку сложности алгоритма, градиентный спуск и бустинг.
+ 1 проект в портфолио
Временные ряды
Проанализируете временные ряды. Создадите из них табличные данные и решите задачу регрессии.
+ 1 проект в портфолио
Машинное обучение для текстов
Представите тексты на естественном языке в качестве таблиц с данными. Примените к ним методы классификации и регрессии. Познакомитесь с алгоритмом TF-IDF, языковыми представлениями word2vec и BERT.
+ 1 проект в портфолио
Извлечение данных
Познакомитесь с основными системами хранения данных — реляционными базами и распределёнными хранилищами. Научитесь извлекать эти данные запросами на языке SQL и методами библиотеки PySpark.
+ 1 проект в портфолио
Компьютерное зрение
Немного Deep Learning. Решите базовые задачи на компьютерное зрение с помощью готовых нейронных сетей и библиотеки Keras.
+ 1 проект в портфолио
Обучение без учителя
Познакомитесь с задачами кластеризации и поиска аномалий.
Выпускной проект
В последнем проекте подтвердите, что освоили новую профессию. Уточните задачу заказчика, пройдёте все стадии анализа данных и машинного обучения. Теперь без уроков домашних заданий — всё как на настоящей работе.
Онлайн-курсы
Если вы только начинаете знакомиться с анализом данных, то мы рекомендуем пройти бесплатный вводный курс в Яндекс.Практикуме. На курсе вы поймёте, что представляет собой анализ данных, какие процессы он в себя включает и чем занимается аналитик. Изучите азы важнейшего инструмента — языка программирования Python.
В курсе разобраны основные типы задач, решаемых с помощью машинного обучения, таких как классификация, регрессия и кластеризация. Преподаватели рассказывают об основных методах и особенностях машинного обучения, учат оценивать качество модели и понимать, подходит ли она для решения конкретной задачи. У вас есть возможность познакомиться с современными библиотеками, в которых реализованы обсуждаемые модели и методы оценки их качества. В курсе используются данные из реальных задач.
Преподаватели показывают полный цикл анализа, от сбора данных до выбора оптимального решения и оценки его качества. На курсах учат пользоваться современными аналитическими инструментами и адаптировать их под особенности конкретных задач. Каждый курс включает теорию и практические задания разного уровня сложности. В финале у вас будет возможность заняться разработкой собственных проектов для решения любой актуальной бизнес-задачи. Результатом станет наглядная работающая модель, которую можно применять в работе или демонстрировать на собеседованиях.
Программа предназначена в первую очередь для тех, кто хочет работать с большими объёмами данных: хранить их и строить отказоустойчивые эффективные системы обработки. Однако эта специализация полезна и для интеллектуального анализа данных. Вы получите навыки использования современных платформ и инструментов, выполните четыре проекта и поймёте, как решать самые частые задачи, связанные с большими данными. Пройдя всю программу, вы научитесь обрабатывать данные разными способами, использовать на больших данных методы машинного обучения и внедрять эти методы в продукты.
Программа посвящена глубинному обучению, обучению с подкреплением, автоматической обработке текстов, компьютерному зрению и байесовским методам. Вы получите навыки решения практических задач от победителей соревнований по машинному обучению на платформе Kaggle и учёных, работающих с данными в ЦЕРНе. После окончания семи курсов вы сможете применять современные методы машинного обучения в ваших проектах, поймёте, как обращаться с реальными данными и как эффективнее использовать существующие инструменты.
Программа состоит из пяти курсов, каждый длится пять недель. Преподаватели делятся своим многолетним опытом создания больших проектов на языке C++. Они не пересказывают учебник, а учат решать задачи, с которыми на практике сталкивается большинство разработчиков. Лекции, подаваемые в лёгкой и доступной форме, подкрепляются большим количество задач по программированию. Закончив эту специализацию, вы не только сможете рассуждать о C++, сравнивая его с другими языками, но и получите реальный навык программирования.
Программа включает пять курсов и работу над проектом. Вы познакомитесь с алгоритмами и структурами данных, которые обычно используются для решения задач в компьютерных науках. Во время обучения нужно не только придумывать алгоритмы и оценивать их сложность, но и реализовывать их на выбранном языке программирования. В финале вы поработаете над одним из реальных проектов, предложенных преподавателями: можно будет заняться сборкой генома из миллионов коротких кусочков или научиться строить самый быстрый маршрут между Нью-Йорком и Лос-Анджелесом, анализируя дорожные сети.