Для тех кто не оценил лекцию -- ML-шутеечка (не судите товарища строго, 2017 год, но все же)

смотрите внимательно на схему

Отличные новости 🥳
Готовы записи выступлений ребят с нашего митапа!
Горжусь спикерами -- доклады реально были интересные 😎, причем для многих это один из первых опытов публичных выступлений, причем не на маленькую аудиторию -- человек 70-80 в зал поместилось 😊

Спасибо спикерам за доклады, гостям за классную дискуссию и команде организаторов за душевную атмосферу! 👏

UPD: Меня только что поправили -- было 105 человек оффлайн! 🔥

Когда на собеседованиях спрашивают про сильные стороны -- честно отвечаю что прокрастинация это моя сильная сторона.

Вот неделю откладывал добить текст статьи, а тут как раз свежий обзор вышел -- 22 часа назад. Не прошло и полгода 😆

Для тех кто далек от рекомендашек -- классический сюжет про здоровую прокрастинацию.

Желаю вам спокойных выходных без суеты🐳

Чуть не в тематике канала , но мимо вечного двигателя я пройти не смог 😂

Их нравы 🤯
Но то что тестовое оплачиваемое -- горячо поддерживаю.

Источник

Карточка на еду? 🤔

На днях поменяли программу ШАД
Аналитики попросили
Дерево метрик? — очевидное
Универсальный пайп аналитика???
Redash?
Искали в общем что-то полезное.

Без чего аналитик не сможет?
У нас-таки нашелся ответ

Решили добавить колористику а-ля
А что — слайды они рисуют часто
Тем паче чувство прекрасного
И еще же фронты
Набросали примерно структуру
Осталось найти преподавателя

В личке отвечу, пишите

Занесло вчера в жюри хакатона.

Как всегда — 10 финалистов, комиссия из таких же как я случайных людей (как правило даже дальше от DS чем сами участники — студенты-младшекуры), есть лидерборд с результатами модели на прайвате, и настает время защит.

Ребята рассказывают свои решения, каждый свой кусочек командной презентации, какой-то анализ, файндинги если есть, как модель выбирали, что в итоге получилось. Потом вместе отбиваются от вопросов 💪.

Есть команды посильнее, есть послабее (не поняли что оверфитнулись имея 99,6% «точности»?! в регрессии — на прайвате закономерно оказались последними 😆), но не суть.

Главное наблюдение — комиссии почти параллельно какой у вас результат на лидерборде.

Потому как метрики — это что-то заумное, а вот понятные графики 🤓, уверенный тон 😎 (!!!), хоть какая-то структура презентации, желательно создающая ощущение понятности для члена комиссии 🤡 — прям ключевое.

Скажу, что корреляция (ранговая, для душнил) лидерборда и итогового результата — очень маленькая, а первое место на лидерборде не гарантирует попадание даже в топ-3 по итоговому рангу 🤷‍♂️.

Ладно, это игрушечный (почти) пример, мб на работе по-другому?

держи карман шире, ага

Хотя счет же не в DS-метриках, а в конкретных заработанных рублях.

Вспомнился случай.
Нанял я как-то к нам толкового парня — выпускника мехмата и MADE (Макс, привет тебе в твоей Канаде! 🇨🇦) с нулевым опытом.

Попросил лида его покурировать на несложной задаче — классификации обратной связи в кампейнинге.

То есть причины отказа клиентского менеджера от отработки лида (либо отказа уже клиента от предложения) распределять по категориям (для этого правда сначала нужно понять что за категории, как они могут быть устроены, мб создать иерархию) — но это все достаточно проходная задача:

⁃ Разобраться с категориями по историческим данным
⁃ Попросить фронтов сделать возможность категории отмечать галочку
⁃ Обработку поля с комментарием все равно оставить — но повесить модель-классификатор.

Не без приключений (детали для краткости опущу), за пару-тройку итераций, парни справились и мы включили этот проект в ближайшее демо 🏆.

На демо всем манагерам интерактивность прям очень понравилась — а давайте напишем в комментарий к лиду «пиво, чипсы, воды» — какая будет причина отказа? Ну и прочие «смешные» 🙄варианты комментариев.

Проходит месяц, премирование тогда было квартальным и наставала пора расставлять оценки ребятам в моем кластере (а там, кроме DS, инженеры, аналитики, сопровожденцы, девопсы, mlопсы, PO, ораклисты и BIщики и тд).

Прошло лет пять, но я до сих пор помню какой разнос я получил за то что поставил «недостаточно высокую» оценку тому «умному DS, который сделал классную модель», при том что в том квартале были реально крутые результаты и по сложности и по фин эффектам 😰.

Поэтому вместо банального «рисуйте классную презентацию» дам чуть менее банальный совет — делайте интерактив, чтобы ваш каналья-манагер что-то осмысленное мог руками поменять (инфляцию, прогнозную цену на продукцию и пр и пр) и получить сиюминутный результат -- в общем, почувстввал себя ребенком и поиграл в новую игрушку 🥁.

Успех DS в бизнесе — к сожалению, гораздо чаще про сторителлинг и игрушки-поделия чем реально трансформация бизнес-линий / процессов с большими эффектами. Увы

Хотя у меня уже давно поменялась фотография и должность, все равно стараюсь не пропускать Data Fusion (разве что в том году наложилось с MachinesCanSee). В этом году думал отсидеться в панели, но в итоге втянули в дебаты, узнаем какой из меня спорщик 😂

А с докладом за BigData МТС будет отдуваться Серега Кузнецов — это CTO нашей гордости — RecSys платформы. Думаю оба дня буду на конфе, про интересное здесь напишу. Если кто хочет очно пересечься / познакомиться — буду рад, приходите 🍺

PS: Если кто потеряется / стесняется — орги поддались общему тренду и запилили бота для знакомств — потестим )

Пример «делайте интерактив» вместо «рисуйте презентацию» от Миши Степнова

Парни занимались бесчисленной сборкой PoC на модном тогда направлении GenAI (в 20-21 годах, на минуточку) — немного музыку погенерить, где-то голову на изображении пересадить, помощника канальи сделать (который вместо манагера в почте будет отвечать либо «спасибо» либо «проработайте вопрос» 😂😂😂).

Как подвести итоги года работы команды, если весь год состоял из спринтов в разные стороны, конференций, презентаций, лихих кавалерийских наскоков?
Желательно чтобы после этого премии полились как комменты под постом про AI-продактов ?

Все любят подарки, а манагеры особенно, если это не дежурная бутылка / мерч / книжка из библиотеки большого банка (одной я палочку из Гарри Поттера подарил -- но то совсем другая история).

И вот Миша с парнями дарят своему шефу телефон (ибо нужен андроид, а у шефа айфон), а на телефоне файтер.

И в файтере шеф — читерский перс 💪, который раздает 🥊 другим топам 🤡 сериями до самого фаталити ☠️.

Естественно, в противники шефу выбрали его начальников и оппонентов 😁, добившись узнаваемости персов по лицу 🫣

Вот и догадайтесь, у кого в департаменте была годовая премия x2.

Растите продуктовые метрики и прокрашивайте A/B, коллеги 🤓😆🏋‍♂️

А на видео -- битва двух непримиримых противников -- CDS (AI) vs CTO

Только сейчас понял что у меня их две 🤷‍♂️

Сегодня рассказывал студентам что feature engineering еще актуален -- в том числе, для моделей в высоконагруженных сервисах, например, DSP-платформах в рекламе. Потому как расчет фичей можно реализовать на Go и останется только применить бинарник модели к уже насчитанным фичам.

И тут я говорю фразу -- ну нет же на Go реализации сложных сеток (хотя пару лет назад я вынашивал мысль сделать сделать такую ML-библиотеку). С этими словами я полез гуглить и оказалось что я слоупок -- уже 2 месяца как в гите есть реализация трансформеров на Golang.

Невероятно как быстро устаревают знания об области в которой годами работаешь 😱

Когда думаешь что видел самые извращенные графики и самые вырвиглазные EDA, судьба преподносит шедевры.

После них графики с тремя осями -- образец четкости и понятности в донесении мыслей 😅😂

«LLM уравняли всех — и джунов и тимлидов» — сказал один мой приятель.

Если верить цитатам в интернете, то еще «God made men, but Samuel Colt made them equal»

Сначала вообще про «уравнивание», а потом и до LLM дойдем.

Многие слышали про проект «осознанная меркантильность», про советы про накрутку опыта, про работу одновременно на 2-3 работах и прочее.

Многие менеджеры аргументируют в духе «а если все так начнут делать кто работать будет?».

Так вот, мне, как менеджеру, ребята с 2-3 работами более чем нравятся:

◦ Насмотренность и число технологий, с которыми они знакомы, у них всяко выше чем у сотрудника с 10+ лет на одном месте
◦ Знаний и навыков тоже — они постоянно проходят — ловят тренд на актуальные запросы рынка, оперативно учат то, чего не хватает
◦ Коммуникативно они тоже как правило сильные
◦ Работать с ними можно как с подрядчиком — на вход описанная задача, на выход — результат
◦ Расставаться в случае косяков с таким сотрудников не жалко и не сложно (у него еще 2 работы есть)

А теперь вернемся в начало — что рынку могут предложить тим. лиды, которые по 5 лет делают одно и то же? Блевотное «ставил задачи и контролировал их выполнение» из резюмех? Лояльность компании ?
Знание, какой цвет в презентации у шефа любимый (и то, если кукбуки позволяют)?

Если вы тимлид — остановитесь и задумайтесь, какие востребованные рынком навыки и знания (а не карьерный трек и опыт в годах) вас сейчас дифференцируют от мидла или синьора?
Умение декомпозировать задачи и планировать проект? Но каждый кто хоть раз сам ездил в отпуск и успешно из него вернулся — готовый руководитель проекта (точно так же оценивал риски, планировал бюджет, справлялся с нежданчиками, находил trade-off со стейкхолдерами)

Будет здорово, если поделитесь в комментариях (а если пост хотя бы 50 лайков наберет — напишу свою версию про себя).

Если вы из бизнеса — чего, кроме навыков, вы хотите от соискателя? Почему не подойдет соискатель без опыта, но с навыками и знаниями?

Так что мб и не LLM всех уравнял, а рынок, которые очень быстро развивается и меняет фокусы? Хотя с момента появления статьи про внимание 8 лет почти прошло — кто мешал заботать?

В штатах малый бизнес массово переключается на API к LLM и не нанимает экспертов со степенью чтобы полгода разрабатывать модель для узкой задачи.
Прототипы тоже собираются за вечер.

Есть и обратная сторона — шапкозакидательные поверхностные ребята, которые впаривают бизнесу работающие прототипы, а те потом топают ножкой со словами «да чего тут делать» и не понимают чем пром. решение отличается от прототипа.

Небольшой лайфхак, спросите ребят, которые лихо прикручивают прототип на базе API какой-н LLM:

◦ Насколько guardrails уменьшит latency? Хотя бы на 20% будет?
◦ На сколько % SFT снижает галлюцинации по сравнению с QLORA?
◦ В чем преимущества Groundedness над Faithfullness?

Все они, конечно же, провокационные и подталкивающие к ошибке, но срезать верхогляда — бесценно.

PS. Буду рад узнать вашу версию кого стоит нанять — джуна или тимлида (предполагается одинаковый функционал) при равенстве навыков, релевантных бизнесу в моменте (LLM например).

я в отпуске, пообщаться в комментах — велком!

вдогонку к прошлому посту -- как я вижу деление на грейды (на примере модели оттока):

Junior — строит модель оттока и замеряет roc_auc

Middle — убеждается что отток по месяцам стабилен, замеряет lift, калибрует на вероятности

Senior — Don’t Predict the Churn , prevent it! — строит модель, которая предлагает какую-то опцию (скидку например) только тем, кто а) хочет уйти б) на опцию среагирует и в) финансовый итог такой операции будет положительным — а-ля аплифт моделирование

Team leader — отправляет аналитика и DS разбирать обратную связь по продукту, находит причины оттока, на пальцах прикидывает сколько денег можно сэкономить если эти причины устранить — идет бодаться с продактом чтобы это сделать

CDS — все массовые задачи платформизировал, а по остальным погружен во все 4 уровня (заодно и ревью устроить может)

а следующим попробую погадать что рынку могут предложить CDSы

Еще в копилку тревожности синьоров и манагеров -- Revenge of the junior developer

Классческий естественный отбор -- выживает самый адаптивный

Все руки не доберутся до поста , все силы на рыбалку уходят