Дополню пост о древе метрик книгой, которая научит вас находить KPI и строить иерархии.
📚 KPI Checklists: Develop Meaningful, Trusted KPIs and Reports Using Step-by-step Checklists
Автор: Bernie Smith
Берни Смит, владелец компании Made to Measure KPIs, изобрел метод KPI-деревьев в 2007 году. Автор ничего не говорит о NSM, зато учит правильно определять стратегическую миссию продукта. Именно она лежит на вершине иерархии. Это перекликается с фреймворком Полярной звезды: в нем мы формулировали цель продукта в виде емкой фразы, а затем искали метрику, которая измеряет движение к цели.
Книга наполнена краткими объяснениями и чек-листами. Главы расскажут, как сформулировать миссию продукта, понять его KPI и определяющие их метрики, как подготовить отчет и дэшборд, а также справиться со сложностями на каждом этапе.
Если хочется быстро понять суть метода, то вот краткий гайд по построению KPI-дерева на сайте Made to Measure KPIs.
🔗Купить книгу на английском можно на Амазоне. На русский язык книга не переводилась.
#книга
📚 KPI Checklists: Develop Meaningful, Trusted KPIs and Reports Using Step-by-step Checklists
Автор: Bernie Smith
Берни Смит, владелец компании Made to Measure KPIs, изобрел метод KPI-деревьев в 2007 году. Автор ничего не говорит о NSM, зато учит правильно определять стратегическую миссию продукта. Именно она лежит на вершине иерархии. Это перекликается с фреймворком Полярной звезды: в нем мы формулировали цель продукта в виде емкой фразы, а затем искали метрику, которая измеряет движение к цели.
Книга наполнена краткими объяснениями и чек-листами. Главы расскажут, как сформулировать миссию продукта, понять его KPI и определяющие их метрики, как подготовить отчет и дэшборд, а также справиться со сложностями на каждом этапе.
Если хочется быстро понять суть метода, то вот краткий гайд по построению KPI-дерева на сайте Made to Measure KPIs.
🔗Купить книгу на английском можно на Амазоне. На русский язык книга не переводилась.
#книга
До сих пор пребываю в шоке после ужасного теракта. Сначала не хотел делать дайджест, но делать надо, ведь именно страха и апатии от нас и добиваются. В эти выходные общество показало небывалый пример единения, мы стали сильнее.
Вечная память погибшим🙏
——
Yandex Cloud расширяет возможности работы с данными. Во-первых, провайдер запустил Yandex MetaData Hub. Он объединяет функции управления метаданными для интеграции баз данных и подключения к ним. Во-вторых, в Yandex DataLens появятся два тарифа: Community для небольших проектов и некоммерческого использования и Business для корпоративного внедрения и бизнес задач. В-третьих, команда повысила общий уровень безопасности управляемых баз данных. Теперь пользователи смогут более детализировано отслеживать аудитные логи в Audit Trails.
Все обсуждают статью Сергея Тихомирова, ex Head of Product Яндекс Практикум, о сути экосистемы продуктов. Сергей объяснил, что лежит в основе нее и почему супераппы или платформы – еще не экосистема. Чтобы назвать набор продуктов экосистемой, должны быть соблюдены условия:
1. Продукты объединены платформой единого профиля пользователя;
2. Между продуктами существует передаточная ценность – эффект увеличения ценности от одного продукта экосистемы за счет передачи в него информации из другого (например, авторизационных данных VK ID).
Благодаря статье понимаешь, почему в современных реалиях разработка экосистемы на российском рынке – ключевая стратегия развития компаний.
Сегодня бизнес ищет способы максимизировать работу data команды и измерить рентабельность инвестиций в нее. Автор блога Towards Data Science на Medium (VPN) предложила полезный фреймворк – Пирамида окупаемости инвестиций в данные (Data ROI Pyramid). В основе расчета Data ROI лежат 3 показателя: инвестиции в данные, ценность дата продукта и время простоя данных. В статье даны формулы для расчета каждого из них. Фреймворк актуален руководителям команд аналитиков для отчетов CEO. Редко можно встретить алгоритм расчета Data ROI, а тут целый фреймворк.
#дайджест
Вечная память погибшим🙏
——
Yandex Cloud расширяет возможности работы с данными. Во-первых, провайдер запустил Yandex MetaData Hub. Он объединяет функции управления метаданными для интеграции баз данных и подключения к ним. Во-вторых, в Yandex DataLens появятся два тарифа: Community для небольших проектов и некоммерческого использования и Business для корпоративного внедрения и бизнес задач. В-третьих, команда повысила общий уровень безопасности управляемых баз данных. Теперь пользователи смогут более детализировано отслеживать аудитные логи в Audit Trails.
Все обсуждают статью Сергея Тихомирова, ex Head of Product Яндекс Практикум, о сути экосистемы продуктов. Сергей объяснил, что лежит в основе нее и почему супераппы или платформы – еще не экосистема. Чтобы назвать набор продуктов экосистемой, должны быть соблюдены условия:
1. Продукты объединены платформой единого профиля пользователя;
2. Между продуктами существует передаточная ценность – эффект увеличения ценности от одного продукта экосистемы за счет передачи в него информации из другого (например, авторизационных данных VK ID).
Благодаря статье понимаешь, почему в современных реалиях разработка экосистемы на российском рынке – ключевая стратегия развития компаний.
Сегодня бизнес ищет способы максимизировать работу data команды и измерить рентабельность инвестиций в нее. Автор блога Towards Data Science на Medium (VPN) предложила полезный фреймворк – Пирамида окупаемости инвестиций в данные (Data ROI Pyramid). В основе расчета Data ROI лежат 3 показателя: инвестиции в данные, ценность дата продукта и время простоя данных. В статье даны формулы для расчета каждого из них. Фреймворк актуален руководителям команд аналитиков для отчетов CEO. Редко можно встретить алгоритм расчета Data ROI, а тут целый фреймворк.
#дайджест
Каждый мой пост на тему метрик – это ответ на самые частые вопросы продактов:
❓Откуда брать метрики и KPI;
❓Как связать метрики;
❓Как приоритезировать бэклог.
Еще один ответ в копилку – пирамида метрик. Это фреймворк для иерархии и классификации метрик на уровне бизнес-логики. С помощью него СЕО и продакт могут понять, почему буксует продукт, а стартапер – соблазнить инвестора показателями.
Не существует универсальной пирамиды, так как каждая компания конструирует ее под свои цели. Здесь я приведу вариант Елены Серегиной, главного популяризатора и автора пирамиды метрик в России.
Если посмотреть на бизнес также, как психолог Абрахам Маслоу посмотрел на потребности человека, то мы увидим пирамиду целей. Лена выделяет 4 слоя в пирамиде. Каждый слой содержит метрики, количественно характеризующие данный уровень.
Пирамида метрик повторяет пирамиду Маслоу: главное наверху, а рычаги давления внизу. Достичь вершины можно только после проработки нижних слоев. Несмотря на это, объяснить структуру пирамиды проще сверху вниз.
На вершине лежит слой бизнес-целей, от которых зависит стратегия построения всей пирамиды. В нем мы располагаем метрики Revenue, Profit и Market Share. Его подстилает слой маржинальности продукта. Там обитают LTV, ARPU и OPEX.
Средний слой посвящен продукту, а именно как он решает проблему пользователя и как клиент взаимодействует с ним. Оценить продукт можно со стороны лояльности пользователей, его ценности и качества. Причем качество в пирамиде лежит ниже лояльности и ценности, а значит приоритетнее.
Метрики лояльности достаточно универсальны: NPS, Retention, Churn rate, и др. Метрики ценности и качества определить сложнее, так как они полностью зависят от продукта. Есть правило: чем ниже спускаемся по пирамиде, тем меньше универсальных метрик и больше кастомных.
В основании пирамиды лежит слой интерфейса продукта и маркетинга. В нем мы располагаем все аудиторные, временные и маркетинговые метрики, например, CTR и средняя продолжительность сессии.
#метрики
❓Откуда брать метрики и KPI;
❓Как связать метрики;
❓Как приоритезировать бэклог.
Еще один ответ в копилку – пирамида метрик. Это фреймворк для иерархии и классификации метрик на уровне бизнес-логики. С помощью него СЕО и продакт могут понять, почему буксует продукт, а стартапер – соблазнить инвестора показателями.
Не существует универсальной пирамиды, так как каждая компания конструирует ее под свои цели. Здесь я приведу вариант Елены Серегиной, главного популяризатора и автора пирамиды метрик в России.
Если посмотреть на бизнес также, как психолог Абрахам Маслоу посмотрел на потребности человека, то мы увидим пирамиду целей. Лена выделяет 4 слоя в пирамиде. Каждый слой содержит метрики, количественно характеризующие данный уровень.
Пирамида метрик повторяет пирамиду Маслоу: главное наверху, а рычаги давления внизу. Достичь вершины можно только после проработки нижних слоев. Несмотря на это, объяснить структуру пирамиды проще сверху вниз.
На вершине лежит слой бизнес-целей, от которых зависит стратегия построения всей пирамиды. В нем мы располагаем метрики Revenue, Profit и Market Share. Его подстилает слой маржинальности продукта. Там обитают LTV, ARPU и OPEX.
Средний слой посвящен продукту, а именно как он решает проблему пользователя и как клиент взаимодействует с ним. Оценить продукт можно со стороны лояльности пользователей, его ценности и качества. Причем качество в пирамиде лежит ниже лояльности и ценности, а значит приоритетнее.
Метрики лояльности достаточно универсальны: NPS, Retention, Churn rate, и др. Метрики ценности и качества определить сложнее, так как они полностью зависят от продукта. Есть правило: чем ниже спускаемся по пирамиде, тем меньше универсальных метрик и больше кастомных.
В основании пирамиды лежит слой интерфейса продукта и маркетинга. В нем мы располагаем все аудиторные, временные и маркетинговые метрики, например, CTR и средняя продолжительность сессии.
#метрики
По традиции понедельников – подборка классных статей.
Несмотря на то, что многие специалисты (включая меня) делятся опытом и знаниями, начинающим аналитикам этого мало. Нужна дорожная карта, чтобы из информационного компота человек сформировал систему предмета в голове. Чтобы помочь юным падаванам, опытный продуктовый аналитик предложил отличный роадмап по профессии. Автор прописал каждый шаг обучения: от освоения технической базы до постижения аналитической культуры. Мой совет: не распыляйтесь. Если вы выберите этот роадмап, то следуйте ему до конца.
Специалисты по контекстной рекламе из Ingate попросили ChatGPT сегментировать аудиторию по методу 5W. В основу модели заложены 5 вопросов, ответы на которые дают понимание целей и интересов аудитории: What, Who, Why, When, Where. Затем ребята выделили микросегменты и подобрали персонализированные креативы под каждое ядро ЦА и так смогли снизить CPL в несколько раз. Этот кейс пример того, как часть задач аналитиков переходит в руки нейросетей. Авторы статьи поделились готовым алгоритмом запросов к чату и показали оформление каждого шага. Главное – проверять данные, собранные нейросетью.
Автор блога на Medium (VPN) поделился гайдом для подсчета продуктовых и UX метрик. Он выделил список обязательных метрик и объяснил, как их находить. А также рассказал, чем отличаются UX метрики от чисто продуктовых. Главная задача таких метрик – выявлять недостатки в удобстве использования продукта и помогать расставлять приоритеты в проектных инициативах в тех областях, где больше всего возможностей для улучшения. Наконец, эти показатели говорят вам, насколько успешен продукт.
#дайджест
Несмотря на то, что многие специалисты (включая меня) делятся опытом и знаниями, начинающим аналитикам этого мало. Нужна дорожная карта, чтобы из информационного компота человек сформировал систему предмета в голове. Чтобы помочь юным падаванам, опытный продуктовый аналитик предложил отличный роадмап по профессии. Автор прописал каждый шаг обучения: от освоения технической базы до постижения аналитической культуры. Мой совет: не распыляйтесь. Если вы выберите этот роадмап, то следуйте ему до конца.
Специалисты по контекстной рекламе из Ingate попросили ChatGPT сегментировать аудиторию по методу 5W. В основу модели заложены 5 вопросов, ответы на которые дают понимание целей и интересов аудитории: What, Who, Why, When, Where. Затем ребята выделили микросегменты и подобрали персонализированные креативы под каждое ядро ЦА и так смогли снизить CPL в несколько раз. Этот кейс пример того, как часть задач аналитиков переходит в руки нейросетей. Авторы статьи поделились готовым алгоритмом запросов к чату и показали оформление каждого шага. Главное – проверять данные, собранные нейросетью.
Автор блога на Medium (VPN) поделился гайдом для подсчета продуктовых и UX метрик. Он выделил список обязательных метрик и объяснил, как их находить. А также рассказал, чем отличаются UX метрики от чисто продуктовых. Главная задача таких метрик – выявлять недостатки в удобстве использования продукта и помогать расставлять приоритеты в проектных инициативах в тех областях, где больше всего возможностей для улучшения. Наконец, эти показатели говорят вам, насколько успешен продукт.
#дайджест
Чем живут продуктовые и дата-аналитики
Ребята из NEWHR Data наконец-то опубликовали результаты масштабного исследования рынка русскоязычных продуктовых и дата-аналитиков. Респонденты (в основном опытные аналитики грейдов middle и выше) ответили на десятки вопросов.
В числе прочего:
🔹 Как изменились их зарплаты за прошлый год;
🔹 В каких компаниях хотят и не очень хотят работать;
🔹 Что поменялось в приоритетах кандидатов и их взглядах на рынок за последние три года;
🔹 Что ценят в работодателях и считают «хорошей аналитической культурой»;
🔹 Чем занимаются в своей повседневной работе;
🔹 В каких странах живут и хотели бы жить.
Есть любопытные инсайты. Всегда интересно посмотреть, чем живут твои коллеги 🤓
Ребята из NEWHR Data наконец-то опубликовали результаты масштабного исследования рынка русскоязычных продуктовых и дата-аналитиков. Респонденты (в основном опытные аналитики грейдов middle и выше) ответили на десятки вопросов.
В числе прочего:
🔹 Как изменились их зарплаты за прошлый год;
🔹 В каких компаниях хотят и не очень хотят работать;
🔹 Что поменялось в приоритетах кандидатов и их взглядах на рынок за последние три года;
🔹 Что ценят в работодателях и считают «хорошей аналитической культурой»;
🔹 Чем занимаются в своей повседневной работе;
🔹 В каких странах живут и хотели бы жить.
Есть любопытные инсайты. Всегда интересно посмотреть, чем живут твои коллеги 🤓
Понедельник. Утро. Дайджест – в ленте.
Время бизнеса с жесткой иерархией прошло. Сегодня выживают только гибкие компании с адаптивной системой управления. Agile-подход изменил и финансовую организацию бизнеса. Теперь руководители продуктовых и функциональных команд должны сами планировать свои финансовые показатели и нести ответственность за доходы, расходы, прибыль/убыток и инвестиции. Денис Дубовцев, автор книги «Профессия финансист» рассказал, как экологично поделить ответственность за финансовые показатели продукта внутри компании. Например, нужно автоматизировать систему создания финансовых отчетов, обсуждать цифры после каждого закрытого месяца и на основе их корректировать запланированные показатели.
Бизнес-секреты рассказали, что такое проект и как им управлять. Причем не важно, мы говорим о разработке продукта или освоении новой профессии. Проект – это набор шагов на пути к достижению результата (например, готового продукта или приема на работу). Статья, в первую очередь, будет полезна начинающим руководителям. Она рассказывает про 5 процессов управления проектом – инициация, планирование, реализация, мониторинг и контроль, завершение. В статье также разбираются популярные методы управления: Waterfall, Scrum и Kanban. Автор дает советы, когда важно делегировать задачу и как перераспределять ресурсы. В конце – список полезных книг и статей.
Разведочный анализ данных (EDA) – это подход к анализу наборов данных с целью обобщить их основные характеристики. Процесс энергозатратный, но крайне полезный. Он позволяет максимально вникнуть в данные, выбрать ключевые переменные, обнаружить отклонения и аномалии. Важный инструмент метода – визуализация данных. Можно ли пропустить EDA и перейти сразу к выводам? Почти всегда нет. Автор на Хабре пояснила несколько статистических феноменов (например, квартет Энскомба и парадокс Симпсона), при которых полный анализ всех переменных – единственный способ избежать ложных выводов.
#дайджест
Время бизнеса с жесткой иерархией прошло. Сегодня выживают только гибкие компании с адаптивной системой управления. Agile-подход изменил и финансовую организацию бизнеса. Теперь руководители продуктовых и функциональных команд должны сами планировать свои финансовые показатели и нести ответственность за доходы, расходы, прибыль/убыток и инвестиции. Денис Дубовцев, автор книги «Профессия финансист» рассказал, как экологично поделить ответственность за финансовые показатели продукта внутри компании. Например, нужно автоматизировать систему создания финансовых отчетов, обсуждать цифры после каждого закрытого месяца и на основе их корректировать запланированные показатели.
Бизнес-секреты рассказали, что такое проект и как им управлять. Причем не важно, мы говорим о разработке продукта или освоении новой профессии. Проект – это набор шагов на пути к достижению результата (например, готового продукта или приема на работу). Статья, в первую очередь, будет полезна начинающим руководителям. Она рассказывает про 5 процессов управления проектом – инициация, планирование, реализация, мониторинг и контроль, завершение. В статье также разбираются популярные методы управления: Waterfall, Scrum и Kanban. Автор дает советы, когда важно делегировать задачу и как перераспределять ресурсы. В конце – список полезных книг и статей.
Разведочный анализ данных (EDA) – это подход к анализу наборов данных с целью обобщить их основные характеристики. Процесс энергозатратный, но крайне полезный. Он позволяет максимально вникнуть в данные, выбрать ключевые переменные, обнаружить отклонения и аномалии. Важный инструмент метода – визуализация данных. Можно ли пропустить EDA и перейти сразу к выводам? Почти всегда нет. Автор на Хабре пояснила несколько статистических феноменов (например, квартет Энскомба и парадокс Симпсона), при которых полный анализ всех переменных – единственный способ избежать ложных выводов.
#дайджест
Милый котенок-аналитик в очках, а вокруг дашборды с графиками.
Именно такой промпт я использовал чтобы сгенерировать эту картинку в YandexART. Получилось прикольно, ведь примерно так мы и выглядим 😃
Yandex AI Rendering Technology (YandexART) — диффузионная нейросеть, которая создаёт изображения в ответ на текстовые запросы. Она обучалась на примере 330 миллионов картинок с описанием, знает российский культурный код и использует особый алгоритм распознавания текстов, чтобы точнее понимать пожелания пользователей.
Модель формирует изображения методом каскадной диффузии: сначала генерирует картинки и кадры в соответствии с запросом пользователя, а затем поэтапно увеличивает их разрешение, насыщая деталями. Это позволяет создавать более реалистичную и детализированную графику. Подробнее о качестве и особенностях обучения YandexART можно прочитать на Хабре.
Сегодня разберем построение пирамиды метрик. Оно занимает 6 шагов. Первые четыре лучше прорабатывать всей командой в Miro, созвав представителей бизнеса, маркетинг, владельца продукта, аналитиков, тех лидов и др. Последние шаги предоставьте аналитикам.
1️⃣ Постановка бизнес-цели. Возможно, вас интересует привлечение инвестиций или монетизация. Постарайтесь правильно определить цель. Она – залог хорошо подобранных метрик.
2️⃣ Брейншторм метрик. Мы перечисляем уже имеющиеся метрики и задаем себе вопрос: что еще мы хотим отслеживать? Отмечайте на доске, какие метрики вы уже отслеживаете, а какие нет. Так мы закладываем скоуп будущих работ.
3️⃣ Классификация. Теперь мы раскладываем метрики по пирамиде и определяем ихиерархию. Для этого внутри каждого слоя мы выбираем NSM и декомпозируем ее.
Классификация показывает гиперфокус и слепые пятна. Гиперфокус – это переизбыток похожих по смыслу метрик в одном из слоев. Чтобы избавиться от него, мы выбираем один наиболее подходящий показатель и отбрасываем другие.
Слепое пятно – это слой пирамиды, на котором почти нет метрик. Часто оно выпадает на продуктовые слои качества и ценности. В этом случае команде нужно заняться поиском «боли» пользователя, которую снимает продукт, и после подобрать метрики к найденному решению.
4️⃣ Ревью. Мы проходимся по метрикам в пирамиде и задаем проверочные вопросы по типу является ли метрика хорошей или на что она влияет. Метрики, провалившие опрос, покидают доску.
5️⃣ Анализ метрик. Аналитики изучают распределение каждой метрики по пользователям, ее ретроспективную динамику и связь с другими метриками. Анализ подсвечивает, как на самом деле пользователь взаимодействует с продуктом. Зная это, вам будет проще объяснить аномалии на графиках.
6️⃣ Документирование и внедрение. Пирамиду важно задокументировать, а каждую метрику представить в виде SQL-кода. Аналитики должны договориться, как именно будут считать каждую метрику. Последним наступает черед визуализации: аналитики обновляют старые и создают новые дашборды.
#метрики
1️⃣ Постановка бизнес-цели. Возможно, вас интересует привлечение инвестиций или монетизация. Постарайтесь правильно определить цель. Она – залог хорошо подобранных метрик.
2️⃣ Брейншторм метрик. Мы перечисляем уже имеющиеся метрики и задаем себе вопрос: что еще мы хотим отслеживать? Отмечайте на доске, какие метрики вы уже отслеживаете, а какие нет. Так мы закладываем скоуп будущих работ.
3️⃣ Классификация. Теперь мы раскладываем метрики по пирамиде и определяем их
Классификация показывает гиперфокус и слепые пятна. Гиперфокус – это переизбыток похожих по смыслу метрик в одном из слоев. Чтобы избавиться от него, мы выбираем один наиболее подходящий показатель и отбрасываем другие.
Слепое пятно – это слой пирамиды, на котором почти нет метрик. Часто оно выпадает на продуктовые слои качества и ценности. В этом случае команде нужно заняться поиском «боли» пользователя, которую снимает продукт, и после подобрать метрики к найденному решению.
4️⃣ Ревью. Мы проходимся по метрикам в пирамиде и задаем проверочные вопросы по типу является ли метрика хорошей или на что она влияет. Метрики, провалившие опрос, покидают доску.
5️⃣ Анализ метрик. Аналитики изучают распределение каждой метрики по пользователям, ее ретроспективную динамику и связь с другими метриками. Анализ подсвечивает, как на самом деле пользователь взаимодействует с продуктом. Зная это, вам будет проще объяснить аномалии на графиках.
6️⃣ Документирование и внедрение. Пирамиду важно задокументировать, а каждую метрику представить в виде SQL-кода. Аналитики должны договориться, как именно будут считать каждую метрику. Последним наступает черед визуализации: аналитики обновляют старые и создают новые дашборды.
#метрики
Обычно я читаю около 10 новых статей за неделю и только самое лучшее и интересное идет в дайджест, чтобы сэкономить вам время.
Если понравилось – поставь ❤️
Один из наших коллег-аналитиков опубликовал конспект по всей теории A/В- тестирования в Collab-ноутбуке. Записи основаны на материалах курса по теории и практике А/В тестирования от компании EXPF. Конспект содержит основы статистики, ускорение A/В, ratio-метрики и много чего еще. К некоторым разделам автор подкинул полезных ссылок. Но помните, что конспект – это краткие выжимки. Он пригодится тем, кто уже владеет темой и хочет освежить знания. Если ты новичок, то лучше начни с учебника или курса.
На Хабр залетел начинающий автор с шикарной статьей на тему сегментации и кластеризации временных рядов. Автор применила ML анализ для исследования социальных явлений и событий. В качестве источника данных она взяла интернет-издание Лента.ру и проанализировала новости за год с разбивкой на категории, такие как экологические проблемы, преступления, оружие. Статья, с одной стороны, является красивым примером научного исследования с применением ML. С другой, она выявляет корреляции между новостями. Например, резкий скачок в категории развития бизнеса и торговли произошел из-за начала продажи новых китайских автомобилей после ноября 2023 года, что повлекло сообщения о развитии автомобильной отрасли в России.
Ежедневно аналитики делают выводы о поведении миллионов пользователей крупных приложений, опираясь на данные лишь небольшой части из них – выборке. Но справедливо ли делать выводы о миллионной аудитории по данным 100 пользователей или стоит собрать данные о 1000 пользователей? Чтобы дать ответ на вопрос, автор на Хабр смоделировал тысячу A/A, A/B и A/B/C/D тестов и показал, как параметры эксперимента и статистические критерии влияют на выводы о всей совокупности. В статье вы найдете полезные ссылки для новичков и профи.
#дайджест
Если понравилось – поставь ❤️
Один из наших коллег-аналитиков опубликовал конспект по всей теории A/В- тестирования в Collab-ноутбуке. Записи основаны на материалах курса по теории и практике А/В тестирования от компании EXPF. Конспект содержит основы статистики, ускорение A/В, ratio-метрики и много чего еще. К некоторым разделам автор подкинул полезных ссылок. Но помните, что конспект – это краткие выжимки. Он пригодится тем, кто уже владеет темой и хочет освежить знания. Если ты новичок, то лучше начни с учебника или курса.
На Хабр залетел начинающий автор с шикарной статьей на тему сегментации и кластеризации временных рядов. Автор применила ML анализ для исследования социальных явлений и событий. В качестве источника данных она взяла интернет-издание Лента.ру и проанализировала новости за год с разбивкой на категории, такие как экологические проблемы, преступления, оружие. Статья, с одной стороны, является красивым примером научного исследования с применением ML. С другой, она выявляет корреляции между новостями. Например, резкий скачок в категории развития бизнеса и торговли произошел из-за начала продажи новых китайских автомобилей после ноября 2023 года, что повлекло сообщения о развитии автомобильной отрасли в России.
Ежедневно аналитики делают выводы о поведении миллионов пользователей крупных приложений, опираясь на данные лишь небольшой части из них – выборке. Но справедливо ли делать выводы о миллионной аудитории по данным 100 пользователей или стоит собрать данные о 1000 пользователей? Чтобы дать ответ на вопрос, автор на Хабр смоделировал тысячу A/A, A/B и A/B/C/D тестов и показал, как параметры эксперимента и статистические критерии влияют на выводы о всей совокупности. В статье вы найдете полезные ссылки для новичков и профи.
#дайджест
Сегодня хочу поделиться с вами одной классной техникой, которой я пользуюсь, когда нужно принять сложное решение. Она не даёт 100% ответа, но помогает логически разложить решение и взвесить все плюсы и минусы.
Эта техника называется «квадрат Декарта» и была придумана Рене Декартом – французским философом, физиком, математиком и основателем аналитической геометрии.
Обычно, когда мы сталкиваемся с необходимостью принять решение, мы сосредотачиваемся только на одной или двух его особенностях, игнорируя другие важные критерии. Мы задаём себе вопрос: «Что будет, если это произойдёт?» Но этого недостаточно.
Квадрат Декарта похож на классический метод учёта плюсов и минусов, но он позволяет увидеть общую картину и учесть не только позитивные и негативные последствия, но и эффекты от бездействия.
Работать с квадратом Декарта просто:
✔️Делим лист на четыре части.
✔️Вписываем в каждую часть один из вопросов.
✔️Даём подробные ответы.
Вопросы такие:
1️⃣ Что случится, если это произойдет? Здесь мы перечисляем плюсы от принимаемого решения.
2️⃣ Что случится, если это НЕ произойдет? Здесь плюсы, которые получим, если не примем решения.
3️⃣ Что НЕ случится, если это произойдет? Описываем минусы от принимаемого решения, то есть возможные негативные последствия.
4️⃣ Что НЕ случится, если это НЕ произойдет? Этот вопрос относится к потерям, которые мы понесём, если откажемся от решения.
Важно записать как можно больше эффектов, чтобы иметь полную картину. Не стоит полагаться на память.
Квадрат Декарта – универсальный инструмент, который можно использовать в любых сферах: от бытовых задач до управленческих решений. Он не даёт готового ответа, но позволяет представить все выгоды и риски в структурированном виде. Решение формируется на основе этой информации.
❗️И самое главное – если решение принято, отбрасываем все сомнения и без колебаний двигаемся вперед. Это позволяет нам сохранить энергию и сосредоточиться на достижении поставленных целей, не растрачивая силы на бесполезные раздумья.
#опыт
Эта техника называется «квадрат Декарта» и была придумана Рене Декартом – французским философом, физиком, математиком и основателем аналитической геометрии.
Обычно, когда мы сталкиваемся с необходимостью принять решение, мы сосредотачиваемся только на одной или двух его особенностях, игнорируя другие важные критерии. Мы задаём себе вопрос: «Что будет, если это произойдёт?» Но этого недостаточно.
Квадрат Декарта похож на классический метод учёта плюсов и минусов, но он позволяет увидеть общую картину и учесть не только позитивные и негативные последствия, но и эффекты от бездействия.
Работать с квадратом Декарта просто:
✔️Делим лист на четыре части.
✔️Вписываем в каждую часть один из вопросов.
✔️Даём подробные ответы.
Вопросы такие:
1️⃣ Что случится, если это произойдет? Здесь мы перечисляем плюсы от принимаемого решения.
2️⃣ Что случится, если это НЕ произойдет? Здесь плюсы, которые получим, если не примем решения.
3️⃣ Что НЕ случится, если это произойдет? Описываем минусы от принимаемого решения, то есть возможные негативные последствия.
4️⃣ Что НЕ случится, если это НЕ произойдет? Этот вопрос относится к потерям, которые мы понесём, если откажемся от решения.
Важно записать как можно больше эффектов, чтобы иметь полную картину. Не стоит полагаться на память.
Квадрат Декарта – универсальный инструмент, который можно использовать в любых сферах: от бытовых задач до управленческих решений. Он не даёт готового ответа, но позволяет представить все выгоды и риски в структурированном виде. Решение формируется на основе этой информации.
❗️И самое главное – если решение принято, отбрасываем все сомнения и без колебаний двигаемся вперед. Это позволяет нам сохранить энергию и сосредоточиться на достижении поставленных целей, не растрачивая силы на бесполезные раздумья.
#опыт
Я наткнулся на Хабр-статью, в которой гейм-дизайнер делится опытом ивент шторминга (Event Storming). Фишка воркшопа – в совместной проработке бизнес-сценариев, синхронизации команд и выработке единого языка. Это отличный способ разложить продукт по полочкам, понять, как он работает (или должен работать). Суть воркшопа проста:
🔹собираем ребят из разных команд (но не более 10 участников);
🔹брейнштормим идеи (продуктовые события, ограничения и др.);
🔹заклеиваем белую доску цветными стикерами (свой цвет для каждого элемента);
🔹вместе прорабатываем структуру и взаимосвязи;
🔹возвращаемся к доске, когда нужно.
Автор статьи на Medium (VPN) потестила ИИ-платформы для аналитиков и сравнила обещания и реальность. Под горячую руку попали Basedash, VizCritique Pro (плагин ChatGPT), Rows, Julius и Polymer Search. Самым многообещающим оказался Polymer Search. Он смог переварить данные и сам построить добротный дашборд. Еще одна из фич: если нажать на знак вопроса рядом с графиком, то программа расскажет о графике, сделает по нему выводы и даже предложит прогнозы. Словом, приятно наблюдать за развитием умных инструментов.
Не знаю, как вы, а я в восторге от Яндекс Нейро. Команда объединила силы Яндекс Поиск и YandexGPT, чтобы мы могли задать вопрос и сразу получить ответ, да еще и с ссылками на источники. Хочешь задать вопрос по картинке – легко. Нейро умеет распознавать изображения. Но для SEO-шников и рекламных агентств это противоречивая новость. С одной стороны, пользователи, получив быстрый ответ, не перейдут на сайт и не увидят рекламу. Это сократит количество кликов и трафик. С другой, при каждом вопросе сервис анализирует 5 наиболее релевантных сайтов и оставляет ссылку на них. Релевантными могут оказаться сайты не только из топ-10 выдачи. Если человек перейдет в источник, то «нетоповый» сайт пробьется через быстрые ответы и получит трафик оттуда. Андрей Сюткин, отвечающий за ML-трек в Нейро, рассказал на Хабре как выглядит архитектура Нейро и как формируются ответы на технологическом уровне.
#дайджест
🔹собираем ребят из разных команд (но не более 10 участников);
🔹брейнштормим идеи (продуктовые события, ограничения и др.);
🔹заклеиваем белую доску цветными стикерами (свой цвет для каждого элемента);
🔹вместе прорабатываем структуру и взаимосвязи;
🔹возвращаемся к доске, когда нужно.
Автор статьи на Medium (VPN) потестила ИИ-платформы для аналитиков и сравнила обещания и реальность. Под горячую руку попали Basedash, VizCritique Pro (плагин ChatGPT), Rows, Julius и Polymer Search. Самым многообещающим оказался Polymer Search. Он смог переварить данные и сам построить добротный дашборд. Еще одна из фич: если нажать на знак вопроса рядом с графиком, то программа расскажет о графике, сделает по нему выводы и даже предложит прогнозы. Словом, приятно наблюдать за развитием умных инструментов.
Не знаю, как вы, а я в восторге от Яндекс Нейро. Команда объединила силы Яндекс Поиск и YandexGPT, чтобы мы могли задать вопрос и сразу получить ответ, да еще и с ссылками на источники. Хочешь задать вопрос по картинке – легко. Нейро умеет распознавать изображения. Но для SEO-шников и рекламных агентств это противоречивая новость. С одной стороны, пользователи, получив быстрый ответ, не перейдут на сайт и не увидят рекламу. Это сократит количество кликов и трафик. С другой, при каждом вопросе сервис анализирует 5 наиболее релевантных сайтов и оставляет ссылку на них. Релевантными могут оказаться сайты не только из топ-10 выдачи. Если человек перейдет в источник, то «нетоповый» сайт пробьется через быстрые ответы и получит трафик оттуда. Андрей Сюткин, отвечающий за ML-трек в Нейро, рассказал на Хабре как выглядит архитектура Нейро и как формируются ответы на технологическом уровне.
#дайджест
Всех с праздниками!
Автор в блоге Towards Data Science (VPN) поделилась, как с помощью линейной регрессии построить верные причинно-следственные связи. Статья разбирает применение подхода к анализу результатов как A/B-тестов, так и эмпирических наблюдений. Однако в последнем случае следует трезво воспринимать выводы. Ведь мы никогда не можем быть уверены, что учли все факторы. Статья раскрывает принцип «корреляция еще не причинно-следственная связь», а также объясняет разницу между прогнозной аналитикой и причинно-следственным анализом.
Для определения зависимостей между двумя переменными используется коэффициент Пирсона, который измеряет линейные зависимости, и коэффициенты Спирмена и Кендалла для монотонных зависимостей. Но чаще всего нас интересует, есть ли зависимость вообще. И что делать, если она сложнее приведенных выше? Автор следующей статьи (VPN) рассказал о новом коэффициенте корреляции ξ, предложенном в статье A New Coefficient of Correlation в 2020. Он равен нулю, если переменные независимы, и единице, если одна из них является измеримой функцией другой. Новая корреляция сопровождается асимптотической теорией, которая позволяет проводить проверку гипотез, не делая предположений о базовых распределениях.
На Хабре я нашел добротную статью о ratio-метриках и их линеаризации. Автор объясняет, что такое ratio-метрики в A/B-тестах и как (и зачем) их линеаризовать. Он сравнивает линеаризацию с методами предусредненного среднего, бутстрапом и дельта-методом. Линеаризация позволяет преобразовать ratio-метрики к средней пользовательской метрике. Главные преимущества линеаризованной метрики:
🔹легкость подсчета;
🔹сохранение сонаправленности наблюдаемого эффекта с изменением в целевой ratio-метрике;
🔹корректные p-value;
🔹применимость методов CUPED и стратификации.
#дайджест
Автор в блоге Towards Data Science (VPN) поделилась, как с помощью линейной регрессии построить верные причинно-следственные связи. Статья разбирает применение подхода к анализу результатов как A/B-тестов, так и эмпирических наблюдений. Однако в последнем случае следует трезво воспринимать выводы. Ведь мы никогда не можем быть уверены, что учли все факторы. Статья раскрывает принцип «корреляция еще не причинно-следственная связь», а также объясняет разницу между прогнозной аналитикой и причинно-следственным анализом.
Для определения зависимостей между двумя переменными используется коэффициент Пирсона, который измеряет линейные зависимости, и коэффициенты Спирмена и Кендалла для монотонных зависимостей. Но чаще всего нас интересует, есть ли зависимость вообще. И что делать, если она сложнее приведенных выше? Автор следующей статьи (VPN) рассказал о новом коэффициенте корреляции ξ, предложенном в статье A New Coefficient of Correlation в 2020. Он равен нулю, если переменные независимы, и единице, если одна из них является измеримой функцией другой. Новая корреляция сопровождается асимптотической теорией, которая позволяет проводить проверку гипотез, не делая предположений о базовых распределениях.
На Хабре я нашел добротную статью о ratio-метриках и их линеаризации. Автор объясняет, что такое ratio-метрики в A/B-тестах и как (и зачем) их линеаризовать. Он сравнивает линеаризацию с методами предусредненного среднего, бутстрапом и дельта-методом. Линеаризация позволяет преобразовать ratio-метрики к средней пользовательской метрике. Главные преимущества линеаризованной метрики:
🔹легкость подсчета;
🔹сохранение сонаправленности наблюдаемого эффекта с изменением в целевой ratio-метрике;
🔹корректные p-value;
🔹применимость методов CUPED и стратификации.
#дайджест