Солдатов в Телеграм

Конверсия, Вклад и Адаптация

На конференции PHD я немного коснулся метрик качества правил обнаружения, будем называть их "ханты" (официальное название - IoA, Indicator of attack), - конверсии и вклада. Коротко напомню, что конверсия - это отношение количества True positive алертов к общему количеству алертов по данному ханту, фактически, это True positive rate (TPR) ханта. Конверсия измеряет эффективность (effectiveness) ханта, т.е. из множества "выстрелов" данного ханта сколько попало в цель.
Вклад - это отношение True postive алертов по данному ханту к общему количеству True postive алертов, или, что лучше отражает смысл - отношение инцидентов, выявленных с помощью данного ханта, к общему количеству инцидентов, т.е. какую долю инцидентов мы находим непосредственно с помощью этого ханта. Вклад измеряет результативность (efficiency) ханта, т.е. из множества попавших в цель выстрелов, сколько будут из данного ханта.

Конверсия - один из годовых KPI команды Detection Engineering-а, с начала времен работ по созданию детектов. На начальных этапах развития погрешностями измерения конверсии, связанными с проблемами адаптации, пренебрегали. Но с повышением как самого значения конверсии по хантам, так и уровня зрелости процессов разработки детектов, захотелось минимизировать погрешность адаптации.

С начала этого года в регулярных метриках хантов начали учитывать четыре разные конверсии - для каждого типа клиентов. А типы пока ввели следующие:
- com - коммерческий клиент, для которого прошел период адаптации (пока настроили статично: прошло 60 дней с начала работ, в перспективе, этот период можно сделать динамическим, может даже вычисляемым с использованием ML, в зависимости от клиента, так как для разных клиентов адаптация длится разное время)
- poc - пилотный проект
- new - коммерческий клиент, для которого период адаптации еще не закончен (еще не прошли 60 дней с момента начала работ)
- not_mdr - клиенты, с которыми работа проводится по сценарию MDR, но в рамках других проектов - например, облачный сценарий Compromise Assessment.

Т.е. для каждого ханта, помимо общей конверсии, как ранее, мы теперь считаем дополнительные 4 конверсии в зависимости от того на каких клиентах они выстреливали.
Пока полученные результаты показывают, что учитывать степень адаптации детектирующей логики под клиента при расчете конверсии - хорошая практика. Посмотрим динамику этих значений, если увидим новые проблемы, будем придумывать новые решения, о которых обязательно расскажем.

Ах да, чуть не забыл, в KPI команде исследований будем ставить конверсию по com-клиентам.

www.tg-me.com/id/Солдатов в Телеграм/com.soldatov_in_telegram/185

824 viewsMar 3, 2024 at 18:06

Конверсия, Вклад и Адаптация

На конференции PHD я немного коснулся метрик качества правил обнаружения, будем называть их "ханты" (официальное название - IoA, Indicator of attack), - конверсии и вклада. Коротко напомню, что конверсия - это отношение количества True positive алертов к общему количеству алертов по данному ханту, фактически, это True positive rate (TPR) ханта. Конверсия измеряет эффективность (effectiveness) ханта, т.е. из множества "выстрелов" данного ханта сколько попало в цель.
Вклад - это отношение True postive алертов по данному ханту к общему количеству True postive алертов, или, что лучше отражает смысл - отношение инцидентов, выявленных с помощью данного ханта, к общему количеству инцидентов, т.е. какую долю инцидентов мы находим непосредственно с помощью этого ханта. Вклад измеряет результативность (efficiency) ханта, т.е. из множества попавших в цель выстрелов, сколько будут из данного ханта.

Конверсия - один из годовых KPI команды Detection Engineering-а, с начала времен работ по созданию детектов. На начальных этапах развития погрешностями измерения конверсии, связанными с проблемами адаптации, пренебрегали. Но с повышением как самого значения конверсии по хантам, так и уровня зрелости процессов разработки детектов, захотелось минимизировать погрешность адаптации.

С начала этого года в регулярных метриках хантов начали учитывать четыре разные конверсии - для каждого типа клиентов. А типы пока ввели следующие:
- com - коммерческий клиент, для которого прошел период адаптации (пока настроили статично: прошло 60 дней с начала работ, в перспективе, этот период можно сделать динамическим, может даже вычисляемым с использованием ML, в зависимости от клиента, так как для разных клиентов адаптация длится разное время)
- poc - пилотный проект
- new - коммерческий клиент, для которого период адаптации еще не закончен (еще не прошли 60 дней с момента начала работ)
- not_mdr - клиенты, с которыми работа проводится по сценарию MDR, но в рамках других проектов - например, облачный сценарий Compromise Assessment.

Т.е. для каждого ханта, помимо общей конверсии, как ранее, мы теперь считаем дополнительные 4 конверсии в зависимости от того на каких клиентах они выстреливали.
Пока полученные результаты показывают, что учитывать степень адаптации детектирующей логики под клиента при расчете конверсии - хорошая практика. Посмотрим динамику этих значений, если увидим новые проблемы, будем придумывать новые решения, о которых обязательно расскажем.

Ах да, чуть не забыл, в KPI команде исследований будем ставить конверсию по com-клиентам.

BY Солдатов в Телеграм