Все статьи
Дерево метрик как основа для OKR
Дата: 14.03.2022
История про дерево метрик в Авито — аналитическую модель бизнеса, позволяющую соединить воедино систему целей OKR (Objectives and Key Results), организационный дизайн и процесс финансового/операционного планирования.
Доклад на конференции Enterprise Agile Russia 2021 29 ноября 2021 года.
Всем привет! Меня зовут Денис Дудоров. Я руководитель отдела организационного развития в Авито. Мы начали применять OKR еще в 2016 году: тогда в контуре было 200 человек — а теперь более 2 тысяч человек.
Мой доклад будет про дерево метрик. Этот доклад является логическим продолжением предыдущего доклада: «OKR как сердце системы управления компанией» — и дальше я предполагаю делать некоторое количество спин-оффов (прим. ред. — spin-off, побочный продукт, ответвление) в будущие периоды, в этом году и в последующих. Первый из этих спин-оффов про дерево метрик. Тем, кто еще только размышляет про дерево метрик, доклад подскажет, как можно подступаться к этой концепции, и нужна ли она вам. А тех, кто уже пробовал, доклад натолкнет, может быть, на некие дополнительные мысли о том, как эти деревья могут эволюционировать.
OKR – это очень универсальный фреймворк!
- Мне каждый раз режет слух, когда люди говорят, например, что OKR – это всегда про квартал. На самом деле абсолютно нет. Да, чаще всего про OKR говорят, когда говорят про квартальное целеполагание, но кто вам мешает OKR использовать для годового целеполагания? Кто вам мешает OKR использовать для стратегического целеполагания? Это фреймворк, который можно использовать на любом временном горизонте.
- OKR можно использовать на разных контурах. Можно его использовать для маленькой командочки, можно его использовать для себя лично. Да, определенные процессы работы с OKR меняются. Я могу про себя рассказать – что я в этом году впервые попробовал свои личные цели на год поставить в OKR. Вначале зафиксировать их явно, прописать все критерии успеха, а потом трекать ежемесячно. С моей точки зрения, очень серьезный прогресс по сравнению с тем, как я в среднем продвигаюсь за год. А можно на всю компанию ставить. И в этом тоже нет никаких проблем.
- Можно использовать для разных подразделений. При этом понятно, что если у подразделения степень неопределенности выше и количество Сhange в их работе выше, то ценности от OKR-подхода будет больше. Но тем не менее и команды, которые занимаются вообще чистым Run, тоже можно занести в контур OKR. Хотя это делают скорее ради того, чтобы целеполагание выглядело единообразно — у тех команд, которые занимаются Run, и тех команд, которые занимаются Change.
- И разный уровень неопределенности, разумеется. Например, с началом пандемии Авито перешло от квартального целеполагания… мы размышляли, где нам лучше остановиться – либо месячное целеполагание сделать, либо разрешить просто с более высоким уровнем толерантности относиться к изменениям. Мы выбрали второй вариант и 1-2 квартала с началом пандемии мы довольно активно меняли наши цели – по мере того, как мы узнавали данные и результаты о перфомансе нашего бизнеса в ходе новых условий для наших пользователей.
В прошлом докладе я рассказывал как раз про то, как из фреймворка OKR, из чего-то механического, сделать сердце настоящего организма. Для того чтобы компания начала адаптироваться, для того чтобы этот процесс жил не по неким механистическим законам, а подстраивался под ваш реальный контекст.
Но для этого нужно ответить себе на ряд вопросов:
- OK, мы решили использовать целеполагание по формату OKR. Но как выбрать метрики? Выбрать метрики локально для одной маленькой команды не сложно. Но что делать, если у тебя большая организация взаимосвязанных команд и, соответственно, ты хочешь каждой из них подсказать, где взять метрики, на которые поставить цели?
- С кем договариваться об этих целях? Мы рассматриваем контекст, в котором есть много взаимосвязанных команд, поэтому в рамках достижения целей зачастую команде нужна внешняя помощь или, наоборот, нужно помогать другим командам, чтобы они смогли добиться своих целей.
- И третий вопрос – отчасти философский, отчасти мотивационный: а какой вклад я вношу в то, чего хочет добиться компания? Это зачастую перекликается с такой метрикой как вовлеченность, которая считается одной из ключевых в контуре people-метрик для любой организации.
Ответ один, как вы можете догадаться. Раз я рассказываю сегодня про дерево метрик, то ответом будет именно дерево метрик.
Как дерево метрик поможет?
Начнем с того, что такое дерево метрик. Что должно быть согласовано, если хорошо проработан оргдизайн?
- Оргдизайн – это система ответственности: кто за что отвечает.
- Это система полномочий – кто какие решения может принимать в рамках определенных бизнес-процессов. Это еще и система мотивации: кто какую компенсацию и мотивацию получает в зависимости от того, за что отвечает и какие решения принимает.
- Но к ответственности можно приклеить еще один взгляд. Это аналитическая структура бизнеса. Когда мы говорим об ответственности, мы говорим, что ты отвечаешь за определенные метрики и тебе нужно понимать, где эти метрики находятся в том, как мы смотрим вообще на наш бизнес. Как работает наш бизнес, какова его модель и где, соответственно, те звенья, за которые отвечаешь именно ты и на которые ты можешь повлиять.
Аналитическая модель была названа деревом метрик. Мы ее запустили несколько лет назад.
Как можно использовать дерево метрик?
- Мы можем ее использовать как проверку для оргдизайна:
- для каждой ли команды в своей структуре ты можешь придумать метрики, за которые они отвечают – и эти метрики должны оказаться в дереве;
- нет ли каких-то метрик, за которые отвечает несколько команд, и, соответственно, не конфликтуют ли они;
- нет ли каких-то метрик, за которые никто не отвечает, и, соответственно, они в неком хаосе находятся.
- Второй способ использования – это структура для OKR. Вспоминаем наш первый вопрос: на какие метрики нам стоит ставить цели? Если ты посмотришь на дерево метрик, то это как раз ответ, на какой скелет нанизывать всю нашу систему целеполагания.
- И третье – это дополнительные способы моделирования. Для того чтобы говорить про ресурсы, для того чтобы говорить про перфоманс организации, нам нужна финансовая модель. И как раз дерево метрик, некая его корневая часть, может быть использована, чтобы описывать, как финансово работает наш бизнес.
При этом есть, разумеется, ограничения. Чем сложнее ваш бизнес, тем больше будет неопределенности, тем сложнее будет отвечать на вопрос: что должно оказаться в этом дереве метрик. Мы на своем примере столкнулись с тем, что, наверное, треть из этих метрик, которые мы придумали, мы вообще не умеем считать. То есть мы концептуально их понимаем, но как их посчитать? У нас нет сейчас отчетов, где-то нет даже определения точного. И около половины связей мы не смогли описать с точки зрения формул или статистики экспериментов, которые у нас были. Мы понимаем концептуально, что одна метрика связана с другой, но не можем ответить, как именно.
Вот эта картинка – это то, что у нас получилось несколько лет назад. С тех пор дерево метрик эволюционирует. На этом дереве желтые ячейки – то, что мы не умеем считать, синие – то, что мы умеем считать, а зеленые – это ключевые метрики, которые мы вынесли в топ-дашборд для всех ключевых заинтересованных: они на него регулярно смотрят и получают ответ, как работает наш бизнес сегодня.
Как построить дерево метрик?
В корень дерево можно и нужно положить самое важное, на что ориентирован ваш бизнес. Могу сказать, что в Авито вечный холивар, который таким навсегда и останется: у нас есть люди, которые верят, что все делается ради денег, и люди, которые верят, что все делается ради счастья пользователей — но наверху стоят люди, которые верят, что важно и то и другое, и это вообще связано по циклу. Поэтому дуальный майндсет – это то, чего на культурном уровне мы достигли в Авито и то, что мы транслируем всем новым людям, которые к нам присоединяются. Того и вам желаю. В зависимости от того, как вы отвечаете на этот вопрос, будет выглядеть корень вашего дерева. Может быть несколько деревьев, может быть несколько корней. Это необязательно должно быть дерево с точки зрения математики. С точки зрения математики там не должно быть контуров внутри этого дерева, но в реальности могут быть замкнутые контуры, когда метрики начинают по кругу друг от друга зависеть.
Дальше идем в ветвление от этого корня вниз, с каждым шагом раскладывая метрику, которая находится выше. Что можем использовать? Можем использовать сложение, можем использовать вычитание, произведение, деление и любые другие формулы. Кое-где этих формул вообще не будет. Вы просто концептуально понимаете: «Так, OK, эта метрика зависит от этой, этой и этой. Я не знаю, как именно они зависят. Я могу это проверить в экспериментах. А иногда не могу это проверить в экспериментах, поэтому я просто нарисую, как они сейчас находятся».
Интересный более практический момент, что ветвление может быть статичным или динамическим. Например, на верхнем уровне находится выручка, которая является произведением количества покупателей бизнеса и среднего чека. Это ветвление статичное. Но может быть такая ситуация, что наверху находятся, например, новые пользователи нашего бизнеса за период X. И при этом количество этих пользователей зависит от того, сколько было всего пользователей на период X-1, сколько пользователей пришло за период X-1 и сколько пользователей ушло за период X-1. В этом случае я назову такое ветвление динамическим, то есть метрика наверху считается в последующем периоде.
Если у вас коммерческий бизнес, скорее всего, выручка окажется где-то в районе корня. Дальше нужно решить, хотите ли вы включить косты в основание дерева — в соседнем корне или где-то поблизости. Что вы здесь хотите оценивать: вы хотите говорить про прибыль или вы хотите говорить про выручку? Если вы говорите про прибыль и учитываете в том числе ваши затраты, то вы получаете лучшее отражение модели бизнеса. То есть инь и ян получается, плюс и минус. Но, разумеется, вы получите и большую сложность: как только вы в игру вводите косты, их придется считать — нужно учесть все драйверы, которые влияют на эту метрику, и это вашу модель усложнит.
Ну и, разумеется, стоит помнить о том, что деревьев метрик может быть много. Здесь все зависит от вашего взгляда – как вы захотите его пустить. Можно, конечно, строить разные измерения этого дерева метрик, но в конечном итоге, чтобы не запутаться, лучше все-таки выбрать что-то одно. То есть можно разложить по регионам, можно разложить по продуктам, можно разложить на аудиторию и средний чек.
Но стоит помнить о том, что дерево метрик – это прежде всего прикладной инструмент. Поэтому если вы начнете использовать такие ветвления, которых в вашем реальном бизнесе не существует: либо на уровне оргструктуры, либо на уровне метрик — и вы не считаете это, тогда вам будет сложнее потом с этим работать или оно может оказаться вообще бесполезным.
Как использовать дерево метрик?
Мы размечаем листья командами. У нас на концах есть какие-то метрики, самые низкоуровневые. Мы раскладываем там команды или по командам раскладываем метрики. И проверяем свой оргдизайн, свою структуру.
- Есть ли метрики без владельцев? То есть существуют ли метрики, за которые никто не отвечает, и они, соответственно, там ходят как-то хаотично.
- Есть ли двойное владение? Здесь выходом может быть разделение этой метрики еще ниже – то есть сказать, что на самом деле там есть еще метрики следующего порядка. И там уже будет одинарное владение. Но если это сделать невозможно – с учетом вашей структуры, с учетом вашей аналитики, – то надо обсудить, а действительно ли хорошо, что несколько команд отвечает за одну и ту же метрику, не сталкиваются ли они, не провоцирует ли это конфликты.
- Конфликты в любом случае неизбежны, но метрики как-то балансируют друг друга. Поэтому нужно проверить, насколько короткие цепочки в коммуникации. Если у вас внутри дерева две соседние вершины оказались во владении команд, которые в организации находятся очень далеко друг от друга… Худший случай, когда ближайший общий руководитель у них – это CEO. Соответственно, в таком случае вы получите очень большое количество очень дорогих конфликтов. Потому что для того чтобы этот конфликт решить, вам придется сходить к CEO.
Дальше этим нашим прекрасным деревом воспользуемся при постановке целей.
- Если метрики относятся к команде, то мы их кладем в output-цели (прим. ред. — output/outcome, результат/эффект работы, подробнее см. в статье Как выбрать правильные метрики для OKR: Output или Outcome), на что напрямую команда может повлиять.
- Если метрики находятся на уровень выше, то мы их кладем в outcome-цели – это то влияние, которое бизнес хочет увидеть от команды, но на которое команда необязательно может влиять напрямую.
- Ближайшие листочки нам отвечают как раз на вопрос, а с кем же нужно сходить и обсудить свои цели и планы.
Последний вопрос у нас был про то, как строить наши финансовые модели. Соответственно, здесь мы берем и отрезаем от нашего дерева корень нужной глубины. У нас какое-то количество ветвлений от корня – мы берем и засовываем в структуру модели. Учитываем там, где у нас есть статические, где есть динамические ветвления. И чем раньше вы остановитесь, тем в определенном смысле лучше вам будет, потому что с каждым новым уровнем ветвления вы накапливаете ошибку. То есть если ошибка у вас на нижнем уровне, мы A считаем отдельно, B считаем отдельно, то эти ошибки потом будут перемножены и будут сильно увеличивать погрешность на уровне высоких метрик. Если же вы сразу берете произведение A и B, то ошибка там будет одна и она множиться будет в меньшей степени.
В итоге получили ответы на все наши вопросы:
- На какие метрики ставить цели? На те, которые лежат в листьях и принадлежат командам. Плюс с точки зрения outcomes на те, которые находятся выше этих команд.
- С кем договариваться? С тем, кто владеет соседними листочками на этом дереве.
- Как оценить свой вклад в успех компании? Взять калькулятор из опермодели.
В конечном итоге, вы можете, если у вас достаточно сильные функционалитики, взять и построить буквально калькулятор, который показывает – если ты изменил такой драйвер такого уровня на X%, то насколько ты изменишь выручку – или прибыль, или то, что у вас находится в корне.
Видео и слайды
