Разбор техник BABOK: Оценка

Практически любая инициатива организационных изменений предполагает принятие решений в условиях неполной информации. Руководству необходимо определить бюджет, сроки, потребность в ресурсах и ожидаемые результаты еще до того, как все характеристики будущего решения станут известны. Возникает необходимость прогнозирования, позволяющего обосновывать управленческие решения с учетом существующей неопределенности.

Именно эту задачу решает техника «Оценка» (Estimation), представленная в главе 10.19 BABOK.

Оценка не ограничивается определением трудозатрат на разработку информационной системы. Она применяется для прогнозирования различных характеристик планируемой деятельности, включая стоимость реализации и эксплуатации решения, потенциальную ценность, ожидаемые выгоды и последствия рисков.

Принципиальная особенность этой техники заключается в признании неопределенности неотъемлемой характеристикой прогноза. Оценка представляет собой обоснованное предположение о будущем значении некоторой величины, которое может уточняться по мере появления дополнительной информации.

Назначение техники

Согласно BABOK, оценка используется бизнес-аналитиками и другими заинтересованными сторонами для прогнозирования стоимости и трудозатрат, необходимых для выполнения планируемых действий.

Ее назначение состоит в предоставлении информации, позволяющей принимать решения о целесообразности, масштабе и условиях реализации изменений.

Например, при планировании автоматизации бизнес-процесса необходимо определить не только предполагаемые затраты на разработку, но и стоимость сопровождения решения, объем организационных изменений и ожидаемые результаты его использования.

Полученные оценки позволяют сопоставлять альтернативы, определять ресурсные ограничения и формировать обоснованные ожидания относительно реализации инициативы.

При этом оценка не является гарантией достижения конкретного результата. Ее обоснованность зависит от доступной информации, применяемых методов и характеристик оцениваемой деятельности.

Описание техники

BABOK рассматривает оценку как инструмент поддержки принятия решений посредством прогнозирования характеристик планируемой деятельности.

Объектами оценки могут выступать стоимость и трудозатраты, ожидаемые выгоды, стоимость проекта, эффективность бизнеса, потенциальная ценность решения, затраты на его создание и эксплуатацию, а также возможные последствия рисков.

В зависимости от назначения результат может представляться отдельным числовым значением либо диапазоном возможных значений.

Использование диапазона особенно важно в условиях неопределенности. Например, прогноз трудозатрат в пределах 400–600 часов сообщает заинтересованным сторонам больше информации о характере оценки, чем единственное значение 500 часов, если последнее не сопровождается объяснением допущений.

BABOK связывает диапазон возможных значений с доверительным интервалом, характеризующим неопределенность оценки. Чем меньше информации доступно специалистам, тем шире может быть этот интервал.

Другой существенной характеристикой является итеративность. Оценка пересматривается по мере уточнения требований, появления новых данных и получения результатов выполненных работ.

При этом изменение первоначального прогноза не обязательно свидетельствует об ошибке. Если изменились исходные сведения, состав работ или условия реализации, пересмотр оценки становится необходимым элементом управления информацией.

Для повышения обоснованности прогнозов могут использоваться исторические данные организации. Сопоставление новых задач с ранее выполненными работами позволяет учитывать фактическую производительность, особенности процессов и возможности исполнителей.

Элементы техники

Методы

BABOK выделяет несколько методов оценки, применяемых в зависимости от характера задачи, доступной информации и требуемой детализации.

Общим условием их применения является наличие согласованного описания оцениваемых элементов. Такое описание может представляться иерархической структурой декомпозиции работ либо другой формой разбивки оцениваемой деятельности.

Оценка сверху вниз предполагает рассмотрение компонентов начиная с верхнего уровня декомпозиции.

Этот метод применяется, когда необходимо получить предварительное представление о масштабах инициативы. Например, стоимость внедрения CRM может первоначально оцениваться на уровне основных функциональных направлений без детализации отдельных операций.

Преимущество этого подхода заключается в возможности сформировать оценку при ограниченной информации. Однако недостаточная детализация создает риск пропуска отдельных составляющих работ.

Оценка снизу вверх основывается на индивидуальной оценке элементов нижнего уровня декомпозиции с последующим суммированием результатов.

При внедрении CRM отдельно оцениваются настройка справочников, разработка интеграций, миграция данных, тестирование и другие работы.

Этот метод позволяет учитывать особенности отдельных компонентов, но требует достаточно подробного описания оцениваемой деятельности.

Параметрическая оценка использует модель, связывающую характеристики оцениваемых элементов с прогнозируемыми значениями.

Например, организация может использовать исторические сведения о трудозатратах на обработку определенного количества однотипных объектов.

BABOK подчеркивает необходимость калибровки параметрических моделей на основании собственного опыта организации. Производительность зависит от компетенций сотрудников и особенностей применяемых процессов, поэтому механический перенос нормативов из другого контекста может приводить к существенным отклонениям.

Грубая прикидка (Rough Order of Magnitude, ROM) представляет собой высокоуровневую оценку, выполняемую при ограниченной информации.

Она используется преимущественно на ранних этапах инициативы, когда требуется определить приблизительный масштаб затрат или трудозатрат.

Характерной особенностью ROM является широкий диапазон возможных значений. Такой результат не следует интерпретировать как окончательное обязательство по срокам или бюджету.

Метод бегущей волны предполагает последовательное уточнение оценок в ходе реализации инициативы.

Ближайшие работы оцениваются подробно, поскольку информация о них относительно полна. Для более отдаленных этапов сохраняются приблизительные оценки. По мере продвижения проекта следующий участок работ детализируется, а прогноз оставшейся деятельности пересматривается.

Этот метод особенно применим к продолжительным инициативам, в которых требования и условия реализации уточняются постепенно.

Метод Дельфи объединяет экспертные оценки и историческую информацию.

Участники первоначально формируют индивидуальные оценки, после чего результаты доводятся до экспертов. Затем проводятся повторные раунды оценки до достижения согласованного результата.

Такой подход позволяет использовать опыт нескольких специалистов и уменьшать зависимость результата от первоначального мнения отдельного участника.

Метод PERT предусматривает получение трех значений для каждого оцениваемого компонента: оптимистичного, пессимистичного и наиболее вероятного.

Взвешенная оценка рассчитывается по формуле:

PERT = (O + P + 4M) / 6

где O обозначает оптимистичное значение, P — пессимистичное, M — наиболее вероятное.

Например, если трудозатраты оцениваются в 20, 50 и 30 часов соответственно, результат составит:

(20 + 50 + 4 × 30) / 6 = 31,7 часа.

PERT позволяет учитывать несколько возможных сценариев вместо использования единственного предположения.

Независимо от выбранного метода BABOK требует ясно сообщать ограничения и предположения, на которых основывается оценка.

Правильность оценки

Правильность оценки характеризует ее близость к действительному значению, которое становится известным позднее. В BABOK этот элемент рассматривается в связи с неопределенностью и шириной доверительного интервала.

Одним из способов выражения соответствующей характеристики является отношение ширины интервала к его среднему значению, представленное в процентах. На ранних этапах инициативы правильность оценки ограничивается недостатком информации. Поэтому ROM может предполагать отклонения порядка ±50% и более.

По мере накопления данных появляется возможность формировать более определенные прогнозы. Для окончательных оценок, используемых при планировании сроков, бюджета и ресурсов, BABOK указывает желательную точность в пределах 10% или менее.

Эти ориентиры необходимо рассматривать с учетом контекста, а не как универсальные нормативы для любой инициативы. Например, предварительная оценка разработки интеграции без согласованной спецификации интерфейсов не может обладать той же обоснованностью, что оценка после изучения форматов сообщений, правил обработки ошибок и ограничений взаимодействующих систем.

Метод бегущей волны позволяет сочетать приблизительные и окончательные оценки, постепенно повышая определенность прогноза.

Источники информации

Качество оценки непосредственно зависит от информации, используемой при ее подготовке. BABOK выделяет три основных источника.

Аналогичные ситуации предполагают использование сведений об элементах, сопоставимых с оцениваемым объектом.

Например, трудозатраты на разработку интеграции могут предварительно определяться по результатам аналогичного проекта. Однако сопоставимость должна подтверждаться характеристиками работ, а не только совпадением их названий.

История организации представляет собой накопленные сведения о ранее выполненной деятельности.

Особую ценность имеют данные о работах, реализованных схожими командами с использованием сопоставимых методов и инструментов. Историческая информация позволяет учитывать реальные особенности организации вместо абстрактных представлений о производительности.

Экспертная оценка основывается на знаниях специалистов, обладающих опытом выполнения соответствующей деятельности.

Экспертами могут выступать как сотрудники организации, так и внешние специалисты. При привлечении внешних экспертов необходимо учитывать различия между их опытом и фактическими возможностями команды, которая будет выполнять работу. Использование нескольких источников позволяет выявлять расхождения и проверять обоснованность исходных предположений.

Точность и надежность оценки

BABOK рассматривает точность и надежность как характеристики согласованности и повторяемости результатов оценки.

Точность характеризует близость нескольких оценок одной характеристики друг к другу. Для исследования расхождений могут применяться статистические показатели, включая дисперсию и стандартное отклонение.

Надежность отражает повторяемость оценки при использовании различных методов или привлечении разных специалистов. Например, если три независимых специалиста оценивают трудозатраты в 38, 40 и 42 часа, результаты демонстрируют высокую согласованность. Если оценки составляют 20, 45 и 90 часов, необходимо исследовать причины расхождения. Участники могли использовать различные предположения, по-разному понимать состав работ или учитывать неодинаковые риски.

При этом согласованность не гарантирует правильности. Несколько специалистов могут получить близкие результаты, основываясь на одном ошибочном предположении.

Для представления неопределенности BABOK предусматривает использование диапазонов значений с соответствующим уровнем уверенности. Метод PERT и вероятностные распределения могут применяться для формирования оценок отдельных компонентов и последующего определения диапазона общей оценки.

Участники оценки

Согласно BABOK, оценку отдельных элементов часто выполняют специалисты, непосредственно отвечающие за соответствующую деятельность.

Командная оценка обычно предпочтительнее индивидуальной, поскольку позволяет учитывать опыт нескольких участников.

В проектах автоматизации к оцениванию могут привлекаться бизнес-аналитики, архитекторы, разработчики, специалисты по интеграциям, тестированию и сопровождению.

При этом состав участников определяется характеристиками оцениваемой работы. Некоторые организации создают специализированные группы, выполняющие оценки для различных инициатив. BABOK допускает такой подход, но предупреждает о необходимости учитывать конкретный контекст работ.

Для критически важных элементов могут привлекаться независимые внешние эксперты. Сопоставление внутренних и внешних оценок помогает выявлять возможные отклонения и основания для корректировки прогноза.

Практическое применение

В деятельности бизнес-аналитика оценка используется при планировании аналитических работ, исследовании вариантов решения, подготовке обоснований изменений и определении последствий принимаемых решений.

Практическая работа начинается с определения объекта оценки. Необходимо установить, какая характеристика прогнозируется, какие элементы входят в рассматриваемый объем и какие ограничения должны учитываться.

Затем выбираются подходящие методы и источники информации.

При недостаточной детализации может использоваться ROM. После декомпозиции работ становится возможным применение оценки снизу вверх. При наличии исторических данных могут использоваться параметрические модели.

Результаты фиксируются вместе с исходными предположениями, ограничениями и характеристиками неопределенности.

В зависимости от задачи артефактами могут становиться расчет трудозатрат, оценочная ведомость, прогноз бюджета, перечень допущений или сравнительная оценка альтернатив.

Полученные сведения используются для определения бюджета, планирования ресурсов, выбора варианта решения и согласования условий реализации.

По мере изменения исходной информации оценка актуализируется.

Практический пример

Давайте рассмотрим проект автоматизации обработки входящих обращений в крупной организации.

Предположим, что в существующем процессе обращения поступают по электронной почте, регистрируются вручную и распределяются между подразделениями. Руководство рассматривает внедрение единой системы регистрации, маршрутизации и контроля исполнения.

Бизнес-аналитику необходимо подготовить предварительную оценку трудозатрат на реализацию такой инициативы.

Допустим, что на первом этапе информации недостаточно для подробного расчета. Известны только основные функциональные направления: регистрация обращений, маршрутизация, уведомления, отчетность и интеграция с корпоративными системами.

На основании опыта предыдущих проектов команда формирует ROM-оценку в диапазоне 1200–2000 человеко-часов.

После обследования процессов и уточнения требований выполняется декомпозиция работ.

Команда выделяет настройку регистрации, разработку правил маршрутизации, реализацию уведомлений, интеграцию с системой документооборота, тестирование и подготовку к внедрению.

Для каждого компонента привлекаются соответствующие специалисты.

Оценка снизу вверх дает следующие результаты:

Наибольшая неопределенность связана с интеграцией, поскольку документация внешней системы неполна.

Для этого компонента команда применяет PERT.

Оптимистичная оценка составляет 300 часов, наиболее вероятная — 420 часов, пессимистичная — 660 часов.

Расчет дает:

(300 + 660 + 4 × 420) / 6 = 440 часов

После замены первоначальной оценки интеграции результат составляет 1520 человеко-часов. Полученное значение рассматривается как расчетный ориентир, а не гарантированный объем работ.

Для проверки команда сопоставляет результаты с историей аналогичных интеграционных проектов. Выявляется, что предыдущие работы выполнялись специалистами, уже знакомыми с интерфейсами взаимодействующей системы. Поскольку новая команда такого опыта не имеет, первоначальные предположения требуют дополнительной проверки.

Руководству предоставляется оценка с указанием методов расчета, ограничений и факторов неопределенности.

После завершения обследования интеграционных интерфейсов соответствующий компонент оценивается повторно.

В дальнейшем команда применяет метод бегущей волны: ближайшие работы получают подробные оценки, тогда как последующие этапы сохраняют приблизительные значения до уточнения требований. Таким образом, оценка сопровождает инициативу на протяжении реализации и постепенно изменяется вместе с доступной информацией.

Хорошие и плохие практики

Хорошая практика предполагает использование оценки как обоснованного прогноза, характеристики которого понятны заинтересованным сторонам. Специалисты фиксируют состав оцениваемых работ, исходные предположения и ограничения. При необходимости используются несколько методов, а результаты сопоставляются с историческими данными. Это позволяет выявлять необоснованные ожидания до принятия управленческих обязательств.

Плохая практика заключается в представлении предварительного значения как окончательного бюджета или гарантированного срока. Например, руководству сообщается, что реализация займет ровно три месяца, хотя оценка выполнена без изучения интеграционных ограничений. Впоследствии обнаруживаются дополнительные работы, однако первоначальное значение продолжает использоваться как обязательный норматив. Возникает конфликт между фактическим объемом деятельности и ожиданиями заинтересованных сторон.

Другой пример неудачной практики — использование единственного экспертного мнения без проверки предположений. Даже компетентный специалист может не учитывать особенности конкретной команды или организационной среды. Коллективная оценка и сопоставление различных источников уменьшают зависимость результата от подобных ограничений.

Типичные ошибки

Подмена оценки обязательством. Предварительный прогноз воспринимается как утвержденный срок или бюджет. Причина заключается в отсутствии разграничения между результатом оценивания и последующим управленческим решением. В результате уточнение исходных данных ошибочно рассматривается как нарушение обязательств.

Недостаточная декомпозиция. Оценивается крупный функциональный блок без определения составляющих работ. Это приводит к пропуску интеграций, проверок, организационных мероприятий и других необходимых действий.

Игнорирование неопределенности. Результат представляется единственным числом без указания диапазона и предположений. Заинтересованные стороны получают ложное впечатление о степени определенности прогноза.

Использование аналогов без их критической оценки. Исторические трудозатраты переносятся на новую инициативу без проверки сопоставимости условий. Различия в компетенциях, технологиях и организационных процедурах становятся источниками систематических отклонений.

Отсутствие пересмотра. Оценка сохраняется неизменной после существенного уточнения требований. Постепенно она перестает соответствовать фактическому содержанию работ и утрачивает полезность для принятия решений.

Практические рекомендации

Прежде всего следует отделять объект оценки от способа ее получения. До выбора метода необходимо определить, что именно требуется спрогнозировать и для какого решения будет использоваться результат.

При оценке трудозатрат полезно согласовывать границы работ с непосредственными исполнителями. Это уменьшает вероятность того, что участники используют различные представления об объеме деятельности.

Для повторяющихся работ целесообразно формировать собственную историческую базу. Она должна содержать не только итоговые трудозатраты, но и сведения об условиях выполнения, составе команды и существенных отклонениях.

При значительных расхождениях экспертных оценок следует исследовать причины, а не автоматически рассчитывать среднее значение. Различия нередко указывают на неоднозначность требований или невыявленные ограничения.

Также рекомендуется фиксировать основания изменения оценок. Это позволяет отличать последствия уточнения информации от ошибок первоначального расчета и изменений объема работ.

Наконец, уровень детализации должен соответствовать назначению оценки. Предварительное исследование инициативы не всегда требует подробного расчета каждого компонента, тогда как формирование окончательного бюджета предполагает существенно более определенную информационную основу.

Ограничения техники

BABOK отмечает, что качество оценки зависит от объема знаний об оцениваемых элементах. При недостаточном понимании организационных особенностей результаты могут существенно отличаться от фактических значений.

Другим ограничением является зависимость от выбранного метода. Использование только одного подхода способно формировать нереалистичные ожидания заинтересованных сторон.

Особенно осторожно следует применять детализированные оценки в условиях, когда состав работ еще не определен. Формальная подробность расчетов не компенсирует отсутствие достоверной информации.

Оценка наиболее полезна, когда объект достаточно определен, доступны релевантные сведения и существует возможность проверить исходные предположения.

При высокой неопределенности от техники не следует отказываться полностью. Вместо этого необходимо выбирать соответствующий метод, использовать более широкий диапазон и явно обозначать ограничения прогноза.

Вместо заключения

Оценка представляет собой технику бизнес-анализа, позволяющую прогнозировать характеристики планируемой деятельности и использовать полученные результаты для обоснования решений.

Ее содержание значительно шире расчета сроков или трудозатрат. BABOK рассматривает методы оценки, правильность результатов, источники информации, точность, надежность и участие специалистов как взаимосвязанные составляющие этой техники.

Практическая ценность оценки определяется не только полученным числом, но и возможностью объяснить его происхождение, ограничения и степень неопределенности.