Организации накапливают значительные объемы данных о клиентах, операциях, процессах, транзакциях, обращениях, документах и работе информационных систем. Однако наличие этих данных само по себе не означает наличия информации, пригодной для принятия решений. Значимые закономерности могут быть скрыты внутри больших массивов, а отдельные наблюдения или агрегированные показатели не всегда позволяют их обнаружить.
Техника «Добыча данных» предназначена именно для такой ситуации. В BABOK она рассматривается как способ улучшения принимаемых решений посредством нахождения полезных закономерностей и идей в данных. В работе бизнес-аналитика эта техника позволяет перейти от субъективных предположений о происходящем к исследованию фактических данных и определить связи, которые могут быть использованы при анализе текущего состояния, оценке решения или подготовке изменений.
Добыча данных особенно значима там, где решение зависит не от единичного факта, а от устойчивых сочетаний признаков: поведения клиентов, характеристик операций, последовательности событий, показателей работы процессов или иных накопленных данных.
Назначение техники
Согласно BABOK, добыча данных используется для улучшения принимаемых решений за счет нахождения полезных закономерностей и идей в данных.
Ключевое здесь — связь анализа данных с решением. Цель техники заключается не просто в статистическом исследовании массива информации и не в построении сложной математической модели как самостоятельного результата. Полученная закономерность должна помогать лучше понимать ситуацию или поддерживать принятие решения.
Например, организация может исследовать данные о просроченных платежах не ради описания распределения задолженности как такового, а чтобы определить характеристики операций, связанных с повышенным риском просрочки. Другой вариант — анализировать историю обработки заявок, чтобы установить признаки процессов, в которых чаще возникают отклонения от нормативного срока.
Таким образом, добыча данных превращает накопленные организацией данные в источник дополнительного знания, пригодного для использования в бизнес-анализе.
Описание техники
BABOK определяет добычу данных как аналитический процесс, исследующий большие объемы данных в разных ракурсах и агрегирующий их с целью обнаружения полезных закономерностей и отношений.
Результатом применения различных техник добычи данных обычно становятся математические модели или уравнения, описывающие выявленные закономерности и отношения. Такие результаты могут использоваться двумя основными способами. В первом случае они помогают человеку принимать решения и представляются, например, через информационные панели или отчеты. Во втором случае закономерность включается непосредственно в автоматизированное принятие решений, например посредством системы управления бизнес-правилами или реализации логики в базе данных.
BABOK различает управляемые и неуправляемые исследования. При управляемом исследовании пользователь заранее ставит вопрос и рассчитывает получить ответ, способный направить решение. Например: какие характеристики заявки сильнее всего связаны с вероятностью нарушения срока обработки? При неуправляемом исследовании заранее определенного вопроса такого уровня может не быть: сначала обнаруживаются закономерности, а затем анализируется их применимость для принятия бизнес-решений.
Кроме того, BABOK объединяет под термином «добыча данных» три группы техник.
Описательные техники помогают обнаруживать закономерности в имеющемся наборе данных. Примером является кластеризация, позволяющая выявить сходства между клиентами.
Диагностические техники помогают объяснять причины существующей закономерности. В BABOK в качестве примеров приведены деревья решений и сегментация.
Прогностические техники позволяют определить вероятность будущего события. К ним относятся, в частности, регрессия и нейронные сети.
Во всех трех случаях принципиально важна цель анализа. BABOK отдельно подчеркивает необходимость быть готовым к значительным усилиям по получению данных требуемого вида, объема и качества.
Элементы техники
BABOK определяет пять элементов добычи данных. Они образуют логическую цепочку от постановки задачи до практического использования полученной модели.
Выявление требований
Первый элемент определяет цель и рамки добычи данных.
BABOK описывает два возможных подхода. В первом случае работа начинается сверху вниз: необходимо обеспечить принятие конкретного важного бизнес-решения, и требования к добыче данных формируются исходя из этого решения. Во втором случае работа начинается снизу вверх: определяется функциональная область, внутри которой анализируются релевантные данные в поисках характерных для предметной области закономерностей.
Подход сверху вниз позволяет связать исследование с заранее определенной потребностью. Если организация хочет принимать решение о дополнительной проверке определенного типа заявок, бизнес-аналитик может определить, какая информация необходима для поддержки такого решения и какие данные следует исследовать.
Для определения требований при подходе сверху вниз BABOK предлагает использовать формальное моделирование решений. При подходе снизу вверх, наоборот, сначала обнаруживаются закономерности, после чего полезно включить их в модели принятия решений. Это позволяет быстро проверить практическую применимость найденного знания.
BABOK также отмечает, что работа по добыче данных продуктивна при управлении в Agile-среде, поскольку итеративность способствует быстрому исследованию, согласованию и внедрению результатов.
Подготовка данных: аналитический набор данных
Инструменты добычи данных работают не непосредственно со всей совокупностью корпоративных данных, а с подготовленным аналитическим набором.
Согласно BABOK, такой набор обычно создается путем объединения записей из нескольких таблиц или источников в единый широкий набор данных. Повторяющиеся группы могут сворачиваться в несколько наборов полей.
Физически данные могут быть извлечены в отдельный файл либо оставаться в базе данных или хранилище в форме виртуального набора, доступного для дальнейшего анализа.
BABOK разделяет данные на несколько частей: набор, используемый непосредственно для анализа; независимый набор, позволяющий подтвердить, что построенная модель работает на данных, которые не применялись при ее создании; и проверочный набор для окончательного подтверждения.
При очень больших объемах информации может понадобиться работа с выборкой либо обработка непосредственно в хранилище данных, чтобы избежать перемещения всего массива.
Для бизнес-аналитика этот элемент принципиален: достоверность последующих выводов зависит от того, какие источники вошли в аналитический набор, как были объединены записи и насколько полученная совокупность действительно представляет исследуемую предметную область.
Анализ данных
После подготовки доступные данные исследуются.
BABOK указывает на применение статистических показателей и средств визуализации для анализа распределения значений, обнаружения отсутствующих данных и изучения поведения вычисляемых характеристик.
Этот этап может оказаться самым продолжительным и сложным во всей добыче данных. Значительная часть работы заключается не в запуске алгоритма, а в определении характеристик данных, которые действительно полезны для анализа.
BABOK приводит показательный пример: характеристикой может стать количество посещений магазина покупателем за последние 80 дней. Существенная аналитическая работа заключается в понимании того, почему именно период в 80 дней оказывается полезнее, чем 70 или 90 дней.
Следовательно, характеристика не является механическим отражением существующего поля базы данных. Она может быть производной величиной, специально сформированной для исследования определенного поведения или закономерности.
В практической работе здесь особенно важно участие специалиста, понимающего предметную область. Статистическая зависимость может быть обнаружена автоматически, однако содержательный смысл выбранного признака определяется контекстом бизнеса.
Техники моделирования
BABOK подчеркивает, что существует широкий спектр техник моделирования для добычи данных. В качестве примеров указаны:
- классификационные и регрессионные деревья, включая CART и C5
- линейная и логистическая регрессия
- нейронные сети
- метод опорных векторов
- предиктивные, или аддитивные, карты показателей
Входными данными для алгоритмов становятся подготовленный аналитический набор и вычисленные характеристики.
Алгоритмы могут применяться как в неуправляемом исследовании, когда пользователь заранее не знает, что именно ищет, так и в управляемом, когда необходимо найти или спрогнозировать конкретное явление.
BABOK отмечает, что часто применяется несколько техник, после чего определяется наиболее действенная. Это означает, что выбор алгоритма не следует рассматривать как заранее заданное техническое решение.
Отдельная часть данных исключается из построения модели и используется для проверки воспроизводимости результата на информации, которой модель ранее не видела. Это защищает анализ от ситуации, когда модель хорошо описывает исходную выборку, но оказывается непригодной для дальнейшего применения.
Внедрение
Построение модели само по себе не завершает добычу данных. BABOK прямо указывает: чтобы модель была полезной, после создания ее необходимо внедрить.
Модель может поддерживать решение, принимаемое человеком, либо автоматизированную систему принятия решений.
В первом случае результат может быть представлен конечному пользователю посредством визуального представления или обычных полей данных. Например, сотрудник получает рассчитанную оценку риска и учитывает ее вместе с другой информацией.
Во втором случае результат становится частью логики информационной системы. BABOK отмечает, что добыча данных может выявлять потенциальные бизнес-правила, которые затем реализуются посредством системы управления бизнес-правилами и при необходимости объединяются с экспертными правилами в общей модели решения.
Прогностические модели могут выражаться математическими формулами. Они способны реализовываться как исполняемые бизнес-правила либо использоваться для генерации SQL-скриптов или программного кода. BABOK также отмечает расширение возможностей реализации моделей непосредственно внутри баз данных.
Таким образом, внедрение замыкает цепочку: обнаруженная закономерность превращается из аналитического результата в элемент фактического принятия решений.
Практическое применение
В работе бизнес-аналитика добыча данных применима прежде всего там, где организация уже располагает достаточным объемом исторических данных и требуется понять закономерности фактического поведения системы, процесса или заинтересованных сторон.
BABOK связывает технику с подготовкой и проведением выявления, анализом текущего состояния и всеми задачами области «Оценка решения». Поэтому она может применяться как до проектирования изменения, так и после внедрения решения.
Типичный рабочий цикл включает формулирование бизнес-вопроса, определение доступных источников, подготовку аналитического набора, исследование данных, построение и проверку модели и последующее включение результата в процесс принятия решений.
Участниками такой работы могут быть бизнес-аналитик, специалист предметной области, аналитик данных, владелец процесса, архитектор данных и специалисты по реализации. Состав зависит от масштаба задачи и используемых инструментов.
Артефактами работы могут становиться описание аналитической задачи, подготовленный набор данных, набор вычисленных характеристик, результаты исследования, математическая модель, отчет или информационная панель, а при автоматизации решения — соответствующие бизнес-правила или реализованная программная логика.
Практический пример
Предположим, крупная организация автоматизирует процесс обработки заявок клиентов. Значительная часть заявок нарушает нормативный срок, однако руководители процесса не могут определить единый набор причин.
Работа начинается с выявления требований. Бизнес-вопрос формулируется так: какие характеристики заявки и ее обработки позволяют заранее определить повышенную вероятность нарушения срока?
Далее формируется аналитический набор данных. Из системы документооборота извлекаются сведения о типе заявки, подразделении, времени регистрации, количестве участников обработки, количестве возвратов на предыдущий этап, продолжительности отдельных операций и итоговом сроке. Данные объединяются на уровне отдельной заявки.
Массив разделяется на данные для построения модели и независимые данные для проверки результата.
На этапе анализа исследуются распределения значений, пропуски и потенциально полезные характеристики. Например, вместо простого количества участников может быть рассчитано количество передач заявки между подразделениями, а вместо общей продолжительности обработки — доля времени ожидания между операциями.
После подготовки характеристик проверяется несколько техник моделирования. Допустим, дерево решений показывает, что сочетание большого количества межфункциональных передач, повторного возврата на определенный этап и длительного ожидания согласования связано с существенно повышенной вероятностью нарушения срока.
Модель проверяется на данных, которые не использовались при ее построении.
Затем результат внедряется. При регистрации и движении заявки система рассчитывает признаки риска. Если их комбинация соответствует выявленной закономерности, владелец процесса получает предупреждение и может принять решение о дополнительном контроле.
В результате добыча данных не просто описывает прошлые нарушения сроков, а становится частью механизма управления процессом.
Хорошие и плохие практики
Хорошая практика начинается с понимания того, какое решение должно поддерживаться результатами анализа. Это особенно важно для управляемого исследования: четкий бизнес-вопрос помогает определить необходимые данные, характеристики и критерии полезности модели.
Эффективной практикой является также независимая проверка результата на данных, которые не участвовали в построении модели. Такой подход непосредственно следует структуре элемента подготовки данных, описанного BABOK, и снижает риск принятия случайной закономерности за устойчивую.
Плохая практика — начинать анализ только потому, что организации доступен большой массив данных или мощный инструмент. BABOK прямо предупреждает, что доступ к большим данным и сложному программному обеспечению может приводить к случайному неправильному использованию техники.
Другой проблемный подход — обнаружить статистическую связь и немедленно превратить ее в бизнес-правило без проверки содержательного смысла. Корреляция может быть случайной, временной или зависеть от особенностей исходной выборки.
Типичные ошибки
Первая ошибка — отсутствие сформулированной цели. В этом случае бизнес-аналитик может получить множество статистически интересных закономерностей, не имеющих отношения к значимым решениям организации.
Вторая ошибка — недооценка подготовки и анализа данных. BABOK фактически помещает между постановкой задачи и моделированием два самостоятельных элемента: подготовку аналитического набора и анализ данных. Попытка сразу перейти к алгоритму означает пропуск значительной части техники.
Третья ошибка — использование одной модели без сравнения с альтернативами. BABOK указывает, что часто применяется несколько техник для определения наиболее действенной.
Четвертая ошибка — отсутствие независимой проверки. Модель может хорошо воспроизводить данные, на которых создавалась, но плохо работать на новых наблюдениях.
Пятая ошибка — остановка после построения модели. Если результат не встроен в отчетность, информационную панель, бизнес-правило или иной механизм принятия решений, аналитическая работа не создает предусмотренной техникой практической ценности.
Практические рекомендации
До начала технической работы полезно сформулировать бизнес-вопрос одним предложением и определить, какое решение изменится в зависимости от результата анализа.
Необходимо отдельно документировать смысл вычисляемых характеристик. Для бизнеса гораздо важнее понимать, что означает конкретный показатель, чем знать название алгоритма, который его использует.
Подготовку данных следует рассматривать как полноценную аналитическую деятельность, а не как техническое предварительное действие. Именно здесь обнаруживаются ограничения источников, неоднозначность определений и недостаточная полнота информации.
При обнаружении сильной закономерности желательно проверять не только ее статистическую устойчивость, но и предметную интерпретацию вместе со специалистами бизнеса.
Наконец, способ внедрения стоит определять заранее. Если невозможно объяснить, кто и каким образом будет использовать результат модели, необходимо повторно проверить назначение исследования.
Ограничения техники
BABOK выделяет три существенных ограничения:
Во-первых, применение техник без понимания принципов их работы может привести к ошибочным корреляциям и неуместным выводам.
Во-вторых, наличие больших объемов данных и сложных инструментов само по себе создает риск неправильного применения техники. Технологическая доступность анализа не гарантирует содержательной корректности.
В-третьих, многие техники и инструменты требуют специальных знаний. Поэтому добыча данных далеко не всегда может выполняться бизнес-аналитиком самостоятельно.
Одновременно BABOK указывает и на преимущества техники: она позволяет обнаруживать скрытые закономерности и получать информацию, которая помогает определить, какие данные следует собирать или сколько людей может быть затронуто определенным предложением; результаты могут интегрироваться в дизайн системы для повышения точности данных; использование фактических данных способно уменьшать влияние человеческой предвзятости.
Следовательно, эта техника наиболее эффективна при наличии достаточного количества качественных данных, понятной связи с бизнес-решением и необходимых компетенций. Она значительно менее надежна, когда данные фрагментарны, смысл показателей неоднозначен или математические результаты используются без предметной интерпретации.
Вместо заключения
Добыча данных в BABOK — это не отдельная статистическая операция и не синоним применения алгоритмов машинного обучения. Это последовательная аналитическая работа, начинающаяся с определения требований и завершающаяся внедрением результата в принятие решений.
Пять элементов техники — выявление требований, подготовка аналитического набора данных, анализ данных, применение техник моделирования и внедрение — показывают, что математическая модель является лишь одной частью процесса.
Для бизнес-аналитика ценность техники состоит в возможности использовать накопленные организацией данные как дополнительный источник информации бизнес-анализа. Она дополняет техники, основанные на документах, экспертных знаниях и непосредственном взаимодействии с заинтересованными сторонами, позволяя проверять предположения на фактическом поведении процессов и решений.
При корректном применении добыча данных помогает не только объяснять уже наблюдаемые закономерности, но и обнаруживать скрытые связи, прогнозировать события и превращать результаты анализа в работающие механизмы поддержки или автоматизации бизнес-решений.