Данные являются одним из важнейших видов активов, которыми необходимо управлять для того, чтобы эффективно развивать, предоставлять и поддерживать услуги ИТ.
Управление Данными/ Управление Информацией (Data/Information Management) – это все относящееся к тому, как организация планирует, собирает, создает, организует, использует, контролирует, распространяет и избавляется от своих данных (информации), это относится к структурированным и неструктурированным данным. Управление данными гарантирует, что ценность данных/информации выявлена и используется, как для поддержки внутренней деятельности, так и для повышения стоимости бизнес-процессов, обслуживающих клиентов.
В этой области широко используются термины: «Управление данными», «Управление информацией» и «Управление информационными ресурсами». В рамках настоящей публикации, используется термин «Управление данными» в качестве условного обозначения всех трех вышеприведенных.
Роль Управления данными состоит не просто в управлении сырыми данными; она в управлении всеми контекстуальными метаданными - дополнительными «данными о данных», - что идут с ними, а при добавлении к необработанным данным дают «информацию» или «данные в контексте» («data in context»).
Данные, как основа для информации организации, имеют все необходимые атрибуты, чтобы рассматриваться в качестве актива или ресурса (asset or resource). Например, данные важны для «достижения бизнес-целей и успешной повседневной работы организации». Кроме того, они могут быть «получены и сохранены в организации, но только с финансовыми затратами». Наконец, возможно, наряду с другими ресурсами / активами, будут использованы для «дальнейшего достижения целей организации».
Ключевые факторы успешного Управления данными следующие:
Все пользователи имеют доступ через различные каналы к информации, необходимой для выполнения своей работы;
Ценные данные полностью эксплуатируются, путем совместного использования (data sharing) данных в пределах организации и с другими организациями;
Качество данных организации сохраняется на приемлемом уровне и информация, используемая в бизнесе, является точной, надежной и последовательной;
Юридические требования к защите неприкосновенности частной информации, безопасности, конфиденциальности и целостности данных соблюдаются;
Организация обеспечивает высокий уровень эффективности и результативности в деятельности по обработке данных и информации;
Модель данных предприятия определяет наиболее важные сущности и их связи - это поможет избежать избыточности и ухудшения архитектуры, которая и без того меняется с годами.
Управление активами данных (Managing data assets). Если нет эффективного Управления данными, то:
Люди поддерживают и собирают данные, которые не нужны;
Организация может иметь историческую информацию, которая не используется;
Организация может хранить много данных, которые доступны потенциальным пользователям;
Информация может предоставляться большему числу людей, чем необходимо, или не тем, кому она необходима;
Организация может использовать неэффективные и устаревшие методы сбора, анализа, хранения и извлечения данных;
Организация может не справиться со сбором необходимых данных, уменьшить качество и потерять целостность данных, например, между связанными источниками данных.
Кроме того, трудно ответить на вопрос: «действительно ли информация получена из данных хорошего качества?», потому что нет показателей для сравнения. Например, низкое качество данных зачастую возникает из-за плохих проверок в процедурах ввода и/или обновления. После ввода неточных или неполных данных в ИТ-системах, любые отчеты, полученные с использованием этих данных будут отражать эти неточности и пробелы.
Также может быть отсутствие согласованности информации, генерируемой различными оперативными и прочими многочисленными внутренними системами, созданными и используемыми, потому что центральным данным не доверяют.
Одним из путей повышения качества данных, является использование процесса Управления данными (Data Management process), который устанавливает политику и стандарты, предоставляет экспертизу и облегчает обработку аспектов, связанных с данными для новых услуг.
Это должно обеспечить полный Data/Information Asset Management:
Увеличить ценность услуг, предоставляемых клиентам;
Снизить риски в бизнесе;
Сократить расходы на бизнес-процессы;
Стимулировать инновации во внутренние бизнес-процессы.
Область охвата Управления данными (Scope of Data Management)
Существуют четыре области менеджмента, включенных в область действия Управления данными/информацией(Data/Information Management):
Управление информационными ресурсами (Management of data resources): governance информацией в организации должны обеспечить, чтобы все эти ресурсы были известны и были назначены ответственные лица для управления ими, в том числе владельцы данных (ownership) и метаданных.
Этот процесс обычно упоминается как администрирование данных (data administration) и включает ответственность за:
Определение потребности в информации;
- Построение реестра данных (data inventory) и модели данных предприятия;
- Выявление дублирования и недостатков данных;
- Поддержку каталога/индекса информационного контента (data/information content);
- Измерение затрат и ценности данных организации.
Управление технологиями данных/информации (Management of data/information technology): управление подразделением ИТ, поддерживающим информационные системы организации, что включает в себя такие процессы, как проектирование баз данных и управления базами данных. Этими аспектами обычно занимаются специалисты подразделения ИТ.
Управление информационными процессами (Management of information processes): бизнес-процессы приводят услуги ИТ к использованию тех или иных данных. Процессы создания, сбора, доступа, модификации, хранения, удаления и архивирования данных - то есть процессы жизненного цикла данные, - должны быть надлежащим образом контролируемыми, часто совместно с процессом управления приложениями.
Управление стандартами и политикой данных (Management of data standards and policies): организация должна определить стандарты и политику в области Управления данными (Data Management), как элемент стратегии развития ИТ. Эта политика будет регулировать процедуры и ответственности по Управлению данными в организации, техническую политику, архитектуру и стандарты, которые будут применяться к ИТ-инфраструктуре, поддерживающей информационные системы организации.
Область действия процесса Управления данными (согласно best practices) включает в себя управление неструктурированными данными, которые не содержатся в обычных системах баз данных - например, использующие такие форматы, как текст, изображение и звук. Процесс Управления данными также отвечает за обеспечение качества на всех этапах жизненного цикла данных, от сбора требований до окончания эксплуатации. Основное внимание в этой публикации будет сосредоточено на роле Управления данными в фазах сбора требований, проектирования и разработки активов и на жизненном цикле сервиса (Service Lifecycle).
Команда, поддерживающая процесс Управления данными, может также предоставлять службу поддержки бизнес-информации. В этом случае они в состоянии отвечать на вопросы о значении, формате и возможности использования данных внутри организации, потому что они управляют метаданными. Они также в состоянии понять и объяснить, какие внешние данные могут быть необходимы для выполнения необходимых бизнес-процессов и предпринять необходимые действия для доступности внешнего источника данных.
Чрезвычайно важно понимать, при создании или реорганизации процессов и поддержки ИТ-услуг, что хорошая практика – продумывать повторное использования данных и метаданных в различных областях деятельности организации. Способность сделать это может быть поддержана корпоративной моделью данных – иногда называемой общей информационной моделью. Поддержка повторного использования – зачастую одна из главных задач для Управления данными.
Какие бывают данные
Прежде чем перейти непосредственно к системам управления мастер-данными, давайте определим, какого рода вообще бывают данные.
Ниже представлены 5 ключевых типов:
1. Метаданные (Metadata);
2. Референс-данные (Reference data);
3. Мастер-данные (Master data);
4. Транзакционные данные (Transactional data);
5. Исторические данные (Historical data).
Метаданные
– это данные о данных. Они нужны для понимания и определения, какими данными оперирует предприятие. Метаданные определяют структуры, типы данных, доступы к ним и т.д. Существуют различные схемы для описания метаданных. Например, для описания структуры XML-документа может применяться XSD-схема, для описания веб-сервиса – WSDL-схема.
Референс-данные – это относительно редко меняющиеся данные, которые определяют значения конкретных сущностей, используемых при выполнении операций в рамках всего предприятия. К таким сущностям чаще всего относятся: валюты, страны, единицы измерения, типы договоров/счетов и т.д.
Мастер-данные – это базовые данные, которые определяют бизнес-сущности, с которыми имеет дело предприятие. К таким бизнес-сущностям обычно относятся (в зависимости от предметной отраслевой направленности предприятия) клиенты, поставщики, продукция, услуги, договора, счета, пациенты, граждане и т.п. Кроме информации непосредственно о той или иной мастер-сущности, в мастер-данные входят взаимосвязи между этими сущностями и иерархии. Например, с точки зрения поиска дополнительных возможностей продаж, может быть очень важно выявлять явные и неявные взаимосвязи между физическими лицами. Мастер-данные распространяются по всему предприятию и участвуют во всех бизнес-процессах. Обычно мастер-данные воспринимаются как ключевой нематериальный актив предприятия, т.к. от их качества и полноты зависит эффективность его работы. В России часто вместо термина «мастер-данные» используют термин «нормативно-справочная информация».
Транзакционные данные – это данные, которые образовались в результаты выполнения предприятием каких-либо бизнес-транзакций. Например, для коммерческого предприятия: продажи продуктов и услуг, закупки, поступления/списания денежных средств, поступления на склад и т.п. Обычно такие данные базируются в системе управления ресурсами предприятия (ERP) или других отраслевых системах. Естественно, транзакционные системы широко используют мастер-данные при выполнении транзакций.
Исторические данные – это данные, которые включают в себя исторические транзакционные и мастер-данные. Чаще всего такие данные аккумулируются в ODS и DWH системах и служат для решения различных аналитических задач и поддержки принятия управленческих решений.
Cистемы управления мастер-данными
Прежде чем перейти к системе управления мастер-данными, определим, что такое управление мастер-данными вообще.Управление мастер-данными (Master Data Management, MDM) – дисциплина, которая работает с мастер-данными в целях создания «золотой записи», то есть целостного и всестороннего представления о мастер-сущности и взаимосвязях, эталона мастер-данных, который используются всем предприятием, а иногда и между предприятиями для упрощения обмена информацией.
Специализированные системы управления мастер данными (MDM-системы) автоматизируют все аспекты этого процесса и являются «авторитетным» источником мастер-данных масштаба предприятия. Часто MDM-системы управляют также и референс-данными.
Ситуация, когда MDM-система является единственным источником мастер-данных, все изменения вносятся в MDM-систему и только потом передаются в системы-потребители, называется «системой записей». Это идеальная ситуация для управления мастер-данными. Однако в реальной жизни все не так просто: MDM-система не всегда будет являться «системой записей». Из-за особенностей бизнес-процессов конкретного предприятия, технических сложностей конкретных систем и т.д., приходится создавать «копии» мастер-записей. Система, в которой содержится копия мастер-данных, называется «системой ссылок». Чтобы не терять управляемости, «система ссылок» обязательно должна находиться под управлением и синхронизироваться с «системой записей».
Три измерения MDM-систем
Рассмотрим MDM–систему в трех измерениях:Обычно MDM-системы не внедряются «с наскоку», т.к. их внедрение – это сложный процесс последовательных преобразований масштаба всего предприятия, от ведения разрозненных данных до создания целостного всестороннего представления о мастер-сущности. Поэтому внедрение MDM-систем выполняется последовательно с постепенным приближением к целевому результату в трех указанных измерениях.
Рассмотрим подробнее эти измерения.
Домены
В контексте управления мастер-данными под доменом понимается конкретная область мастер-данных. Самые распространённые домены мастер-данных – это домен клиентов и домен продуктов. В западной литературе сложились устоявшиеся термины для управления мастер-данными в рамках этих доменов: Customer Data Integration (CDI) – для домена клиентов и Product Information Management (PIM) – для домена продуктов.К CDI традиционно относятся не только клиенты, но и организации или физические лица, которые могут называться по-разному в зависимости от отрасли предприятия: клиенты, поставщики, банки, фонды, пациенты, граждане и т.д.
К PIM традиционно относятся: продукция, товары, материалы, услуги, работы и т.д.
Есть много общего в подходах к управлению мастер-данными CDI и PIM, но есть также и много отличий. Например, при дедубликации клиентских сущностей в большинстве случаев выполняется простой синтаксический анализ атрибутов сущностей и их сопоставление на основе вероятностных алгоритмов, в то время как в продуктовом домене проводится семантический/онтологический анализ атрибутов с подключением механизмов самообучения. Кроме того, в продуктовом домене у сущностей в зависимости от выбранной категории могут сильно различаться атрибуты (например, у ноутбуков свой набор атрибутов, а у стиральных машинок – свой). Все эти особенности различных доменов должны поддерживаться MDM-системами.
В последнее время имеет место тенденция создания мультидоменных MDM¬-систем с возможностью гибкой настройки структуры метаданных. Такая гибкость дает предприятию возможность описать мастер-данные конкретно под себя с учетом всех особенностей и нюансов, но при этом требует немалого времени и знаний, чтобы грамотно спроектировать и настроить такую систему. Также на рынке присутствуют системы с «жесткой» структурой мастер-сущностей, которые имеют уже корректно настроенные механизмы, но использование такой системы возможно только теми предприятиями, которые смогут подстроиться под нее. Обычно такие системы хорошо применимы для решения задачи управления мастер-данными в рамках какой-то узкой отрасли. По моему мнению, наиболее перспективными являются системы с гибкой моделью метаданных, но имеющие при этом преднастроенные для предприятий разных отраслей модели, которые можно быстро перенастраивать.
Методы использования
Методы использования MDM (Method of use) определяют то, для чего MDM система будет использоваться на предприятии. Иными словами, кто будет потребителем мастер-данных (естественно, их может быть несколько).Основных методов использования три:
1. Аналитический (Analytical)
2. Операционный (Operational)
3. Коллективный (Collaborative)
Аналитический метод использования поддерживает бизнес-процессы и приложения, которые используют мастер-данные преимущественно для анализа эффективности бизнеса, предоставляют необходимые отчеты и выполняют аналитические функции. Часто это происходит посредством взаимодействия MDM с инструментами и продуктами BI. Обычно аналитическая MDM-система работает с данными только в режиме чтения, она не изменяет данные в системах-источниках, но занимается их очисткой и обогащением.
Операционный метод использования позволяет собирать, изменять и использовать мастер-данные в процессе выполнения бизнес-транзакций (операций) и служит для поддержки семантической согласованности мастер-данных в рамках этих операций внутри всех операционных приложений. Фактически, в этом случае MDM функционирует как OLTP-система, которая отрабатывает запросы от других операционных приложений или пользователей. Работа в таком режиме зачастую требует построения единого интеграционного ландшафта с использованием принципов сервис-ориентированной архитектуры (SOA) и применением инструментария сервисной шины предприятия (ESB). Идеально, если такие инструменты или входят непосредственно в MDM-систему, или являются ее продолжением (есть вендоры, которые имеют в своей линейке и MDM и ESB-решения, глубоко интегрированные между собой).
Коллективный метод использования позволяет создавать мастер-сущности в случаях, когда требуется коллективное взаимодействие между различными группами пользователей в процессе этого создания. Такое согласование обычно имеет сложные «ветвящиеся» бизнес-процессы, состоящие из различных автоматических и ручных задач. Ручные задачи выполняются различными специалистами по работе с данными (дата-стюардами) в порядке, определенном бизнес-процессом. Чаще всего коллективный метод использования применяется в продуктовом домене. Например, при создании нового продукта, когда существуют несколько ответственных за ввод разных данных, много ручной работы и финальное согласование. Важно, чтобы MDM-система позволяла настраивать произвольные бизнес-процессы для быстрой поддержки бизнес-процессов конкретного предприятия.
Стили внедрения
Обычно выделяют три основных стиля внедрения (implementation style):1. Реестровый (registry);
2. Сосуществующий (coexistence);
3. Транзакционный (transactional).
Реестровый стиль внедрения предполагает создание источника мастер-данных как «системы ссылок» на нижестоящие источники данных. Реестровая MDM содержит только ключевые атрибуты, необходимые для идентификации и сопоставления сущностей. Реестровая MDM работает в режиме «только чтение», данные вводятся в системах-источниках и передаются в MDM для разрешения сущностей. Также в реестровой MDM могут храниться ссылки на источники неключевых данных, но сами эти данные обычно в MDM не передаются. Реестровый стиль внедрения обычно применяется в случае выбора операционного метода использования MDM (см. выше).
Сосуществующий стиль внедрения предполагает наличие распределенного ввода данных в нескольких источниках (бизнес-приложениях и MDM-системе). MDM-система в данном случае может являться «системой записей» только для части атрибутов. Тем не менее, в MDM-системе формируется полноценная мастер-сущность, изменения которой транслируются в другие системы (возможно, не все). Сосуществующий стиль внедрения довольно прост и часто применяется как первый шаг к следующему - транзакционному стилю, т.к. не требует глубокой переработки систем, взаимодействующих с MDM-системой.
Транзакционный стиль внедрения предполагает создание полноценной «системы записей», в которой хранятся все данные по мастер-сущностям. MDM-система в этом случае является «единственным источником правды» для всех систем-потребителей. Все операции по созданию и обработке данных выполняется на уровне MDM-системы. Ввод данных на уровне систем-потребителей запрещен. Такой подход обычно довольно сложен для внедрения, т.к. требует существенного изменения бизнес-процессов и систем-подписчиков.
Заключение
На практике, выбор той или иной стратегии внедрения MDM определяется многими факторами: целями предприятия в области управления мастер-данными, степенью зрелости предприятия, степенью готовности IT-инфраструктуры, наличием инвестиций на реализацию проекта и многими другими параметрами. Чтобы определиться со стратегией внедрения, нужно провести тщательный анализ всех этих факторов и составить подробное технико-экономическое обоснование проекта и детальный план-график с указанием фаз развития проекта. Но это уже другая обширная тема, требующая отдельного рассмотрения.Одно можно сказать точно, что к внедрению MDM-системы нужно подходить очень взвешенно и поступательно. Большинство проектов внедрения MDM-систем проваливаются именно из-за недооценки сложности и объема изменений, с которыми приходится сталкиваться в MDM-проектах.
Cookie – это небольшой текстовый файл на вашем устройстве, который запускает функции и возможности веб-сайта.
Cookie-файл представляет собой небольшой текстовый файл, который веб-сайт запрашивает у вашего веб-браузера и сохраняет на вашем устройстве, чтобы запомнить какой язык вы предпочитаете и другую подобную информацию о вас, а также запускает функции и возможности веб-сайта.
В Comindware мы стараемся быть ясны и откровенны касательно того, какие данные о вас мы собираем и как их используем. И эта Политика предоставляет подробную информацию о том, какие cookie-файлы мы собираем и как мы используем данные о вас. Эта политика использования cookie-файлы применяется к веб-сайту Comindware.
Всегда включённые
Обеспечивают ваш персонализированный опыт и должную работу веб-сайта.
Всегда включённые cookie-файлы помогают нам обеспечивать персонализированный опыт использования веб-сайта для вас и не могут быть отключены в нашей системе. Вы можете настроить веб-браузер для блокировки или предупреждения об этих файлах cookie, но в последующем некоторые части веб-сайта могут не работать.
Скорость работы сайта
Используются для постоянной оптимизации и улучшения веб-сайта.
Cookie-файлы производительности помогают нам постоянно оптимизировать и улучшать веб-сайт. Эти файлы cookie позволяют нам считать переходы на веб-сайт, отслеживать источники трафика, определять какие страницы пользуются наибольшей популярностью и приносят пользу посетителям, узнавать как пользователи перемещаются по веб-сайту. Все данные собираются в эти cookie-файлы в обобщённой форме и потому анонимны.
-
Цифровая трансформация стала основной темой обсуждений на недавней 22 ой конференции «ИТ в страховании». Участники сошлись во мнении, что внедрение и применение аналитических технологий для монетизации данных уже стало обязательным условием для качественных преобразований в отрасли.
-
IoT представляет собой мощный источник данных, который в сочетании с аналитикой может дать представление обо всем, от поведения до эмоций и здоровья. И вот почему это ключ к улучшению качества обслуживания клиентов.
-
Разработайте стратегию управления данными с использованием Data Lineage и дайте возможность ИИ полностью раскрыть свой потенциал.
-
Нет единого плана по работе над проектом по аналитике данных. Эксперт по технологиям Фил Саймон предлагает рассмотреть эти десять вопросов в качестве руководства.
-
Успешный data-driven бизнес способствует формированию целенаправленной, коллаборативной культуры; имеет лидеров, которые верят в данные и ориентированы на управление. Узнайте больше в этом кратком обзоре исследования TDWI, в котором раскрываются рекомендации для становления data-driven.
-
Самое время перейти к летней практике и рассмотреть такую распространенную и понятную задачу, как планирование севооборота. Что будет, если добавить в эту задачу щепоточку искусственного интеллекта и несколько граммов математических методов?
-
В конце весны SAS Россия впервые провела День стажера. Это новый формат встреч для студентов и выпускников, которые успешно прошли все этапы отбора на стажерскую программу SAS и уже начали работать в нашей команде.
-
Чтобы узнать больше о понятии «персональные данные», почему об этих данных говорят в новостях и почему они жестко регулируются Общим положением о защите данных (GDPR), мы пообщались с Джеем Экзэмом, юристом по вопросам конфиденциальности в SAS.
-
Как можно повысить эффективность бизнес-процессов, начиная с производства и заканчивая хранением и сбытом, с помощью информационных технологий?
-
Аналитика SAS поможет страховым компаниям
Как применять углубленную аналитику и машинное обучение в медицинском страховании?
-
Подготовка данных - это процесс их объединения, приведения к единому формату и очистки с целью дальнейшего анализа и решения других бизнес-задач.
-
Качество данных не является хорошим или плохим, высоким или низким. Это диапазон или показатель работоспособности данных, проходящих через вашу организацию.
-
From cows to factory floors, the IoT promises intriguing opportunities for business. Find out how three experts envision the future of IoT.
-
Что же такое озеро данных? Это просто маркетинговый хайп? И вообще, чем оно отличается от традиционного хранилища данных?
-
Data profiling, the act of monitoring and cleansing data, is an important tool organizations can use to make better data decisions.
Управление данными – основа администрирования БД.
Основная концепция управления данными.
Организация управления данными.
Администрирование БД.
Заключение.
Управление данными – основа администрирования базами данных
Управление данными включает в себя процессы переработки данных, начиная от сбора данных и заканчивая их архивацией и доведением до пользователей. При этом рассматриваются как технологические, так и организационные вопросы сбора, обработки данных. Администрирование БД – это компонент управления данными, связанный с СУБД.
Управление данными можно рассматривать на уровне источника данных, центра данных, проекта (программы). Каждый уровень может включать предыдущие уровни управления данными. Например, управление данными на уровне центра обязательно включает сбор данных от источников данных. Крупная научная программа может включать несколько экспериментов, каждый из которых может иметь свой план управления данными.
План управления данными – это организационный документ, в котором определены все этапы переработки данных, а также средства их реализации.
Целями создания плана управления данными является улучшение сбора, доступа и использования информации; развитие БД; стандартизация процедур сбора и обмена данными.
Основная концепция управления данными
Создание плана управления данными должно учитывать долгопериодные решения по
развитию и стандартизации общих технологий сбора и обмена данными, позволяющих уменьшить временной лаг между сбором и доступом к данным;
увеличению кооперации при сборе, архивации, обработке и картированию данных;
созданию распределенных БД;
объединению новых и исторических данных для получения соответствующих временных рядов;
совместимости БД за счет использования общих протоколов форматирования и контроля качества для отдельных дисциплин;
доступу к архивным данным.
Методология управления данными должна быть основана на применении наиболее эффективных средств:
создания многоуровневых каталогов данных;
использования каталогов для поиска и оценки дубликатов;
поиска и обмена данными;
конвертирования данных в общие форматы;
контроля данными на различных этапах переработки данных;
создания новых методов обработки данных;
доступ к данным на компактных дисках, Интернет и др.
План управления данными способствует лучшему пониманию всеми участниками проекта, объединения научных интересов, общественных потребностей и правовых вопросов. Управление данными начинается с проектирования измерительной программы экспедиции или проекта, создания БД и заканчивается доступом пользователей к качественно проконтролированным и хорошо задокументированным БД. План управления данными должен быть ключевым элементом всех крупных проектов и программ. План управления данными поможет максимизировать возврат инвестиций, сделанных в проект с помощью финансирования для целей всестороннего использования получаемых данных, т.е. план управления данными есть механизм распространения и использования результатов проекта, специальная активность, выполняемая в рамках национальной и международной или корпоративной политики, основанной на лучшей практике обработки данных.
Этот план должен описывать работу, технологические требования и соответствующие результаты в проектировании измерительной активности, отчетности по сбору данных, документировании, контроле качества и создании БД, доступа к данным.
Одной из главных задач любого проекта, а особенно центра данных, является создание баз метаданных. Общие подходы в управлении данными позволяют получить пользу как специалистам, работающим в этих проектах, так и обществу в целом (более быстрое использование данных); сделать эффективнее использование большинства источников данных; хорошо задокументировать и проконтролировать данные, предназначенные для общего использования по окончании проекта.
Адекватное управление данными определяется возможностями национальных организаций политическими аспектами, техническими проблемами, условиями финансирования проектов, хорошей координацией всех участников проекта, наличием соответствующего квалифицированного штата.
