👉 Подписаться на канал 👈

В режиме тестирования выложен первый курс из цикла Data Governance для чайников.

Руководство данными: вводный курсРуководство данными: вводный курс

Немного о курсе:
- предназначен для самых маленьких 🤗, для тех кто только начинает свой путь в данных или информационных технологиях, или просто интересуется - что же это за зверь такой, ради которого целую экономику создают?!
- по содержанию представляет из себя несколько статей с канала "Data Governance для чайников", скомпилированных в один ручеёк знаний о данных;
- есть несколько тестов, чтобы "приземлить" знания - очень советую их пройти;
- времени на прохождение всего курса потребуется по максималкам пара часов (эквивалент лекции или одной пары в универе), так что заходите все кому не лень;
- ничего не стоит для тех, кто зайдёт в эту историю в ближайшую неделю;
- есть просьба - пишите обратную связь тут в комментах 😁, пожалуйста, или просто поставьте 👍 этому курсу;
- если не зашло, то тоже пишите и обязательно - почему.

На этом всё. Да помогут нам бог и данные!

👉 Подписаться на канал 👈

Сегодня на ужин немного информации о бизнес-метаданных и о том, как вести Термины в бизнес-глоссарии

Читаем на бусти - Правила ведения Терминов в бизнес-глоссарии

👉 Подписаться на канал 👈

🔆 Настроение - Лето! 🔆

🤗 Подписаться на канал 🤗

ИТ-компетенции теперь можно подтвердить через Госуслуги 🤗

Какие навыки можно проверить вы видите на картинке, пока их всего 17, все тесты проводятся на платформе компании hh.ruhh.ru - за что им огромное спасибо!

Если тест удачно пройдён, вы получите сертификат, который будет действителен 1 год и доступен для ознакомления в вашем личном кабинете. И, конечно, вы сможете всегда представить его своим работодателям.

👉 Подписаться на канал 👈

😭 👉 Подписаться на канал 👈

Классификатор причин и источников некачественных данных

У всех, кто отчитывается нашему регулятору, есть задача выполнить требования 716-П (Операционные риски) и 845-П (ПВР), которое звучит так:

Кредитная организация определяет во внутренних документах методику обеспечения качества данных, включающую следующие элементы:
- классификатор возможных источников и причин образования в информационных системах данных, не соответствующих требованиям к качеству данных в информационных системах...

При разработке такого классификатора за основу имеет смысл взять классификатор событий операционного риска, определенный в Положении 716-П, глава 3, п.3.3. Источники операционного риска, оттуда возьмём самый первый уровень для источников некачественных данных:

- Процессы
- Пользователи
- Технологии
- Внешние факторы

Дальше ловкость рук и воображение )) То, что у меня получилось прилагаю в файле на бусти. Берите за основу, адаптируйте под себя.

👉 Подписаться на каналПодписаться на каналПодписаться на канал 👈

🤣 чот ржу-не магу 🙈

👉 Подписаться на канал 👈

Преимущества Data Lakehouse

Неплохая статья вышла на Dataversity, приведены основные характеристики хранилищ, построенных на архитектуре Data Lakehouse. Не забыли также про функцию управления метаданными, которой отведена особая роль.

Есть краткий обзор тенденций Data Lakehouse на 2025 год

Читаем и переводим оригинал тут - Advances in Data Lakehouses

👉 Подписаться на канал 👈

Если вы проводите фестиваль или митап, конференцию или просто встречу в узком кругу профессионалов - пишите в комментах:

✔️ когда
✔️ где
✔️ для кого
✔️ тема встречи
✔️ кто организатор
✔️ ссылку на инфо

Пост закреплю ☝

👉 Подписаться на канал 👈

👉 Подписаться на канал 👈

Ну что?! кажется, что пора переобуваться из DG в AIG 🤣 повостребованнее будет

👉 Подписаться на канал 👈

Отправная точка датацентричного подхода

Что такое монетизация данных все уже разобрались - это когда можно заработать на данных. А что такое датацентричность?

В датацентричной парадигме данным придаётся первостепенное значение, причём их интерпретация и обработка определяется смыслом данных, а не приложениями для их обработки, то есть приложения «подстраиваются» под данные, а не наоборот. Данные становятся основой проектирования систем и главным фактором принятия решений.

Вот некоторые принципы датацентричного подхода:

- данные — ключевой актив любой организации;
- данные информативны и не зависят от применения и интерпретации;
- данные представлены в открытых, незарегистрированных под конкретное приложение, форматах;
- за доступ к данным и их безопасность отвечает уровень доступа к данным, и они не контролируются приложениями;
- приложения имеют доступ к данным, они могут производить их обработку и выражать результаты своих процессов снова на уровне доступа к данным для коллективного использования.

Задумывались ли вы с чего начинается датацентричность?

По моему скромному мнению, всё начинается со сбора требований к данным и понимания их смысла.

Основное что нужно сделать - формализовать процесс сбора бизнес-требований к данным. Конечно, тут потребуется автоматизированная система, так как реальный прорыв в качестве продуктов и снижение time2market вы получите, только если ваша система сбора требований к данным будет автоматизирована. Невозможно управлять данными, накапливая информацию о них в ексель-файликах или в различных пространствах на страничках конфлюенса. Нужна централизованная база знаний и инструмент, который управляет этой базой, например, это может быть бизнес-глоссарий или дата-каталог. Вскользь упоминала такую возможность вот в этой статье: Бизнес-глоссарий или как автоматизировать процесс сбора бизнес-требований к данным

Стартует процесс сбора требований к данным с задачи "Описание данных" в бизнес-глоссарии, где каждому термину даётся развёрнутое описание, содержащее его бизнес-смысл. А дальше начинается кропотливая работа по сбору требований. Примеры требований к данным: допустимый формат, размер поля, обязательность к заполнению. Ещё варианты требований можно посмотреть в этих материалах.

Сбор требований к данным - это по своей сути этап анализа данных, но максимально формализованный, вся информация о сущностях и атрибутах тщательно документируется. Кто-то может сказать, что сбор требований к данным очень трудоёмкая задача и не простая, нет компетенций, ресурсов и пр. и пр. Чтобы уверенно аргументировать данному возражению, считаю нужным напомнить, что этап сбора требований к данным - важная часть общего процесса управления данными в производственном цикле ИТ. На результаты этого этапа опираются такие задачи как:
- Моделирование данных;
- Разработка баз данных информационных систем;
- Контроль качества данных;
- Проектирование витрин и отчетов;
- Проектирование интеграционных потоков.

В целом, все процессы Data Governance завязаны на этап сбора требований к данным, именно он является отправной точкой для датацентричного подхода.

Сколько можно сэкономить, если вам удастся внедрить системный подход к сбору и анализу данных, читаем тут: Зачем нам нужны процессы Data Governance?

Но если кратко, то экономия на затратах за счет оптимизации процесса сбора и анализа данных может достигать 60% и почти также ускорять вывод продукта в промышленную среду.

👉 Подписаться на канал 👈

атаке на Новороссийск посвящается

Подписаться на канал

Change Data Capture (CDC) - захват изменения данных

Пакетная обработка ETL (extract, transform, load) долгое время была стандартом для перемещения данных, но ее ограничения становятся все более очевидными в современных условиях.

Поэтому CDC стал важнейшим компонентом современных стратегий интеграции данных. Преимущества CDC:

✔ Устраняет задержки и неэффективность пакетной обработки
✔ Обеспечивает синхронизацию данных в режиме реального времени с минимальным воздействием на базу данных
✔ Повышает масштабируемость при одновременном снижении эксплуатационных затрат
✔ Поддерживает соответствие требованиям, возможность аудита и управление данными

Необходимо понимать, что существует несколько подходов к CDC и они сильно различаются по эффективности, влиянию на производительность системы и пригодности для различных сценариев использования.

Наиболее эффективный метод отслеживания изменений в базах данных - это сканеры логов (Log-based CDC). При использовании такого подхода, считывание данных и метаданных происходит из журнала транзакций, а не запросом их в исходной базе данных. Таким образом CDC создает надежный канал передачи данных из операционных систем в целевые таблицы, обеспечивая аналитику в реальном времени без ущерба для производительности системы. Точность и способность фиксировать изменения без нагрузки на производственные базы данных делают его золотым стандартом для организаций, которым требуется надёжная интеграция данных в реальном времени.

Ещё больше читайте в статье Change Data Capture and the Value of Real-Time Data Integration

Для чего использовать CDC:
- захват данных с источников и репликация в системы класса MDM/RDM
- захват данных с источников и репликация в сырой слой хранилищ данных

Примеры CDC-инструментов: Oracle GoldenGate, Debezium, IBM InfoSphere Data Replication (IIDR), Informatica

И, конечно, набирает оборот наш ДатаФлот ))

Пишите в комментариях, что вы думаете про CDC, что используете у себя в работе, делитесь инфо.

Про недостатки CDC читаем на вики

💥 Подписаться на канал 💥

🤯 к сожалению пока так 🙈

💥 Подписаться на канал 💥

Полезные материалы на бусти

Теперь структурированы и разделены на следующие блоки:

✔ Книги - Инмон, Кимбалл, DAMABok, основы реляционных БД, модель Data Vault и пр.

✔ Рекомендации по организации процессов и написании методических документов - от регуляторов и просто уважаемых учреждений.

✔ Авторские материалы (или стыреные у коллег по блату 😜): презы про владельцев данными, оргструктуру Data; таблицы с метриками качества, требования к данным, опросниками зрелости процессов Data и пр.

Всё читать и качать можно тут

💥 Подписаться на канал 💥

7 опорных функций DG

Накалякала статью на хабр про функциональные блоки Data Governance, которые must have у всех, чтобы ответственно управлять данными.

Почитать про ответственное управление данными можно вот тут (это про культуру данных)

Статья является римейком статьи "Автоматизация процессов управления данными", с более глубоким заходом в анализ причин "зачем всё это нужно?"

За основу взяты четыре глобальных цели:

1️⃣ Data-driven на основе достоверных данных

2️⃣ Self-service данных: аналитика, подготовка, поставка

3️⃣ Снижение Time2Market на любые операции с данными

4️⃣ Требования регуляторов

И далее будет разворот целей на тактические задачи и пояснение как всё это закрывает Data Governance.

🔥 Подписаться на канал 🔥

Data Vault — это методология моделирования данных, разработанная Дэном Линстедом в 90-х как альтернатива традиционным реляционным и многомерным моделям. Она ориентирована на гибкость, адаптивность и сохранение истории данных в хранилищах.

Книгу "Building a scalable Data Warehouse with Data Vault 2.0" можно скачать на бусти.

Также в статье найдёте немного текста про то, что такое Хаб, Сателлит и Линк.
💥 Подписаться на канал 💥