Управление информационной архитектурой

Коллеги выложили презентацию своего решения управления моделированием данных (кусочек Data Governance), которое реализовано на внутреннем продукте.

Эксперты рассказали:
1. Что такое информационная архитектура и зачем заниматься ее проектированием.
2. Какое место занимает информационная архитектура в SEAF и как она связана с другими слоями.
3. Из каких сущностей состоит метамодель информационной архитектуры и в каких отношениях эти сущности находятся друг с другом.
4. Как можно использовать метамодель на простом примере.
5. Как метамодель была применена на практике в ДЗО и что из этого получилось.
6. Как можно скачать метамодель из github и использовать ее прямо с колёс.
7. Как можно адаптировать метамодель под свои нужды.

Это не пилот, а уже работающая технология в одном из дочерних обществ Сбера.

Смотреть можно на рутубе по ссылке

Всем автоматизированного Data Governance 🤗
👉 Присоединиться к каналу 👈

Продолжаю цикл статей Моделирование хранилищ данных - общие понятия: Часть 1, Часть 2

Первым понятие нормализации ввел Кодд, он же разработал первые три нормальные формы. Но перед тем как разбирать более подробно нормализацию и каждую из форм, надо вспомнить что же такое ключи и какие они бывают.

Ключи и их роль в нормализации данных - читаем на бустиКлючи и их роль в нормализации данных - читаем на бусти

👉 Присоединиться к каналу 👈

Совсем свежая статья про вопросы монетизации данных

Вновь поднимается вопрос о том, что важно убедить бизнес-лидеров в ценности данных. Почему не получается? Причина неудач кроется зачастую в том, что мы сами - data-специалисты всех уровней от CDO до инженеров данных - не убеждены в ценности данных.

Эксперт предлагает несколько вариантов погружения в проблематику данных, чтобы исправить ситуацию:

✔️ научиться видеть скрытую ценность в данных;
✔️ начать считать/представлять потенциал данных в количественных метриках;
✔️ переключить фокус внимания с постулата, что данные - это центр затрат, на директиву о том, что данные - это актив;
✔️ научиться трансформировать данные в продукты.

Ещё больше читайте в статье Quantifying the Value of Data to Business Leaders

Самые увлечённые идеей монетизации могут скачать видео-презентацию по той же ссылке и посмотреть доклад полностью. Возможно, в примерах вы найдёте подсказку или натолкнётесь на интересную мысль. Всем удачи! 🤗

🙈🙈🙈 пятница пришёл! 🤗

Репост:

#философское 🤔

Моделирование хранилищ данных - общие понятия. Часть 2

Продолжаем осваивать базовые понятия из области управления данными:

✔️ что такое реляционность, какие основные принципы управления данными лежат в основе этой теории, как всё это соотносится с качеством данных.

✔️ причём тут нормализация данных и почему при проектировании хранилищ данных, которые относятся к классу OLAP-систем, важно помнить про принципы проектирования OLTP

доступно в статье на бусти по раннему доступу 🤗

☝️ Часть первая уже в открытом доступе

Подбираясь к терминам реляционность и нормализация, показалось, что есть смысл вспомнить о том, какие вообще есть типы баз данных на сегодняшний день.

В основе типизации баз данных лежат принципы моделирования и структурирования данных (архитектура). Самые распространенные типы баз данных:

- Реляционные
- Иерархические
- Сетевые
- Объектно-ориентированные
- Графовые

Подробно про типизацию баз данных и способы хранения данных можно читать тут.

...когда внедряешь OpenSource 😜

Краткая история развития хранилищ данных

Первой попыткой хранения данных на машинном языке были перфокарты, которые были изобретены задолго до появления компьютеров и применялись в текстильной промышленности (начиная с 1804г). В компьютерной отрасли перфокарты активно использовались до середины 1980-х годов, а затем их сменили дисковые накопители.

☝️ На фото вы видите перфокарты ))

Эволюция систем хранения - смотрим

Время шло, данных становилось всё больше и больше, и они не умещались на одном диске, поэтому в 1980-х появились первые попытки создания технологий хранилищ данных. И, видимо, 90-е годы прошлого столетия можно назвать эпохой становления теории проектирования хранилищ и периодом появления первых из них в том виде, в котором мы их сейчас видим, а именно:

Хранилище - это комплексная система автоматизированного сбора и хранения данных, специально разработанная и предназначенная для подготовки отчётов и бизнес-анализа с целью поддержки принятия решений в организации.

Как развивались хранилища - читаем

Моделирование хранилищ данных - общие понятия. Часть 1

Чтобы не сломаться в самом начале пути, вспомним что такое данные и почему их хранят в специализированных системах - Базах данных. А потом перейдём к таким понятиям как нормализация, реляционность и т.д.

☝️Правильная медитация на каждый день 😂 снова пятница!

👆Классическое представление хранилища времён Inmon/Kimball - картинка нужна для наглядной демонстрации места терминов OLTP и OLAP.

OLTP - метод обработки данных, в основе которого лежит использование транзакций с данными.
OLTP-системы (Online Transaction Processing) предназначены для ввода, структурированного хранения и обработки информации в режиме реального времени. OLTP-системы - это транзакционные системы для учёта/регистрации операций и действий, которые мы производим при выполнении различных процессов.

В цикле управления хранилищем данных такие системы обычно находятся в слое источников данных (на рисунке Data Sources).

✔️ Для OLTP-системы важно успешное завершение транзакций и откат в исходное состояние данных, если транзакция не удалась.

Пример: Перевод денег с одного банковского счёта на другой. Если система снимет деньги со счета №1, но не сможет зачислить их насчет №2, то деньги будут потеряны. Очевидно, что если зачислить деньги не удалось, то и снятие денег со счета нужно отменить.

Ещё про OLTP: https://ru.m.wikipedia.org/wiki/OLTP

OLAP - метод обработки данных, в основе которого лежит использование запросов к данным.
OLAP-системы (online analytical processing) предназначены для анализа данных, который предполагает проведение над данными таких операций как агрегация, структурирование и вычисления с целью предоставления пользователю результата в виде выборок и отчетов.

Аналитические системы не производят новых данных, а лишь обрабатывают данные, полученные из транзакционных систем. В цикле управления хранилищем данных такие системы обычно находятся в слое представления или использования данных (на рисунке Data Access).

✔️ Для OLAP-системы важна скорость выполнения запросов на больших массивах данных.

Пример: данные клиентов могут быть сгруппированы по городам или регионам страны (Запад, Восток, Север и так далее), таким образом, 50 городов, восемь регионов и две страны составят три уровня иерархии с 60-ю членами. Также клиенты могут быть объединены по отношению к продукции; если существуют 250 продуктов по 20 категориям, три группы продукции и три производственных подразделения, то количество агрегатов составит 16 560. При добавлении измерений в схему количество возможных вариантов быстро достигает десятков миллионов и более.

Классическим представителем OLAP являются BI-системы.
Большое исследование и анализ рынка BI-систем вы можете найти по ссылке - Исследование русских BI-вендоров, российское ПО бизнес-аналитики (системы класса business intelligence).

Ещё про OLAP: https://ru.m.wikipedia.org/wiki/OLAP

👉 Толковый словарь Data Governance

За рамками темы DataGov, но очень интересно!

К тому же я знаю, что тут в канале есть интересующиеся Спиральной динамикой. Информация для вас: 15-16 октября пройдёт онлайн-конференция. Подробности можно посмотреть тут

После посещения конференции станет понятнее Что и Почему сегодня привносят в корпоративную культуру компаний 😊

☝️ К чему картинка про поколения?

А просто канал у меня образовательный. И смотрите какая интересная штука у нас тут с вами получается: оказывается, обучать всех надо по-разному! Потому что воспринимаем и усваиваем мы с вами информацию тоже по-разному. Вот некоторые, например, обладающие клиповым мышлением, с трудом воспринимают классическую подачу через статьи, лекции и учебники, предпочитая им комиксы, короткие видео и занятия в игровой форме 😜

Это не значит, что я буду давать один и тот же материал в нескольких вариантах, но постараюсь подобрать какие-то альтернативы, если они будут доступны. Почему бы и нет? 🤔

А представьте как тяжело руководителю в компании? Перед ним стоит задача развития и обучения своих сотрудников от стажёров и до ведущих специалистов! Нужно принять во внимание текущий уровень компетенций и эмоционального интеллекта (провести оценку), постараться правильно определить типы личностей своих сотрудников по Майерс-Бриггс (типология MBTI) и призвать на помощь ситуационное руководство. А ещё надо учитывать способ подачи материала и обратной связи, т.е. с одними нужно вести задушевную беседу с примерами, аргументацией и полезными кейсами, а с другими на полянке во дворе сценки в стиле "ребятам о зверятах" разыгрывать (по последней моде).

‼️ Поэтому примите во внимание вот что: если вас "раздражает" учебный материал или вам "скучно и непонятно", то это вовсе не означает что автор плох, скорее всего вас не устраивает форма подачи информации 🤗

Рекомендация: поискать альтернативу в интернете - найдётся всё!

Моделирование данных в хранилище

☝️ Была мысль написать сразу про моделирование хранилищ данных - есть запрос на минимальное описание подхода Data Vault.

Но если подумать, нельзя начать с Vault, и при этом не вспомнить про схемы Star (Звезду) или Snowflake (Снежинку).

Основоположниками вообще всей истории с хранилищами и тем как правильно раскладывать в них данные считают двух мужей: Билл Инмон (Bill Inmon) и Ральф Кимбалл (Ralph Kimball)

И только потом появился Линстед (Daniel Linstedt) со своим Data Vault.

Произведения, по которым учатся до сих пор, поищите в интернете, если интересно:
Inmon, William H., Building the Data Warehouse, 1992
Kimball, Ralph, The Data Warehouse Toolkit, 1996

Ну так вот, есть мысль рассказать про моделирование в хранилищах. Но тут возникла маАаленька проблемка: как только мы начинаем разговор о хранилищах и базах данных, то сразу сталкиваемся с такими понятиями как нормализация, реляционность, измерения, факты.

Ну и, конечно, OLTP и OLAP - разницу между этими двумя подходами/системами обработки данных тоже надо понимать.

Когда спрашиваешь своих коллег - глубоко погруженных в проектирование баз данных и построение хранилищ - что это такое, для чего это и в чём смысл? То, конечно, все с удовольствием объясняют, но понятнее не становится. Можно изучать самостоятельно по ссылкам в вики, читать тематические статьи и книги. Лично мне не сильно помогло в моё "зелёное время", так как "опыт - сын ошибок трудных" - это наше всё.

Но я попробую рассказать Вам об этом всём как можно проще. Начну давать определения и понемножку объяснять все эти дикие понятия по-простецки, так, чтобы стало понятно даже тем, кто далёк от ИТ-сферы.

Для особенно торопящихся ниже даны ссылки на вики - там на буржуйском языке можно почитать обо всём, что упоминалось выше, уже сейчас.

Подход звезда: https://en.wikipedia.org/wiki/Star_schema
Подход снежинка: https://en.wikipedia.org/wiki/Snowflake_schema
Нормализация: https://en.wikipedia.org/wiki/Database_normalization
Измерения: https://en.wikipedia.org/wiki/Dimension_(data_warehouse)
Факты: https://en.wikipedia.org/wiki/Fact_table
Реляционная база данных: https://en.wikipedia.org/wiki/Relational_database

P.S.: Ой, ой, наверное, тяжелятина в канале начнётся - не разбегайтесь, крепитесь! 🥰

- деливери-менеджер для работы в зале с клиентами 🙈

🤣 Agile приходит и уходит, а кушать хочется всегда 😂

‼️ Я фанат 100% удалёнки ‼️

☝️ Но меня настораживают последние новости вокруг этой темы: мол пора всех снова "загонять" в офисы, потому что пока работники сидят на удалёнке они не достаточно эффективны в производственном процессе и не вовлечены в полной мере в культурный слой компании 😝

А что думаете по этому поводу вы?

Я нашла огромное исследование, которое в целом опровергает домыслы о вреде удалёнки - читать тут (ну ооочень много буков).

Если кратко:

✔️ 98% удаленных работников готовы работать удаленно до конца своей карьеры и рекомендуют удаленную работу другим.

✔️ 66% респондентов по всему миру считают, что работа на дому должна быть законным правом.

✔️ 29% гибридных и удаленных работников ожидали бы повышения заработной платы, если бы им пришлось вернуться в офис на полный рабочий день.

✔️ Если бы возможность работать удаленно была исключена, каждый третий работник (31%) начал бы искать новую работу, а 6% уволились бы.

✔️ Более 90% сотрудников считают, что их рабочая модель столь же продуктивна или даже более продуктивна, чем в предыдущем году.

✔️ 65% компаний предложат гибкий график работы в 2024 году, что на 14% больше, чем в 2023 году.

✔️ 75% удаленных работников заявили, что их компании помогают им общаться с коллегами по работе.

✔️ 40% людей не согласились бы на работу, которая не предполагает гибкого рабочего графика или не требует присутствия в офисе в определенные дни или время.

✔️ 16% сотрудников согласились бы на 20-процентное сокращение заработной платы ради гибкого рабочего графика, а 17% респондентов согласились бы на такое же сокращение заработной платы ради удаленной работы.

✔️ 53% сотрудников не верят, что политика компании, действовавшая в 2023 году, останется в силе в 2024 году.

Исследование немного старенькое - канун 2024 года, зато есть возможность сравнить "что сбылось, а что нет" 🤫

А ниже ловите опрос 🤝

Форум Управление данными 2024 завершился, коротенько об основных участниках и темах выступлений можно прочитать в обзорной статье.

А мы уже начинаем готовиться к главной конференции года - "Качество данных" 27 февраля 2025. Информация и ссылки на участие и регистрацию доступны по QR-коду.

Всем благ! 🤗