Architekt danych: na czym polega ta praca i jak ją zdobyć
Architekt danych projektuje sposoby gromadzenia, przechowywania, modelowania i zarządzania danymi w organizacji. Decyduje o strukturze hurtowni danych i jezior danych, modelach danych, standardach integracji oraz zasadach dotyczących własności i jakości danych, tak aby raportowanie, analityka i sztuczna inteligencja opierały się na spójnych danych. Jest to stanowisko wyższego szczebla, na które zazwyczaj awansuje się po latach pracy w dziedzinie inżynierii danych, BI lub baz danych.
Czym zajmuje się architekt danych?
Architekt danych (data architect) analizuje dane w skali całej organizacji, a nie tylko w ramach pojedynczego projektu. Skąd pochodzą dane klientów i w ilu systemach występują one w nieco różnych wersjach? Który system jest źródłem prawdy dla umowy, produktu lub odczytu licznika? Jak dane przepływają z systemów operacyjnych do hurtowni, a stamtąd do raportów, modeli i organów regulacyjnych? Architekt odpowiada na te pytania i przekształca odpowiedzi w projekty, których muszą przestrzegać inni.
Typowe wyniki pracy są konkretne:
- koncepcyjne, logiczne i fizyczne modele danych dla obszarów biznesowych, takich jak klienci, sprzedaż, rozliczenia czy ryzyko,
- mapa przepływów danych między systemami, często przechowywana jako część repozytorium architektury danych,
- słownik biznesowy zawierający uzgodnione definicje oraz właściciela każdego obszaru danych,
- standardy modelowania i nazewnictwa, umowy dotyczące danych między zespołami oraz zasady jakości danych,
- docelowa architektura platformy danych: hurtownia danych, jezioro danych (data lake) lub model typu „lakehouse”, warstwa integracyjna oraz warstwa konsumpcyjna.
Polskie ogłoszenia o pracę opisują to w ten sam sposób. W jednym z ogłoszeń z branży bankowej oczekiwano od architekta utrzymywania mapy danych banku, słownika terminów biznesowych oraz rejestru obszarów danych wraz z ich właścicielami. W KZiS stanowisko to nie ma osobnego wpisu; najbliższym zawodem jest 252103, Projektant baz danych, chociaż zakres obowiązków architekta danych jest znacznie szerszy.
Czym architekt danych różni się od pokrewnych stanowisk?
Architekt danych decyduje o tym, jak powinien wyglądać zasób danych organizacji, podczas gdy inni specjaliści go budują i wykorzystują. Inżynier danych pisze i uruchamia potoki w Sparku, Pythonie lub Data Factory zgodnie z projektem architekta. Programista BI buduje modele semantyczne i pulpity nawigacyjne w oparciu o warstwy zdefiniowane przez architekta i często jako pierwszy zauważa, gdy definicja w hurtowni danych nie odpowiada sposobowi myślenia biznesowego.
Różnica między architektem chmury a architektem danych dotyczy zakresu obowiązków. Architekt chmury projektuje infrastrukturę: konta, sieci, tożsamość, bezpieczeństwo oraz koszty platformy. Architekt danych projektuje to, co się na niej znajduje: modele, strefy danych, wzorce integracji oraz zasady zarządzania. W projektach związanych z budową architektury typu „lakehouse” na platformach Azure, AWS lub Google Cloud obie te role współpracują ze sobą, a niektóre ogłoszenia łączą je w jedną pozycję „architekta danych w chmurze”.
Jakie decyzje architektoniczne podejmuje architekt danych?
Znaczna część tej pracy polega na wyborze podejścia, które pasuje do organizacji, a nie tego, które jest modne w danym roku. Polskie ogłoszenia wciąż powtarzają ten sam zestaw metod.
| Podejście | Co oznacza | Kiedy ma zastosowanie |
|---|---|---|
| Modelowanie wymiarowe (Kimball) | Fakty i wymiary w schematach gwiaździstych, tworzonych dla poszczególnych procesów biznesowych | Raportowanie i BI, zwłaszcza z wykorzystaniem Power BI lub innych narzędzi samoobsługowych |
| Znormalizowana hurtownia danych przedsiębiorstwa (Inmon) | Centralny, zintegrowany model całego przedsiębiorstwa, z dodatkowymi magazynami danych | Duże organizacje potrzebujące jednego spójnego źródła danych, takie jak banki i firmy telekomunikacyjne |
| Data Vault 2.0 | Węzły, łączniki i satelity, które przechowują pełną historię i absorbują zmiany w źródłach | Wiele zmieniających się systemów źródłowych i rygorystyczne wymagania audytowe |
| Lakehouse z warstwami medalionowymi | Surowe, oczyszczone i gotowe do wykorzystania w biznesie warstwy danych w otwartych formatach, takich jak Delta Lake czy Iceberg | Mieszane obciążenia z zakresu BI, nauki o danych i przetwarzania strumieniowego na platformach Databricks, Fabric lub podobnych |
| Siatka danych (Data Mesh) | Dane będące własnością poszczególnych obszarów biznesowych i publikowane przez nie jako produkty, przy zachowaniu centralnych standardów | Duże, dojrzałe organizacje, w których centralny zespół stał się wąskim gardłem |
Niewiele prawdziwych platform stosuje jedną metodę w czystej postaci. Typowe polskie przedsiębiorstwo kończy z modelem „lakehouse” dla danych surowych i oczyszczonych, Data Vault lub znormalizowanym rdzeniem tam, gdzie liczy się audyt, oraz wymiarowymi hurtowniami danych do celów raportowania. Zadaniem architekta jest sprawienie, by ta kombinacja była przemyślana i udokumentowana, a nie przypadkowa.
Dlaczego zarządzanie danymi stanowi połowę pracy architekta danych?
Technologia to łatwiejsza część zadania. Trudniejsze jest uzgodnienie w organizacji, kto jest właścicielem poszczególnych danych, co oznacza każdy termin i jaki poziom jakości jest wystarczający. Bez tego nawet najlepiej zaprojektowana hurtownia danych zapełni się liczbami, którym nikt nie ufa. Ogłoszenia o pracę dla architektów danych wymieniają doświadczenie w zakresie zarządzania danymi, jakości danych oraz narzędzi do katalogowania danych, takich jak Collibra, Microsoft Purview czy Informatica, niemal równie często jak umiejętności modelowania.
Przepisy sprawiają, że zarządzanie danymi staje się nieuniknione. RODO narzuca decyzje dotyczące okresów przechowywania, minimalizacji danych oraz możliwości wyszukiwania i usuwania danych osobowych we wszystkich kopiach na platformie, co jest niemożliwe bez śledzenia pochodzenia danych. W sektorze bankowym Rekomendacja D KNF, obejmująca zarządzanie bezpieczeństwem IT i ICT w bankach, zawiera oczekiwania dotyczące zarządzania jakością danych, które architekci przekładają na procesy i mechanizmy kontroli. Unijna ustawa o sztucznej inteligencji nakłada dodatkowe wymagania dotyczące jakości i dokumentacji danych wykorzystywanych do szkolenia systemów sztucznej inteligencji wysokiego ryzyka, co staje się zadaniem architekta, gdy tylko firma zaczyna tworzyć własne modele.
Jakich umiejętności i narzędzi oczekują polscy pracodawcy?
Podstawą jest modelowanie danych – relacyjne i wymiarowe – w narzędziach do modelowania, takich jak Erwin, PowerDesigner czy Sparx Enterprise Architect, a także biegła znajomość języka SQL. Kolejnym krokiem jest znajomość platform: Databricks, Snowflake, BigQuery, Microsoft Fabric lub Synapse, a także przetwarzanie oparte na Sparku z wykorzystaniem formatów takich jak Delta Lake, Iceberg czy Hudi. Standardem jest doświadczenie z co najmniej jedną chmurą publiczną w kontekście przechowywania i przetwarzania danych.
Starszy architekt danych zajmuje się integracją na dużą skalę, przetwarzaniem strumieniowym, projektowaniem opartym na domenach (Domain-Driven Design) do modelowania domen biznesowych, umowami dotyczącymi danych, a w środowiskach Microsoftu – nadal SSIS i SSAS obok Fabric. Umiejętności miękkie są również specyficzne: prowadzenie warsztatów z właścicielami biznesowymi w celu uzgodnienia definicji, pisanie dokumentacji architektury, którą ludzie faktycznie czytają, oraz obrona projektu przed działami bezpieczeństwa IT, zgodności i kierownictwem.
Jak zostać architektem danych?
Nie ma stanowiska młodszego architekta danych. Polscy pracodawcy zazwyczaj wymagają co najmniej pięciu lat doświadczenia w obszarze danych, często w tym dwóch lat na stanowisku architekta lub w równoważnej roli, a niektóre ogłoszenia o pracę dla seniorów przewidują osiem lub więcej lat doświadczenia. Kandydaci dochodzą do tej roli z obszaru hurtowni danych i rozwoju ETL, z BI, inżynierii danych lub administracji bazami danych, stopniowo przejmując odpowiedzialność za decyzje projektowe, a nie za wdrażanie.
Wykształcenie wyższe w dziedzinie informatyki, matematyki, ekonometrii lub pokrewnej dziedziny jest powszechne, ale nieobowiązkowe. Certyfikaty są przydatne jako potwierdzenie szerokiego zakresu wiedzy: Certified Data Management Professional (CDMP) organizacji DAMA w zakresie zarządzania i administrowania danymi, certyfikaty platformowe od Databricks, Snowflake lub dostawców usług w chmurze oraz TOGAF dla osób zmierzających w kierunku architektury korporacyjnej. Tym, co naprawdę przygotowuje do tej roli, jest kilka lat doświadczenia w radzeniu sobie z konsekwencjami zaprojektowanego przez siebie modelu.
Jak wygląda rekrutacja na stanowisko architekta danych?
Spodziewaj się zadania z zakresu architektury. Typowe ćwiczenie polega na przedstawieniu firmy – na przykład banku, dostawcy energii lub sieci handlowej – wraz z listą systemów źródłowych i potrzeb biznesowych, a następnie poproszeniu o zaprojektowanie docelowej platformy danych oraz modelu dla jednej domeny. Następnie należy zaprezentować projekt i odpowiedzieć na pytania dotyczące historii, jakości danych, praw dostępu, kosztów oraz migracji z obecnego stanu.
Osoby przeprowadzające rozmowę sprawdzają również podejście do zarządzania: w jaki sposób rozwiązałbyś sytuację, w której dwa działy różnie definiują pojęcie „aktywnego klienta”, lub jak prześledziłbyś pochodzenie danej liczby w raporcie regulacyjnym aż do jej źródła. Przygotuj przykłady podjętych przez siebie decyzji i ich wyników.
Ile zarabia architekt danych?
Zarobki architekta danych znacznie przewyższają średnią krajową, ponieważ stanowisko to z definicji jest na wysokim szczeblu, a firmy zatrudniają architektów do obsługi platform o wartości znacznie przewyższającej jedną pensję. W ramach tej grupy wynagrodzenie zależy w dużym stopniu od sektora i zakresu obowiązków: architekci pracujący w bankowości, ubezpieczeniach, telekomunikacji i energetyce lub w międzynarodowych firmach konsultingowych zarabiają więcej niż ci zatrudnieni w mniejszych firmach krajowych.
Warunki umów są zróżnicowane. Banki i korporacje często oferują umowę o pracę z dodatkowymi świadczeniami, natomiast firmy konsultingowe i outsourcingowe zazwyczaj proponują umowy B2B, często w trybie całkowicie zdalnym, a czasami na rzecz klientów zagranicznych. Czynniki wpływające na wysokość wynagrodzenia to między innymi doświadczenie w branżach podlegających regulacjom, znajomość nowoczesnych platform, takich jak Databricks, Snowflake czy Fabric, udokumentowane doświadczenie w zakresie zarządzania danymi oraz odpowiedzialność za dane całej organizacji, a nie tylko za pojedynczy projekt.
Dla kogo przeznaczona jest rola architekta danych?
Odpowiednia jest dla osób, które cenią sobie strukturę i długoterminowe myślenie bardziej niż szybkie wyniki oraz czerpią satysfakcję z platformy, która będzie miała sens nawet pięć lat później. Potrzebna jest cierpliwość podczas spotkań, gdzie prawdziwym problemem jest brak wzajemnego zaufania między dwoma działami co do ich danych. Jeśli chcesz pisać kod przez cały dzień, bardziej satysfakcjonująca będzie inżynieria danych; jeśli wolisz bezpośredni kontakt z użytkownikami biznesowymi i widoczne wyniki co tydzień, lepiej sprawdzi się tworzenie rozwiązań BI.
Jak sztuczna inteligencja zmienia architekturę danych?
Sztuczna inteligencja sprawiła, że praca architekta danych stała się bardziej widoczna. Modele językowe odpowiadające na pytania dotyczące dokumentów i danych firmowych potrzebują czystych, dobrze opisanych źródeł, a generowanie wspomagane wyszukiwaniem dodaje do architektury nowe elementy, takie jak magazyny wektorowe i potoki metadanych. Modele uczenia maszynowego są tak dobre, jak dane, na których zostały wytrenowane, więc śledzenie pochodzenia danych, kontrole jakości i dokumentacja przestają być opcjonalne.
Narzędzia oparte na sztucznej inteligencji również pomagają architektowi: sugerują modele danych, generują dokumentację i klasyfikują dane wrażliwe w katalogach. Nie rozstrzygają one jednak kwestii tego, kto jest właścicielem danego obszaru danych ani jaką definicję przyjmie firma, a decyzje te pozostają sednem tej pracy.
Najczęściej zadawane pytania dotyczące roli architekta danych
Jaka jest różnica między architektem danych a inżynierem danych?
Architekt danych projektuje infrastrukturę danych: modele, strefy danych, wzorce integracji, standardy i zasady zarządzania. Inżynier danych buduje ją i obsługuje, pisząc oraz utrzymując potoki danych, zadania i struktury przechowywania. Architekci często wywodzą się z inżynierii danych, a w mniejszych zespołach jedna osoba na stanowisku seniora pełni obie te funkcje. W dużych organizacjach architekt wyznacza kierunek działania dla kilku zespołów inżynierów.
Czy można rozpocząć karierę jako architekt danych?
Praktycznie nie. Polskie ogłoszenia o pracę na to stanowisko wymagają co najmniej pięciu lat doświadczenia w dziedzinie danych, a na stanowiska wyższego szczebla – ośmiu lub więcej. Typowa ścieżka kariery prowadzi przez stanowiska związane z hurtowniami danych, ETL, BI, inżynierią danych lub administracją bazami danych. Każde z nich pozwala zdobyć doświadczenie w projektowaniu struktur i radzeniu sobie z ich konsekwencjami, a właśnie tego poszukują pracodawcy.
Jakie certyfikaty są przydatne dla architekta danych?
Certyfikat Certified Data Management Professional przyznawany przez DAMA potwierdza wiedzę z zakresu zarządzania danymi i ładu danych. Certyfikaty platformowe firm Databricks, Snowflake, Microsoft, AWS lub Google Cloud świadczą o umiejętności projektowania w oparciu o konkretną technologię. TOGAF pomaga osobom zmierzającym w kierunku architektury korporacyjnej. Pracodawcy traktują certyfikaty jako uzupełnienie; decydującym czynnikiem jest doświadczenie w pracy z rzeczywistymi platformami i modelami danych.
Czy architekt danych musi znać RODO?
Tak, w praktyce. Architekt decyduje, gdzie przechowywane są dane osobowe, jak długo są przechowywane, kto ma do nich dostęp oraz w jaki sposób można je odnaleźć i usunąć we wszystkich kopiach. Są to obowiązki wynikające z RODO przełożone na architekturę. W bankach architekt pracuje również z wymogami KNF, a w projektach związanych ze sztuczną inteligencją – z zasadami dotyczącymi danych zawartymi w ustawie o sztucznej inteligencji.