Architekt danych projektuje sposoby gromadzenia, przechowywania, modelowania i zarz\u0105dzania danymi w organizacji. Decyduje o strukturze hurtowni danych i jezior danych, modelach danych, standardach integracji oraz zasadach dotycz\u0105cych w\u0142asno\u015bci i jako\u015bci danych, tak aby raportowanie, analityka i sztuczna inteligencja opiera\u0142y si\u0119 na sp\u00f3jnych danych. Jest to stanowisko wy\u017cszego szczebla, na kt\u00f3re zazwyczaj awansuje si\u0119 po latach pracy w dziedzinie in\u017cynierii danych, BI lub baz danych.<\/p>\n
Architekt danych (data architect) analizuje dane w skali ca\u0142ej organizacji, a nie tylko w ramach pojedynczego projektu. Sk\u0105d pochodz\u0105 dane klient\u00f3w i w ilu systemach wyst\u0119puj\u0105 one w nieco r\u00f3\u017cnych wersjach? Kt\u00f3ry system jest \u017ar\u00f3d\u0142em prawdy dla umowy, produktu lub odczytu licznika? Jak dane przep\u0142ywaj\u0105 z system\u00f3w operacyjnych do hurtowni, a stamt\u0105d do raport\u00f3w, modeli i organ\u00f3w regulacyjnych? Architekt odpowiada na te pytania i przekszta\u0142ca odpowiedzi w projekty, kt\u00f3rych musz\u0105 przestrzega\u0107 inni. <\/p>\n
Typowe wyniki pracy s\u0105 konkretne:<\/p>\n
Polskie og\u0142oszenia o prac\u0119 opisuj\u0105 to w ten sam spos\u00f3b. W jednym z og\u0142osze\u0144 z bran\u017cy bankowej oczekiwano od architekta utrzymywania mapy danych banku, s\u0142ownika termin\u00f3w biznesowych oraz rejestru obszar\u00f3w danych wraz z ich w\u0142a\u015bcicielami. W KZiS stanowisko to nie ma osobnego wpisu; najbli\u017cszym zawodem jest 252103, Projektant baz danych, chocia\u017c zakres obowi\u0105zk\u00f3w architekta danych jest znacznie szerszy.<\/p>\n
Architekt danych decyduje o tym, jak powinien wygl\u0105da\u0107 zas\u00f3b danych organizacji, podczas gdy inni specjali\u015bci go buduj\u0105 i wykorzystuj\u0105. In\u017cynier danych<\/a> pisze i uruchamia potoki w Sparku, Pythonie lub Data Factory zgodnie z projektem architekta. Programista BI<\/a> buduje modele semantyczne i pulpity nawigacyjne w oparciu o warstwy zdefiniowane przez architekta i cz\u0119sto jako pierwszy zauwa\u017ca, gdy definicja w hurtowni danych nie odpowiada sposobowi my\u015blenia biznesowego.<\/p>\n
| Podej\u015bcie<\/th>\n | Co oznacza<\/th>\n | Kiedy ma zastosowanie<\/th>\n<\/tr>\n<\/thead>\n |
|---|---|---|
| Modelowanie wymiarowe (Kimball)<\/td>\n | Fakty i wymiary w schematach gwia\u017adzistych, tworzonych dla poszczeg\u00f3lnych proces\u00f3w biznesowych<\/td>\n | Raportowanie i BI, zw\u0142aszcza z wykorzystaniem Power BI lub innych narz\u0119dzi samoobs\u0142ugowych<\/td>\n<\/tr>\n |
| Znormalizowana hurtownia danych przedsi\u0119biorstwa (Inmon)<\/td>\n | Centralny, zintegrowany model ca\u0142ego przedsi\u0119biorstwa, z dodatkowymi magazynami danych<\/td>\n | Du\u017ce organizacje potrzebuj\u0105ce jednego sp\u00f3jnego \u017ar\u00f3d\u0142a danych, takie jak banki i firmy telekomunikacyjne<\/td>\n<\/tr>\n |
| Data Vault 2.0<\/td>\n | W\u0119z\u0142y, \u0142\u0105czniki i satelity, kt\u00f3re przechowuj\u0105 pe\u0142n\u0105 histori\u0119 i absorbuj\u0105 zmiany w \u017ar\u00f3d\u0142ach<\/td>\n | Wiele zmieniaj\u0105cych si\u0119 system\u00f3w \u017ar\u00f3d\u0142owych i rygorystyczne wymagania audytowe<\/td>\n<\/tr>\n |
| Lakehouse z warstwami medalionowymi<\/td>\n | Surowe, oczyszczone i gotowe do wykorzystania w biznesie warstwy danych w otwartych formatach, takich jak Delta Lake czy Iceberg<\/td>\n | Mieszane obci\u0105\u017cenia z zakresu BI, nauki o danych i przetwarzania strumieniowego na platformach Databricks, Fabric lub podobnych<\/td>\n<\/tr>\n |
| Siatka danych (Data Mesh)<\/td>\n | Dane b\u0119d\u0105ce w\u0142asno\u015bci\u0105 poszczeg\u00f3lnych obszar\u00f3w biznesowych i publikowane przez nie jako produkty, przy zachowaniu centralnych standard\u00f3w<\/td>\n | Du\u017ce, dojrza\u0142e organizacje, w kt\u00f3rych centralny zesp\u00f3\u0142 sta\u0142 si\u0119 w\u0105skim gard\u0142em<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n Niewiele prawdziwych platform stosuje jedn\u0105 metod\u0119 w czystej postaci. Typowe polskie przedsi\u0119biorstwo ko\u0144czy z modelem \u201elakehouse\u201d dla danych surowych i oczyszczonych, Data Vault lub znormalizowanym rdzeniem tam, gdzie liczy si\u0119 audyt, oraz wymiarowymi hurtowniami danych do cel\u00f3w raportowania. Zadaniem architekta jest sprawienie, by ta kombinacja by\u0142a przemy\u015blana i udokumentowana, a nie przypadkowa.<\/p>\n Dlaczego zarz\u0105dzanie danymi stanowi po\u0142ow\u0119 pracy architekta danych?<\/h2>\nTechnologia to \u0142atwiejsza cz\u0119\u015b\u0107 zadania. Trudniejsze jest uzgodnienie w organizacji, kto jest w\u0142a\u015bcicielem poszczeg\u00f3lnych danych, co oznacza ka\u017cdy termin i jaki poziom jako\u015bci jest wystarczaj\u0105cy. Bez tego nawet najlepiej zaprojektowana hurtownia danych zape\u0142ni si\u0119 liczbami, kt\u00f3rym nikt nie ufa. Og\u0142oszenia o prac\u0119 dla architekt\u00f3w danych wymieniaj\u0105 do\u015bwiadczenie w zakresie zarz\u0105dzania danymi, jako\u015bci danych oraz narz\u0119dzi do katalogowania danych, takich jak Collibra, Microsoft Purview czy Informatica, niemal r\u00f3wnie cz\u0119sto jak umiej\u0119tno\u015bci modelowania.<\/p>\n Przepisy sprawiaj\u0105, \u017ce zarz\u0105dzanie danymi staje si\u0119 nieuniknione. RODO narzuca decyzje dotycz\u0105ce okres\u00f3w przechowywania, minimalizacji danych oraz mo\u017cliwo\u015bci wyszukiwania i usuwania danych osobowych we wszystkich kopiach na platformie, co jest niemo\u017cliwe bez \u015bledzenia pochodzenia danych. W sektorze bankowym Rekomendacja D KNF, obejmuj\u0105ca zarz\u0105dzanie bezpiecze\u0144stwem IT i ICT w bankach, zawiera oczekiwania dotycz\u0105ce zarz\u0105dzania jako\u015bci\u0105 danych, kt\u00f3re architekci przek\u0142adaj\u0105 na procesy i mechanizmy kontroli. Unijna ustawa o sztucznej inteligencji nak\u0142ada dodatkowe wymagania dotycz\u0105ce jako\u015bci i dokumentacji danych wykorzystywanych do szkolenia system\u00f3w sztucznej inteligencji wysokiego ryzyka, co staje si\u0119 zadaniem architekta, gdy tylko firma zaczyna tworzy\u0107 w\u0142asne modele.<\/p>\n Jakich umiej\u0119tno\u015bci i narz\u0119dzi oczekuj\u0105 polscy pracodawcy?<\/h2>\nPodstaw\u0105 jest modelowanie danych \u2013 relacyjne i wymiarowe \u2013 w narz\u0119dziach do modelowania, takich jak Erwin, PowerDesigner czy Sparx Enterprise Architect, a tak\u017ce bieg\u0142a znajomo\u015b\u0107 j\u0119zyka SQL. Kolejnym krokiem jest znajomo\u015b\u0107 platform: Databricks, Snowflake, BigQuery, Microsoft Fabric lub Synapse, a tak\u017ce przetwarzanie oparte na Sparku z wykorzystaniem format\u00f3w takich jak Delta Lake, Iceberg czy Hudi. Standardem jest do\u015bwiadczenie z co najmniej jedn\u0105 chmur\u0105 publiczn\u0105 w kontek\u015bcie przechowywania i przetwarzania danych.<\/p>\n Starszy architekt danych zajmuje si\u0119 integracj\u0105 na du\u017c\u0105 skal\u0119, przetwarzaniem strumieniowym, projektowaniem opartym na domenach (Domain-Driven Design) do modelowania domen biznesowych, umowami dotycz\u0105cymi danych, a w \u015brodowiskach Microsoftu \u2013 nadal SSIS i SSAS obok Fabric. Umiej\u0119tno\u015bci mi\u0119kkie s\u0105 r\u00f3wnie\u017c specyficzne: prowadzenie warsztat\u00f3w z w\u0142a\u015bcicielami biznesowymi w celu uzgodnienia definicji, pisanie dokumentacji architektury, kt\u00f3r\u0105 ludzie faktycznie czytaj\u0105, oraz obrona projektu przed dzia\u0142ami bezpiecze\u0144stwa IT, zgodno\u015bci i kierownictwem.<\/p>\n Jak zosta\u0107 architektem danych?<\/h2>\nNie ma stanowiska m\u0142odszego architekta danych. Polscy pracodawcy zazwyczaj wymagaj\u0105 co najmniej pi\u0119ciu lat do\u015bwiadczenia w obszarze danych, cz\u0119sto w tym dw\u00f3ch lat na stanowisku architekta lub w r\u00f3wnowa\u017cnej roli, a niekt\u00f3re og\u0142oszenia o prac\u0119 dla senior\u00f3w przewiduj\u0105 osiem lub wi\u0119cej lat do\u015bwiadczenia. Kandydaci dochodz\u0105 do tej roli z obszaru hurtowni danych i rozwoju ETL, z BI, in\u017cynierii danych lub administracji bazami danych, stopniowo przejmuj\u0105c odpowiedzialno\u015b\u0107 za decyzje projektowe, a nie za wdra\u017canie.<\/p>\n Wykszta\u0142cenie wy\u017csze w dziedzinie informatyki, matematyki, ekonometrii lub pokrewnej dziedziny jest powszechne, ale nieobowi\u0105zkowe. Certyfikaty s\u0105 przydatne jako potwierdzenie szerokiego zakresu wiedzy: Certified Data Management Professional (CDMP) organizacji DAMA w zakresie zarz\u0105dzania i administrowania danymi, certyfikaty platformowe od Databricks, Snowflake lub dostawc\u00f3w us\u0142ug w chmurze oraz TOGAF dla os\u00f3b zmierzaj\u0105cych w kierunku architektury korporacyjnej. Tym, co naprawd\u0119 przygotowuje do tej roli, jest kilka lat do\u015bwiadczenia w radzeniu sobie z konsekwencjami zaprojektowanego przez siebie modelu. <\/p>\n Jak wygl\u0105da rekrutacja na stanowisko architekta danych?<\/h2>\nSpodziewaj si\u0119 zadania z zakresu architektury. Typowe \u0107wiczenie polega na przedstawieniu firmy \u2013 na przyk\u0142ad banku, dostawcy energii lub sieci handlowej \u2013 wraz z list\u0105 system\u00f3w \u017ar\u00f3d\u0142owych i potrzeb biznesowych, a nast\u0119pnie poproszeniu o zaprojektowanie docelowej platformy danych oraz modelu dla jednej domeny. Nast\u0119pnie nale\u017cy zaprezentowa\u0107 projekt i odpowiedzie\u0107 na pytania dotycz\u0105ce historii, jako\u015bci danych, praw dost\u0119pu, koszt\u00f3w oraz migracji z obecnego stanu.<\/p>\n Osoby przeprowadzaj\u0105ce rozmow\u0119 sprawdzaj\u0105 r\u00f3wnie\u017c podej\u015bcie do zarz\u0105dzania: w jaki spos\u00f3b rozwi\u0105za\u0142by\u015b sytuacj\u0119, w kt\u00f3rej dwa dzia\u0142y r\u00f3\u017cnie definiuj\u0105 poj\u0119cie \u201eaktywnego klienta\u201d, lub jak prze\u015bledzi\u0142by\u015b pochodzenie danej liczby w raporcie regulacyjnym a\u017c do jej \u017ar\u00f3d\u0142a. Przygotuj przyk\u0142ady podj\u0119tych przez siebie decyzji i ich wynik\u00f3w.<\/p>\n Ile zarabia architekt danych?<\/h2>\nZarobki architekta danych znacznie przewy\u017cszaj\u0105 \u015bredni\u0105 krajow\u0105, poniewa\u017c stanowisko to z definicji jest na wysokim szczeblu, a firmy zatrudniaj\u0105 architekt\u00f3w do obs\u0142ugi platform o warto\u015bci znacznie przewy\u017cszaj\u0105cej jedn\u0105 pensj\u0119. W ramach tej grupy wynagrodzenie zale\u017cy w du\u017cym stopniu od sektora i zakresu obowi\u0105zk\u00f3w: architekci pracuj\u0105cy w bankowo\u015bci, ubezpieczeniach, telekomunikacji i energetyce lub w mi\u0119dzynarodowych firmach konsultingowych zarabiaj\u0105 wi\u0119cej ni\u017c ci zatrudnieni w mniejszych firmach krajowych.<\/p>\n Warunki um\u00f3w s\u0105 zr\u00f3\u017cnicowane. Banki i korporacje cz\u0119sto oferuj\u0105 umow\u0119 o prac\u0119 z dodatkowymi \u015bwiadczeniami, natomiast firmy konsultingowe i outsourcingowe zazwyczaj proponuj\u0105 umowy B2B, cz\u0119sto w trybie ca\u0142kowicie zdalnym, a czasami na rzecz klient\u00f3w zagranicznych. Czynniki wp\u0142ywaj\u0105ce na wysoko\u015b\u0107 wynagrodzenia to mi\u0119dzy innymi do\u015bwiadczenie w bran\u017cach podlegaj\u0105cych regulacjom, znajomo\u015b\u0107 nowoczesnych platform, takich jak Databricks, Snowflake czy Fabric, udokumentowane do\u015bwiadczenie w zakresie zarz\u0105dzania danymi oraz odpowiedzialno\u015b\u0107 za dane ca\u0142ej organizacji, a nie tylko za pojedynczy projekt.<\/p>\n Dla kogo przeznaczona jest rola architekta danych?<\/h2>\nOdpowiednia jest dla os\u00f3b, kt\u00f3re ceni\u0105 sobie struktur\u0119 i d\u0142ugoterminowe my\u015blenie bardziej ni\u017c szybkie wyniki oraz czerpi\u0105 satysfakcj\u0119 z platformy, kt\u00f3ra b\u0119dzie mia\u0142a sens nawet pi\u0119\u0107 lat p\u00f3\u017aniej. Potrzebna jest cierpliwo\u015b\u0107 podczas spotka\u0144, gdzie prawdziwym problemem jest brak wzajemnego zaufania mi\u0119dzy dwoma dzia\u0142ami co do ich danych. Je\u015bli chcesz pisa\u0107 kod przez ca\u0142y dzie\u0144, bardziej satysfakcjonuj\u0105ca b\u0119dzie in\u017cynieria danych; je\u015bli wolisz bezpo\u015bredni kontakt z u\u017cytkownikami biznesowymi i widoczne wyniki co tydzie\u0144, lepiej sprawdzi si\u0119 tworzenie rozwi\u0105za\u0144 BI.<\/p>\n Jak sztuczna inteligencja zmienia architektur\u0119 danych?<\/h2>\nSztuczna inteligencja sprawi\u0142a, \u017ce praca architekta danych sta\u0142a si\u0119 bardziej widoczna. Modele j\u0119zykowe odpowiadaj\u0105ce na pytania dotycz\u0105ce dokument\u00f3w i danych firmowych potrzebuj\u0105 czystych, dobrze opisanych \u017ar\u00f3de\u0142, a generowanie wspomagane wyszukiwaniem dodaje do architektury nowe elementy, takie jak magazyny wektorowe i potoki metadanych. Modele uczenia maszynowego s\u0105 tak dobre, jak dane, na kt\u00f3rych zosta\u0142y wytrenowane, wi\u0119c \u015bledzenie pochodzenia danych, kontrole jako\u015bci i dokumentacja przestaj\u0105 by\u0107 opcjonalne.<\/p>\n Narz\u0119dzia oparte na sztucznej inteligencji r\u00f3wnie\u017c pomagaj\u0105 architektowi: sugeruj\u0105 modele danych, generuj\u0105 dokumentacj\u0119 i klasyfikuj\u0105 dane wra\u017cliwe w katalogach. Nie rozstrzygaj\u0105 one jednak kwestii tego, kto jest w\u0142a\u015bcicielem danego obszaru danych ani jak\u0105 definicj\u0119 przyjmie firma, a decyzje te pozostaj\u0105 sednem tej pracy.<\/p>\n Najcz\u0119\u015bciej zadawane pytania dotycz\u0105ce roli architekta danych<\/h2>\n |