Data Mesh är en dataarkitektur som syftar till att skapa en delad, central auktoritet för data över en organisation.
Det strävar efter att skapa en kultur och styrning kring data som möjliggör självbetjäning, autonoma team och ger dem möjlighet att samarbeta och förnya med hjälp av data. Låt oss förstå vad Data Mesh handlar om.
Innehållsförteckning
Vad är Data Mesh?
Med enkla ord är Data Mesh en decentraliserad arkitektur för att hantera data inom en organisation, vilket innebär att den är designad för att ge kontroll och ägande av data till teamen som använder den snarare än att centralisera den i en enda grupp eller avdelning.
Det betonar vikten av data som en nyckeltillgång. Den är utformad för att hjälpa organisationer att uppnå bättre datastyrning, datakvalitet och dataintegration samtidigt som den främjar en kultur av datadrivet beslutsfattande.
Data Mesh-arkitektur
En Data Mesh-arkitektur inkluderar vanligtvis tre huvudkomponenter: datakällor, infrastruktur och domänorienterade datapipelines som hanteras av funktionella ägare.
Bildkredit: Microsoft
Dessa tre komponenter är sammankopplade och integrerade snarare än att vara isolerade silos av data. I en Data Mesh-arkitektur är team ansvariga för den data de använder, inklusive dess kvalitet, åtkomst och säkerhet.
Detta decentraliserade tillvägagångssätt hjälper till att säkerställa att data används effektivt och att teamen har nödvändig information för att fatta välgrundade beslut. Det främjar också en kultur av datadrivet beslutsfattande genom att göra data mer tillgängliga, transparenta och pålitliga.
Steg som behövs för att designa en datanätarkitektur
För att implementera datanät i en organisation kan följande steg följas:
#1. Identifiera affärsdomäner
Det första steget i implementeringen av datanät är att identifiera affärsdomänerna inom organisationen. Det är de områden i verksamheten som är ansvariga för att leverera värde till kunderna. Varje affärsdomän bör ha en tydlig ägare som är ansvarig för den data som används inom den domänen.
#2. Upprätta datastyrning
En tydlig ram för datastyrning bör upprättas för att säkerställa att data används ansvarsfullt och etiskt. Detta inkluderar att etablera roller och ansvar för datahantering, sätta standarder för datakvalitet och noggrannhet och definiera processer för dataåtkomst och dataanvändning.
#3. Definiera dataägande
Varje affärsdomän bör vara ansvarig för den data den använder, inklusive dess kvalitet och noggrannhet. Detta innebär att affärsdomänen bör involveras i skapandet och underhållet av data, samt dess användning och spridning.
#4. Främja datakompetens
För att göra det möjligt för anställda att fatta välgrundade beslut baserat på data är det viktigt att främja datakompetens inom organisationen. Detta kan göras genom utbildning och utbildningsprogram, samt genom att ge tillgång till verktyg och resurser som gör det möjligt för anställda att arbeta med data.
#5. Demokratisera dataåtkomst
Datamesh främjar demokratisering av data, vilket innebär att data ska göras tillgänglig för alla anställda. Detta kan göras genom att tillhandahålla verktyg och resurser som gör det möjligt för anställda att komma åt och använda data från hela organisationen.
#6. Implementera dataoperationer
För att säkerställa att data hanteras och underhålls på rätt sätt är det viktigt att införa processer och rutiner för datadrift. Detta inkluderar uppgifter som dataintag, datatransformation och datalagring och -hämtning.
Principer för Data Mesh
Datamesh implementeras genom en uppsättning principer och praxis som syftar till att skapa en kultur av datadrivet beslutsfattande och gör det möjligt för anställda att lättare komma åt och använda data från hela organisationen.
Dessa fyra principer inkluderar:
Bildkredit: altexsoft
#1. Domänorienterat decentraliserat dataägande och arkitektur
Denna princip understryker vikten av att organisera data runt affärsdomäner, med varje affärsenhet ansvarig för den data den använder och kvaliteten på den datan. Detta hjälper till att säkerställa att data är anpassade till verksamhetens och dess kunders behov och gör det möjligt för affärsenheter att lättare komma åt och använda data från andra delar av organisationen.
#2. Data som produkt
Denna princip behandlar data som en värdefull tillgång som bör hanteras och styras som en produkt. Detta inkluderar att definiera dataprodukter, upprätta dataproduktteam och skapa en dataproduktfärdplan.
#3. Självbetjäningsdatainfrastruktur som plattform
Det uppmuntrar skapandet av en självbetjäningsmodell för data, där affärsenheter har mer kontroll över den data de använder och lättare kan komma åt och använda data från andra delar av organisationen.
#4. Federerad beräkningsstyrning
Denna princip fastställer ett ramverk för datastyrning som tar hänsyn till behoven och målen för flera intressenter, inklusive affärsenheter, IT och datavetare. Detta tillvägagångssätt hjälper till att säkerställa att data används ansvarsfullt och etiskt och främjar datakompetens och datadrivet beslutsfattande inom organisationen.
Vikten av Data Mesh
Det finns flera anledningar till varför en organisation kan överväga att använda datanät:
Förbättrad datakvalitet och precision
Genom att organisera data runt affärsdomäner och etablera tydligt ägande och styrning kan datanät bidra till att förbättra kvaliteten och noggrannheten hos data inom en organisation. Detta kan hjälpa till att säkerställa att data är anpassade till verksamhetens och dess kunders behov och kan stödja mer informerat beslutsfattande.
Förbättrad datatillgänglighet och användbarhet
Datamesh främjar demokratisering av data, vilket innebär att data ska göras tillgänglig för alla anställda. Detta kan göras genom att tillhandahålla verktyg och resurser som gör det möjligt för anställda att komma åt och använda data från hela organisationen. Genom att göra det möjligt för anställda att lättare komma åt och använda data kan datanätverk hjälpa till att förbättra datakompetens och datadrivet beslutsfattande inom organisationen.
Större kontroll över data
Med datanät får affärsenheter mer kontroll över den data de använder och kvaliteten på den datan. Detta kan bidra till att se till att data är anpassade till verksamhetens behov och lättare kan nås och användas av de människor som behöver dem.
Bättre datastyrning
Datamesh främjar upprättandet av tydliga ramverk för datastyrning som hjälper till att säkerställa att data används ansvarsfullt och etiskt. Detta inkluderar att etablera roller och ansvar för datahantering, sätta standarder för datakvalitet och noggrannhet och definiera processer för dataåtkomst och dataanvändning.
Sammantaget kan antagandet av datanät hjälpa organisationer att utnyttja sina datatillgångar mer och främja en kultur av datadrivet beslutsfattande.
Data Mesh vs. Data Lake
Datanät och datasjö har flera skillnader när det gäller fokus, organisation av data, betoning på datastyrning och läskunnighet, och synsätt på dataåtkomst och användning.
Här är en jämförelse av datanät och datasjö i tabellform:
Data MeshData Lake Fokuserar på verksamhetens och dess kunders behov Fokuserar på tekniska aspekter av datalagring och bearbetning Organiserar data runt affärsdomäner Organiserar data i en hierarkisk filstrukturData ägs och styrs av affärsenheterData kan nås av flera avdelningar eller team Framhäver datastyrning och datakompetens fokuserar inte nödvändigtvis på datastyrning eller datakompetens Möjliggör en kultur av datadrivet beslutsfattande Ger ett centraliserat arkiv för lagring och bearbetning av data Uppmuntrar självbetjäningsdataåtkomstDet kan kräva IT-ingripanden för att komma åt och använda data Främjar datademokratisering Kan ha begränsad dataåtkomst på grund av säkerhet eller integritetsproblem Följer principerna för domändriven design Följer inte ett specifikt designramverk Involverar datadriftsprocesser och praxis Kanske inte har specifika processer för dataoperationerDet kan kräva mer förhandsplanering och designDet kan vara mer flexibelt och möjliggöra ad-hoc datalagring ålder och bearbetning
En datasjö är ett centralt arkiv som låter dig lagra all din strukturerade och ostrukturerade data i vilken skala som helst. Det är en plats att lagra data i sin råa och granulära form innan någon bearbetning eller transformation har ägt rum. Detta gör att organisationer kan lagra och analysera data mer flexibelt och kostnadseffektivt än traditionella datalager.
Medan datanätet är utformat för att ge team möjlighet att äga och hantera sin egen data snarare än att förlita sig på en centraliserad grupp för att hantera data åt dem.
Data Mesh Lärresurser
Det finns många resurser tillgängliga online för att lära dig om datanät, och det kan vara överväldigande att försöka hitta de mest användbara. Att lära sig datanät på rätt sätt är viktigt för att säkerställa att du har en gedigen förståelse för begreppen och effektivt kan tillämpa dem i ditt arbete.
Dessa resurser kan ge en grund för att förstå principerna och metoderna för datanätverk och kan hjälpa dig att bygga upp de färdigheter du behöver för att hantera och analysera data i en datanätmiljö på ett effektivt sätt.
#1. Data Mesh – ett modernt decentraliserat datahanteringskoncept
I den här Udemy-kursen täcker tränaren grunderna i datanätarkitektur för effektiv datahantering. Och tillhandahåller också olika fallstudier om implementering av datanät.
Det är möjligt att slutföra denna kurs på Udemy inom en vecka, beroende på ditt schema och hur mycket tid du kan ägna åt kursen. Det är dock viktigt att komma ihåg att kursen är utformad för att ge en heltäckande översikt över datanät och som sådan kan det kräva mer tid för att förstå och ta till sig materialet fullt ut.
#2. Data Mesh: Den kompletta mästarklassen
För individer som vill avancera sina yrken är denna datanätkurs utmärkt. Den här kursen täcker varje ämne relaterat till att designa ett datanät och dataproduktarkitektur,
I slutet av denna kurs kommer du att kunna implementera datanätkonceptet i verkliga företag. Inga förkunskaper krävs om datamesh för att börja med denna kurs,
#3. Data Mesh: Levererar datadrivet värde i skala
Den här boken introducerar begreppet datanät och ger en tydlig översikt över hur man designar en datanätarkitektur och en guide för datanätstrategi och utförande.
Många recensenter har tyckt att boken är en användbar och praktisk guide för att förstå principerna och mönstren för datanät och för att implementera det i organisationer.
Slutsats
Datamesh är ett designmönster och kulturellt ramverk för att bygga en datadriven organisation. Den är baserad på idén om att skapa en ”enda källa till sanning” för data inom en organisation och främja konceptet data som en produkt.
Detta uppnås genom användning av decentraliserad datastyrning, där tvärfunktionella team ansvarar för kvaliteten, tillgängligheten och underhållet av data inom sin domän.
Data mesh betonar också vikten av att skapa en tydlig förståelse av datakontrakten mellan olika team och uppmuntrar användningen av dataupptäcktsverktyg och plattformar för att underlätta delning av data inom organisationen.
Jag hoppas att du tyckte att den här artikeln var till hjälp för att lära dig mer om datanät och dess principer. Du kanske också är intresserad av att lära dig mer om datavirtualisering.