„Lakehouse Pipeline“: duomenų inžinerijos ir analizės suvienijimas šiuolaikinėse įmonės architektūrose

Dauguma duomenų platformų nesugenda dėl įrankių trūkumo. Gedimas įvyko dėl pernelyg didelio sistemos bandymo savarankiškai išspręsti tą pačią problemą, dėl ko atsiranda prieštaringų duomenų, laiko trukdžių ir prarandamas pasitikėjimas.

Analitikos sistemų ir sluoksnių rinkinys saugomas mašininio mokymosi platformoje. Tačiau susiskaidymas išlieka. Grupės ir toliau dirba su įvairiais tų pačių duomenų patvirtinimais. Vamzdynai driekiasi aplinka, kuri neturi bendrų apibrėžimų. Ataskaitos gaunamos pavėluotai arba, dar blogiau, prieštarauja viena kitai.

Paprastai problema yra ne įrankiai. Tai yra tai, kaip sistemos konfigūruojamos konkrečiu būdu ir sąveikauja.

Kai įvedimas, saugojimas, analizė ir mašininis mokymasis yra įgyvendinami skirtinguose sluoksniuose, pertekliniams duomenims sunku atsispirti. Valdymas yra pažeidžiamas, o komandos sugaišta laiko, kad patikrintų geriau, nei naudotųsi duomenimis.

Ežero dujotiekis tai sprendžia architektūriniu lygmeniu. Kadangi duomenimis pagrįsta analizė ir duomenų inžinerija yra sujungti į vieną valdomą platformą, ji keičia duomenų srautą įmonės viduje. Tai lemia labiau keičiamo dydžio ir vienodesnę architektūrą, kuri gali palaikyti analizę ir dirbtinį intelektą, realizuojant pagrindinius modernumo duomenų principus.

Kodėl tradicinės duomenų architektūros ir toliau suskaido įžvalgas

Dauguma įmonės duomenų aplinkų nebuvo suskaidytos. Laikui bėgant jie tokiais tapo.

Atsirado duomenų ežerai, skirti valdyti mastelį. Duomenų saugyklos tvarkė struktūrinę analizę. Atskiri vamzdynai bandė užpildyti spragą. Laikui bėgant kiekvienas sluoksnis vystėsi nepriklausomai.

Laikui bėgant, šis atskyrimas sukūrė pažįstamų problemų rinkinį:

• Kelios tų pačių duomenų kopijos įvairiose sistemose
• Delsos tarp suvartojimo ir analizės
• Nenuosekli duomenų valdymo politika

Komandos dažnai bando tai išspręsti naudodamos daugiau vamzdynų arba rankiniu būdu, o tai paprastai padidina sudėtingumą, o ne sprendžia problemą.

Problemos šaknis yra architektūrinis atskyrimas. Analitinis darbo krūvis priklauso nuo kuruojamų duomenų rinkinių. Inžinerinės darbo eigos priklauso nuo neapdorotų vamzdynų. Abu buvimas atskirai yra įtampos šaltinis.

Šios tendencijos rezultatas buvo duomenų ežero, kuris yra saugojimo ir analizės derinys į vieną architektūrinį dizainą, atsiradimas, siekiant sumažinti dubliavimą ir pagerinti sistemų nuoseklumą.

„Lakehouse Pipeline“ kaip vieningos duomenų platformos apibrėžimas

Ežerų dujotiekis yra duomenų ežerų lankstumo ir našumo bei duomenų saugyklų struktūros ir našumo sintezė. Ji veikia kaip vieninga platforma, kurioje:

• Neapdoroti ir struktūrizuoti duomenys egzistuoja kartu
• Inžinerijos ir SQL darbo eigos turi tuos pačius duomenų rinkinius
• Valdymas nuosekliai taikomas visą gyvavimo ciklą

Šis modelis pašalina lygiagrečių vamzdynų poreikį ir sumažina prieštaringų metrikų riziką komandose.

Architektūros pokyčiai yra dar svarbesni nei technologijos. Nuo vamzdynų orkestravimo iki platformos projektavimo keičiasi tai, kaip organizacijos svarsto priemones, skirtas duomenų inžinerijai valdyti kartu su analize, ypač kai tarp darbo krūvių yra viena saugykla, metaduomenų sluoksniai ir panašūs prieigos modeliai.

Lakehouse dujotiekio gyvavimo ciklo supratimas

Ežero dujotiekis nesilaiko paprasto linijinio srauto. Ji veikia labiau kaip koordinuota sistema, kurioje sluoksniai nuolat sąveikauja. Kai kurie vamzdynai nesugenda iš karto. Laikui bėgant jie tiesiog sulėtėja.

Žvelgdami į jį iki galo, galite pamatyti, kaip šie sluoksniai susijungia ir veikia kartu kaip viena sistema.

Nurijimas ir laikymas

Duomenys patenka iš operacinių sistemų, srautinio perdavimo platformų ir išorinių šaltinių. Paketinis ir realiojo laiko apdorojimas veikia toje pačioje architektūroje.

Saugykla yra atviro formato saugykla, kurioje struktūrizuoti ir nestruktūruoti duomenys gali egzistuoti kartu. Patikimumą užtikrina tokie procesai kaip ACID operacijos, leidžiančios suderinti su darbo krūviais.

Transformacija ir metaduomenys

Neapdoroti duomenys tampa tinkami naudoti tik juos patobulinus. Transformacijos sluoksniai standartizuoja, patvirtina ir praturtina duomenų rinkinius.

Metaduomenys čia vaidina pagrindinį vaidmenį. Tai leidžia:

• Duomenų radimas ir katalogavimas
• Schemos sekimas
• Linijos matomumas

Be stiprių metaduomenų paslaugų, susiskaidymas greitai grįžta net ir centralizuotose sistemose.

Užklausos ir vartojimas

Toje pačioje platformoje taip pat palaikoma SQL analizė, mašininio mokymosi vamzdynai ir duomenų mokslo darbo eigos. Ši konvergencija leidžia vienu konvejeriu maitinti prietaisų skydelius, teikti ataskaitas ir dirbtinio intelekto naudojimo atvejus, nedubliuojant skirtingų komandų duomenų.

Duomenų struktūrizavimas naudojant medalionų architektūrą

Vamzdynams augant, struktūra tampa esminė. Medalionų architektūra suskirsto duomenis į sluoksnius, kurie laikui bėgant pagerina kokybę ir patogumą.

• The bronzos sluoksnis fiksuoja neapdorotus duomenis su minimalia transformacija
• The sidabro sluoksnis standartizuoja ir išvalo duomenų rinkinius
• The aukso sluoksnis teikia kuruojamus, verslui paruoštus duomenis

Šis daugiasluoksnis metodas padeda komandoms dirbti pagal nuoseklius apibrėžimus ir sumažina dubliavimąsi vamzdynuose.

Struktūra tapo įprastu atskaitos tašku organizuojant duomenų inžinerijos ir analizės darbo eigas, ypač naudojant sluoksniuotus tobulinimo modelius, kurie atskiria neapdorotą duomenų perdavimą nuo kuruojamų verslo duomenų rinkinių.

Techniniai pagrindai, dėl kurių Lakehouse vamzdynai bus gyvybingi

Ežerų dujotiekis priklauso nuo kelių pagrindinių savybių:

• Atidaryti lentelių formatus, pvz., Delta Lake
• Schemos vykdymas siekiant išlaikyti duomenų kokybę
• Schemos evoliucijos kaip sistemos masto palaikymas
• Suvienodinti skaičiavimo varikliai mišriems darbo krūviams

Šie elementai leidžia inžineriniams vamzdynams ir analitinėms užklausoms vykdyti toje pačioje platformoje.

Modelis gerai veikia kontroliuojamomis sąlygomis. Kai lygiagretumas didėja, jis tampa sudėtingesnis. Sandorių nuoseklumas su dideliu duomenų kiekiu yra nerimą kelianti užduotis. Jo dizainas turėtų atsižvelgti į kelių užduočių vykdymo apkrovas, tuo pačiu užtikrinant, kad paskirstytos lentelės būtų sinchronizuotos.

Nuo suskaidymo iki AI paruoštų duomenų platformų

Architektūros pokyčiai gali atrodyti abstraktūs, kol jie pradeda daryti įtaką tikriems rezultatams. Gerai įdiegtas ežero dujotiekis leidžia pasiekti aiškių, išmatuojamų patobulinimų:

1. Mažiau pasikartojančių duomenų kopijų
2. Greitesnė prieiga prie patikimų įžvalgų sumažinus duomenų delsą
3. Nuosekli metrika visose komandose
4. Tvirtesnis duomenų valdymas su aiškesne nuosavybės teise, atsekamumu ir auditu

Organizacijos, derinančios savo duomenų architektūrą su verslo naudojimo atvejais, daug labiau tikėtina, kad išmatuoja išmatuojamą analizės poveikį, o kai kuriais atvejais net 3 kartus didesnę tikimybę, kad ji suvoks vertę nei suskaidyta aplinka.

Tradicinė vs Lakehouse architektūra

Įvaikinimo tendencijos sustiprina šią kryptį. Maždaug 70 % organizacijų tikisi, kad analizės darbo krūvis pereis prie ežerų namų architektūros, o daugiau nei pusė teigia, kad konsolidavus duomenų aplinką sąnaudos sumažėjo daugiau nei 50 %.

Iššūkiai ir kompromisai priimant Lakehouse architektūrą

Modelis turi tam tikrų minusų. Organizacijos dažnai susiduria su:

• Perėjimo iš senų sistemų sudėtingumas
• Įgūdžių spragos
• Našumo derinimo iššūkiai įvairiems darbo krūviams
• Valdymo rizika, jei nuosavybės teisė yra neaiški

Architektūra gali būti veiksmingai naudojama ten, kur valdymas yra skaidrus ir stabilus, bet neapibrėžtumas, kai nesutaria komandos ir nuosavybė.

Suskaidymo nepanaikina vien centralizacija. Tai pereina prie nuoseklumo ir koordinavimo atskaitomybės.

Lakehouse kaip įmonės duomenų veikimo modelis

Ežero dujotiekis yra saugojimo būdas ir veikimo modelis.

Tai sujungia duomenų inžinerijos ir analizės procesus ir įgalina mašininį mokymąsi nekuriant papildomų vamzdynų. Tai sumažins komandos trintį ir sumažins atstumą tarp nurijimo ir įžvalgos.

Vadovauti įmonei taikant šį modelį yra perėjimas prie vieningų duomenų segmentų, o ne suskaidytų vamzdynų. Rezultatas yra keičiamo dydžio, dirbtiniam intelektui paruošta duomenų platforma, kuri leidžia nuolat priimti sprendimus.

Nuo suskaidymo iki pagrindo

Suskaidymas nėra linkęs pasitaisyti. Reikia sąmoningai koreguoti architektūrą.

Vienas iš būdų tęsti yra ežero dujotiekio, kuris integruos duomenų inžineriją ir analizę į vieną sistemą, pritaikymas. Privalumai taip pat išryškėja, kai komandos nustoja derinti duomenis ir pradeda juos naudoti.

Antras dalykas yra patikrinti esamus dujotiekius ir tiksliai nustatyti, kur vyksta dubliavimas ir vėlavimai. Tada pradėkite šias darbo eigas sujungti į bendrą platformą, kad komandos veiktų iš tos pačios duomenų bazės.

Ši strategija negali užtikrinti, kad visa tai būtų galima parengti vienu metu, tačiau ji sudaro galingą pagrindą nuosekliam ir keičiamam duomenų naudojimui.

Autorius Bio

Manuj Arora yra vyresnysis sprendimų architektas, turintis daugiau nei 20 metų patirtį įmonių duomenų sistemų ir debesų architektūros srityse. Jis sutelkia dėmesį į keičiamo dydžio, valdomų duomenų platformų, skirtų šiuolaikinei analizei, kūrimą.

Nuorodos: