Razgovarali smo s Nikolom Severom, Principal Consultantom iz data inženjering tvrtke Syntio o najvećoj godišnjoj konferenciji fokusiranoj na Data & AI održanoj nedavno u Stockholmu.
Održao si predavanje na Data Innovation Summitu koji se održava 11 & 12.5. u Stockholmu - možeš nam reći više o toj konferenciji?
Data Innovation Summit najveća je godišnja konferencija fokusirana prvenstveno na Data & AI, ujedno i domene kojima se mi kao firma bavimo, stoga nam je bilo važno da prisustvujemo takvom događaju. Sama konferencija trajala je dva dana, a posjetilo ju je više od 2.000 sudionika, od čega preko 300 predavača iz Data & AI domene. Htio bih spomenuti kako su keynote predavači bili ljudi iz Google-a, Twitter-a, Snowflake-a, Databricks-a - uglavnom iz kompanija koje su relevantni igrači u Data & AI svijetu. Ponosni smo što smo stali uz bok njima i predstavili Syntio kroz dvije glavne perspektive – kroz konzalting kojim izvršavamo digitalnu transformaciju velikih enterprise poduzeća te putem Dataphosa, naše platforme za digitalnu transformaciju. Također, naš booth privukao je brojne zainteresirane i, sudeći po reakcijama i komentarima koje smo dobili, privukli smo puno pozornosti.
O čemu si pričao na svom predavanju "Data Mesh for event driven applications"?
Fokus mojeg predavanja bila je paradigma ‘Event Mesh’. Kako je još uvijek svega manji broj ljudi upoznat s pojmom ‘Event Mesh-a’ nisam ga niti htio staviti u naslov prezentacije nego sam zamislio da to bude neki plot twist. Prvo da objasnimo ukratko što je uopće ‘Event Mesh’. Riječ je o je arhitekturalnoj paradigmi koja omogućava usmjeravanje evenata, odnosno događaja, poruka i sl. te ih dinamički usmjerava na njihovo odredište. Svaka aplikacija generira događaje (npr. dodavanje artikala u košarice, kupnja artikla, pretraga određenih pojmova, izdavanje pošiljke i sl.). Stoga, neophodno je znati kako usmjeravati sve ove informacije sa svoje točke na kojoj su nastali te ih uspješno preusmjeriti tamo gdje će generirati svoj business value. Bitno je naglasiti kako izvorište generiranih evenata i njihovo odredište nisu svjesni jedno drugoga i sama lokacija takvih aplikacija, bilo cloud ili neki datacentar, su najčešće fizički odvojeni. ‘Event Mesh’ upravo premošćuje jaz između on-premise sustava i cloud integracija. Ono što sam u prezentaciji htio naglasiti je to da je trenutna implementacija ‘Data Mesh’ paradigme, po nama, trenutno jedino moguća pomoću ‘Event Mesha’.
Koji je razlog tome?
To je zato što veliki tradicionalni sustavi u sebi sadrže neke SaaS aplikacije za koje nemaju nikakvu kontrolu. Uz to sigurno imaju već neki cloud na kojem mogu npr. imati ‘Data Lake’ kao centralno mjesto spremanja podataka. Tu nikako ne smijemo zaboraviti i tradicionalne on-premise sustave kao npr. SAS i Data Warehouse koji, za primjer, su implementiratni na Oracle Exadata ili IBM Netezza. Ovdje dolazimo do glavnog izazova: kako sve te različite sustave, koji su lokacijski odvojeni, “ne pričaju istim jezikom”, odnosno ne generiraju evente u istim formatima, zajedno povezati? Tu dolazi ‘Event Mesh’. On pomoću “ljepila”, odnosno nekog Event Brokera ili više njih, djeluje kao most i usmjeruje evente s izvora na odredište. Htio bih naglasiti da kada idete pretraživati pojam ‘Event Mesh’ izbacit će vam se Solace rezultati. Solace je kompanija koja nudi svoj event broker Solace. Mi u Syntiu smatramo da je trenutno jedino Kafka ta koja zadovoljava sa svojim funkcionalnostima većinu potreba uspješnog ‘Event Mesh’-a. Zašto većinu? Zato što je sama pradigma Eventa i ‘Data Mesh’-a relativno nova, a na tržištu trenutno još uvijek ne postoje rješenja za sve dijelove uspješnog ‘Event Mesha’.
Data Mesh je dio vaše platforme DataPhos - što nam možete reći o njoj?
Dataphos je naš odgovor na razne probleme koje susrećemo u svakodnevnom radu s našim klijentima. Tipična podatkovna platforma je vrlo centralizirana i kompleksna, ali zato ju je izuzetno teško promijeniti ili prilagoditi te su troškovi upravljanja i održavanja (a često i licenciranja) poprilični. Bili smo čvrsto uvjereni da mora postojati bolji pristup i jednostavnije rješenje te smo ga kao Syntio odlučili i ponuditi. Želimo pojednostaviti priču kako bi organizacije same mogle mijenjati ili prilagođavati svoju podatkovnu platformu i pratiti svoje poslovne potrebe, a ujedno smanjiti svoje troškove. Kada smo razmatrali što bi bilo potrebno našim klijentima u bližoj budućnosti, shvatili smo još ne postoji podatkovna platforma koja radi real time i koja je gotov proizvod pa smo iskoristili priliku i napravili je Na kraju smo završili sa sustavom koji se sastoji od više komponenti koje čine jednu besprijekornu cjelinu..
Kako funkcionira vaš sustav?
On može povlačiti podatke iz postojećih ili potpuno novih izvora u realnom vremenu, detektirajući i prijavljujući novonastale promjene u strukturama podataka kako bi se izbjegle međuovisnosti u sustavima. Svi ti podaci završavaju u data lakeu, gdje su spremni za konzumaciju i korištenje, bilo od tima podatkovne znanosti ili za druge transakcijske sustave. Naša platforma pokriva većinu podatkovnih potreba današnjih organizacija, vrlo je jednostavna za implementaciju i održavanje, a korištenje je besplatno. Ključna komponenta je modul za praćenje promjena struktura podataka, što znači da možete pratiti kako se vaše podatkovne strukture mijenjaju. Kažemo da je ključna budući da olakšava upravljanje integracijama i smanjuje ranjivosti i broj grešaka između sustava, proaktivno javljajući sve promjene onog trenutka kada se dogode. Upravljanje međuovisnostima sustava u današnje doba postaje sve veći problem kojeg smo svakako željeli adresirati.
Kakvi su ti dojmovi nakon održane konferencije?
Sama konferencija je organizirana na vrlo visokom nivou. Organizirati 9 paralelnih trackova te dodatno nekoliko radionica, sve u jednom ogromnom zatvorenom prostoru gdje ne morate ići iz jedne zgrade u drugu je zaista impresivno. Uz sve to, na svakom koraku nailazite na štandove izlagača koji predstavljaju svoje platforme, a od kojih ujedno možete učiti i prikupljati informacije. Najviše me se dojmila platforma Agorify preko koje je organiziran cijeli event. Nude svoju aplikaciju s pregršt korisnih informacija i funkcionalnosti kao npr. rezervaciju sastanaka s posjetiteljima konferencije, skeniranje QR kodova koji su generirani za svakog posjetitelja (kako biste se kasnije lakše povezali), kreiranja svoje agende predavanja na konferenciji i sl. Naše konferencije u Hrvatskoj možda još nisu na toj razini, ali vjerujem da ćemo i mi ubrzo usvojiti neke dobre prakse s ovako velikih konferencija.
