Kisokos a Big Datához
Kisokos a Big Datához
2018. február 14.
Ha érdekli a „Nagy Adat”, de nem tudja, hogyan vágjon bele, akkor adunk egy kis segítséget, hogy a kezdetekkor mivel érdemes tisztában lenni.
Az elmúlt évek tech-es slágerkifejezései (buzzword-jei) között az egyik legfontosabb a Big Data, hiszen sok más technológiai megoldás épül a nagy mennyiségű adatgyűjtésre és -elemzésre. Ugyanakkor világszerte számos cégvezető és döntéshozó szenved attól, hogy a munkaerőpiacon nem talál megfelelő adatszakértőket, és így nem tudja kiaknázni az adatokban rejlő üzleti lehetőségeket. De mégis milyen lehetőségekről van szó, és hogyan lehet a megfelelő információkat „kibányászni”?
A valóság legrészletesebb rögzítése
Ahelyett, hogy valamilyen szigorú tankönyvi definíciót taglalnánk, érdemes inkább gyakorlati példán keresztül vizsgálni, hogyan működik az adatgyűjtés és -tárolás a Big Data korában. Vegyünk egy webshopot, amely kapcsolódó termékeket ajánl vásárlóinak „azok, akik ezt a terméket megnézték, azokat ez a másik is érdekelte” címszóval.
Ahhoz, hogy ilyen listákat össze lehessen állítani, először is gyűjteni kell az oldalra érkező látogatók minden lépését: „X vásárló megnézte Y terméket, aztán a Z terméket”, és így tovább. A minden mozzanatot rögzítő adatgyűjtés hatására még egy kisebb forgalmú webshop esetében is igen gyorsan hatalmasra bővül az adathalmaz, ezért fontos kiemelni az úgynevezett elosztott tárolás technológiáját is.
Ennek értelmében nem egyetlen nagyteljesítményű számítógépen tárolják a bejegyzéseket, hanem több különböző merevlemezen. Így amikor a szolgáltatónak több helyre van szüksége, a rendszer könnyen skálázható és rugalmasan bővíthető.
Minden alkalommal, amikor új látogató kezd el nézelődni a virtuális boltban, a rendszer rögzíti minden lépését, összehasonlítja a korábbi vásárlásaival, illetve más vásárlók tevékenységével. Ahhoz, hogy a program ezt a feladatot minél gyorsabban el tudja végezni, az algoritmus több számítógép között osztja el a számításokat, az úgynevezett párhuzamos adatelemzési elv alapján.
Mi is az adatszakértők munkája?
Ha már körvonalazódik, hogy miért is lehet előnyös cége számára a nagy mennyiségű adatgyűjtés, akkor felmerülhet a kérdés, hogy miként tudná ezt házon belül is megvalósítani. Ehhez természetesen szüksége lesz megfelelően képzett szakemberekre.
Data analyst: az adatelemzők egyeztetnek a végfelhasználókkal, felmérik az igényeiket. Ezután megvizsgálják, hogyan kaphatnak ezekre választ a rendelkezésre álló adathalmazból, majd részletes vizuális kiértékelést állítanak össze az ügyfél számára.
Data scientist: az úgynevezett „adattudósok” ahhoz értenek, hogyan kell adatot „bányászni”. Az ő feladatuk tehát felmérni a lehetséges adatforrásokat egy cég életében, és megoldást találni arra, hogy miként lehet azokból speciális algoritmusok és gépi tanulás segítségével érthető formában kinyerni a releváns információkat.
Data architect: a névben rejlő építész is jelzi, hogy az adatbázisok tervezőiről van szó. Feladatuk a tervezésen túl az adatbázis részletes dokumentációja, illetve a használati irányelvek lefektetése.
Database manager: az ő feladatuk az adatbázisok működés közbeni menedzselése és karbantartása. Ez azt jelenti, hogy ők felelnek a számítástechnikai háttérért, elhárítják az üzemzavarokat, javítják, cserélik és frissítik az adatok tárolásában segítő hardvereket és szoftvereket.
Big Data engineer: a Big Data mérnökök komplett Big Data megoldásokat terveznek, részt vesznek a megvalósításukban, és támogatják a fejlesztői munkát. Ők azok, akik nagyobb rálátással bírnak az egész folyamatra, és mondhatni, távolabbról irányítják a szálakat.
Abszolút hiányszakma
Egyre több cég ismeri fel az adatelemzésben rejlő lehetőségeket, de a munkaerőpiacon még nincs elég adatszakember. A cégvezetőknek így nem egyszerű megtalálni az értékes alkalmazottakat. A másik oldalon viszont jó hír, hogy aki ezen a területen szeretne továbbtanulni, annak biztos jövője lehet a szektorban.