Íme, egy app az akadálymentesebb kommunikációért

Kapcsolódó cikkek

Sorozat további cikkei

Íme, egy app az akadálymentesebb kommunikációért

Tanuljuk meg az ujjábécét! Íme, egy app az akadálymentesebb kommunikációért

IoT Podcast

3 perc

A hallássérültek és a hallók közötti akadályok leküzdését tűzte zászlajára a SignAll Technologies Zrt. Magyarországon körülbelül 60 ezer siket ember él, számukra állandó küzdelmet jelent, hogy megértessék magukat. A jelnyelvet a halló lakosság ritkán érti, ezért nap mint nap találkozhatnak a jelnyelv ismeretének hiányából eredő kommunikációs akadályokkal. A Vodafone Digitális Díjon sikeresen szerepelt SignAll a hallássérültek ismerőseinek, családtagjainak és a többségi társadalomnak segíthet az alapok megismerésében.

A teljes adást itt hallgathatja meg:

Az applikáció a 2021-es Vodafone Digitális Díjon a Digitális Oktatás kategóriában harmadik helyezést ért. A mesterséges intelligencia és képfeldolgozó algoritmusokkal működő program már működik az Egyesült Államokban és Kanadában, a hazai fejlesztőcsapat célja az alkalmazás magyar jelnyelven ingyenesen elérhető változatának elkészítése.

A társaság stratégiai vezetője, Pintér Mihály az IoT Zóna műsorban elmondta: történetük körülbelül tíz éve egyfajta „szerelemprojektként” kezdődött. Abban az időben szerettek volna egy siket informatikus kollégát felvenni a cégükhöz, azonban az interjút nem sikerült megfelelő módon megszervezniük. Mivel a cégcsoport gépi látással foglalkozik, így megvizsgálták annak lehetőségét, hogyan is lehetne kiküszöbölni ezt a problémát.

Fontos kiemelni, hogy a mobilapplikációjuk nem helyettesíti a jeltolmácsokat, hanem a siketekkel való kommunikációs alapokat igyekszik megismertetni az érdeklődőkkel, valamint a halló munkatársak, barátok vagy családtagok alapvető jelnyelvi tréningjét foglalja magában. Jelenleg tehát egyfajta kiegészítő szolgáltatásként funkcionál.

„Mivel a kétkezes jelek esetében az okostelefon tartása problémát okozhat, így a mobilalkalmazás csak az egykezes jelek, azon belül is az ujjábécé elsajátítására szorítkozik. Egy-egy jelnyelvi kifejezés ennél jóval összetettebb, pontos felismeréséhez szükséges a testpozíció, a karok és kezek mozdulatainak, illetve az arckifejezések egyidejű azonosítása. Ehhez pedig egy jelenlegi telefonos szelfikamera nem nyújt elegendő technikai támogatást” – magyarázta Pintér Mihály.

A SignAll eredetileg a washingtoni Gallaudet Egyetemmel kezdett közös projektbe. Fejlesztésük az Egyesült Államokban az amerikai jelnyelvet fordítja beszélt angol nyelvre. Mobiltechnológiájuk pedig az első olyan applikáció, mely interaktív módon oktat. Ennek köszönhetően a felhasználó a saját mobilja segítségével sajátíthatja el a jelnyelvet kiegészítő ujjábécét.

Hogyan működik az app?

„Ahhoz, hogy az egyes jeleket a megfelelő módon képes legyen a számítógép látni, érzékelni és feldolgozni, egy speciális adatbázist kellett kialakítani. A különféle jeleket egyedi módon és nagy felbontásban kell felvenni” – fejtette ki a mesterséges intelligencia szerepével kapcsolatban a szakember.

„A washingtoni egyetemmel történő együttműködés célja elsősorban a jelek lehető legpontosabb rögzítése volt. Ebből alakult ki az a tudás, amelynek a segítségével ezek a programok most már taníthatók, és végső soron ennek köszönhető az okostelefonos konfiguráció is. Ugyanakkor fontos hozzátenni, hogy, habár a fordító funkció telepített környezetben már stabil és gyors, mobil kialakításához szükséges még bizonyos technológiai szintlépések megugrása” – tette hozzá.

Pintér Mihály arra is kitért, hogy az oktatást elősegítő készülékeik már megjelentek a kereskedelmi forgalomban, a fordításra alkalmas a szoftver is kész, viszont vannak olyan hardverszükségletei, amelyek nem teszik lehetővé jelenleg a mobilon való teljes körű alkalmazhatóságot.

Az interjúban arról is szó volt, hogy az Egyesült Államokban a fogyatékkal élőket érintő társadalmi elfogadottság jóval előrébb jár, mint idehaza. Ugyanakkor a SignAll bízik benne, hogy a jövőben minél többen igénybe veszik a kapcsolódó oktatási csomagokat. Cégük elsősorban azt tekinti missziójának, hogy elősegítse a témamegkötés nélküli, spontán beszélgetéseket a siketek és a hallók között.

A fejlesztések nehézségi fokát jól mutatja az is, hogy a jelnyelvek minden országban eltérő, önálló nyelvtannal rendelkező nyelvnek számítanak. Megközelítően annyi jelnyelv létezik a világban, mint ahány beszélt nyelv. A kutatások legtöbbször a nagyobb jelnyelvi területekre fókuszálnak, ezért is fontos a kiemelt figyelem a lokális jelnyelvek támogatására.