Nagy nemzetközi megmérettetés előtt áll a PPKE ITK Bionikus Látásközpontja

Csúcstechnológiát képviselő, mégis emberi léptékű és az emberi élet szolgálatában álló fejlesztések kerülnek ki időről időre a PPKE ITK Jedlik Ányos Kutatólaboratóriumaiból, azon belül is a Bionikus Látásközpontból. A Semmelweis Egyetemmel közösen alapított központ egyik vezetője, Karacs Kristóf docens elmondta: tevékenységük, kutatásaik fókuszában a látássérültek életvitelét segítő, támogató, azaz asszisztív technológiák fejlesztése áll.

A központ tevékenysége szerteágazó, munkatársaik mégis talán a látássérültek mindennapjait megkönnyítő, hazai és nemzetközi népszerűségnek örvendő mobiltelefonos applikációjukra a legbüszkébbek. A LetSeeApp néven elérhető alkalmazást már több mint tízezren töltötték le, nem csak idehaza, de külföldön is. Elmondható, hogy mára az egyik legismertebb ilyen jellegű, tulajdonképpen ingyenes alkalmazássá vált – hívta fel a figyelmet Karacs Kristóf.

A többnyelvű platform fejlesztése majdnem egy évtizeddel ezelőtt kezdődött. Az Android- és iOS-rendszeren egyaránt működő applikáció a telefonokon gyárilag elérhető, látássérültek számára optimalizált felületen (VoiceOver, illetve TalkBack) keresztül hozzáférhető a látássérültek számára, így a használatához nincs szükség vizuális ingerekre: a program hangok (beszéd és hangjelzések) útján kommunikál a látássérült, vak felhasználóval.

A látás ajándékával élők talán bele sem gondolnak, hogy a mindennapok során milyen sokrétű segítségre van (lenne) szükségük azoknak, akiknek nem természetes, hogy látják, mit tartanak a kezükben, hogy merre kanyarodik a járda, vagy éppen mi hever az útjukban. A vakok és gyengénlátók speciális szaküzletekben juthatnak hozzá olyan eszközökhöz, amelyek támogathatják őket egy-egy művelet elvégzésében, vagy éppen felerősítenek, „hanggá konvertálnak” egy vizuális ingert. Ezek a segédeszközök gyakran igen drágák – így sokak számára elérhetetlenek, ráadásul általában egy-egy eszköz egyetlen funkciót lát el (például színfelismerő toll, bankjegyfelismerő készülék). A PPKE ITK Bionikai Látásközpontjának LetSee applikációja ezért is korszakalkotó: egyetlen eszközön, az okostelefonon keresztül használható, és több funkciót egyesít magában.

„Az volt a koncepciónk, hogy egy eszközbe, egy alkalmazásba több, látássérülteket segítő funkciót integráljunk. Ennek nagy előnyét láttuk abban is, hogy a felhasználónak csak egyszer kell megtanulnia a használatát, nem pedig külön-külön az egyes eszközökét. Elképzeléseinket visszaigazolta az élet: nagy örömmel használják a LetSee applikációt” – emelte ki Karacs Kristóf.

A vak felhasználók körében – érthető okokból – sokáig népszerűek voltak a nyomógombos telefonok. Bár az idősebb generáció egy része még mindig ragaszkodik ehhez a technológiához, a fiatalabbak inkább már az okostelefonokat használják, és viszonylag könnyen elsajátítják az alkalmazások használatát is.

A vakok és gyengénlátók általában – derül ki a Karacs Kristóf által elmondottakból – a vakok iskolájában és rehabilitációs intézetekben sajátítják el a mindennapokban szükséges praktikákat és a különféle segítő eszközök használatát. A PPKE látásközpontja ezért együttműködik a Magyar Vakok és Gyengénlátók Országos Szövetségével. Karacs Kristóf elmondása szerint hamarosan egy olyan tananyagot is össze fognak állítani, amelynek révén – mentorok közreműködésével – a LetSee használata oktatható lesz.

Mit tud a LetSee?

Az alkalmazáson belül jelenleg három olyan funkció érhető el, amelyre a mindennapok során akár napi több alkalommal is szükség lehet: pénzfelismerő, bankkártya-felismerő, illetve fénymérő. Mindhárom funkció a telefon kameráján keresztül látható kép feldolgozásán alapul, a felismerés internethasználat nélkül, a telefonon történik, az alkalmazás adatokat nem továbbít, képeket és érzékeny adatokat nem tárol. A felismerés eredményéről a felhasználót hanggal tájékoztatja, de a gyengénlátók számára ki is jelzi a képernyőn nagyméretű, jól látható karakterekkel.

A pénzfelismerő a forint mellett számos más ország fizetőeszközét képes azonosítani, amelyek köre folyamatosan bővül. Jelenleg mintegy 30 pénznem bankjegyeit támogatja, az indonéz rúpiától a kanadai dollárig számos fizetőeszköz felismerésére képes, függetlenül attól, hogy az milyen pozícióban, netán összehajtva vagy csak részletében (például letakart számokkal) látszik a telefon kameráján keresztül.

A bankkártya-felismerő funkció a felhasználó által előzetesen (néhány egyszerű lépésben) eltárolt bármilyen kártyát felismer és hangosan közli is, melyik az. Az ingyenes verzió öt kártya tárolására alkalmas – a további kártyák felvétele jelképes összegbe kerül.

A fénymérő pedig erősödő sípolással jelzi a felhasználónak, hogy a közelében merre található a fényforrás, és az milyen erős.

A PPKE fejlesztői arra törekedtek, hogy az applikáció ne csak gyors és költséghatékony, de megbízható is legyen. A fejlesztés hosszú és alapos munka eredménye, amelyben kiemelt szerepe volt tesztelőként az Informatika a Látássérültekért Alapítvány önkénteseinek és munkatársainak. Az applikáció jelenlegi verziója már az információkat valós időben, megbízhatóan, a felhasználók igényeinek megfelelően szállítja.

Amerikai robotkutya vs. magyar mobiltelefon

Hogy a Pázmány Péter Katolikus Egyetem Információs Technológiai és Bionikai Kara mennyire elkötelezett a vakok és gyengénlátók életminőségét javító, látássegítő technológiák fejlesztése mellett, jól mutatja, hogy beneveztek a Cybathlon elnevezésű, négyévente megrendezett nemzetközi versenyre, amelynek szervezője a neves Eidgenössische Technische Hochschule Zürich (ETH Zürich) egyetem. A látássegítő eszközök kategóriájában tíz különböző, a mindennapok kihívásait mintázó feladatot kell teljesíteni.

A verseny első, felkészülést segítő kihívását 2023 márciusában rendezték Zürichben, ahol két feladatot kellett a vak versenyzőknek teljesíteni. Az első pályán olyan akadályokat kellett kikerülni, amelyek jellemzően megtalálhatóak a járdákon, mint a rollerek vagy a szemetesek, a második feladatban pedig teríteni kellett anélkül, hogy a tálban és pohárban található folyadékból egyetlen csepp is kifolyna.

Gelencsér-Horváth Anna feladata a februári kihívás előtt az algoritmusok fejlesztése és a hallgatók munkájának koordinálása volt. Az algoritmust úgy kellett megtervezni és implementálni, hogy tudták, a csapat versenyzője – vagy, ahogy hivatalosan hívják „pilótája”, Sulyok Péter a feladatok megoldását egyedül kell hogy elvégezze, csupán egyetlen mobiltelefonnal a kezében.

Az ellenfél, az amerikai csapat igazi high-tech megközelítést alkalmazott: robotkutyát és számos más kiegészítő eszközt vonultattak fel, azonban nem sikerült teljesíteniük a pályákat. A versenyt a magyar csapat nyerte meg, mindkét pálya hibátlan teljesítésével.

A Cybathlon 2024 októberi, szinte olimpiához hasonló rendezvénye előtt idén március elején egy második kihívást is rendeztek a szervezők, hogy a felkészülést támogassák. Ezen újabb négy feladatot kellett a versenyzőknek teljesíteniük. A vizuális asszisztencia kategóriában az „erdő” nevű feladat volt az első, ahol faágakat imitáló rudakat kellett kikerülni azok érintése nélkül. Ezután a pilótának egy szimbolikus ösvényen kellett végigmennie anélkül, hogy a lába az ösvényről bárhol lelépne. A harmadik pályán egy gyümölcssaláta rendelése volt a feladat egy gyorséttermi érintőképernyőn, a sort pedig egy helykereséses szituáció zárta, ahol a kihelyezett széksorokban kellett minden szabad széket – amin nem ült senki és táska sem volt rajta – megtalálnia a versenyzőknek.

Az applikációnak a versenyre való továbbfejlesztésében kezdettől fogva részt vett Sulyok Péter is, a korábbi tapasztalatokra építve ugyanis a csapat tudta, hogy csak úgy lehet olyan applikációt készíteni, ami a vak felhasználóknak valóban hasznos lehet majd, ha a fejlesztés során a pilóta visszajelzéseit folyamatosan meghallgatják, és a javaslatait beépítik.

A technológia, amit megálmodnak és kiviteleznek, a verseny eredményétől függetlenül felbecsülhetetlen értéket képvisel – még inkább, mint a LetSee Cybathlon előtti verziója. Fogalmazhatunk úgy, hogy a verseny lezárultával számos funkcióval tervezik majd bővíteni a LetSee applikációt, amely a közlekedéstől az akadályok jelzéséig, a bevásárlástól a háztartási feladatok elvégzéséig megannyi szituációban segítheti majd a vak felhasználókat.

„Bár az első két kihívást megnyertük, ezen a versenyen szerintem nem csak a hagyományos értelemben lehet győzni. A Pázmány ITK-n azon dolgozunk, hogy amit kitalálunk és megvalósítunk, az igazi értéket képviseljen; amikor a mindennapokban segíti majd a vakokat és a gyengénlátókat egyértelművé válik: mindenki csak nyert vele” – zárta a beszélgetést Gelencsér-Horváth Anna.

Forrás és fotó: Pázmány Péter Katolikus Egyetem Információs Technológiai és Bionikai Kar

Magyar Kurír