A vak és gyengénlátó emberek mindennapjainak megkönnyítését tűzte ki célul nemzetközi társadalmi felelősségvállalási projektjében a Huawei.

A Huawei Facing Emotions elnevezésű társadalmi érzékenyítő kampányában arra kereste a választ, hogyan segíthet a mesterséges intelligencia a vak és gyengénlátó embereknek többet érzékelni a körülöttük lévő világból. A gyártó nemzetközi látássérült szervezetek bevonásával olyan applikációt hozott létre, amely képes az emberi arcon megjelenő érzelmeket leolvasni, majd a látássérült felhasználók számára hanggá alakítani azokat. Hiszen az érzelmek kifejezésének egyik legnyilvánvalóbb és legfontosabb eszköze az arcmimika, észlelése azonban nehézséget okoz a vakok és gyengénlátók számára.

Hatékony dekódolás másodpercek alatt

Az applikáció a Mate 20 Pro kamerarendszerét és a mesterséges intelligenciát hívja segítségül: az arcfelismerő algoritmusok azonosítják az egyes mimikai elemeket és kielemzik a szemek, az orr, a szemöldök és a száj, valamint azok egymáshoz viszonyított helyzetét, melyek alapján másodperceken belül elkülönítik a hét alapérzelemre jellemző gesztusokat. A készülék ezt követően a hét alapérzelemhez (boldogság, szomorúság, félelem, undor, meglepődés, düh, megvetés) különböző hangulatú dallamokat társít, amelyet valós időben, offline módban továbbít a felhasználók fülhallgatójára.

Az applikáció segítségével az érzelmek olyan apró részletei is megfigyelhetők, amelyeket a vak és gyengénlátó emberek nem lennének képesek pusztán a partner hangsúlyozásából, hanglejtéséből kikövetkeztetni. A felhasználók a fülükben lévő vezeték nélküli fülhallgatón keresztül jellegzetes zenei motívumokat hallhatnak, amelyekből egyszerűen megállapíthatják, beszélgetőpartnerük éppen szívből mosolyog-e rájuk, vagy zavarban van-e az adott szituációban, estleg szomorúság tükröződik-e az arcán.

Valós igények, effektív megoldások

A Huawei a Facing Emotions applikáció fejlesztésekor több látássérültekkel foglalkozó szervezettel is szoros együttműködésben dolgozott, hogy a lehető legjobb megoldást kínálja az érintett csoportok számára, és olyan segítséget nyújtson, amely ténylegesen hasznosíthatóvá teszi az alkalmazást a mindennapokban. A vak és gyengénlátó közösség képviselői a fejlesztés teljes ideje alatt részt vettek a tesztfolyamatokban, így a Huawei fejlesztői csapatával közösen alkották meg az alkalmazás funkcióit, színvilágát és az érzelmekre utaló hangokat.

"A hangok természetüknél fogva képesek érzelmet kifejezni. Nagyon fontos szempont volt, hogy a konvertált dallamok rövidek, tömörek és egyszerűek legyenek. A keletkezett zenei motívumokat vak és gyengénlátó emberek csoportja tesztelte és értékelte aszerint, hogy azok mennyire egyszerűen felismerhetők és emlékezetesek a felhasználó, valamint környezete számára" - mondta Tomasz Bilecki a Facing Emotions zeneszerzője, aki maga is látássérült.

Dizájn és funkcionalitás

Az alkalmazásfejlesztési folyamat során arra is fény derült, hogy a látássérült emberek olyan megoldásokat preferálnak, amelyekhez nincs szükség a kezükre, hiszen azokat a botok és egyéb kisegítő eszközök használata igényli. Ezért a kampány részeként a díjnyertes tervező, Janek Kochanski speciális 3D-s nyomtatott, nyakbaakasztható telefontokot fejlesztett a Mate 20 Pro számára, amely megkönnyíti az alkalmazás és az okoskészülék használatát.