Lidhja e vështrimit

Çfarë bën

Skleroza Laterale Amiotrofike, ose ALS, është një sëmundje shkatërruese që i heq pacientit aftësinë për të lëvizur dhe për të folur. Si vullnetare në shoqatat e ALS gjatë verës së shkollës së mesme, kuptova se disa pacientë mund të komunikojnë vetëm me sytë dhe teknologjinë ndihmëse, e cila ka shumë kufizime si kostoja dhe efikasiteti. Mundësuar nga Google Gemini API, aplikacioni im falas shumëgjuhësh i quajtur "Gaze Link" i ndihmon pacientët me ALS të komunikojnë me sytë e tyre në mënyrë të pavarur, të saktë dhe me efikasitet.

Së pari, unë njoh fytyrën dhe sytë e përdoruesit me Google ML Kit dhe OpenCV. Pas një kalibrimi dhe rregullimesh prej 30 sekondash, përdoruesi mund të fillojë të shkruajë fjalë në tastierën shumëgjuhëshe të Gaze Link me 6 gjeste sysh. Sidoqoftë, shtypja e syrit mund të jetë një proces shumë i ngadaltë për fjali të gjata.

Për të përmirësuar shkallën e hyrjes së tekstit, përdora një model Gemini 1.5 Flash për të gjeneruar fjalinë e synuar të pacientit bazuar në fjalë kyçe dhe në kontekst. Së pari, Gaze Link do të transkriptojë zërin e kujdestarit në tekst si "A është temperatura e dhomës në rregull?". Më pas, pacienti do të shkruajë fjalë kyçe si "hot, AC, two" me sytë e tyre. Modeli Binjakët do të përdorë informacionin për të gjeneruar një fjali të përshtatshme si "Unë jam i nxehtë, a mund ta ulni AC me 2 gradë?" në më pak se një sekondë. Modeli dhe tastiera funksionojnë gjithashtu me spanjisht dhe kinezisht. Eksperimentet me 30 persona tregojnë se modeli mund të kursejë deri në 85% të goditjeve të tasteve të përdoruesit dhe ta bëjë Gaze Link 7x më efektiv se tabelat tradicionale të transferimit elektronik.