Tactile Images: românii care vor să fie noul Braille pentru nevăzători

Văzut din afară, startup-ul Tactile Images pare a crescut în 2 ani precum Făt-Frumos, cât alții în 7. O călătorie lungă i-a adus pe fondatori, Dan Patzelt și Dorin Moldoveanu, și pe colegii care li s-au alăturat, până în acest moment.

Proiectul Tactile Images, care a participat la Changeneers 2018 sub denumirea THATS, a fost demarat acum mai mult de un deceniu de către Asociația pentru Dezvoltare Urbană.

Decizia de a merge spre segmentul de educație pentru persoanele cu deficiențe de vedere a venit în momentul în care s-au confruntat cu o problemă personală similară și au observat că nu există soluții cu un grad mai mare de utilitate pentru persoanele nevăzătoare.

Despre THATS/Tactile Images am scris pe larg într-un material publicat chiar după finala competiției Changeneers din 2018.

Acum, așa cum ne povestește Dan Patzelt, Tactile Images se pregătește de ieșirea din faza alfa de testare și abia așteaptă ”să ajungă cunoscut pe tot globul”. În acest moment sunt în plin proces de testare și strâng impresii de la utilizatori. ”Cu cât mai mulți, cu atât mai bine, așa că invitația noastră e deschisă pentru toți cei care ne citesc”, spune el.

Ce au făcut, concret, în ultimii doi ani? ”Dacă în 2018 vorbeam de o bibliotecă de imagini, în 2020 putem vorbi de Tactile Images, o platformă gratuită de e-learning, o soluție educațională completă, bazată pe realitate augmentată interactivă. Profesorii și părinții o pot accesa pentru a descărca planșe, adapta planșele pe care le au deja sau crea unele noi. Tot de acolo, dar și din App Store, se poate descărca aplicația asistent, care identifică poziția degetului pe desen și vorbește cu nevăzătorul asemenea unui specialist”, ne povestește Dan, cofondatorul Tactile Images.

Foto: Dorin Moldoveanu

În plus, în 2019 au lansat Turneul Tactil, cu sprijinul OMV Petrom, în cadrul căruia au vizitat circa 30 de locuri din țară pentru a populariza proiectul.

”Am ajuns și peste hotare, la un concurs în Germania, la o conferință în Bulgaria, un hackathon în Cehia și ne-am întors apoi la un accelerator în București (ultimele două au avut loc pe Zoom, ce-i drept)”, spune Dan zâmbind.

Au inițiat și ”Tehnologia Equal”, o campanie de lobby și advocacy pentru decontarea smartphone-urilor pentru persoanele cu deficiențe de vedere, care a adunat 3,345 de semnături în online.

Bazată pe realitate augmentată interactivă, Tactile Images este prima platformă de e-learning pentru nevăzători de acest fel din lume. Pe lângă bibliotecă și aplicația asistent, ea oferă profesorilor și aparținătorilor acces la module de creare a materialelor personalizate atât de necesare, mai ales în contextul actual al izolării elevului de profesor.

”Cum ajutăm persoanele cu deficiențe de vedere? Le oferim propriul lor asistent mobil, le ducem acasă propriul specialist pentru a putea explora singuri desene reliefate și studia educația spațială, adică orice are formă și dimensiune, dar nu îți este la îndemână - de la o muscă la un bloc sau un portret”, adaugă Dan.

Fondatorul Tactile Images menționează faptul că ”umanizarea” aplicației este posibilă doar cu ajutorul tehnologiilor moderne precum inteligență artificială, realitatea augmentată interactivă, imagine recognition, language understanding, finger tracking și machine learning.

”Suntem tare bucuroși că în cadrul hackathonului Microsoft AI for Accessibility am descoperit servicii Azure precum LUIS, QnA Maker și Translatorul, pe care ne propunem să le integrăm pentru a îmbunătăți interacțiunea userului cu aplicația și de a face desenele care se autodescriu disponibile nevăzătorilor din întreaga lume prin traducerea automată a descrierilor”.

De altfel, echipa Tactile Images a început să lucreze alături de Microsoft încă de anul trecut: au primit o sponsorizare care i-a ajutat în dezvoltarea următorilor pași ai proiectului.

”Folosim acei bani și pachetul NGO de credite Azure pentru a antrena AI-ul. Am făcut și cercetare pentru a îmbunătăți procesul de machine learning cu Custom Vision. Tot ei au fost cei care ne-au recomandat hackathonului AI for Accessibility din Cehia, care tocmai s-a finalizat. A fost o experiență incredibilă, unde am cunoscut proiecte inovatoare și specialiști care ne-au prezentat tehnologii noi, precum LUIS, QnA sau Translator, pe care ne-am dori să le implementăm”, adaugă Dan.

De altfel, visul lor este de a umaniza și mai mult aplicația de mobil. De exemplu, ca aceasta să poată nu doar să descrie desenele, ci să răspundă la întrebări și să interacționeze cu utilizatorul ei exact ca un profesor.

Însă toate trăsăturile noi pe care le-a adus platforma Tactile Images, precum și aplicația de profil, la fel și planurile viitoare privind ”umanizarea” acestui tool, nu pot fi realizate fără ajutorul tehnologiei.

”Realitatea augmentată interactivă este cea care stă la baza studiului independent. Deoarece o suprapunem unei foi de hârtie, nevăzătorii pot studia desene reliefate de unii singuri. Pentru a putea fi citit de către aplicație, fiecare desen trebuie să aibă un cod QR atașat, codul fiind legătura dintre fizic și digital”, afirmă Dan, menționând faptul că alături de colegi, încă lucrează la antrenarea machine learning-ului, pentru ca aplicația să ajungă să identifice ușor degete.

Iar pentru ca algoritmul să învețe acest lucru, echipa Tactile Images le cere tuturor oamenilor cu care ajung să vorbească să trimită videoclipuri de câte 10 secunde cu mâinile lor. ”Avem nevoie de vreo 3.000”, spune amuzat Dan, precizând faptul că au făcut și un video de prezentare, pentru cei care doresc să le dea o mână de ajutor.

Totodată, deoarece își doresc să dezvolte partea de interactivitate audio, iar exemplul Microsoft pentru soluții de Language Understanding.

”Totul începe cu aplicații de genul VoiceOver, care transformă vocea în text și viceversa. Ele oferă nevăzătorilor nu doar șansa de a citi mesaje primite pe Facebook, ci și de a se integra în comunități la care altfel nu ar fi avut acces”, menționează reprezentantul Tactile Images.

Vedem cum tehnologia este și cea care ajută la îmbunătățirea vieții persoanelor cu deficiențe de vedere, oferindu-le independența de care au nevoie pentru a avea o viață normală.

”Tehnologia asistivă schimbă deja viețile nevăzătorilor. Accesoriu tiflotehnic, telefonul mobil oferă tot mai multă independență persoanelor cu dizabilități de vedere, fie că vorbim de aplicații care citesc textul de pe ecran (VoiceOver), ajută în orientare (Google Maps) sau ghicesc obiecte (Seeing AI)”, declară Dan.

În cazul nevăzătorilor, tehnologia schimbă totul - de la modul în care comunică, la educație.

Iar aici intervine Tactile Images. Care se alătură acestor soluții deja existente pe piață ca aplicație care permite nevăzătorilor să-și creeze reprezentări, reprezentări mentale ale obiectelor pe care nu le pot atinge și ale lumii înconjurătoare.

Românii au combinat în acest proiect tehnologii moderne multiple pentru a permite nevăzătorilor să studieze independent, să se integreze în școli de masă, să își dezvolte o cultură bogată, să aibă acces la joburi noi și un statut în societate.

”Mai mult decât o aplicație educațională, ea poate fi folosită pentru entertainment sau chiar shopping. Fiind un asistent în explorare, ea poate fi utilizată pentru studiul materialelor reliefate diverse, de la manuale școlare sau cataloage Zara sau IKEA”, afirmă Dan Patzelt.

Totodată, acesta precizează faptul că aplicația pe care au dezvoltat-o poate fi folosită și de copiii cu autism pentru studiul independent al materialelor personalizate.

”Sau chiar persoanele care suferă de Alzheimer pentru a studia fotografii care se autodescriu și a-și aduce aminte de unele singure cum arată prieteni, rude, cunoștințe sau chiar personalități istorice. Când ai acces la modulul de personalizare Tactile Images, orice e posibil”, adaugă el.

Declanșarea pandemiei de coronavirus nu le-a pus bariere în dezvoltarea proiectului. Chiar din contră, le-a urgentat misiunea. ”Deși educația în online nu e pentru toată lumea, putem găsi soluții tot cu ajutorul tehnologiei. Noi avem deja aplicația asistent în App Store, dar încă lucram la platforma de e-learning. Și când am văzut că elevii sunt trimiși acasă, departe de profesori, am zis că trebuie să ne facem auziți cât mai repede fiindcă noi chiar putem să ducem profesorul acasă, pentru a-i ajuta atât pe dascăli, cât și pe copii”, spune Dan.

Vede în digitalizarea orelor de curs chiar una dintre tendințele de top născute în această perioadă. ”Pandemia a revoluționat educația”, este părerea lui Dan. ”Ne-am adaptat. Până la urmă, acesta este resortul omenirii, capacitatea sa de a se reinventa. Și tehnologia ne oferă acum acces la tool-uri care să ne introducă în noul context”, adaugă el.

Noul context din care nu va lipsi educația independentă pentru nevăzători. Totul cu ajutorul tehnologiei, al inteligenței artificiale și a realității augmentate interactive.

”Nevăzătorii nu pot continua studiul educației spațiale fiindcă au nevoie de un profesor care să le ghideze mâna, explicându-le în același timp ce ating. Iar eroul care salvează educația pe timp de pandemie este tocmai tehnologia. Acum, când elevii sunt departe de profesorii lor, aplicații precum Tactile Images îi pot ajuta să își continue studiile de acasă. Cum? Profesorii pot adăuga descrieri planșelor în modulul de editare, planșe pe care să le trimită apoi părinților prin e-mail. Ne-am gândit și la moduri în care părinții să reliefeze planșe acasă, prin metode ușoare și necostisitoare. Și, desigur, aplicația de mobil va veni să transmită audio copilului nevăzător toate indicațiile notate de către profesor”, explică Dan Patzelt. 

Acesta precizează faptul că aplicația educațională Tactile Images este un asistent mobil pentru nevăzători și se poate mula ușor și în acest context. ”Asta ar însemna deschiderea către o nouă piață pentru orice business gata de colaborare”, adaugă Dan.

Foto: Dan Patzelt

Tactile Images continuă să se dezvolte în ritm rapid. Ce urmează pentru ei? De exemplu, să se extindă spre 20 de școli speciale, spre copiii cu autism. Nu uită nici de bolnavii de Alzheimer care ar putea beneficia de această inovație tehnologică.

Au reluat și proiectul Tactile Printer One, căruia i-au pus pauză în timpul stării de urgență. Este vorba despre prototipul unei imprimante tactile pe care părinții și profesorii o vor putea crea acasă pentru a avea acces mai ușor la materiale speciale, și care i-ar ajuta să le ofere acestora o soluție educațională completă: creare – reliefare – explorare independentă.

Tactile Printer One este un proiect pe care-l dezvoltă alături de o echipă extinsă, alături de Fundația Orange și de alte 5 organizații: Universitatea Politehnică Bucureşti, Lions Club Arad, Asociaţia Tandem, Fundaţia Sense International România și Biblioteca Naţională a României.

”Alte planuri? Aplicația de Android ar fi un boost foarte mare deoarece ne-ar ajuta să ajungem la tot mai mulți nevăzători”, mai spune Dan, convins că este momentul cel mai bun în care să revoluționeze educația prin tehnologie.  

Le-ar plăcea să ajungă să realizeze și cataloage precum și dicționare tactile, lipsa materialelor fiind una dintre marile probleme pe care și-au propus să le rezolve.

”Visul nostru este să fim cunoscuți în toate colțurile lumii, să revoluționăm educația nevăzătorilor, așa cum Braille a făcut-o acum 200 de ani. Dar pentru asta avem nevoie de sprijin, de oameni care își doresc să facă o schimbare. După cum zicea Kathy Calvin: „Să oferi nu înseamnă doar să faci o donație. Înseamnă să faci o schimbare.””, concluzionează Dan Patzelt, cofondatorul Tactile Images.

”Astăzi, clienții sunt în online, și nu mă refer doar la contextul pandemiei. E ceva aplicabil încă de dinainte. Investiția în tehnologie înseamnă acces la piață, înseamnă scalabilitate, indiferent de business. Accesul la digital, care oferă acces la informație, crește impactul, dar și puterea de cumpărare”.

• Fă-ți un website!
• Fă-ți o aplicație!
• Continuă să faci ședințe pe Skype!

De la cel mai simplu utilizator până la business-urile mari, măcar odată te vei întâlni cu produsele Microsoft, partenerul nostru în acest proiect și un partener al IMM-urilor din România.

Cu Microsoft 365 pentru firme, afacerile reușesc să își gestioneze afacerea în Cloud, reunind cele mai bune aplicații Office, servicii de muncă în paralel și gestionarea mai multor dispozitive. Ai de la servicii Office, până la email, calendare, posibilitatea de a face întâlniri cu până la 250 de utilizatori pe Microsoft Teams, esențial în această perioadă în care munca de la distanță a devenit o obișnuință.

Serviciile Microsoft reușesc să ofere și inteligență de business, prin date și rapoarte, iar prin programul Microsoft for Startups, compania caută acele startup-uri B2B care pot să crească și să facă afaceri în Cloud alături de business-uri din toată lumea.