•Notícia

L'objectiu de la recerca de la UPC amb la creació d’aquesta Smart Room és que els ordinadors sàpiguen què passa al seu voltant per deixar de ser unes eines de les quals només podem obtenir ajuda com a reacció a comandes molt específiques de l'operador. Si els ordinadors coneixen el seu entorn, podran adaptar-se i interactuaran amb nosaltres més com ho fem les persones. Les tecnologies d'interfície perceptual han de permetre que, en un futur no gaire llunyà, els sistemes informàtics ens puguin ajudar millor, amb els seus serveis d'informació, a fer la nostra feina de cada dia. El responsable del projecte a la UPC és Josep R. Casas del Grup d'Imatge, juntament amb Climent Nadeu i Jordi Turmo, dels Grup de Veu i del Grup de Llenguatge Natural integrats en el Centre de Tecnologies i Aplicacions del Llenguatge i la Parla (TALP)

L’Smart Room, un projecte desenvolupat a l'Escola Tècnica Superior d’Enginyeria de Telecomunicació de Barcelona (ETSETB), és un espai intel·ligent configurat com una sala de reunions, amb una taula central i cadires al voltant. Una de les parets és mòbil i permet convertir la sala en un aula amb el laboratori adjacent. S’hi ha instal·lat una xarxa de sensors àudiovisuals (càmeres i micròfons), equips de sincronització i adquisició, una xarxa informàtica, ordinadors per al processament, projector de vídeo, etc. La sala intel·ligent és una instal·lació imprescindible per als investigadors de la UPC que fan activitats de recerca en interfícies multimodals. Els senyals àudiovisuals adquirits permeten desenvolupar tècniques d’anàlisi d’àudio i vídeo i experimentar amb demostradors els serveis que es podrien oferir en les dues configuracions de sala de reunions i aula docent.

L’Smart Room de la UPC forma part del projecte europeu CHIL, Computers in the Human Interaction Loop, un projecte amb 15 socis de diferents països, universitats i centres de recerca d’arreu d’Europa i dels Estats Units, que investiguen tecnologies d’interfície entre persones i ordinadors. CHIL estudia tecnologies d’anàlisi que generen descripcions de l’entorn i els esdeveniments que es produeixen en un espai intel·ligent, així com les eines imprescindibles per a la interacció amb les persones.

A llarg termini, l’objectiu fonamental de CHIL és canviar el paradigma de les interfícies informàtiques (HCI – Human Computer Interfaces). Actualment el centre d’atenció és l’ordinador i, en el futur, es vol centrar l’atenció en l’usuari i no en la màquina. Els ambients intel·ligents han de disposar d’informació relativa al qui, que, com, on, quan i perquè de les persones presents en aquest entorn d’interacció, per tal d’actuar i interaccionar correctament.

Els senyals dels sensors àudiovisuals són processats per sistemes de computació distribuïts en una arquitectura d’agents amb diferents nivells de complexitat. Al nivell inferior hi ha la infraestructura de xarxa i els fluxos de senyals d’àudio i vídeo que alimenten les anomenades components perceptuals. En un nivell intermig, aquests components perceptuals són els elements bàsics que detecten el qui, què, com, on quan i perquè. Models particulars de l’entorn, les persones i de les relacions entre ells permeten inferir la situació que es produeix. Al nivell superior, l’anàlisi de la situació detectada faculta al sistema per decidir com proveir el servei (d’informació) adequat en cada moment.

CHIL desenvolupa prototips de serveis bàsics com a demostradors de la utilitat de l’anàlisi de l’entorn i de les interfícies multimodals. D’aquests serveis en destaquem dos. El ‘Memory Jog’, que actua d’ajuda a la memòria, proveint informació pertinent de manera proactiva o reactiva. Per exemple, imaginem que en una reunió ens trobem amb una persona de qui no recordem el nom. El sistema pot proporcionar informació de forma automàtica de qui és aquesta persona. El ‘Connector’ és un altre servei que ajuda a posar en contacte a les persones a través del dispositiu adient en el moment adequat. Això evita la situació d’haver de fer múltiples trucades infructuoses i, sovint, inoportunes, per tal de trobar el moment per comunicar-se amb un interlocutor.

Els aspectes relacionats amb el llenguatge, com el reconeixement de la parla, són fonamentals en l’anàlisi de l’activitat humana per a la interacció en espais intel·ligents. Actualment, s’investiguen reconeixedors robustos de la parla amb micròfons distants, de manera que no es destorbi a les persones fent-los portar a sobre cables i les petaques dels micròfons. D’altra banda, les tecnologies visuals treballen en l’anàlisi de presència, localització i moviments de les persones, en el reconeixement de les cares, en la detecció de gestos, mirades i postures, i en la detecció d’activitats, actituds i interaccions. Les tècniques de detecció, classificació i reconeixement basades en senyals de múltiples sensors —com ara localització visual i acústica, reconeixement de persones per la veu i la cara, o detecció d’activitat pel so i les imatges— prometen millorar la robustesa dels sistemes d’anàlisi actuals.

Com a exemple pràctic de l'anàlisi acústica de l'escena, imaginem que fem tard a una reunió de treball. El sistema d'anàlisi perceptual pot haver reconegut qui ha parlat i el que ha estat dient durant la part de la reunió que ens hem perdut i, al moment d'entrar a la reunió, informar-nos amb un resum del que ha passat mentre no hi érem. Per assolir aquest objectiu caldrà: 1) localitzar els parlants, 2) focalitzar la sensibilitat acústica de la sala en les seves posicions per tenir senyals més nets de soroll i interferències en els micròfons distants, 3) identificar els intervals en què han parlat, 4) processar el senyal amb un reconeixedor de la parla que generi una transcripció del que s'ha dit i, finalment, 5) processar amb un resumidor aquesta transcripció per generar-ne un resum.

Si ens centrem en les tecnologies d’anàlisi visual, reconèixer l’activitat humana tampoc resulta fàcil. Les persones oferim una imatge molt variable als sensors: el nostre cos és dinàmic, articulat i deformable, l’usem per a actuar en l’entorn, per expressar-nos i interaccionar amb els altres, ens agrada cobrir-nos amb teixits diferents i objectes diversos i, sovint, acostumem a aparèixer en grup més que no pas aïlladament, generant oclusions que dificulten la visió. Tot i els obstacles esmentats, el processament de les imatges que “veuen” les càmeres situades en l’entorn pot proporcionar al sistema informació rellevant per “entendre” l’escena.

Pel que fa a l’anàlisi visual de l’escena, l’extracció de dades sobre la posició, actitud o gestos de les persones permet obtenir informació d’alt nivell semàntic de l’entorn observat: des de saber si una persona està dreta o asseguda, fins a fer el recompte de vots (a mà alçada) en una votació o detectar l’activitat que s’està desenvolupant a la sala. L’Smart Room de la UPC permet generar una reconstrucció virtual 3D de l’escena a partir de les imatges de múltiples càmeres.

L’anàlisi de la reconstrucció 3D permet detectar-hi persones (per diferenciar-les d’una cadira, per exemple) i analitzar la seva estructura ajustant-hi un model jeràrquic del cos humà. En funció de la complexitat del model, es poden obtenir informacions amb diferent nivell de detall sobre l’actitud postural de la persona, o es pot fer una anàlisi semàntica de més alt nivell per detectar interaccions entre individus, com ara la detecció on es concentra l’atenció dels assistents a una reunió en funció d’on està mirant cada persona.

La combinació "multimodal" de les tecnologies d'anàlisi acústica i visual augmenta la robustesa i la capacitat del sistema per entendre l'entorn. Encara som molt lluny del dia que podrem confondre el comportament d’una màquina amb el d’una persona; el dia en què la màquina ens entendrà i es comportarà “naturalment”. Els investigadors treballen per avançar en aquest àmbit cap a l’objectiu de fer-nos la vida més fàcil i còmoda. Infraestructures com les sales intel·ligents permeten als investigadors treballar en tecnologies d’interfícies multimodals per als sistemes d’interacció natural. Sistemes que processen els senyals que “veuen” i “senten” els sensors, que “entenen” el seu entorn sense esperar que algú els digui quin és. Ordinadors-ajudants que trien adequadament els senyals que “mostren” i “diuen” a les persones. Sistemes, en definitiva, capaços de gestionar la complexitat de la interacció humana per donar resposta a les nostres necessitats d’informació i comunicació.