TeNDER: sfruttare le tecnologie per migliorare la qualità della vita attraverso l'identificazione dei pazienti e il riconoscimento delle emozioni
Il numero di pazienti trattati a domicilio è in rapido aumento in diversi Paesi, mentre la popolazione anziana è cresciuta negli ultimi 15 anni. Per aiutare i pazienti anziani a preservare la loro autonomia e a vivere più a lungo a casa, molti di essi ricevono trattamenti a domicilio. In questo contesto, potrebbero trovarsi in una situazione critica che richiederà ulteriore assistenza medica.
I progressi dell’ubiquitous computing e dell’Internet of Things (IoT) hanno fornito apparecchiature efficaci ed economiche, tra cui comunicazioni wireless, sensori e telecamere (ad esempio, smartphone o dispositivi embedded). L’informatica incorporata consente la diffusione di case intelligenti per la salute (Health Smart Homes, HSH), che possono supportare le cure mediche a domicilio. L’uso delle telecamere e dell’elaborazione delle immagini nell’IoT non è stato completamente esplorato nel contesto delle HSH.
L’uso delle case intelligenti per la salute è promettente. Questo concetto è nato dalla combinazione di telemedicina, prodotti domotici e sistemi informativi. Può essere definito come una casa intelligente dotata di dispositivi specializzati per l’assistenza sanitaria a distanza.
In considerazione di ciò, TeNDER sta per completare cinque progetti pilota su larga scala rivolti a pazienti affetti da Alzheimer, malattie cardiovascolari e/o Parkinson. In ogni contesto pilota (in ospedale, a casa, in case di cura diurne e a tempo pieno), i pazienti sono stati monitorati con sensori, telecamere che catturano i movimenti, tecnologia di riconoscimento affettivo, braccialetti che registrano i parametri vitali di base, ecc.
Il nostro sistema tecnologico assistivo comprende dispositivi, principalmente sensori e attuatori, che possono agire ogni volta che viene rilevata una situazione critica, aiutando gli operatori a monitorare le persone in difficoltà.
Il sistema di tecnologia assistiva Datawizard implementato nell’ambito del progetto TeNDER consiste in tre moduli dedicati all’interazione e al monitoraggio del paziente:
Modulo Chit-Chat
Il paziente pronuncia parole chiave per attivare un assistente virtuale che risponderà alla domanda specifica e, se necessario, invierà una richiesta di contatto all’operatore sanitario tramite l’app.
Come funziona?
L’assistente consiste in una serie di comandi che possono essere attivati sia dalla voce (Speech Analysis) sia da un evento rilevato da un sensore (API Information).
Da un lato, l’assistente si basa sull’analisi vocale, in quanto registra continuamente il flusso audio proveniente dal microfono, che viene inviato all’API di Google che lo traduce in testo. L’assistente attiva quindi la routine corrispondente e invia una notifica all’assistente quando necessario.
D’altra parte, si basa anche sulle informazioni API, in quanto controlla regolarmente l’API HAPI-FHIR; e se viene rilevato un nuovo evento (frequenza cardiaca irregolare, numero di passi giornalieri troppo basso, ecc.), chiede al paziente se è tutto a posto e/o invia una notifica all’assistente.
Promemoria vocale
Recupera i promemoria dal calendario dell’app Android TeNDER e li riproduce all’ora stabilita sugli altoparlanti del cliente utilizzando il motore Text-To-Speech di Microsoft.
Come funziona?
Il modulo promemoria consiste in una serie di attività eseguite regolarmente, che comunicano con l’App TeNDER tramite l’interfaccia API HAPI-FHIR. Il modulo dei promemoria controlla la presenza di promemoria nuovi o modificati e li copia in un database SQLite locale.
Se viene trovato un promemoria non programmato, il modulo pianifica l’attività “speak” corrispondente. Se l’utente ha impostato un avviso vocale per l’evento sull’app TeNDER (ad esempio, un giorno prima dell’evento effettivo), ci sarà anche un’attività “speak” di avviso.
Ogni attività “speak” utilizzerà gli altoparlanti audio predefiniti dell’host e leggerà ciò che l’utente ha scritto nel campo “Info” del promemoria TeNDER tramite il motore Text-To-Speech di Microsoft. Il modulo mantiene inoltre pulito il database SQLite locale, rilevando e rimuovendo regolarmente i promemoria scaduti o cancellati.
Riconoscimento dell’umore
Il modulo di riconoscimento degli stati d’animo legge l’audio (wav) salvato dal modulo di chat. È l’unico modulo che accede al microfono e fornisce gli input a una rete neurale che produce il riconoscimento dell’umore.
Pertanto, ogni volta che l’audio viene ritenuto rilevante per il riconoscimento dell’umore e salvato nella cartella corrispondente, questo modulo lo elabora e classifica l’emozione come risata, pianto o altro.
Come funziona?
Il modulo delle chiacchiere salva l’audio solo se sono soddisfatte una serie di condizioni. L’audio viene eliminato se:
- L’audio contiene solo silenzio o suoni di sottofondo.
- L’audio contiene dati vocali (risate e pianti).
In tutti gli altri casi, l’audio viene salvato in una cartella condivisa dal modulo chit-chat e, solo in questo caso, sarà dato in ingresso alla rete neurale. Questa pre-elaborazione viene fatta sia per evitare errori nelle previsioni sia per risparmiare energia. Infatti, ogni volta che viene riconosciuto uno stato d’animo, la rete neurale si attiva, aumentando il consumo di energia della macchina e influendo sulle sue prestazioni.
Grazie a queste e ad altre funzionalità, il progetto mira a dare agli anziani affetti da malattie una certa indipendenza per aumentare la fiducia in se stessi e migliorare la qualità della vita anche di chi li circonda.
Il nostro consorzio di progetto cerca di responsabilizzare i pazienti, aiutandoli a monitorare la loro salute e a gestire il loro ambiente sociale, i trattamenti prescritti e gli appuntamenti medici. Il sistema facilita anche la comunicazione nel percorso di cura di ogni paziente.
TeNDER non sostituisce i legami personali: fornisce un supporto, dando a tutti gli utenti più tempo per nutrire le loro relazioni, impegnarsi in attività che sono mentalmente e fisicamente benefiche, e migliorare notevolmente la qualità della vita delle persone.