Técnicas de Interacción Avanzadas

¿Qué Aprenderemos Hoy?

• Explicar el funcionamiento y aplicaciones del Seguimiento Ocular (Eye Tracking) en HCI.
• Describir técnicas basadas en Smooth Pursuit (Pursuits, Orbits, AmbiGaze).
• Comprender fundamentos de Reconocimiento/Síntesis del Habla y NLP.
• Detallar cómo funcionan EM-Sense y Electrick.
• Identificar técnicas de interacción específicas para móviles y wearables.

Introducción: Más Allá de lo Convencional

• La computación ubicua impulsa el desarrollo de técnicas de interacción especializadas y novedosas.
• Se busca aprovechar diferentes modalidades sensoriales (mirada, oído), explotar fenómenos físicos sutiles (ruido EM) o adaptarse a nuevos factores de forma (wearables).

Seguimiento Ocular y Gaze Input

• Eye Tracking: Tecnología que mide hacia dónde mira una persona o el movimiento del ojo.
• Gaze Input: Usa la información del eye tracking como método de entrada (control con la mirada).
• Tecnología Común: Cámaras infrarrojas que rastrean pupilas.
• Desafíos Tradicionales: Calibración necesaria, Problema "Toque de Midas" (distinguir mirar de activar), Precisión (movimientos oculares naturales).

Movimientos Oculares de Smooth Pursuit

• Son movimientos oculares específicos que realizamos para seguir visualmente un objeto que se mueve suave y predeciblemente.
• No podemos generarlos voluntariamente sin un estímulo visual en movimiento.
• Base para técnicas de interacción más robustas y sin calibración.

Técnicas basadas en Smooth Pursuit

• Pursuits: Seleccionar objetivo siguiendo su trayectoria en movimiento en pantalla (sin fijación, sin calibración).
• Orbits: Adaptación para Smartwatches; se siguen 'satélites' que orbitan controles.
• AmbiGaze: Extensión a entornos inteligentes; se sigue animación del propio dispositivo a controlar (lámpara, ventilador).

Reconocimiento del Habla

• Función: Convierte señal de audio del habla humana en texto o comandos.
• Tecnología: Compara audio con modelos acústicos (fonemas) y de lenguaje (probabilidad palabras).
• Aplicaciones HCI: Comandos de voz (manos libres), dictado, asistentes virtuales (Siri, Alexa), transcripción.

Síntesis del Habla (Text-to-Speech)

• Función: Convierte texto escrito en habla artificial audible.
• Tecnología: Analiza texto, determina pronunciación (fonemas), genera audio con prosodia (entonación, ritmo).
• Aplicaciones HCI: Lectura de pantalla (accesibilidad), notificaciones audibles, respuestas IVR, asistentes virtuales.

Sistemas de Diálogo Hablado

• Combinan Reconocimiento y Síntesis del Habla.
• Permiten conversaciones bidireccionales humano-máquina.
• Fundamentales para los asistentes virtuales modernos (Siri, Alexa, Google Assistant).

Procesamiento del Lenguaje Natural

• Campo de IA enfocado en que las computadoras comprendan y generen lenguaje humano (texto o habla) de manera significativa.
• Va más allá de convertir audio a texto; busca entender el significado y la intención.

NLP - Capacidades

• Análisis Léxico y Sintáctico (estructura gramatical).
• Análisis Semántico (significado palabras/frases).
• Análisis Pragmático (intención, contexto).
• Análisis de Sentimientos (polaridad emocional).
• Generación de Lenguaje Natural (NLG - crear texto coherente).

NLP - Aplicaciones HCI

• Traducción Automática.
• Resumen Automático de Textos.
• Sistemas de Pregunta-Respuesta (Question Answering).
• Chatbots y Asistentes Conversacionales (más naturales).
• Análisis de Opiniones (reviews, redes sociales).
• Corrección Gramatical / Asistencia a la Escritura.

EM-Sense - Concepto y Funcionamiento

• Técnica para reconocer objetos tocados basándose en su 'ruido' electromagnético (EM) característico.
• Principio: Objetos eléctricos emiten ruido EM único; el cuerpo humano conduce esta señal al tocar; un sensor corporal (wearable) capta la señal; Machine Learning la clasifica.

EM-Sense - Aplicaciones

• Interacciones Contextuales Automáticas (ej: tocar cepillo dientes -> iniciar timer).
• Reconocimiento de Actividad (basado en secuencia objetos tocados).
• Identificación de Estado del dispositivo (encendido/apagado).
• Autenticación (tocar objeto personal específico).
• Mensajería asociada a objetos.

Electrick - Concepto y Funcionamiento

• Técnica para convertir superficies y objetos de formas arbitrarias en interfaces táctiles de bajo costo.
• Basado en Tomografía de Campo Eléctrico (EFT).
• Principio: Se aplican electrodos al perímetro de un objeto/superficie conductora; se induce campo eléctrico; al tocar, el cuerpo altera el campo; el sistema localiza el toque triangulando los cambios.

Electrick - Ventajas y Aplicaciones

• Ventajas: Bajo Costo, Versatilidad (formas irregulares, flexibles), Escalabilidad, Prototipado Rápido (con impresión 3D conductiva).
• Aplicaciones: Interfaces táctiles personalizadas en objetos, paredes interactivas, juguetes educativos, controles embebidos (muebles, ropa).

Interacción en Móviles y Wearables

• Smartphones y Smartwatches son plataformas centrales para UbiComp.
• Características (portabilidad, conectividad, sensores) y limitaciones (pantalla pequeña, uso a una mano, contextos variables) impulsan técnicas específicas.

Móviles/Wearables - con Gestos

Gestos Táctiles Optimizados:

• Interacción a una mano (ergonomía pulgar).
• The Fat Thumb: Usa tamaño contacto pulgar como input extra (ej: pan vs zoom).
• Combinación Entradas: Pulgar + Lápiz óptico en tablets (Thumb+Pen Interaction).

Móviles/Wearables - Manos Libres

• Entrada por Mirada en Wearables: Orbits (usa Smooth Pursuit en smartwatches).
• Entrada Acústica No Vocal: Whoosh (reconoce tipos de soplos en smartwatch, potenziabile con Flutecase).
• Comandos de Voz y Asistentes.

Móviles/Wearables - Otros / Multi-dispositivo

• Uso de Cámara: Sequence (control por movimientos rítmicos), CameraKeyboard (input texto).
• Interacción Multi-dispositivo: Smartphone como controlador (Touch&Screen, SleeD), Continuidad entre dispositivos.

Conclusión Lección 6 / Próximos Pasos

• Exploradas técnicas avanzadas: Eye Tracking (Smooth Pursuit), Habla/NLP, EM-Sense, Electrick, Interacción Móvil/Wearable.
• Estas técnicas expanden las posibilidades de interacción en entornos ubicuos.

Próxima Lección: Prototipado de Sistemas Interactivos Ubicuos

​

Actividad

https://forms.office.com/r/99rLQXmXHg