Título: Reconocimiento de gestos de la mano en tiempo real usando señales electromiográficas y redes neuronales artificiales

Autor: Cristhian Motoche

Abstract:

El reconocimiento de gestos de la mano humana tiene aplicaciones en el campo científico y tecnológico. Por ejemplo, interfaces humano computador (videojuegos, control de aplicaciones, etc.), comandar una prótesis, entre otras. Estas aplicaciones requieren que el sistema de reconocimiento responda en tiempo real, es decir, que el tiempo de respuesta sea menor o igual a 300 ms y que la exactitud de reconocimiento sea de al menos un 85%. Las señales electromiográficas superficiales (sEMG), que son obtenidas por los sensores EMG del dispositivo Myo Armband, son la fuente de información de los gestos a reconocer. Las sEMG pasan por un preprocesamiento en el cual son normalizadas, rectificadas y filtradas. Posteriormente, se concatena a cada una de las muestras de las ocho señales obtenidas por cada sensor EMG del Myo Armband para formar un vector de características. Además, se concatena muestras continuas para incrementar las características de cada vector, basándonos en que las muestras posteriores conservan información del gesto realizado. La arquitectura de redes neuronales artificiales definida recibirá como datos de entrenamiento este vector de características y las respectivas etiquetas del gesto realizado. Los resultados de la red neuronal pasan por un postprocesamiento en el cual se filtra aquellos resultados cuya probabilidad sea menor que un límite definido.

Título: Sistema de reconocimiento de gestos en tiempo real para tele-operación de un brazo robótico

Autor: Jonathan Zea

Abstract:

El presente trabajo implementó un sistema de reconocimiento de cinco gestos de la mano basado en las señales electromiográficas, EMG, medidas con el brazalete Myo Armband. Los gestos por reconocer son los mismos gestos que por defecto reconoce el Myo Armband: wave in, wave out, fist, open, pinch. Para utilizar el sistema se requiere que cada usuario realice una rutina de entrenamiento. La rutina de entrenamiento recolecta la señal EMG de cada gesto repetido cinco veces. Las señales EMG son rectificadas y filtradas con un filtro pasabajos antes de su clasificación. Se utiliza el algoritmo Dynamic Time Warping, DTW, para calcular la similitud de las señales EMG. La predicción del sistema se obtiene del clasificador k-nearest neighbors, kNN.

Como aplicación se incluyó a este proyecto la tele-operación de un brazo robótico de 3 GDL. Los gestos reconocidos por el sistema de reconocimiento son utilizados como señales de activación. En cambio, cada grado de libertad, tiene como referencia uno de los ángulos de Tait-Bryan: yaw, pitch y roll. Estos ángulos son calculados a partir de la señal de orientación medida por el Myo Armband. Se diseñó un controlador PID de la posición angular de cada grado de libertad. Los controladores fueron calibrados heurísticamente utilizando una señal patrón de referencia. El brazo robótico fue implementado utilizando Lego Mindstorms EV3 y su comunicación es vía Bluetooth.

Título: Voice Activity Detection in a non-noisy environment

Autor: Dr. Josafá de Jesus Aguiar Pontes y Edgar Santiago Yépez López

Abstract:

The goal of a Voice Activity Detection (VAD) system is to differentiate among voice events and pause events within an acoustic signal [1]. By the nature of the speech, it is known that a voice event cannot occur at the same time as a pause event (a speaker cannot talk and be quiet at the same time). However, a voice event has in its composition some pause events, as is the case of the previous short silence that occurs prior the pronunciation of a voiceless stop consonant [2]. This composition of a voice event causes a decay to the hit rate that results from a VAD system strictly enforced to assure that a pause event is not a part of a voice event.

Thus, and under the assumption that the acoustic signal took place in an environment which noise presence is null or almost null, the problem is about the differentiation among voice events and pause events knowing that a pause event, occurred due to the pronunciation of a voiceless stop consonant, is contained in a voice event. Although VAD systems mainly find their application core in the Natural Language Processing field, such as the construction of an Automatic Speech Recognition (ASR) system [3], other fields also make use of VAD algorithms. In this sense, a research work [4] proposes the use of VAD systems to detect seismic activity in real time.

References:

[1]S. Graf, T. Herbig, M. Buck and G. Schmidt, "Features for voice activity detection: a comparative analysis", EURASIP Journal on Advances in Signal Processing, vol. 2015, no. 1, 2015.

[2]P. Ladefoged, Vowels and consonants. An Introduction to the Sounds of Languages. Malden, MA: Wiley-Blackwell, 2001, p. 47.

[3]L. Karray and A. Martin, "Towards improving speech detection robustness for speech recognition in adverse conditions", Speech Communication, vol. 40, no. 3, pp. 261-276, 2003.

[4]R. Lara-Cueva, A. Moreno, J. Larco and D. Benitez, "Real-Time Seismic Event Detection Using Voice Activity Detection Techniques", IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 9, no. 12, pp. 5533-5542, 2016.

Título: A system for acoustic event segmentation and alignment

Autor:Dr. Josafá de Jesus Aguiar Pontes y Aguirre Iza Stalin Patricio

Abstract:

There are several software proposals for acoustic event segmentation and alignment, the most popular being a program called Praat [1]. This software allows the creation of files containing information of acoustic events happening in an audio file. The output of this program is a file called TextGrid.

Such an output is a plain text file structured into tiers and segments. The tiers serve as different layers of information and they are made of chained segments. A segment consists of a pair of time marks which contains the start and the end timestamps they occur in an audio file. Inside a segment there is a label which contains specific information regarding that range of time for each layer. The goal for proposing a web-based system is to implement a centralized mechanism of TextGrid file manipulation, allowing more control over the files being assigned to the users who modify them. It also provides means for the execution of a collaborative work, by assigning different files or different parts of the same file to different users.

Likewise Praat, the system allows a visual representation of the tiers and segments of the TextGrid to be synchronized with the corresponding wave form. A third-part library is used to display and zoom the acoustic signals [2]. The basic operations of Praat for manipulating a TextGrid are allowed by the web-based system, such the edition of tiers and segments, as well as region selection and playback. Finally, the system communicates with another third part system for TextGrid revision purposes.

References:

[1] Boersma, Paul & Weenink, David (2017). Praat: doing phonetics by computer [Computer program]. Version 6.0.35, retrieved 1 November 2017 from http://www.praat.org/

[2] Katspaugh (2017) Wavesurfer.js [Source Code], Version 1.4.0, retrieved 1 November 2017 from https://wavesurfer-js.org/.

Título: Sistema de Reconocimiento de Gestos del Brazo Humano Aplicado a la Implementación de un Emulador de Mouse

Autor: Fabrizio Ramírez

Abstract:

El propósito principal de este trabajo es desarrollar una librería/interfaz que permita la interacción entre el sistema de reconocimientos de gestos del brazo humano diseñado en el marco del proyecto de investigación “Clasificación de señales Electromiográficas del brazo humano usando técnicas de reconocimiento de patrones y Machine Learning” y una aplicación cualquiera.

Para el desarrollo de este proyecto se ha diseñado la siguiente arquitectura: El sistema de reconocimiento interactúa directamente con el dispositivo Myo Armband del cual extrae los datos necesarios para realizar el proceso de reconocimiento de gestos y también para determinar la posición y orientación del dispositivo (Ángulos de Euler). Toda la información recolectada por el sistema es sintetizada en una trama previamente definida y enviada a la aplicación en C# a través de sockets de comunicación. La aplicación se encarga de separar e interpretar los datos obtenidos, finalmente esta información es utilizada por una aplicación; en este caso particular un “emulador de mouse” que simula el desplazamiento del cursor a través de ángulos de Euler y los eventos de mouse asociados a un determinado gesto.

Título: Sistema de Detección de Obstáculos en Tiempo Real

Autor: Andrés Guerra, Homero Arias, Ing. Henry Paz Arias

Abstract:

La detección de obstáculos en tiempo real es aplicada en diferentes campos en la comunidad científica. Por ejemplo, robótica para evitar obstáculos en un ambiente externo, aviones no tripulados, vehículos autónomos, personas con discapacidad visual, entre otras. Para lograr dicha detección es importante realizar un entrenamiento previo de los obstáculos, para ello se usa Redes Neuronales Convolucionales (RNC). El modelo se encuentra implementado como una RNC que posee una arquitectura inspirada en el modelo de GoogLeNet. La red cuenta con 24 capas convolucionales seguidas de 2 capas completamente conectadas. Las capas convolucionales iniciales se encargan de extraer las características de las imágenes mientras que las capas totalmente conectadas predicen las probabilidades de salida y las coordenadas. Para el pre-entrenamiento se utilizaron las primeras 20 capas convolucionales seguidas de una capa de pooling y una capa completamente conectada. El propósito es la modificación de las últimas capas de la RNC para detectar los elementos más relevantes en un entorno externo (postes, escaleras, etc.) para así alcanzar un porcentaje de precisión de obstáculos.

Título: Domótica mediante una Aplicación Móvil

Autor: Homero Arias

Abstract:

La domótica hoy en día es una de las ramas de la tecnología que pretende mejorar la vida de las personas. Diseñada con el objetivo de integrar componentes tecnológicos con objetos comunes en hogares, tiene el fin de ayudar en la realización de las tareas domésticas. Con este proyecto se pretende demostrar que es posible implementar un sistema de domótica de manera sencilla y económica. Para ello, se utiliza una placa Arduino con un conjunto de sensores y actuadores. La placa se encuentra conectada mediante un puerto serial a un computado. Desde el computador, es posible controlar la casa completamente mediante la implementación de un programa realizado en java que permite obtener la información los diferentes sensores y actuadores de la casa, también permite brindar un servicio web que posteriormente puede ser utilizado por una aplicación móvil, permitiendo de esta manera consultar la información de los sensores y extender el control sobre los actuadores a un dispositivo que cuente con dicha aplicación y tenga acceso al servidor. En trabajos futuros se integrará nuevos sensores de proximidad y visión computacional para detectar personas.

Título: Sistema de Reconocimiento de Gestos de la Mano en Tiempo Real Utilizando Aprendizaje Automático de Características

Autor: Edison Chung

Abstract:

El sistema de reconocimiento de gestos utiliza las señales electromiográficas (EMG) del brazo, obtenidas con la ayuda del Myo Armband. Este sistema fue diseñado para reconocer los mismos cinco gestos que el software de Myo: fist, wave in, wave out, finger spread y double pinch; utilizando aprendizaje automático de características mediante un autoencoder, para luego clasificar el vector de características resultante mediante regresión softmax.

El funcionamiento del sistema se basa en un entrenamiento previo no supervisado del autoencoder con una gran cantidad de datos, de manera que logre extraer, de cualquier señal similar, las características aprendidas. Posteriormente, estas características se utilizan para el entrenamiento supervisado del clasificador basado en regresión softmax. Gracias al uso del aprendizaje automático de características, es posible crear un modelo de clasificación general, el cual elimina la necesidad de entrenar personalmente al sistema antes de usarlo.

Título: La Evolución de los Dinosaurios y el Inicio de una Nueva Era

Autor: Roberto Andrade

Abstract:

Al analizar la evolución del ser humano sin duda nos llega a la mente la referencia de los dinosaurios que pudieron convivir con el hombre en la etapa del periodo cretácico tardío, por lo cual puede ser coincidencia o una selección muy asertiva de una empresa de juguetes y uno de los colosos de informática realizar un dinosaurio juguete para los niños menores de 9 años que utiliza inteligencia artificial para generar interactividad entre los niños y juguetes en lo que se conoce como Internet de los juguetes (Internet of Toys). Pero la idea tiene un alcance más profundo que ser solo un juguete sino ser una propuesta educativa que fortalezca los procesos de aprendizaje en los niños.

El aporte singular de esta propuesta es buscar la generación de propuestas de tutoría o acompañamiento de uno a uno (one-to-one tutoring), es necesario contar con un monitoreo del rendimiento por cada actividad y monitoreo. Aunque el uso de Inteligencia Artificial aun es considerado controversial desde el punto de vista de la privacidad y seguridad es una propuesta de valor para los procesos de aprendizaje, tanto así que nos encontramos en la importancia de que los profesores y padres conozcan las propuestas de los sistemas AIEd (Artificial Intelligence in Education).

IBM WATSON y COGNITIVE TOYS, una de las propuestas de los nuevos paradigmas educacionales.

Título: Sistema de Aurilización en Tiempo Real para un Dispositivo de Localización de Obstáculos

Autor: José Lucio

Abstract:

En este trabajo se presenta un sistema de aurilización en tiempo real que será utilizado en un dispositivo de navegación asistida para personas con discapacidad visual. Dicho sistema cumple la función de generar, en una señal de audio cualquiera, un efecto de posicionamiento tridimensional que permite al oyente determinar la ubicación de un obstáculo detectado mediante una cámara estereoscópica. Este efecto sonoro de posicionamiento se logra usando técnicas de procesamiento de señales digitales entre las cuáles se destaca la convolución segmentada, que hace uso de varias funciones contenidas en una base de datos de HRIRs (Head Related Impulse Responses). Para medir la fiabilidad de dicho sistema se realizaron pruebas para medir la calidad y precisión de los efectos de inmersión acústica generada por la misma. Las pruebas preliminares del sistema fueron realizadas dentro de un ambiente tridimensional virtual, en el cual el usuario puede modificar su posición mediante dispositivos periféricos tales como el ratón y el teclado. De esta forma, los efectos pudieron ser registrados, analizados, discutidos y finalmente validados.

Título: Reconstrucción 3D del Entorno y Localización del Obstáculo más cercano a través de LiDAR 3D y Estereoscopía Utilizando Sistemas Embebidos

Autor: José Lucio

Abstract:

En el presente trabajo se presenta el desarrollo de dos sistemas con la capacidad de reconstruir tridimensionalmente el entorno observado y con esta información localizar el obstáculo más cercano. Los métodos propuestos usan dos tecnologías diferentes: la primera, un sensor LiDAR (Light Detection and Ranging) y la segunda una cámara estereoscópica. En ambos métodos, después de obtener la reconstrucción tridimensional, los datos son procesados como nube de puntos de tres dimensiones usando la librería PCL (Point Cloud Library), la misma que incorpora una variedad de filtros enfocados al procesamiento de nubes de puntos. Para el diseño del algoritmo de localización del obstáculo más cercano se utilizó una serie de filtros que permiten: disminuir el número de puntos analizados, eliminar datos atípicos, segmentar mediante el algoritmo RANSAC y detectar los puntos más cercanos. Finalmente se realiza un análisis comparativo de los sistemas determinando la efectividad en la localización del obstáculo más cercano, tiempos de adquisición de información y procesamiento de datos al ser ejecutados en sistemas embebidos.