Rosomachine
Detección de sonidos en carreteras
Murcia, 22 diciembre 2021
Javier Abellán, José Miguel Bolarín
Raquel Espinosa, Miguel Miñano
Federico Pardo
CENTIC
Centro Tecnológico de las Tecnologías de la Información y las Comunicaciones de la
Región de Murcia
Índice
2
1
¿Por qué surge este proyecto?
3
4
Objetivo principal:
Monitorizar el estado, funcionamiento y tránsito de las carreteras
5
¿Cómo?
Mediante la identificación de eventos
6
Mediante una cámara
7
Mediante un micrófono
8
| Ventajas | Desventajas |
|
|
|
|
|
|
Ventajas VS Desventajas
9
El sonido supone un mayor componente de investigación debido a menor uso respecto a la imagen.
2
Investigación acerca de
Deep Learning + Audio
10
11
Representación del sonido
De onda a imagen
12
Representación del sonido
Espectrograma: Aplicación de la transformada Fourier (FFT) en cada instante de tiempo.
Logaritmo del espectrograma Dar más resolución a la frecuencias bajas.
Espectrograma de Mel: Dar más resolución a la frecuencias bajas (imita oído humano).
Escalograma: Transformación basada en Wavelets.
MFCC: Coeficientes Cepstrales en las Frecuencias de Mel.
Modelo de Deep learning
Modelos de imágenes
Modelo de Deep learning
Modelos de imágenes
3
¿Qué hemos hecho?
15
Creación de un dataset
Muchos datasets, pero la mayoría
muy pequeños y con pocas clases.
Creación de un dataset
Excepto Freesound y Audioset,
Los datasets grandes
(sonidos de todo tipo)
Creación de un dataset
Se han seleccionado sólo aquellas clases que nos interesaban (sonidos de carreteras)
Creación de un dataset
Sounds_of_things Vehicle Motor_vehicle_(road) Car Car_passing_by Skidding Tire_squeal Race_car_Auto_racing Vehicle_horn_Car_horn_Honking Truck Air_horn_Truck_horn Bus Emergency_vehicle Police_car_(siren) Ambulance_(siren) Fire_engine_Fire_truck_(siren) Motorcycle Traffic_noise_Roadway_noise Engine Light_engine_(high_frequency) Chainsaw Medium_engine_(mid_frequency) Heavy_engine_(low_frequency) Engine_starting Idling Accelerating_Revving_Vroom Alarm Siren Source-ambiguous_sounds Generic_impact_sounds Smash_Crash Breaking Natural_sounds Wind Howl_(wind) Rustling_leaves Wind_noise_(microphone) Water Rain Raindrop Rain_on_surface Thunderstorm Thunder Animal Wild_animals Bird Bird_vocalization_Bird_call Chirp_Tweet Squawk Bird_flight_Flapping_wings Insect Cricket Mosquito Fly_Housefly Buzz Bee_Wasp
Creación de un dataset
Sounds_of_things Vehicle Motor_vehicle_(road) Car Car_passing_by Skidding Tire_squeal Race_car_Auto_racing Vehicle_horn_Car_horn_Honking Truck Air_horn_Truck_horn Bus Emergency_vehicle Police_car_(siren) Ambulance_(siren) Fire_engine_Fire_truck_(siren) Motorcycle Traffic_noise_Roadway_noise Engine Light_engine_(high_frequency) Chainsaw Medium_engine_(mid_frequency) Heavy_engine_(low_frequency) Engine_starting Idling Accelerating_Revving_Vroom Alarm Siren Source-ambiguous_sounds Generic_impact_sounds Smash_Crash Breaking Natural_sounds Wind Howl_(wind) Rustling_leaves Wind_noise_(microphone) Water Rain Raindrop Rain_on_surface Thunderstorm Thunder Animal Wild_animals Bird Bird_vocalization_Bird_call Chirp_Tweet Squawk Bird_flight_Flapping_wings Insect Cricket Mosquito Fly_Housefly Buzz Bee_Wasp
Creación de un dataset
Sounds_of_things Vehicle Motor_vehicle_(road) Car Car_passing_by Skidding Tire_squeal Race_car_Auto_racing Vehicle_horn_Car_horn_Honking Truck Air_horn_Truck_horn Bus Emergency_vehicle Police_car_(siren) Ambulance_(siren) Fire_engine_Fire_truck_(siren) Motorcycle Traffic_noise_Roadway_noise Engine Light_engine_(high_frequency) Chainsaw Medium_engine_(mid_frequency) Heavy_engine_(low_frequency) Engine_starting Idling Accelerating_Revving_Vroom Alarm Siren Source-ambiguous_sounds Generic_impact_sounds Smash_Crash Breaking Natural_sounds Wind Howl_(wind) Rustling_leaves Wind_noise_(microphone) Water Rain Raindrop Rain_on_surface Thunderstorm Thunder Animal Wild_animals Bird Bird_vocalization_Bird_call Chirp_Tweet Squawk Bird_flight_Flapping_wings Insect Cricket Mosquito Fly_Housefly Buzz Bee_Wasp
Creación de un dataset
Sounds_of_things Vehicle Motor_vehicle_(road) Car Car_passing_by Skidding Tire_squeal Race_car_Auto_racing Vehicle_horn_Car_horn_Honking Truck Air_horn_Truck_horn Bus Emergency_vehicle Police_car_(siren) Ambulance_(siren) Fire_engine_Fire_truck_(siren) Motorcycle Traffic_noise_Roadway_noise Engine Light_engine_(high_frequency) Chainsaw Medium_engine_(mid_frequency) Heavy_engine_(low_frequency) Engine_starting Idling Accelerating_Revving_Vroom Alarm Siren Source-ambiguous_sounds Generic_impact_sounds Smash_Crash Breaking Natural_sounds Wind Howl_(wind) Rustling_leaves Wind_noise_(microphone) Water Rain Raindrop Rain_on_surface Thunderstorm Thunder Animal Wild_animals Bird Bird_vocalization_Bird_call Chirp_Tweet Squawk Bird_flight_Flapping_wings Insect Cricket Mosquito Fly_Housefly Buzz Bee_Wasp
Creación de un dataset
3
¿Qué hemos hecho?
24
Entrenamiento del modelo
Modelos de imágenes
MODELO
(CNN)
Entrenamiento del modelo
¿Qué recursos se han utilizado?
Software
Hardware
Evolución del modelo durante entrenamiento
Loss (BCE)
Accuracy
3
¿Qué hemos hecho?
29
Ejemplo de audio en la autovía A30
Ejemplo de audio en carretera secundaria
Ejemplo de audio en centro de Murcia ciudad
36
Código
https://github.com/CenticMurcia/proyecto-ROSOMACHINE
Casi todos los dispositivos electrónicos en la actualidad cuentan con micrófonos.
Comparada con las imágenes, el sonido no se ha utilizado tanto para monitorización.
Esta tecnología se pueden diferentes tipos de ámbitos: industria, logística, agricultura, ganadería, etc.
Conclusión
Muchas gracias
CENTIC
Centro Tecnológico de las Tecnologías de la Información y las Comunicaciones de la
Región de Murcia
39
Desde el Centic además ofrecemos:
Formación
Asesoría
Proyecto
centic@centic.es