Enfoque: Entender cómo la luz se convierte en datos digitales y cómo gestionarlos en la memoria del ESP32-S3.

Teoría y Fundamentos:

• Arquitectura ESP32-S3: Diferencias con el ESP32 clásico, instrucciones vectoriales (SIMD) para aceleración de IA, gestión de memoria (SRAM vs PSRAM Octal).

• Sensor de Imagen (OV2640/OV5640): Interfaces DVP vs CSI, formatos de píxel (RGB565, YUV422, Grayscale, JPEG), configuración de registros (resolución vs framerate).

• Drivers y Buses: El componente esp32-camera, configuración de pines y DMA (Direct Memory Access). Bus SPI para pantallas.

Prácticas:

– Práctica 1: “El Inspector de Cámara” (Camera Shutter Check)

• Objetivo: Crear proyecto vacío, integrar esp32-camera, inicializar sensor y tomar un snapshot.
• Resultado: Reporte en Serial Monitor de resolución, tamaño en bytes, formato y dirección de memoria del buffer.

– Práctica 2: “Visión Matricial” (ASCII Art)

• Objetivo: Acceso a píxeles crudos (RAW). Conversión de RGB565 a Escala de Grises (Luminancia). Algoritmo de mapeo de intensidad a caracteres ASCII.
• Resultado: Visualización de la imagen capturada renderizada como texto en la terminal serie en tiempo real.

– Práctica 3: “El Espejo Digital” (Integración LCD ST7789)

• Objetivo: Pipeline de video completo: Cámara (DVP) -> PSRAM -> SPI -> LCD. Configuración de esp_lcd y manejo de buffers para evitar tearing.

Resultado: Un visor de cámara fluido en la pantalla de la tarjeta a 240×240 px.

Enfoque: Sacar la imagen del dispositivo hacia el mundo exterior.

Teoría y Fundamentos:

• Protocolos de Streaming: HTTP vs WebSocket vs RTSP.
• Compresión: Concepto de MJPEG (Motion JPEG). Estructura de paquetes HTTP (Multipart responses).
• Optimización Wi-Fi: Modos de alto rendimiento para transmisión de datos masiva.

Prácticas:

– Práctica 4: Transmisión de Video en Tiempo Real (Video Streaming)

• Desarrollo: Crear un servidor HTTP ligero usando esp_http_server. Implementar el handler GET para servir el stream MJPEG.
• Caso de Uso: Dashcam para Robótica. Montar el ESP32 en un chasis móvil, permitiendo navegación FPV (First Person View) a través de Wi-Fi.

Enfoque: Procesamiento clásico de imágenes para tareas rápidas y deterministas.

Teoría y Fundamentos:

• Procesamiento de Imagen: Binarización, Detección de Bordes, Umbralización.

• Decodificación de Patrones: Estándares QR y Code128. Librerías ligeras (Quirc / ZBar portado).

• Detección de Movimiento: Algoritmos de diferencia de fotogramas (Frame Differencing) y regiones de interés (ROI).

Prácticas Sugeridas:

– Práctica 5: Seguridad y Vigilancia Inteligente

• Desarrollo: Implementar algoritmo de comparación de buffers (Frame actual vs Frame anterior). Si la diferencia de píxeles supera un umbral, disparar una alerta.
• Caso de Uso: Cámara de Seguridad Wi-Fi de Bajo Consumo. El sistema permanece en espera y solo transmite/graba cuando detecta cambios en la escena.

– Práctica 6: Lector Industrial de Códigos

• Desarrollo: Integrar librería de decodificación. Capturar frame, recortar ROI central, binarizar y pasar al decodificador.
• Caso de Uso: Lector de Códigos QR y Barras. Escanear un código de producto y enviar el ID a un servidor MQTT simulando un control de inventario.

Enfoque: Uso de Redes Neuronales Convolucionales (CNN) optimizadas por Espressif.

Teoría y Fundamentos:

• Redes Neuronales en el Borde: Qué es un Modelo (Pesos y Arquitectura). Cuantización (Float32 vs Int8) para microcontroladores.
• ESP-DL y ESP-WHO: Estructura de la librería ESP-WHO. Modelos incluidos (MNNet para detección, MobileFaceNet para reconocimiento).
• Pipeline de IA: Pre-procesamiento (Resize/Normalization) -> Inferencia -> Post-procesamiento (Non-max suppression).

Prácticas:

Práctica 7: Monitoreo de “Presencia Humana”

• Desarrollo: Implementar el modelo de Detección de Personas (Human Face/Body Detection).
• Caso de Uso: Ahorro Energético Inteligente. Si el modelo detecta una persona durante 10 segundos, activa un relé (LED); si no detecta a nadie por 1 minuto, apaga el sistema.

Práctica 8: Control de Acceso por Reconocimiento Facial

• Desarrollo: Pipeline de dos etapas: Detección de Rostro -> Alineación -> Extracción de ID (Embedding). Uso de NVS (Flash) para guardar los vectores de características de usuarios “Autorizados”.
• Caso de Uso: Cerradura Inteligente. Botón de “Enrolar” para guardar una cara nueva. Al detectar esa cara posteriormente, muestra “Acceso Concedido” en la LCD y mueve un servomotor.

Práctica 9: Interacción Humano-Máquina (HMI) sin contacto

• Desarrollo: Utilizar modelos de detección de manos y clasificación de landmarks (puntos clave de la mano).
• Caso de Uso: Detección de Gestos. Controlar el menú de la LCD (Arriba/Abajo/Seleccionar) simplemente moviendo la mano frente a la cámara (Palma abierta vs Puño cerrado).

Enfoque: Salir de los modelos pre-fabricados de Espressif y crear soluciones propias.

Teoría y Fundamentos:

• Ciclo de Vida TinyML: Recolección de Datos -> Entrenamiento -> Conversión (TFLite) -> Despliegue (C++ Header).
• Plataformas: Introducción a Edge Impulse o TensorFlow Lite for Microcontrollers.
• Clasificación de Imágenes (Transfer Learning): Reutilizar redes como MobileNetV2 cortadas para tareas específicas.

Prácticas Sugeridas:

Práctica 10: Clasificación de Objetos Industriales

• Desarrollo: Recolectar dataset propio (ej. tuercas vs tornillos, o manzanas rojas vs verdes). Entrenar modelo en Edge Impulse. Exportar librería C++. Integrar en ESP-IDF.
• Caso de Uso: Clasificación en Línea de Ensamblaje. El sistema identifica qué objeto pasa y lo cuenta en la pantalla LCD.

Práctica 11: Digitalización de lo Analógico (OCR / Regresión)

• Desarrollo: Entrenar un modelo para reconocer la posición de una aguja o leer dígitos de 7 segmentos.
• Caso de Uso: Lectura de Medidores Analógicos. Apuntar la cámara a un manómetro y enviar el valor numérico (PSI/Bar) vía Wi-Fi.

Enfoque: Aprovechar el micrófono digital de la tarjeta ESP32-S3-EYE.

Teoría y Fundamentos:

• Audio Digital: Protocolo I2S, PDM vs PCM. Frecuencia de muestreo.
• Procesamiento de Voz: Algoritmos AEC (Acoustic Echo Cancellation), NS (Noise Suppression), VAD (Voice Activity Detection).
• Modelos de Audio: Palabras clave (KWS – Keyword Spotting) y Redes Neuronales Recurrentes (RNN/LSTM) simplificadas.

Prácticas Sugeridas:

Práctica 12: Comandos de Voz Offline

• Desarrollo: Implementar MultiNet (modelo de comandos de voz de Espressif). Definir comandos personalizados en español o inglés.
• Caso de Uso: Asistente de Voz Local. Sistema que espera la palabra clave “Hi ESP” (Wake Word) y luego ejecuta comandos como “Encender Luz” (Switch inteligente).

Práctica 13: Seguridad Acústica

• Desarrollo: Entrenamiento o uso de red pre-entrenada para clasificación de espectrogramas de audio.
• Caso de Uso: Reconocimiento de Sonidos Anómalos. Monitor que ignora la voz humana pero dispara una alarma si detecta frecuencias de rotura de vidrio o alarmas de incendio.

Enfoque: Unir Visión, Audio, Conectividad y Gestión de Energía.

14. Práctica Final: El “Ojo” Autónomo Industrial

    • Desafío: Integrar lo aprendido.

      • Modo Deep Sleep por defecto.

      • Despertar por Audio (Ruido fuerte) o Timer.

      • Al despertar, tomar foto y analizar Ocupación de Espacios (contar personas).

      • Si hay cambios, conectarse a Wi-Fi y enviar telemetría e imagen.

      • Volver a dormir.

    • Objetivo: Demostrar dominio completo del hardware y software SDK.