Signformer - Adaptación LSA-T

Adaptación del modelo Signformer para el dataset LSA-T (Lengua de Señas Argentina).

Más detalle sobre esta adaptación en el siguiente link: https://drive.google.com/file/d/19bHvYNZaxtXRSftqhzxeh7DgqvL4ZGz3/view?usp=sharing

Preparación

1. Descargar archivos del dataset LSA-T

Descargar los siguientes archivos desde este link de Google Drive:

• lsa_t.train
• lsa_t.dev
• lsa_t.test

Ubicarlos en: data/LSA-T/

2. Instalar dependencias

Importante: Este proyecto requiere Python 3.10.3

Primero instalar las dependencias generales:

pip install -r requirements.txt

Luego instalar PyTorch con soporte CUDA:

pip install torch==2.4.1+cu124 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

Finalmente instalar el optimizador Sophia:

pip install Sophia-Optimizer

Nota: El import de Sophia ya está correctamente configurado en este repo como from sophia.sophia import SophiaG.

Entrenamiento

Para iniciar el entrenamiento:

./run_in_tmux.sh --full

Este script:

• Activa el entorno virtual
• Inicia el entrenamiento usando la configuración en configs/lsa_t_config.yaml
• Ejecuta todo dentro de una sesión tmux llamada signformer_lsa

Otras opciones

./run_in_tmux.sh --test      # Solo verificar que todo esté configurado
./run_in_tmux.sh --train     # Solo entrenar (sin verificaciones)
./run_in_tmux.sh --shell     # Abrir shell interactiva con venv

Resultados

Los resultados y checkpoints se guardan en lsa_t_model/:

• best.ckpt - Mejor modelo guardado
• train.log - Log del entrenamiento
• validations.txt - Resultados de validación
• test_predictions.*.txt - Predicciones en el conjunto de prueba
• tensorboard/ - Logs de tensorboard

Configuración

El archivo de configuración principal está en configs/lsa_t_config.yaml.

Modificar los paths y parámetros según tu setup.

Créditos

Paper original de Signformer: Signformer is all you need: Towards Edge AI for Sign Language

Repositorio del modelo original: https://github.com/EtaEnding/Signformer

Dataset LSA-T: https://github.com/midusi/LSA-T