marcciosilva / proygrado Goto Github PK

Los datos crudos son los archivos .in y .out que se generan en la ruta local ./ejemplos-entrenamiento-separados.
Como el training_example_generator.py usa al ejecutable generator, y éste genera un archivo en su ruta local, que después es borrado por el mismo script de Python, pueden ocurrir problemas de concurrencia por estar corriendo varios threads con el mismo script .
Hoy por hoy en el script generar_jobs.py se tiene una variable que permite generar un job únicamente para generación de datos crudos; la idea de este issue es resolver ese problema de concurrencia (por ejemplo haciendo que el generator deje su output en un archivo específico para cada tipo de problema, o usando algún tipo de lock sobre su archivo generado) para que tanto la generación de datos crudos como el parsing puedan ser divididos en tareas paralelas.

Estuve trabajando un poco con esto pero hace falta cambiar toda la base de código para que quede consistente