Datos: de dónde vienen y qué hacer cuando no hay
Tres preguntas antes de empezar
Dónde reside la información físicamente y quién tiene acceso; en qué estado está: formato, completitud, duplicados; y si está permitido usarla para este propósito. La tercera detiene más proyectos que las dos primeras.
Cuando no hay etiquetado
Empieza pequeño: doscientos ejemplos bien etiquetados valen más que diez mil etiquetados descuidadamente. Escribe guías de etiquetado, etiqueta una muestra dos veces, y mide el acuerdo entre etiquetadores: el desacuerdo indica una definición vaga, no trabajadores malos.
También puedes generar un etiquetado inicial con un modelo y corregir a mano. Es rápido, y requiere revisar la muestra para no perpetuar sesgos.
La limpieza que compensa
Fusionar entidades duplicadas, normalizar el texto hebreo, corregir fechas y números, y eliminar registros sin significado. La mayor parte del salto en calidad viene de aquí, no de un modelo mejor.
En profundidad
Guarda los datos con versiones: qué muestra se usó para qué evaluación. Sin eso, comparar dos ejecuciones hechas en semanas distintas no tiene sentido, y no puedes saber si mejoraste o si simplemente cambiaron los datos.