El problema de usar modelos más complejos es que son más difíciles de entrenar (hacen falta algoritmos más complejos, y cuanto más parámetros tienes que estimar estadísticamente más corpus de entrenamiento necesitas, la “maldición de la dimensionalidad”), así que de momento lo que usa todo el mundo es la tontería esta, con mil hacks para intentar que tu modelo de lenguaje vaya un poco mejor que el del vecino, pero sin intentar abordar el problema real de la comprensión… pero claro, hay que publicar, y si ese hack lo metes en un artículo y cuela, pues una línea más para el currículum investigador.

Por ejemplo, para la situación que comentas sobre los elfos magos hay gente que ha propuesto un sistema de “triggers”: se buscan pares de palabras a distancias grandes tales que la aparición de una aumente la probabilidad de que en el futuro aparezca la otra.

En fin, el mundo de la investigación es apasionante… por cierto, dentro de unos meses me pongo a buscar trabajo (guiño, guiño XD)

Buah, ánimo, menudas camisas de once varas en la que os metéis.

Ese tipo de cosas se hacen de toda la vida en campos como el reconocimiento de voz, traducción automática, information retrieval… A veces es completamente imposible distinguir si en una grabación concreta se ha dicho una palabra u otra, y sin embargo para un humano no resulta un problema dado el conocimiento del lenguaje y del contexto de la conversación.

La parte “terrorífica” es que como los sistemas basados en reglas son tan poco flexibles, la gente suele tirar de modelos estadísticos, y como estimar un modelo bueno requiere cuantos más datos mejor se acaban usando en casi todas partes modelos de n-gramas: a grandes rasgos, se toma un corpus de texto de entrenamiento y se cuentan las veces que aparece cada secuencia de n palabras, y al final de este conteo se normaliza y tienes una estimación de la probabilidad de cada palabra en función de las n-1 anteriores, por ejemplo, en un 4-grama la probabilidad de “velas” despues de “estar a dos” sería elevadísima, y luego se hacen guarrerías para repartir la probabilidad de alguna forma que tenga en cuenta secuencias no vistas en el entrenamiento. A pesar de lo simple que parece, un n-grama bien estimado funciona sorprendentemente bien. (Existe algún corpus de texto etiquetado sintácticamente en forma de árboles, como el Penn Treebank, pero es un trabajo de chinos y me imagino que se dejarían un pastón en lingüistas analizando frases )

Si te aburres mucho puedes generar un modelo de n-gramas a partir de tus posts y luego generar texto aleatoriamente a partir de ahi XD.