Ante la incertidumbre de las respuestas, los modelos se arriesgan a inventar\u2026 \u00bfDebemos preocuparnos?
<\/p>\n\n\n\n
Miguel \u00c1ngel Romero<\/p>\n\n\n\n
SemM\u00e9xico, Cd. de M\u00e9xico, 10 de septiembre,2025.- Un examen estandarizado revela un dilema conocido: frente a una pregunta en la que se desconoce por completo la respuesta, resulta mejor marcar cualquier opci\u00f3n que dejar el espacio vac\u00edo. La probabilidad de acertar<\/strong> aun no teniendo la m\u00e1s m\u00ednima idea es latente. Esa l\u00f3gica escolar, aparentemente inocua, se traslada a los sistemas de inteligencia artificial<\/strong> que hoy median b\u00fasquedas, redacciones y diagn\u00f3sticos.<\/p>\n\n\n\n Es decir, cuando enfrentan una consulta para la que no cuentan con evidencia suficiente<\/strong>, pasan al siguiente nivel en el que deciden elaborar una conjetura y presentarla con suficiente confianza. Dicha problem\u00e1tica recibe entre los especialistas el nombre de \u201calucinaci\u00f3n\u201d<\/strong>, una categor\u00eda que combina aparente certeza y falsedad convincente<\/strong>.<\/p>\n\n\n\n El fen\u00f3meno fue abordado en el estudio publicado la semana pasada titulado \u201cWhy Language Models Hallucinate\u201d<\/strong>, elaborado por algunos de los protagonistas del equipo de OpenAI<\/strong>, creadores de ChatGPT<\/strong>. Su investigaci\u00f3n muestra que estas respuestas inventadas<\/strong> no son accidentes aislados, sino consecuencias directas de los incentivos<\/strong> que gu\u00edan el entrenamiento y la evaluaci\u00f3n de la tecnolog\u00eda.<\/p>\n\n\n\n El an\u00e1lisis se apoya en la teor\u00eda del aprendizaje computacional<\/strong> en el que producir una respuesta \u201cv\u00e1lida\u201d est\u00e1 por encima de calificarla entre verdad y error. Cuando los datos incluyen hechos singulares<\/strong> -como una fecha mencionada una sola vez en millones de documentos-, la predicci\u00f3n se debilita estad\u00edsticamente<\/strong>. Los autores denominan a este mecanismo \u201ctasa de singleton\u201d<\/strong>: a mayor proporci\u00f3n de ejemplos \u00fanicos, mayor la probabilidad de alucinaciones. Incluso en escenarios con datos limpios, la estad\u00edstica impulsa a los modelos hacia la conjetura.<\/p>\n\n\n\n PUBLICIDAD<\/p>\n\n\n\n El posentrenamiento<\/strong> intensifica esta din\u00e1mica. Las t\u00e9cnicas de ajuste con retroalimentaci\u00f3n humana o automatizada<\/strong> consolidan la costumbre de responder siempre. La explicaci\u00f3n est\u00e1 en los incentivos. La mayor\u00eda emplea m\u00e9tricas binarias: correcto o incorrecto<\/strong>. La abstenci\u00f3n no aporta puntaje<\/strong>. En ese marco, un sistema que se \u201carriesga\u201d constantemente obtiene mejores resultados que otro que comunica incertidumbre. La consecuencia es un sesgo estructural<\/strong> que privilegia la apariencia de certeza<\/strong> y deja fuera la posibilidad de \u201cno saber\u201d.<\/p>\n\n\n\n Las implicaciones son claras. Un modelo puede atribuir t\u00edtulos inexistentes a investigadores<\/strong>, alterar fechas hist\u00f3ricas<\/strong> o citar fuentes inexistentes<\/strong> con datos inventados. Sin embargo, la forma en que lo har\u00e1 ser\u00e1 transmitiendo confianza y seguridad<\/strong> frente al usuario. Lo que parece una verdad s\u00f3lida puede provenir de una inferencia sin sustento estad\u00edstico<\/strong>.<\/p>\n\n\n\n El estudio propone un camino distinto<\/strong>. Cambiar las m\u00e9tricas de evaluaci\u00f3n<\/strong> para transformar la conducta de los modelos. De la misma manera que algunos ex\u00e1menes humanos restan puntos por respuestas incorrectas, los benchmarks de IA<\/strong> podr\u00edan otorgar valor a la abstenci\u00f3n razonada<\/strong>. Incluir umbrales de confianza expl\u00edcitos<\/strong> en las instrucciones convertir\u00eda en estrategia \u00f3ptima responder s\u00f3lo cuando la probabilidad de acierto supere un nivel definido. Los autores llaman a esta pr\u00e1ctica \u201ccalibraci\u00f3n conductual\u201d<\/strong> y la presentan como v\u00eda para alinear las m\u00e9tricas con la fiabilidad<\/strong>.<\/p>\n\n\n\n El desaf\u00edo parece, adem\u00e1s de t\u00e9cnico, tambi\u00e9n cultural<\/strong>. Nos hemos habituado a sistemas que responden con fluidez inmediata y tono categ\u00f3rico<\/strong>. La sociedad interpreta esa seguridad como sin\u00f3nimo de inteligencia<\/strong>. Sin embargo, la verdadera innovaci\u00f3n puede residir en modelos que integren la humildad estad\u00edstica<\/strong> como parte de su desempe\u00f1o. Callar cuando la evidencia resulte insuficiente<\/strong> constituye una forma de integridad m\u00e1s valiosa que la ilusi\u00f3n de una herramienta todopoderosa que promueven ciertos sectores.<\/p>\n\n\n\n Si bien es cierto que m\u00e1s datos y mayor poder de c\u00f3mputo<\/strong> ampl\u00edan sus capacidades, la confianza p\u00fablica<\/strong> depende de incentivos distintos. Mientras las evaluaciones premien la adivinanza, las alucinaciones permanecer\u00e1n<\/strong>. La alternativa es clara: construir sistemas capaces de decir \u201cno s\u00e9\u201d<\/strong> con tanta naturalidad como afirman lo que s\u00ed saben. Esa frase, lejos de mostrar vac\u00edo, marcar\u00eda la madurez de una inteligencia artificial realmente confiable<\/strong>.<\/p>\n","protected":false},"excerpt":{"rendered":" Ante la incertidumbre de las respuestas, los modelos se arriesgan a inventar\u2026 \u00bfDebemos preocuparnos? Miguel \u00c1ngel Romero SemM\u00e9xico, Cd. de M\u00e9xico, 10 de septiembre,2025.- Un examen estandarizado revela un dilema conocido: frente a una pregunta en la que se desconoce por completo la respuesta, resulta mejor marcar cualquier opci\u00f3n que dejar el espacio vac\u00edo. La probabilidad […]<\/p>\n","protected":false},"author":3,"featured_media":90567,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_monsterinsights_skip_tracking":false,"footnotes":""},"categories":[35],"tags":[],"class_list":["post-98567","post","type-post","status-publish","format-standard","has-post-thumbnail","category-opinion"],"_links":{"self":[{"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/posts\/98567","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/comments?post=98567"}],"version-history":[{"count":0,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/posts\/98567\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/media\/90567"}],"wp:attachment":[{"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/media?parent=98567"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/categories?post=98567"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/redsemlac.com\/semmexico\/wp-json\/wp\/v2\/tags?post=98567"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}