An English version of this article is available here.
Los humanos operamos en dos “modos de pensamiento” distintos (y no, no son “fast and slow” :p). Hay momentos en los que buscamos la verdad. Por ejemplo, si tú quisieras saber a qué hora sale un tren, lo más normal es que abras la web de la compañía y lo mires. Estás buscando una respuesta concreta, una información fehaciente. Tu cerebro está en modo verdadero/falso, por decirlo de la manera más simple posible. El tren sale a las 9:36h, de manera que todas las demás respuestas son inválidas.
Ahora bien, si es otra persona quien te pregunta, se activará otro sistema de pensamiento en el que ya no te va a interesar sólo la verdad sobre los trenes. Igual quien te está preguntando quiere saber cuál es tu nivel de conocimiento sobre los horarios del tren, porque es tu trabajo sabértelos. O quizá te está tratando de tonto. O quizá quieres impresionarle. O quizá quieres pasar desapercibido. O quizá es un profesor y te van cosas en acertar con la respuesta. Igual no quieres responder. Cuando interactuamos con los demás, la verdad pasa a un segundo plano y empieza a operar una mecánica social del comportamiento.
La mayoría de las personas —las que llamamos “neurotípicas” porque no están en ninguno de los espectros de neurodivergencia como el autismo o el TDAH— pasan la mayor parte del tiempo en esa mecanica social del pensamiento. Si en un grupo de amigos alguien hace una pregunta, las respuestas no van a tener que ver con la “verdad”, sino con la posición que cada integrante del grupo quiere tener: si quiere alinearse con unos o con otros o con cuál es su identidad. Sobre todo, con quién tiene el poder dentro de ese grupo. ¿Qué espera esta persona que yo conteste? ¿Qué se espera de mi? ¿Qué debo ser yo aquí? ¿Cómo debo contestar? Así, la gente opera la mayoría del tiempo buscando pertenencia, reputación, poder o seguridad dentro del grupo.
Por esa razón, porque las personas tienen mucho más interés en encajar que en decir la verdad, nos encontramos a menudo con cosas que creíamos que eran ciertas y no son. Como las calorías o el capital. Por eso es muy difícil desmontar una mentira, aunque sea fácil evidenciar que es falsa: a la mayoría de la gente le da igual si las cosas son verdaderas o falsas, mientras les valgan para sus objetivos. No es que sean unos mentirosos o unos cínicos, es que simplemente la misma noción de verdad no entra a jugar en este modo de pensar.
Las personas autistas no funcionan así: no le dan el mismo valor a las reacciones de los demás y tienden a no computar lo que el resto está pensando. Por eso vivimos constantemente en ese sistema de la verdad en el que viven los neurotípicos cuando nadie está mirando. Si le haces una pregunta a un autista, no se andará con ambages: te va a contestar lo que realmente piensa sin darle demasiada importancia al efecto de sus palabras sobre tu psique o sobre vuestra relación. Por eso a veces se interpreta que metemos la pata o somos inconvenientes.
El software, hasta que ha llegado lo que hemos llamado “inteligencia artificial”, se parecía mucho a un autista. De hecho, muy probablemente, la mayor parte del software disponible fue creado por autistas a su imagen y semejanza. Así que fue diseñado para ser preciso, inmisericorde con los errores, unívoco y tan sucinto como fuera posible. Su propósito era entender qué era la verdad y verificarla. Por eso los programas que conocemos todo el rato se preguntan si algo es verdadero o falso, o si una condición se cumple o no, para determinar estrictamente las consecuencias de ese resultado.
Por eso el software, hasta hoy, no tenía ningún problema para decir a qué hora sale un tren concreto que le has introducido con precisión en una base de datos, pero era totalmente incapaz de contestar si alguien le hubiera hecho una pregunta genérica sobre horarios de trenes.
Hasta que llegó la IA. Los LLMs son la primera forma de software que funciona como una persona neurotípica, buscando la respuesta socialmente más aceptable. Por primera vez en la historia una pieza de software no busca la verdad, sino la respuesta que con mayor probabilidad espera su interlocutor.
De manera que los LLMs son entrenados sobre gigantescas bases de datos donde hay muchos datos sobre horarios de trenes. Y si le preguntas a uno de estos bots por la forma de llegar de una ciudad a otra, te podrá dar muchos datos genéricos que no has tenido que pedirle expresamente pero que el LLM va a interpretar que te interesan, basándose en las respuestas más frecuente de otra personas que han hecho esa misma pregunta. Por esa razón los LLMs son “cuñados estocásticos”, expertos en responder lugares comunes, en dar la respuesta más esperada, más tamizada por lo políticamente correcto, por lo popular, por lo mil veces repetido.
El problema que se están encontrando estos modelos es que la promesa que le han hecho al mundo es que pueden producir la verdad. Por ejemplo, que pueden hacer tareas de atención al cliente con fiabilidad, como hacen los humanos. O que pueden revisar expedientes o leer libros con coherencia. O que pueden entender la compleja naturaleza de unos items en una base de datos. En realidad, son incapaces de todo esto. La verdad no puede provenir de un modelo probabilístico.
Un sistema que falla, pongamos, un 10% de las veces, si le haces una pregunta que le obliga a tomar 10 decisiones, se equivocará el 65% del tiempo. Por esta razón los LLMs solo van a funcionar para producir ideas, inspiración, resultados que no sean estrictos con los errores, como posts e imágenes para RRSS y cosas así. También como apoyo para gente que ya sabe hacer algo —como escribir artículos o programar— y que pueden conseguir que les haga cierto trabajo pesado, a cambio de revisarlo después minuciosamente.
Para que un LLM pudiera producir una verdad semejante a la que podemos esperar de las personas o de un script de código, tendría que estar entrenado con una base de datos que también buscara solamente la verdad y descartara sistematicamente todo lo demás. Y para eso sería necesario definir, para empezar, qué es la verdad para un gran grupo de gente y de objetos. Y esto no es nada sencillo.
En esta fascinante entrevista Lex Fridman y el matemático Terence Tao discuten este problema. Las matemáticas han llegado al año 2025 en una mecánica completamente analógica. Los avances todavía se publican en artículos escritos en lenguaje natural que otros humanos deben leer, revisar y procesar después. Un grupo de personas está intentando “formalizar” todos los objetos matemáticos en un modelo que, de tener éxito, permitiría “automatizar” las contribuciones en el campo. De manera que los próximos avances se escribirían directamente en este sistema que ya tendría una comprensión estricta de cada objeto y podría operar con ellos como opera una calculadora con los números. Adicionalmente, se podría correr un LLM sobre ese sistema para que produjera tantas pruebas como la computación hiciera posible.
Pero para conseguirlo necesitan primero crear una base de datos, un modelo, que sea implacable con los errores. Que esté escrito en un lenguaje formal y no en el permisivo lenguaje natural que utilizamos los humanos. Y esto es una cosa titánica porque gran parte del conocimiento matemático, aunque no lo parezca, es informal, intuido, no está formalizado en ningún sitio.
Mientras tanto, mientras los LLMs sigan alimentándose de la mecánica social del pensamiento humano neurotípico que encuentran en Internet, una “IA” nunca podrá encontrar sistematicamente la verdad.
Lo de tratar de formular todo en torno a la lógica ya se intentó a principios del siglo pasado (Russell y otros) pero una pequeña genialidad, el teorema de la incompletitud de Gödel, estableció que no era posible. Quizá ahora con más mentes pensantes en el mundo, el conocimiento acumulado y la computación como aliada se pueda intentar de nuevo. Pero me viene a la mente la paradoja de que "si el cerebro fuera tan simple como para entenderlo, seríamos tan estúpidos que no lo entenderíamos". Nuestros marcos de pensamiento son muy limitados (para un ejemplo reciente, tu anterior post) y me parece utópico llegar a algo completo y robusto en cuanto a lógica. Aún así, habrá que seguir persiguiendo utopías, que siempre será mejor que quejarnos por lo mal que está todo (aunque esté mejor que nunca...).
Muy interesante 😃. Lo incluimos en el diario 📰 de Substack en español?