Seis personas se sientan en una sala de reuniones.
Un VP.
Un ingeniero sénior con veinte años en el oficio.
Un ingeniero joven de IA que lleva solo dos años en la empresa.
Un responsable de ventas.
Un responsable de finanzas.
Y un product manager.
Tienen que decidir algo muy concreto: un proyecto importante — ¿debe continuar?
El dinero ya se ha gastado. El tiempo ya se ha ido. Hay competencia fuera de la sala, y riesgo dentro.
Entonces aparece una pregunta que parece simple:
De estas seis personas, ¿de quién deberían pesar más las palabras?
La empresa tradicional tiene una respuesta muy barata.
Mirar el cargo.
Las palabras del VP pesan más. Luego la antigüedad. Luego quienes llevan el negocio. Quien llegó hace dos años suele sentarse atrás.
¿Por qué?
Porque es lo que menos lío da. El organigrama ya está dibujado. Quien se sienta más arriba ya sostiene más poder.
El ensayo anterior preguntaba por qué la autoridad de una empresa debería pertenecer, a largo plazo, a un cargo.
Abre esa puerta y la siguiente pregunta entra enseguida.
Bien.
Si un cargo no debe decidir para siempre quién tiene la última palabra —
entonces, ¿a quién deberíamos escuchar de verdad?
La respuesta más natural quizá sea: escuchar a los expertos. Escuchar a quienes más saben.
Suena mucho más razonable que escuchar al cargo más alto.
Haz, aun así, una pregunta más:
¿Quién define al experto?
El problema vuelve a ensuciarse enseguida. ¿Veinte años en el puesto? ¿Cuántos proyectos? ¿Un título de élite? ¿La evaluación de desempeño del año pasado? ¿Cuántos aciertos previos? ¿O debería la IA calcular un puntaje para cada persona a partir de datos históricos?
El ingeniero sénior sentirá: yo he visto más fracasos.
El ingeniero joven sentirá: yo estoy más cerca de la tecnología más nueva.
Ventas dirá: solo yo sé lo que los clientes piensan de verdad.
Finanzas dirá: todos están contando historias. Al final hablan los números.
El product manager creerá: yo sé mejor por qué pagan los usuarios.
El VP también tiene un motivo: yo veo la empresa entera, no un problema local.
Cada uno puede demostrar que debería ser la persona de la sala más digna de ser escuchada.
Así que «escuchar a los expertos» no resuelve de verdad el problema. Solo cambia el cargo por otra identidad: antigüedad, currículum, titulación, resultados pasados. Sigue siendo identidad.
Solo otro disfraz.
Después es fácil dar un paso más. Las personas tienen sesgos. Que calcule el sistema.
Jason: 87.4.
Alice: 76.2.
Bob: 61.8.
Quien puntúa más alto, sus palabras pesan más. Quien puntúa más bajo escucha primero.
Parece científico. Incluso parece mucho más justo que un cargo, porque ya no pregunta si eres VP. Pregunta cómo rendiste de verdad.
Ahí está también el problema.
Si somos lo bastante honestos, veremos: cambia el cargo por un Score y quizá no hayamos cambiado nada.
Antes: VP > Director > Manager.
Después: 92 > 84 > 71.
La jerarquía sigue ahí. Solo se ha mudado de la placa a la base de datos.
Incluso puede ser más peligroso. El viejo sistema de cargos al menos admitía: esto es poder. Un puntaje algorítmico se pone un abrigo más bonito.
Esto no es poder.
Esto es ciencia.
En cuanto el sistema escribe a alguien como 61.8, quizá entre ya a la sala un poco más bajo — aunque la pregunta de hoy sea exactamente la que mejor conoce.
Por eso cada vez más creo que la pregunta que deberíamos hacer no es: ¿esta persona juzga con fuerza?
Es: en el problema concreto de hoy, ¿por qué merece este juicio tomarse en serio?
Esas dos preguntas están muy lejos. La primera puntúa a la persona. La segunda evalúa este juicio.
Alguien puede ser excelente juzgando por qué un producto va a fallar y aun así no saber si a los consumidores les gustará un sabor nuevo. Puede leer el riesgo de molde de un proveedor con una precisión asombrosa y, en macroeconomía, limitarse a leer las noticias. Puede ser muy bueno en las cesiones de ingeniería y, en política regulatoria, seguir adivinando.
Una persona no debería tener que cargar un Judgment Score universal, como un puntaje crediticio, a cada problema en el que entra.
Ese es también un principio que, creo, las empresas del futuro van a necesitar:
Puntúa este juicio. No le des a una persona un puntaje total.
Score predictions, not people.
¿Qué significa, entonces, puntuar un juicio?
Empieza con un cambio muy simple. No le preguntes solo a la empresa: ¿este proyecto va a salir bien?
Esa pregunta es demasiado fácil de fingir que se sabe. Sí. No. Depende. Cualquiera puede decir eso.
Pregúntalo de otra forma: ¿cuál es la probabilidad de que este proyecto se lance con éxito antes del 1 de diciembre?
Alice: 70%.
Bob: 40%.
Jason: 55%.
De pronto los tres juicios se pueden registrar. Lo que vale la pena mirar ya no es quién habla con más fuerza, ni quién sostiene el cargo más alto. Es esto:
Cuando Alice dice 70%, ¿las cosas de este tipo ocurren después unas siete de cada diez veces?
Cuando Bob sigue diciendo 40%, ¿está viendo el riesgo de verdad antes que los demás — o es pesimista por costumbre?
Ese es un concepto que importa mucho en la investigación de predicción: Calibration, calibración.
No pregunta si eres inteligente. Pregunta si la confianza que reivindicas encaja con lo que ocurrió después.
Adivinar bien tres veces seguidas puede ser solo suerte. Pero si alguien ha hecho muchos juicios parecidos, y las cosas que llama 70% ocurren de verdad, a largo plazo, unas siete de cada diez veces, y las que llama 40% ocurren unas cuatro de cada diez — empieza a parecerse menos a la suerte. Se acerca a una capacidad de juicio que ha sido comprobada.
Fíjate, aun así. Esto sigue sin querer decir que Alice sea una persona de 87 puntos. Solo quiere decir: en esta clase de problema, las predicciones de Alice merecen una mirada más seria.
Los problemas a los que una empresa se enfrenta de verdad rara vez están tan limpios. Muchas decisiones tardan un año antes de que alguien conozca el resultado. Algunas nunca tienen un acierto o un error claros. Algunos problemas los seres humanos no los han encontrado nunca.
Así que si alguien te dice que ya podemos calcular con precisión la capacidad de juicio de cada empleado, me vuelvo más receloso. Un sistema honesto a menudo no te entregará una nota bonita. Seguirá haciendo unas cuantas preguntas sencillas.
¿Cuántos problemas parecidos ha tratado de verdad esta persona? No: cuántos años lleva en la empresa. Sino: ¿ha tratado un incidente de proveedor parecido? ¿Un riesgo regulatorio parecido? ¿Un lanzamiento de producto parecido?
¿Y de dónde sale el juicio? ¿Datos medidos en directo? ¿Registros del sistema? ¿Casos que vuelven una y otra vez? ¿Experiencia de primera mano? ¿El relato de otra persona? ¿O una intuición que apenas puede explicar, formada solo después de hacer el trabajo muchas veces?
Creo que un punto aquí es especialmente importante. La intuición no debería tratarse automáticamente como evidencia de baja calidad. Quienes han hecho esto de verdad durante décadas forman un tipo de juicio muy difícil de poner en una diapositiva. No pueden escribir la fórmula completa. Solo sienten: esto no huele bien.
Eso también debería entrar en el sistema. El sistema solo necesita saber sobre qué tipo de evidencia se sostiene este juicio — no fingir, por parecer científico, que cada juicio es la misma clase de cosa.
Hay además un problema más práctico.
¿Es siquiera esta frase su propio juicio?
Supongamos que el VP abre: personalmente creo que este proyecto tiene al menos un 80% de probabilidad de éxito.
Luego empiezan a hablar los otros cinco.
82%.
75%.
78%.
80%.
85%.
¿Son de verdad seis juicios?
No necesariamente. Puede que solo sea un juicio, más cinco ecos.
Por eso creo que las decisiones que de verdad importarán en el futuro quizá deban empezar por algo que muchas empresas no están habituadas a hacer.
No hables primero. Cada persona escribe su juicio por su cuenta. Se bloquea. Luego se discute. Se intercambia evidencia. Se oye la réplica. Luego se permite una revisión.
La empresa puede dejar cuatro cosas: el juicio inicial, la evidencia nueva, el juicio revisado y el resultado final.
Si no queda nada de eso, lo que la empresa recuerda años después suele ser solo lo que dijo en aquel momento la persona más poderosa de la sala.
Y hay otra cosa en la reunión especialmente fácil de borrar.
La opinión minoritaria.
Supongamos que seis personas juzgan la probabilidad de que el proyecto salga bien. Cinco de ellas dicen:
75%.
78%.
80%.
72%.
77%.
Alice dice:
30%.
¿Qué hace de costumbre una reunión tradicional? Cinco personas están más o menos alineadas. Alice es más conservadora. Seguir.
Si dejamos que la IA calcule un promedio ponderado simple, la situación quizá no mejore mucho. Lo que aparece es 68.7%. Parece extremadamente preciso. La gente incluso puede sentir que el sistema ya lo ha resuelto.
Lo valioso puede haberse lavado con ese promedio.
Porque la IA puede seguir mirando. Alice ha tratado cinco fracasos muy parecidos. En esta clase de problema, sus predicciones pasadas no eran gritos al azar. Dio 30% antes de oír las respuestas de nadie más. Y señaló un riesgo regulatorio que los otros cinco no mencionaron.
En ese punto, la salida valiosa de la IA no debería ser solo Final Probability: 68.7%. Debería ser: aquí hay un desacuerdo que vale la pena reabrir.
Ese es un principio que, creo, van a necesitar los sistemas de juicio futuros. El sentido de agregar no es solo promediar opiniones en un número. Lo que importa es sacar a la superficie el desacuerdo que merece verse.
¿Dónde coinciden de verdad las personas? ¿Cuál es el desacuerdo real? ¿Hay una opinión minoritaria sentada sobre experiencia o evidencia que los demás no tienen? ¿El trabajo pasado de quién es de verdad relevante para el problema de hoy? ¿Y qué es lo que, de hecho, no sabemos?
Esas preguntas suelen valer más que un puntaje total misterioso. Porque lo que una empresa debería temer de verdad nunca es que alguien en la sala disienta.
Es que la «diferencia» más digna de oírse se promedie, se suavice por cortesía y se cubra, con ligereza, con el cargo.
Aquí hay que trazar una línea muy clara.
Aunque la predicción de Alice merezca un peso serio, eso no significa que Alice sostenga automáticamente la decisión final.
Prediction no es Decision.
La predicción pregunta: ¿qué es lo más probable que ocurra? La decisión pregunta: conociendo esas posibilidades, ¿qué hacemos de verdad?
En medio hay mucho. Estrategia. Apetito de riesgo. Derecho. Valores. Caja. Coste de oportunidad. Y lo más importante: si esto sale mal, ¿quién recoge el resultado?
Un equipo puede juzgar correctamente que la probabilidad de lanzar a tiempo es solo del 32%. Eso no significa automáticamente: cancelar. La empresa quizá quiera comprar ese 32%. Quizá sea la única ventana que sigue abierta. No hacerlo puede costar más. La empresa incluso puede saber que la tasa de éxito es baja y aun así tener que hacerlo por estrategia.
Así que un sistema de juicio puede influir en la autoridad. No puede convertirse automáticamente en autoridad.
Saber qué podría ocurrir, y decidir qué futuro estamos dispuestos a cargar, siguen siendo dos cosas distintas.
Si el ensayo terminara aquí, el sistema quizá ya sonara hermoso.
Por supuesto no es tan simple. También se enferma.
El primer corte cae sobre los recién llegados.
Supongamos que el juicio histórico empieza a afectar si alguien merece ser escuchado ahora. ¿Qué pasa con quien acaba de unirse? No tiene expediente. No tiene historia. El sistema no sabe si es bueno.
Aquí tiene que haber un principio muy importante:
Unknown no es Bad.
No tener historia no significa baja capacidad. Las organizaciones reales cometen este error con facilidad. Sin expediente se convierte en una nota baja, porque un blanco es lo que menos seguridad da a los jefes. Los jóvenes, o cualquiera nuevo, se sientan entonces atrás por naturaleza — no porque se equivocaran, sino porque el sistema aún no los ha visto.
El futuro quizá deje que los recién llegados construyan primero un expediente de juicio en problemas de bajo riesgo, con feedback rápido. Quizá les deje hacer predicciones en sombra: dejar su juicio, pero sin que aún afecte la decisión formal. Esas cosas todavía se pueden diseñar.
Aún no son la respuesta. Este ensayo solo necesita bloquear un movimiento:
Nunca escribas «aún no verificado» como «no merece ser escuchado».
El segundo corte es el gaming.
En cuanto un expediente de juicio empieza a afectar la influencia de alguien, la gente empieza a gestionar ese expediente. Eso es naturaleza humana.
Elegirán las preguntas fáciles de predecir. Evitarán las decisiones con incertidumbre real. Entregarán un poco más tarde. Verán primero qué piensan los demás. Esconderán lo inseguros que están. Después reinterpretarán lo que quisieron decir. Harán que el puntaje se vea bien, en vez de hacer mejor a la empresa.
Eso no es necesariamente porque los empleados sean malos. Es porque el sistema empezó a repartir recompensas. En cuanto una métrica pasa de ayudar a entender a decidir el futuro de alguien, la gente empieza a vivir alrededor de la métrica.
Así que esta distinción tiene que quedarse en su sitio:
Measurement.
Y:
Governance.
Puedes registrar las predicciones de alguien. Eso no significa que ya tengas derecho a decidir su carrera a partir de ese expediente.
Puedes diseñar algunas protecciones. Bloquear primero el juicio inicial. Mirar dominios distintos por separado. Dejar que los expedientes viejos pierdan peso. Permitir el desafío. Distinguir a quienes tocan problemas difíciles de quienes solo cultivan los fáciles.
Nada de eso mata el gaming. Solo lo hace más difícil. Cualquier sistema que te diga que ha resuelto por completo el cultivo de puntaje de los empleados es el que más merece vigilarse.
El tercer corte quizá sea el más peligroso.
Supongamos que Alice ha acertado de verdad durante mucho tiempo. Así que la organización la escucha más. Cuanto más la escucha, más fácil le resulta entrar en proyectos más importantes. Más proyectos importantes traen más información, recursos y experiencia. Luego su expediente se refuerza todavía más.
¿Qué ocurre al final?
Quizá hayamos rehecho un VP permanente. Solo que esta vez el cargo ha desaparecido y la jerarquía vive en la base de datos.
Ese es el resultado que, creo, todo el sistema de juicio tiene que impedir. No podemos matar al VP permanente y luego rehacer un VP permanente en la base de datos.
Quienes ya tienen reconocimiento lo reciben más fácil de nuevo. No es un fenómeno nuevo. Así funcionan las empresas. Así funciona la academia. Así funcionan también las plataformas sociales.
Así que si existe de verdad algo llamado peso del juicio, al menos tiene que ser sobre este problema, sobre este dominio, poder caducar, poder ser desafiado, y poder admitir: esta vez, no lo sé.
Nunca debe convertirse en una nueva identidad permanente.
Luego hay un cuarto corte. En la era de la IA, es especialmente enredado.
Problemas nuevos.
La calibración histórica falla con más facilidad exactamente cuando la empresa más necesita juicio: cosas que nadie ha visto. La era de la IA producirá más de estas. Hace tres años no existían. Los expedientes pasados no son comparables. Los ganadores de antes quizá ya no acierten.
En ese punto el sistema tiene que atreverse a decir: We don’t know.
No puede fabricar autoridad porque falte historia. No puede asumir que, porque Alice acertó especialmente en problemas viejos, deba seguir pesando más en uno completamente nuevo.
A veces el peso más honesto es: esta vez, nadie tiene privilegio.
Entonces, ¿qué debería hacer de verdad la IA aquí?
Ahora creo que la respuesta se aclara. Primero, lo que no debería hacer.
La IA no debería convertirse en un Management God. No debería decirle a la empresa que Alice reciba el 37% del poder. El poder no se calcula así.
Para lo que la IA sí sirve es bastante concreto. Encontrar decisiones pasadas que de verdad se parezcan. Mirar el historial de juicios de probabilidad de distintas personas. Sacar a la superficie evidencia que choca. Notar qué opiniones son solo copias unas de otras. Marcar la opinión minoritaria. Guardar el primer juicio y la revisión posterior. Señalar qué evidencia sigue faltando. Aclarar el contexto de una decisión complicada.
En otras palabras, el trabajo más importante de la IA quizá no sea ayudar a la empresa a decidir en directo. Quizá sea primero ayudar a la empresa a decidir adónde mirar con cuidado ahora. A quién merece la pena oír una vez más. Qué riesgo no debería deslizarse. Qué pieza de evidencia aún no ha entrado en la sala.
Esa es una distinción que me gusta. La IA puede ayudar a asignar atención. No debería asignar soberanía de forma automática.
La IA puede ayudar a la autoridad a encontrar un juicio mejor. La autoridad formal final debería seguir recayendo en personas y reglas que se puedan explicar, desafiar y exigir.
Si no, solo hemos externalizado un tipo de juicio por otro: entregar el juicio al modelo y dejar la responsabilidad al aire.
Después de la primera ronda de investigación, creo que cinco principios siguen en pie, por ahora.
No son leyes. No son verdades que Future Lab ya haya demostrado. Hasta ahora, nosotros mismos no los hemos atravesado.
Primero:
Puntúa este juicio. No le des a una persona un puntaje total.
Score predictions, not people.
Segundo:
Pondera esta opinión. No ponderes de forma permanente una identidad.
Weight judgments, not identities.
Tercero:
Registra la contribución. No clasifiques el valor de un ser humano.
Record contribution, don’t rank human worth.
Cuarto:
Saca a la superficie el desacuerdo que merece verse. No lo promedies hasta hacerlo desaparecer.
Surface disagreement, don’t average it away.
Quinto:
Deja que la IA ayude a la autoridad a encontrar un juicio mejor. No dejes que la IA misma se convierta en la fuente de la autoridad.
Let AI inform authority, never automatically become authority.
El más fácil de equivocar es el primero. Puntuar el juicio se desliza demasiado fácil hacia puntuar a la persona. El sistema querrá una clasificación. Los jefes querrán una lista. Los empleados querrán un número que puedan cultivar.
Al final, la predicción vuelve a ser identidad.
Así que este ensayo todavía no ha resuelto la empresa del futuro. Solo ha respondido a la pregunta que dejó el ensayo anterior.
Si un cargo no debe decidir de forma permanente quién tiene la última palabra, probablemente no deberíamos buscar enseguida otra forma de clasificar a las personas.
Lo que de verdad deberíamos hacer primero es aprender a juzgar: en el problema concreto de hoy, ¿qué juicio, y por qué, merece tomarse en serio?
Pero en el momento en que empezamos a registrar esos juicios, aparece la siguiente puerta.
Supongamos que de verdad queremos saber qué información tenía esta persona en aquel momento. En qué creía. Qué probabilidad dio. Por qué juzgó así. Si más tarde cambió de opinión por evidencia nueva. Y qué ocurrió al final.
Entonces la empresa tiene que resolver otro problema: ¿cómo debería una empresa recordar una decisión?
Cuando el resultado ya está fuera, la memoria empieza a reescribir la historia en silencio. En los proyectos que salieron bien, todos recuerdan que estaban a favor. En los que fallaron, todos recuerdan que «tenían reservas desde el principio».
Si el expediente de juicio de una persona va a afectar de verdad a quién merece más ser escuchado, la organización tiene que dejar el juicio de aquel momento antes de que aparezca el resultado.
Si no, la llamada calibración histórica sigue siendo solo escritura a posteriori.
Y la escritura a posteriori siempre ha escuchado más al poder.
Apéndice: Conceptos clave / Key Concepts
- Puntúa el juicio, no un puntaje total de la persona / Score Predictions, Not People
- Evalúa el juicio de una persona en un problema concreto. No construyas un puntaje de capacidad válido para siempre que la siga a cada escena.
- Peso del juicio ≠ autoridad de decisión / Judgment Weight ≠ Decision Authority
- Que un juicio merezca un peso serio no significa que quien lo formuló sostenga automáticamente la firma final.
- Predicción ≠ decisión / Prediction ≠ Decision
- Entre lo que es probable que ocurra y lo que decidimos hacer se sitúan la estrategia, el riesgo, el derecho, el capital, los valores y la rendición de cuentas.
- Juzgar primero a ciegas / Blind First
- En las decisiones importantes, los participantes dejan primero por separado sus juicios iniciales, luego discuten, intercambian evidencia y actualizan — para que los cargos y el grupo contaminen menos el juicio independiente.
- Unknown ≠ Bad
- No tener expediente histórico significa desconocido. No significa baja capacidad.
- Atención ≠ soberanía / Attention ≠ Sovereignty
- La IA puede ayudar a una organización a ver qué opiniones y qué evidencia merecen más atención. Eso no debería conferir automáticamente derechos formales de decisión.
- Instantánea de decisión / Decision Snapshot
- Antes de que aparezca el resultado final, guarda lo que se sabía en aquel momento: la información, los juicios, las probabilidades, la evidencia y las actualizaciones posteriores. El siguiente ensayo continúa esto.
Bases de investigación / Research Foundations
Este ensayo toma trabajo existente en ciencia de la predicción, juicio experto estructurado, inteligencia colectiva y gestión algorítmica para poner a prueba y limitar el argumento. No reetiqueta esas teorías como conceptos originales de Future Lab.
- Brier (1950); Murphy & Winkler — predicciones de probabilidad y calibración
Los juicios de probabilidad se pueden comprobar con el tiempo. Cuando alguien dice «70%», que los sucesos de ese tipo ocurran después unas siete de cada diez veces es más significativo que contar simplemente cuántas veces «acertó». - Philip Tetlock — Expert Political Judgment; Good Judgment Project
La identidad de experto por sí misma no garantiza la calidad de una predicción. La calibración de probabilidad, la actualización continua y revisar un juicio cuando la evidencia cambia son partes importantes de una predicción de calidad. - Cooke Classical Model; investigación de juicio experto estructurado
En algunos marcos se puede dar a los expertos pesos de juicio distintos según cómo rindieron en preguntas de calibración relacionadas. Una ponderación compleja no siempre es mejor que un promedio simple. - IDEA Protocol / métodos de juicio estructurado al estilo Delphi
Juzgar primero de forma independiente, luego discutir, actualizar y agregar. Eso puede reducir la información que se pierde cuando un grupo empieza a influirse a sí mismo. - Prediction Markets — práctica empresarial en Google, HP, Intel y otras
Las organizaciones pueden agregar información dispersa mediante mercados de predicción internos. La exactitud de una predicción sigue sin equivaler a derechos formales de decisión. - Lorenz et al.; investigación sobre la sabiduría de las multitudes y la influencia social
Cuando los juicios individuales dejan de ser independientes, el grupo puede converger rápido sin volverse más exacto. - Prelec, Seung & McCoy — Surprisingly Popular
La opinión mayoritaria no siempre sostiene la información más valiosa. Algunos juicios minoritarios informados merecen identificarse por sí mismos, en vez de promediarse hasta desaparecer. - Kahneman & Klein — intuición experta y entornos de feedback
En dominios con feedback largo, estable y claro, la experiencia puede formar una intuición valiosa. El conocimiento difícil de poner en palabras no debería tratarse automáticamente como ruido. - Goodhart’s Law / Campbell’s Law
Cuando una métrica empieza a decidir recompensas y poder, la gente ajusta su conducta para optimizar la métrica misma, no la cosa real que la métrica debía medir. - Merton — Matthew Effect
Quienes ya tienen reconocimiento reciben más fácil oportunidades y recursos. Cualquier sistema de ponderación basado en el rendimiento histórico puede ir creciendo poco a poco una nueva élite permanente. - Kellogg, Valentine & Christin — Algorithmic Management
El puntaje algorítmico y la gestión automatizada no significan de forma natural empoderamiento. También pueden convertir la gestión tradicional en un control más oculto, más concentrado y más difícil de desafiar. - Fischhoff — Hindsight Bias
Después de conocer el resultado, las personas sobreestiman de forma sistemática cuánto «ya sabían». Los expedientes de juicio hay que guardarlos antes de que aparezca el resultado.