Publicado por Human Assisted Intelligence, PBC
MediationBench
MediationBench compara mediadores de IA en los mismos 62 conflictos simulados entre dos partes. En cada prueba, todos los sistemas trabajan con las mismas partes, interpretadas por modelos, y siguen las mismas reglas.
Los resultados iniciales se marcan como provisionales: una ejecución completa, puntuada por uno o dos modelos evaluadores.
Cómo funciona
Cada ejecución abarca 62 disputas redactadas para la prueba. Los modelos de lenguaje interpretan a ambas partes y el sistema evaluado actúa como mediador. El mediador decide cuándo hablar, esperar o terminar, dentro de un intervalo fijo de entre 3 y 25 rondas.
Sol puntúa cada conversación terminada al finalizar la ejecución. Si solo ha puntuado Sol, la fila muestra su media en los 62 conflictos. Se pueden añadir otros evaluadores después, que aparecen por separado al desplegar la fila. La puntuación de la fila es la media de todos los evaluadores que hayan puntuado los 62 conflictos. Así se mantiene un coste reducido para los primeros resultados, sin presentarlos como completos.
Leer la transcripción (en inglés)
What happens when you put an AI in the middle of an argument?
MediationBench is how we find out.
Sixty-two fictional conflicts: a business breakup, a blocked driveway, a fight over credit. AI plays both sides, and neither starts out generous.
Leave them to it: that’s the baseline.
Add an AI mediator: that’s the test. After every message, it picks a move: speak, wait, or end it.
Afterward, an AI judge steps in. The mediator can say it went great. The judge only reads the transcript, and scores five things.
Sixty-two conflicts, one score out of a hundred. Early results are provisional, so small gaps don’t mean much.
It’s all AI: a measurement, not proof it works with people. But before AI sits in the middle of our arguments, it’s worth measuring.
mediationbench.com.
Cómo interpretar los resultados
Cada fila provisional muestra una puntuación de 0 a 100 y la frecuencia con la que el evaluador final consideró que la conversación había terminado de forma adecuada. Las filas se ordenan por puntuación. Una pequeña diferencia no tiene por qué ser significativa.
Todas las partes son IA. Esta evaluación comparativa no mide la seguridad para las personas, la equidad, la legalidad ni la duración de un acuerdo.
Investigación y datos
MediationBench: Auditing AI Mediation in Synthetic Conflict
La página de investigación recoge el método exacto, los estudios anteriores, las limitaciones, las correcciones y los datos descargables. El artículo de trabajo detalla el diseño completo y las pruebas disponibles.
Las cifras pueden cambiar mientras el artículo siga siendo un borrador de trabajo.