Investigación y métodos

Todas las mediciones públicas, en dos vistas enlazadas

El gráfico reúne todas las ejecuciones publicadas, tanto de la prueba provisional actual como de los estudios anteriores, en una matriz de mediadores y participantes y una distribución de puntuaciones. Los mismos filtros acotan ambas vistas; al seleccionar un punto o una celda se abre el detalle de una ejecución. El artículo explica cómo se diseñaron estas mediciones y qué permiten concluir.

La comprobación de los evaluadores es una evaluación exploratoria aparte, con anotaciones de referencia de conjuntos de datos externos.

El explorador consulta la exportación pública más reciente, por lo que puede mostrar una ejecución terminada antes de que se actualice la clasificación. La fecha y la cobertura proceden de esa exportación.

Cómo utilizar el explorador

• Compara condiciones equivalentes. Usa la misma versión de la prueba, los mismos participantes simulados, las mismas instrucciones y el mismo modelo evaluador.
• Usa el control de escucha reflexiva para la comparación principal. Muestra qué aporta una estrategia de mediación más allá de reconocer y reformular lo dicho.
• Trata el resultado sin mediador como una referencia anterior. La puntuación actual no se presenta como diferencia respecto a esa fila.
• Separa el final de la puntuación. El mediador decide cuándo terminar dentro de los límites de la prueba. Un evaluador final puntúa la transcripción completa y comprueba si el final fue adecuado.
• Volver a puntuar no es repetir la ejecución. Se aplica otro evaluador a la misma conversación guardada.

Cómo se calculan las puntuaciones

Las ejecuciones de la clasificación usan una configuración fija: 62 disputas, Gemma 4 31B interpretando a ambas partes y una instrucción sencilla de objetivo para el mediador evaluado.

Las versiones 3.0 y 3.1 pertenecen a esta misma evaluación continua. La 3.1 añade reintentos acotados del evaluador y conserva los escenarios, las reglas de conversación y la rúbrica. Se mantiene la primera evaluación válida, aunque su puntuación sea baja. Los errores y los recursos de los reintentos se presentan por separado de la calidad del mediador. Los resultados se ordenan dentro de cada versión mientras se estudia el efecto de los reintentos; nunca se promedian entre versiones.

Cuándo termina una conversación

Tras la apertura y después de cada respuesta de las partes, se pregunta al mediador si quiere hablar, esperar o terminar. Los límites los impone la prueba, no un segundo modelo:

• El final solo puede hacerse efectivo cuando ambas partes hayan respondido en tres rondas completas después de la apertura.
• La conversación termina después de 25 rondas completas. En ese momento, el mediador tiene una última oportunidad de explicar el final.
• Estos límites no se comunican al mediador durante la conversación.

Puede terminar porque las partes han alcanzado un acuerdo, porque han llegado a otra resolución útil o porque ya no queda un siguiente paso responsable. Su afirmación no establece lo ocurrido. El evaluador final lee la transcripción completa y clasifica el final de forma independiente.

Puntuación provisional

Una ejecución recorre los 62 conflictos con un mediador. GPT-5.6 Sol asigna a cada conversación terminada una puntuación de 0 a 100. Si solo ha puntuado Sol, la fila muestra la media de sus 62 puntuaciones. También indica cuántos finales consideró adecuados: un acuerdo respaldado por el texto, una resolución útil sin acuerdo o una decisión razonable de terminar sin resolución.

Otros evaluadores registrados, incluido Astra, pueden puntuar las mismas 62 conversaciones guardadas. Cada uno aparece bajo la fila con su propia puntuación. Cuando completa las 62, la puntuación de la fila pasa a ser la media con igual peso de todos los evaluadores completos. Con uno o dos, la fila sigue siendo provisional; con tres o más, deja de serlo. Las filas se ordenan para facilitar la lectura, pero una pequeña diferencia no equivale a una diferencia medida. Una evaluación parcial nunca retrasa la publicación de la fila. Si el evaluador y el mediador proceden del mismo laboratorio proveedor, se indica en la línea del evaluador; su puntuación sigue contando.

Cómo se combinan las puntuaciones

Las cinco partes son cooperación, profundidad de resolución, información útil revelada, equilibrio de compromisos y calidad del moderador. Sus pesos son, respectivamente, 25 %, 25 %, 20 %, 15 % y 15 %. La clasificación del final se muestra junto a la puntuación y no la multiplica.

El evaluador debe señalar pruebas en la transcripción de que un asunto se ha resuelto o un acuerdo se ha aceptado. El silencio, una oferta sin respuesta o una aprobación vaga no cuentan como acuerdo.

Qué significa provisional

Un resultado provisional procede de una ejecución completa puntuada íntegramente por uno o dos modelos evaluadores. Es una demostración útil, pero no basta para establecer que una pequeña diferencia sea significativa. Por eso ordenamos las filas por puntuación sin atribuirles la categoría de resultado validado, sin intervalos de confianza y sin diferencias respecto a la antigua referencia.

Cuándo se clasifica un sistema

La versión actual ordena las filas por puntuación, pero no declara ninguna validada ni afirma que un sistema supere a otro. Antes de añadir esa categoría, publicaremos una regla fija para las ejecuciones repetidas, un panel de tres evaluadores, los conflictos entre laboratorios, la combinación de puntuaciones y el criterio de diferencia suficiente para ordenar resultados. Esas reglas no se decidirán después de conocer los resultados.

Qué significa la puntuación y qué no

• La rúbrica no se ha validado con mediadores ni participantes humanos. Una puntuación alta no demuestra una buena mediación.
• Los 62 conflictos son una prueba sintética fija, no una muestra de disputas humanas.
• Una ejecución y un evaluador aportan indicios iniciales, no una clasificación estable.
• La prueba evalúa un final sin guía. El producto puede orientar al mediador mediante otro modelo; son configuraciones distintas.
• Un conjunto reservado de 38 conflictos permanece privado y no se utiliza en la clasificación.

Métodos anteriores

Los resultados publicados anteriormente empleaban otros participantes simulados o reglas de puntuación. Un evaluador puntuaba la conversación en curso y podía terminarla; los evaluadores finales leían los 62 conflictos. Esos resultados siguen en Earlier results, pero no se combinan ni se clasifican junto con los provisionales actuales. La antigua ejecución sin mediador es una referencia histórica, no una diferencia de base para la nueva puntuación.

Estudio controlado original: qué encontró

MediationBench ejecutó 62 disputas entre dos partes interpretadas por modelos de lenguaje. Comparó dos conjuntos de instrucciones sobre el mismo modelo mediador: un control mínimo de escucha reflexiva y una estrategia de mediación especializada. Ambos se probaron con y sin la información privada de las partes. Un único modelo evaluador fijo puntuó todas las conversaciones de 0 a 100.

• Qué se sostuvo. Con Qwen como mediador, Stheno —un modelo de pesos abiertos— interpretando a ambas partes y solo contexto público para el mediador, las instrucciones especializadas superaron al control en 13,17 puntos. El intervalo del 90 % fue de 9,67 a 17,55. Esta comparación se repitió dos veces en todas las condiciones.
• Qué mostró la comparación de información. En esa configuración, las instrucciones especializadas superaron al control tanto con informes privados (+7,27) como sin ellos (+13,17). El estudio no demostró que las dos condiciones fueran equivalentes.
• Qué no se repitió en todas las configuraciones. La comparación con Kimi, basada principalmente en ejecuciones únicas, apuntó en la misma dirección. gpt-oss no superó ninguna de las dos reglas fijadas de antemano. El resultado con contexto público no se sostuvo cuando Gemma interpretó a las partes.

¿Qué grado de certeza hay? El intervalo refleja cómo cambia el resultado al variar el peso de los 62 conflictos observados. No abarca nuevas respuestas, otros evaluadores, cambios de proveedor o modelo ni disputas humanas. Solo Qwen repite todas las condiciones.

Comprobación posterior con la misma versión

Se registraron dos nuevas ejecuciones de la estrategia especializada con informes privados, junto con el plan de análisis, antes de conocer los resultados. Después se recalculó la comparación de Qwen usando dos ejecuciones de la misma versión en cada condición.

La diferencia entre estrategia especializada y control con informes privados fue de +9,93 puntos (intervalo del 90 %: 2,65 a 13,41). La interacción E3 —esa diferencia con contexto público menos la diferencia con informes privados— fue de +3,23 puntos (−1,13 a 11,93), por lo que su dirección sigue sin estar clara. La puntuación de la estrategia especializada con contexto público menos su puntuación con informes privados fue de −2,66 (−6,40 a 2,04). La comparación con contexto público se mantuvo en +13,17 por construcción, ya que esa condición no cambió. Es un análisis de sensibilidad posterior a los resultados, no una réplica. El análisis original sigue siendo el principal. Descargar los datos agregados de sensibilidad .

Organización del estudio

La tabla identifica cuatro comparaciones, E1–E4, y las define en su leyenda. Un E4 negativo significa que el mediador puntuó más al recibir los informes privados. Una condición combina instrucciones e información. Una ejecución abarca todos los conflictos en una condición. El evaluador es el modelo que puntuó las conversaciones del estudio original.

Ampliaciones y pruebas de resistencia

• Con gpt-oss como mediador, el intervalo con contexto público incluía cero y la comparación de información no superaba el límite prefijado de −4 puntos. No cumplió ninguna regla.
• Con Gemma interpretando a las partes, el resultado con contexto público no se sostuvo según las reglas previas. La interacción fue de −5,68. La tabla de resultados con otros participantes muestra las cinco ejecuciones y las comparaciones.
• Dos evaluadores de otras familias puntuaron después las mismas transcripciones y también encontraron una interacción negativa. Los límites explican por qué esto respalda la dirección, no el tamaño del efecto.
• Una comprobación planificada con Sonnet examinó si mostrar los informes privados al evaluador cambiaba sus puntuaciones. Se puntuaron los 558 pares previstos de ejecución y conflicto, y los 22 intervalos del 90 % incluían cero. La dirección sigue sin resolverse: no demuestra equivalencia. Las puntuaciones con y sin informes procedían de periodos distintos del servicio y no se conservó la revisión del modelo que respondió. Descargar los datos agregados .
• Una ampliación registrada tras la congelación del estudio, con GPT-5.5, estrategia especializada e información completa, obtuvo 50 con Gemma como participantes. Fue una sola ejecución, sin control de escucha reflexiva equivalente y fuera del estudio original 2 × 2. Los resultados seleccionados de seguimiento pueden parecer especialmente sólidos por azar.

El experimento de información

El estudio original comparó dos condiciones:

• Informes privados: el conflicto público, los hechos compartidos, la conversación hasta ese momento y los hechos privados de ambas partes, escritos por investigadores y reproducidos literalmente.
• Solo contexto público: el conflicto público, los hechos compartidos y la conversación. El mediador debe descubrir las restricciones privadas relevantes durante el intercambio.

Todos los mediadores recibieron también áreas de atención redactadas por investigadores. En 3 de los 100 conflictos, una de esas áreas coincide sustancialmente con una revelación esperada. Esos casos ofrecen una pista de orientación, no un solucionario.

En Qwen, Kimi y gpt-oss, la diferencia entre la puntuación especializada con contexto público y con informes privados fue próxima a cero (+0,01, +1,53 y −1,64), y todos los intervalos del 90 % incluían cero. Esto no establece equivalencia: no se fijó un margen para probarla y los intervalos aún permiten diferencias relevantes. Para Qwen, la comprobación con la misma versión cambió la estimación de +0,01 a −2,66.

Metodología

En la tabla E1–E4, cada modelo recibe tanto las instrucciones especializadas como las de escucha reflexiva. Los participantes simulados y el evaluador se mantienen fijos: se comparan dos conjuntos de instrucciones sobre el mismo modelo. El panel de procedencia recoge los identificadores exactos, la versión, las temperaturas y los detalles del remuestreo. La generación no utilizó semillas fijas.

Las ejecuciones solo se regeneran cuando falla un conflicto o un modelo no devuelve texto, nunca por la puntuación obtenida. El autor registró esta regla el 26 de julio de 2026.

Cómo se generan las disputas sintéticas

Cada conflicto tiene exactamente dos partes. El material público establece la disputa y el intercambio inicial. El privado aporta a cada parte una historia, una posición, intereses ocultos y una alternativa si abandona la negociación. Todas las condiciones emparejadas usan el mismo conflicto.

El conjunto evaluado contiene 62 conflictos en inglés de una colección de 100 que también contribuyó al desarrollo de la prueba: no es un conjunto reservado completamente independiente. Los 38 restantes son privados y no se utilizan. Esta configuración aporta información privada conocida y permite comparaciones emparejadas. No prueba que un modelo actuara según todos los hechos asignados ni hace que los participantes representen a las personas.

Qué se mide y cómo se puntúa

MediationBench mide el proceso de conversación, no solo si al final aparece un acuerdo: si la disputa avanza de la suma cero hacia la cooperación, como propone la filosofía . Se utiliza una puntuación compuesta de 0 a 100. Todas las estimaciones E1–E4 y el límite de −4 puntos son diferencias en esa escala. Los pesos elegidos por expertos son:

• Cooperative Dimensions (avance cooperativo entre las partes): 25 %.
• Resolution Depth (profundidad de la resolución): 25 %.
• Hidden Revelations (descubrimiento de intereses privados): 20 %.
• Commitment Symmetry (reciprocidad de los compromisos): 15 %.
• Moderator Quality (calidad del proceso mediador): 15 %.

Una puntuación alta no equivale necesariamente a una buena mediación. No evalúa consentimiento voluntario, equidad del procedimiento, desequilibrios de poder, desacuerdo seguro, legalidad, viabilidad ni duración. Una puntuación de Hidden Revelations no demuestra que revelar información fuera seguro o estuviera autorizado.

La configuración tiene efectos conocidos. Las conversaciones mediadas pueden terminar antes que las no mediadas. Los mensajes del mediador no consumen turnos de las partes. Moderator Quality vale cero sin mediador y es alta en casi todas las ejecuciones mediadas; parte de la diferencia respecto a la referencia procede de ese diseño. El análisis original trata las reglas de finalización y de puntuación como parte de lo evaluado.

El 15 de julio de 2026, antes de cualquier ejecución con contexto público, se fijaron dos reglas: positividad E1, cuyo límite inferior debe superar cero, y no inferioridad E3, cuyo límite inferior debe superar −4 puntos. Es decir, el incremento por especialización con contexto público no debe quedar más de cuatro puntos por debajo del incremento con información privada bilateral completa. Un intervalo que cruza cero no demuestra equivalencia.

Qué no se ha demostrado

• Todas las partes son modelos de lenguaje. Los intervalos se limitan a las ejecuciones y al evaluador observados, sin abarcar respuestas nuevas, otros servicios ni disputas humanas.
• El mediador Qwen y el evaluador utilizan el mismo punto de control del modelo: el núcleo replicado se evalúa a sí mismo. Un sesgo constante a favor de sí mismo se cancela al comparar instrucciones sobre ese modelo; uno que varíe según el estilo, no. Las comparaciones entre modelos, incluida la falta de réplica con gpt-oss, no están protegidas. La exportación señala menor fiabilidad en dos de las cinco categorías (κ 0,42 y 0,48; n = 40), que suman el 45 % del peso.
• Dos familias de modelos adicionales puntuaron las transcripciones fijas y también encontraron una interacción negativa con participantes Gemma (−8,50 y −4,50, frente a −5,68 del evaluador original). Esto corrobora la dirección, no la magnitud; solo el intervalo de gpt-oss excluye cero (datos de evaluadores cruzados ). La escala y la anchura del intervalo siguen dependiendo del evaluador. Volver a puntuar no cambia una conversación o un final ya influidos por el evaluador original.
• Qwen es el único núcleo de información replicado. Kimi —una ejecución en tres de sus cuatro condiciones— y gpt-oss —una en cada condición— estiman variación entre escenarios, no entre generaciones. En todos los modelos, E2, E3 y el contraste de información especializado reutilizan una ejecución anterior con la misma configuración e informes privados. El diseño factorial no es enteramente contemporáneo; las comparaciones contemporáneas más limpias son el incremento de especialización con contexto público y el efecto de la información con escucha reflexiva.
• Las cantidades a estimar y las reglas se fijaron en un registro interno, no en un prerregistro público convencional. La justificación del margen E3 de −4 puntos utilizó resultados ya observados con información completa. Ninguna estimación principal, margen o regla cambió después de obtener los resultados con contexto público.
• No existe un estudio con criterios humanos que vincule la puntuación con el juicio de mediadores profesionales o participantes. Se respaldan comparaciones de estrategias en configuraciones concretas, no una clasificación universal de familias de modelos ni una afirmación de despliegue seguro.
• HAI.AI diseña y gestiona la prueba, desarrolla estrategias de mediación y la fábrica de acuerdos de hai.ai, y publica este sitio. No es una evaluación independiente de terceros.

Para laboratorios de modelos

MediationBench publica resultados agregados y datos E1–E4. No publica el entorno de ejecución, las instrucciones de los evaluadores, los registros por escenario, las transcripciones ni los escenarios reservados. Por ello, terceros no pueden recalcular de forma independiente E1–E4 ni sus intervalos.

Los laboratorios pueden acordar una evaluación por correo para:

• Comparar la puntuación de sus instrucciones de mediación con nuestro control reflexivo.
• Medir qué cambia al aportar información privada bilateral.
• Examinar fallos según tipo de escenario, dificultad y resistencia de los participantes.
• Volver a puntuar transcripciones guardadas sin regenerar la conversación.

Son útiles las aportaciones sobre dominios de conflicto ausentes, simulaciones de participantes más creíbles, diseño de la revisión humana y metadatos necesarios para reproducir el estudio. Para hablar de una evaluación o aportar al método: hello@hai.io .

Límites de la publicación

El sitio publica pruebas agregadas y versionadas. No publica el conjunto reservado, los informes privados originales, las instrucciones no publicadas, las transcripciones privadas, los marcadores de detección de contaminación ni datos personales identificativos.

Hay una muestra pública en Hugging Face: mediationbench-sample .

Publicar no depende de que el resultado parezca bueno: publicamos todas las ejecuciones válidas registradas y todas las nuevas evaluaciones registradas, incluidos resultados nulos o negativos. Aplicar otro evaluador a una transcripción no cuenta como una nueva ejecución.

Las sumas SHA-256 de todos los JSON y PDF fechados que se han distribuido están en el manifiesto público .

Todas las ejecuciones publicadas son propias de HAI: las encargó HAI, con sus escenarios y en las condiciones descritas. Ningún tercero ha presentado un sistema a MediationBench. Las evaluaciones externas se acuerdan directamente por correo; qué puede publicarse se decide en ese momento, no mediante una regla permanente de esta página.

Condiciones y uso de datos

La participación es voluntaria. HAI no vende datos personales ni publica información identificativa. El uso de hai.ai se rige por sus condiciones de servicio (en inglés) .

Correcciones y respuestas

Los responsables de sistemas evaluados pueden pedir una corrección factual o enviar una respuesta para su publicación a hello@hai.io .

Consulta una conversación pública de ejemplo o propón un escenario sintético .

Artículo

El artículo detalla el diseño, el análisis y los límites del estudio. Sigue siendo un borrador de trabajo: las cifras pueden cambiar antes de completar la prepublicación. La versión vigente y las anteriores se indican a continuación, a partir del registro de publicación. Esta página y los archivos agregados fechados constituyen el registro web citable. El artículo y sus versiones están en inglés.

Paper revision 2026-09-13 (13 September 2026)

Descargar el borrador actual (PDF, en inglés)

Licencia

Se aplican dos licencias. Los resultados agregados —la tabla E1–E4, el JSON agregado versionado , la sensibilidad de Qwen con versiones emparejadas , la comprobación del contexto del evaluador Sonnet y los datos de evaluadores cruzados — tienen licencia CC BY 4.0 : pueden reutilizarse, también comercialmente, con atribución. El texto y las figuras de esta página conservan la licencia CC BY-NC-SA 4.0 .

Ninguna licencia cubre el conjunto oculto de evaluación, las transcripciones privadas, las instrucciones originales ni los detalles internos de puntuación.