Comprobación de los evaluadores
¿Pueden nuestros evaluadores identificar los términos acordados e interpretar afirmaciones y el texto que las respalda? Este piloto contrasta sus respuestas con anotaciones de conjuntos de datos externos. Cada fuente pone a prueba una habilidad distinta, por lo que los resultados se presentan por separado.
Las tablas y los datos se mantienen en inglés.
Exploratory results · 200 cases
Some cases remain unresolved
Results are shown for each judge and task. Failed and pending cases remain visible in their denominators.
Sample coverage
200 source records · 2 datasets
Easy · 68 Medium · 66 Hard · 66
100 cases
100 cases
Only CaSiNo records are conversations. ContractNLI provides documents and propositions.
Download aggregate (JSON) · Dataset subsets on Hugging Face
Earlier reading, kept as published: External-source judge pilot: first judge readings.
Results by judge and task
“Correct” is strict: the label agrees with the source annotation and every quoted citation verifies. “Label agreement” counts a matching label whether or not its citation verified. Failed responses are not counted as correct or incorrect.
Sol
200 cases completed · 0 failed · 0 pending
Scroll the table to see all counts.
| Task | Correct | Label agreement | Incorrect | Failed | Pending |
|---|---|---|---|---|---|
| CaSiNoRecorded deal acceptance100 cases | 75 | 75 | 25 | 0 | 0 |
| CaSiNoExact allocation100 cases | 69 | 69 | 31 | 0 | 0 |
| ContractNLIContract entailment100 cases | 77 | 77 | 23 | 0 | 0 |
By source answer
The same counts split by what the source annotation records for each case. For CaSiNo, “true” and “deal” are recorded deals; “false” and “no_deal” are recorded walk-aways.
- CaSiNo · Recorded deal acceptance · false: 3 correct, 3 incorrect, 0 failed, 0 pending.
- CaSiNo · Recorded deal acceptance · true: 72 correct, 22 incorrect, 0 failed, 0 pending.
- CaSiNo · Exact allocation · deal: 66 correct, 28 incorrect, 0 failed, 0 pending.
- CaSiNo · Exact allocation · no_deal: 3 correct, 3 incorrect, 0 failed, 0 pending.
- ContractNLI · Contract entailment · Contradiction: 21 correct, 12 incorrect, 0 failed, 0 pending.
- ContractNLI · Contract entailment · Entailment: 30 correct, 4 incorrect, 0 failed, 0 pending.
- ContractNLI · Contract entailment · NotMentioned: 26 correct, 7 incorrect, 0 failed, 0 pending.
Evidence-reference checks
These counts check each response’s references to source text, once per case. They do not measure whether the cited text supports each answer.
- CaSiNo: 100 valid, 0 invalid.
- ContractNLI: 100 valid, 0 invalid.
Gemini
198 cases completed · 2 failed · 0 pending
Scroll the table to see all counts.
| Task | Correct | Label agreement | Incorrect | Failed | Pending |
|---|---|---|---|---|---|
| CaSiNoRecorded deal acceptance100 cases | 71 | 71 | 29 | 0 | 0 |
| CaSiNoExact allocation100 cases | 67 | 67 | 33 | 0 | 0 |
| ContractNLIContract entailment100 cases | 82 | 84 | 16 | 2 | 0 |
By source answer
The same counts split by what the source annotation records for each case. For CaSiNo, “true” and “deal” are recorded deals; “false” and “no_deal” are recorded walk-aways.
- CaSiNo · Recorded deal acceptance · false: 4 correct, 2 incorrect, 0 failed, 0 pending.
- CaSiNo · Recorded deal acceptance · true: 67 correct, 27 incorrect, 0 failed, 0 pending.
- CaSiNo · Exact allocation · deal: 63 correct, 31 incorrect, 0 failed, 0 pending.
- CaSiNo · Exact allocation · no_deal: 4 correct, 2 incorrect, 0 failed, 0 pending.
- ContractNLI · Contract entailment · Contradiction: 24 correct, 9 incorrect, 0 failed, 0 pending.
- ContractNLI · Contract entailment · Entailment: 29 correct, 3 incorrect, 2 failed, 0 pending.
- ContractNLI · Contract entailment · NotMentioned: 29 correct, 4 incorrect, 0 failed, 0 pending.
Evidence-reference checks
These counts check each response’s references to source text, once per case. They do not measure whether the cited text supports each answer.
- CaSiNo: 100 valid, 0 invalid.
- ContractNLI: 98 valid, 2 invalid.
Grok
196 cases completed · 4 failed · 0 pending
Scroll the table to see all counts.
| Task | Correct | Label agreement | Incorrect | Failed | Pending |
|---|---|---|---|---|---|
| CaSiNoRecorded deal acceptance100 cases | 69 | 71 | 28 | 3 | 0 |
| CaSiNoExact allocation100 cases | 64 | 66 | 33 | 3 | 0 |
| ContractNLIContract entailment100 cases | 77 | 78 | 22 | 1 | 0 |
By source answer
The same counts split by what the source annotation records for each case. For CaSiNo, “true” and “deal” are recorded deals; “false” and “no_deal” are recorded walk-aways.
- CaSiNo · Recorded deal acceptance · false: 4 correct, 2 incorrect, 0 failed, 0 pending.
- CaSiNo · Recorded deal acceptance · true: 65 correct, 26 incorrect, 3 failed, 0 pending.
- CaSiNo · Exact allocation · deal: 60 correct, 31 incorrect, 3 failed, 0 pending.
- CaSiNo · Exact allocation · no_deal: 4 correct, 2 incorrect, 0 failed, 0 pending.
- ContractNLI · Contract entailment · Contradiction: 21 correct, 11 incorrect, 1 failed, 0 pending.
- ContractNLI · Contract entailment · Entailment: 29 correct, 5 incorrect, 0 failed, 0 pending.
- ContractNLI · Contract entailment · NotMentioned: 27 correct, 6 incorrect, 0 failed, 0 pending.
Evidence-reference checks
These counts check each response’s references to source text, once per case. They do not measure whether the cited text supports each answer.
- CaSiNo: 97 valid, 3 invalid.
- ContractNLI: 99 valid, 1 invalid.
Shared results across judges
Over the cases every judge labeled (sol, gemini, grok), counted at the label level. Cases where no judge matched the source annotation are pending human review of the source material; they are not evidence for either side.
| Task | Labeled by all | All agree with source | None agree with source | Of which same label |
|---|---|---|---|---|
| CaSiNoRecorded deal acceptance | 100 | 68 | 24 | 24 |
| CaSiNoExact allocation | 100 | 64 | 29 | 28 |
| ContractNLIContract entailment | 100 | 73 | 14 | 13 |
None agree, by source answer
- CaSiNo · Recorded deal acceptance · false: 2.
- CaSiNo · Recorded deal acceptance · true: 22.
- CaSiNo · Exact allocation · deal: 27.
- CaSiNo · Exact allocation · no_deal: 2.
- ContractNLI · Contract entailment · Contradiction: 9.
- ContractNLI · Contract entailment · Entailment: 1.
- ContractNLI · Contract entailment · NotMentioned: 4.
Dos lecturas
La primera lectura (2026-09-05) mostraba las acciones de acuerdo registradas. Por eso, la tarea de aceptación de CaSiNo era una extracción. Tres defectos del instrumento condicionaban el resto: instrucciones contradictorias de reparto, esquemas de tareas mezclados y un mecanismo de corte que trataba las respuestas con formato incorrecto como caídas del servicio.
La segunda lectura (2026-09-06) oculta todas las acciones de acuerdo, envía un único esquema de tarea por solicitud, registra los formatos incorrectos como fallos del evaluador y alterna el envío entre fuentes y niveles de dificultad. Se introdujeron varios cambios a la vez, así que ninguna diferencia entre lecturas se atribuye a uno solo. Ambas siguen publicadas; la anterior está enlazada arriba.
«Correcto» tiene un significado estricto: la etiqueta coincide con la anotación de referencia y todas las citas textuales se verifican. Si una cita falla pero la etiqueta coincide, ese caso se cuenta por separado en la columna de coincidencia de etiquetas. Ninguna cifra sustituye a la otra ni se establece una clasificación de evaluadores.
Qué no comprueba esta evaluación
Las instrucciones preguntan por un resultado: si se aceptó un trato y con qué reparto, o si un contrato respalda una afirmación. No preguntan lo que se pide a los evaluadores de producción sobre una negociación: qué se ha aclarado, qué términos se han acercado al acuerdo y qué sigue sin resolverse. Estos resultados no indican, por tanto, si reconocen el progreso en una negociación humana. Los casos en los que todos los evaluadores discreparon de la anotación de referencia aparecen en la tabla de resultados compartidos. Están pendientes de revisión humana y no constituyen pruebas en contra de ninguna de las partes.
Qué establece esta comprobación
La muestra abarca casos más fáciles y más difíciles, seleccionados según reglas basadas en las fuentes. La dificultad es una estimación heurística, no una valoración humana ni un resultado observado del evaluador. La selección se realiza antes de ejecutar los modelos.
Las anotaciones proporcionan respuestas de referencia. No establecen si una persona está preparada para firmar, ha autorizado una concesión o ha completado un acuerdo. ContractNLI evalúa afirmaciones sobre el texto de contratos, no asesoramiento jurídico ni su exigibilidad.
Se trata de una muestra exploratoria, no de una estimación representativa del rendimiento del producto. Estos resultados no modifican la clasificación de mediadores .