Aporta un escenario

Buscamos escenarios exigentes de mediación entre dos partes para MediationBench, nuestra evaluación comparativa de cooperación y conflicto. Un escenario es una situación estructurada: dos partes con un conflicto real dentro de la ficción, los hechos e incentivos privados de cada una y lo que una resolución de buena fe tendría que conciliar. La prueba aporta los participantes, el mediador opcional y la puntuación; tú aportas una situación que merezca ponerse a prueba. Esa situación permite evaluar lo que explicamos en Acerca de y puntuamos según la metodología .

Aportar un escenario no es solicitar una evaluación. No ejecuta tu sistema, no devuelve puntuación y no equivale a presentar un agente o un resultado. Las evaluaciones se realizan mediante el proceso de HAI.AI, gestionado por HAI.AI, PBC, que desarrolla la fábrica de acuerdos de hai.ai : personas y agentes que las representan dialogan, redactan y confirman.

Qué hace valioso un escenario

Buscamos situaciones que distingan la cooperación del comportamiento que solo lo parece. Las mejores aportaciones suelen compartir estas características:

• Un conflicto con dos perspectivas legítimas. Ambas partes tienen intereses razonables. Debe ser plausible tanto una interpretación de suma cero como una cooperativa.
• Posiciones distintas de los intereses. Cada parte sostiene una posición pública firme, pero sus hidden_facts contienen los intereses que un mediador debe descubrir para acercarlas.
• Información privada en ambos lados. Cada parte sabe cosas que la otra y el mediador desconocen al inicio. Debe poder reconocerse la revelación cooperativa y detectarse la ocultación estratégica.
• Una resolución cooperativa que no sea evidente. Debe haber un camino que concilie las necesidades, pero que exija descubrir información, no simplemente repartir la diferencia. Para dificultad expert, ajusta la alternativa de cada parte si abandona (batna_config, su BATNA o mejor alternativa a un acuerdo negociado) para que la zona de acuerdo sea pequeña o inexistente. No todos los escenarios tienen que poder resolverse.
• Situaciones concretas, ficticias y sin datos identificativos. Deben entenderse sin contexto externo. No incluyas personas reales, nombradas o identificables ni datos personales. Describe un conflicto, no insultos ni instrucciones para hacer daño.
• Cuidado con los ámbitos sensibles. Aceptamos escenarios family, civil_rights y restorative, pero sin detalles gráficos de abuso, violencia, autolesiones o discriminación. Diseña un conflicto que pueda avanzar de buena fe, no una recreación del daño.

El esquema

Envía un único archivo JSON que cumpla el esquema publicado. Este define los campos, tipos y restricciones. El ejemplo es un escenario completo y válido que puedes copiar y editar. El esquema, las claves y los ejemplos técnicos se mantienen en inglés.

• Esquema del escenario , versión 1, reproducido aquí; su $id sigue siendo la URL canónica de hai.ai.
• Escenario de ejemplo .

Estructura orientativa; consulta el esquema para ver todos los campos y restricciones:

{
  "id": "snake_case_id",
  "name": "Short human-readable title",
  "description": "2-4 neutral sentences framing the conflict.",
  "conflict_type": "interpersonal | workplace | family | community | financial | legal | commercial | international | civil_rights | restorative",
  "difficulty": "novice | intermediate | expert",
  "participants": [
    {
      "name": "Alex",
      "backstory": "3-5 sentences of grounded context.",
      "stated_goal": "The loud public position this party claims to want.",
      "hidden_facts": ["At least two private interests/leverage that diverge from the stated goal."],
      "archetype": "A free-form negotiation style: a word like 'Skeptic', or a full role-play persona.",
      "batna_config": { "utility": 0.4, "description": "What this party gets if talks fail (0..1)." }
    },
    { "name": "Boris", "backstory": "...", "stated_goal": "...", "hidden_facts": ["...", "..."], "archetype": "..." }
  ],
  "mediator_config": { "description": "...", "focus_areas": ["...", "...", "..."], "web_search_enabled": false },
  "expected_topics": ["4-6 topics that should surface"],
  "evaluation_criteria": {
    "min_turns": 8,
    "max_turns": 24,
    "success_indicators": ["3+ observable signs of a good resolution"],
    "expected_revelations": ["Hidden facts a good mediator surfaces"]
  },
  "sample_turns": [
    { "speaker": "Alex", "message": "An in-character opening line.", "turn_number": 1 },
    { "speaker": "Boris", "message": "...", "turn_number": 2 }
  ]
}

Debe haber exactamente dos participantes. Cada speaker debe coincidir con el name de un participante o con el literal Moderator. Todo el texto del archivo debe ser ASCII: comillas rectas y guiones simples, sin comillas tipográficas, rayas, emojis ni tildes; translitera nombres como Jose o Sao Paulo. Los archivos publicados son la referencia definitiva. Si esta explicación discrepa del esquema, sigue el esquema.

Los límites de turnos se fijan por escenario, no mediante un único máximo para todas las pruebas. En los 100 escenarios redactados, max_turns va de 18 a 40. Para una aportación, el valor recomendado es 24; lo utilizan el ejemplo, la estructura anterior y ambos programas.

Recursos cuantificados, opcionales

El escenario puede incluir un array resources con lo que se negocia: dinero, tiempo o bienes con valor externo y objetivo. Los recursos permiten una negociación integradora: cuando las partes los valoran de manera distinta, intercambiarlos aumenta el valor total. Un buen mediador descubre esos intercambios en vez de dividirlo todo por la mitad.

Cada recurso tiene una quantity y una unit (usd, hours, days, count, percent u other), una divisibility (divisible, indivisible o shared) y un objeto valuations con el valor que asigna cada parte al recurso completo, entre 0 y 1. Las valoraciones de cada parte deberían sumar aproximadamente 1 en el conjunto del escenario.

Un recurso puede ser "visibility": "latent": existe, pero hay que descubrirlo en el diálogo. Debe estar vinculado a un hidden_fact y aparecer en expected_revelations. Así se reconoce al mediador que descubre valor oculto, no solo al que reparte lo visible.

"resources": [
  {
    "id": "deferred_invoice",
    "name": "Delivered but unbilled invoice",
    "unit": "usd", "quantity": 5000, "divisibility": "divisible",
    "valuations": { "Alex": 0.0, "Boris": 0.15 },
    "visibility": "latent", "held_by": "Alex",
    "description": "Alex knows about it but assumes it is uncollectible; only Boris can realistically collect it."
  }
]

El ejemplo desarrolla un caso integrador completo con un recurso latente. Los recursos son datos objetivos de diseño que pueden publicarse. Se registran ahora para establecer el formato y orientar futuras medidas objetivas.

Crea uno con código

Dos programas pequeños crean un escenario difícil con recursos, lo validan contra el esquema, escriben el archivo y comprueban su dificultad: las posiciones divergen de los intereses y los recursos permiten un intercambio que amplía el valor total. Descarga el esquema , guárdalo como scenario.schema.json en la carpeta del programa y ejecuta:

• Python: create_hard_scenario.py . Instala con pip install "jsonschema[format]" y ejecuta python3 create_hard_scenario.py.
• JavaScript: create_hard_scenario.mjs . Instala con npm install ajv ajv-formats y ejecuta node create_hard_scenario.mjs.

Cómo enviarlo

1. Copia scenario.example.json y adáptalo, o crea uno con los programas anteriores.
2. Valídalo contra el esquema . La mayoría de los editores y herramientas JSON Schema pueden usar directamente su URL.
3. Envía el JSON como archivo adjunto a contribute@hai.io , con el asunto Scenario contribution.

Preferimos un escenario por archivo; puedes adjuntar varios en un correo. No hay formulario web, para poder revisar las propuestas y reservarlas como material privado. Podemos modificar, combinar, parafrasear o rechazar cualquier aportación. No confirmamos si se utiliza un escenario concreto ni cómo.

Integridad, uso de datos y licencias

Al enviar un escenario aceptas lo siguiente:

• Licencia permisiva. Envíalo bajo Apache-2.0, MIT, CC-BY-4.0 o CC0. Esto concede a Human Assisted Intelligence, PBC un derecho perpetuo, no exclusivo, mundial y libre de regalías para utilizar, reproducir, modificar, adaptar, combinar y crear obras derivadas del escenario, también en evaluaciones y conjuntos de datos públicos. Conservas la titularidad completa y puedes reutilizarlo u ofrecerlo con otras licencias.
• Originalidad y derecho a licenciar. Declaras que es una aportación original tuya, o que tienes derecho a licenciarla, y que no infringe derechos de propiedad intelectual, contratos ni obligaciones de confidencialidad de terceros.
• Uso no garantizado. Puede utilizarse en la evaluación, en un conjunto de datos o no utilizarse. HAI no se compromete a usar, evaluar ni publicar ninguna aportación concreta.
• Material reservado o público. Puede reservarse como prueba privada o publicarse en un conjunto de datos. Contribuir no da acceso al conjunto cerrado, sus instrucciones ni sus marcadores de contaminación, ni equivale a ejecutar una evaluación. Las evaluaciones las gestiona HAI.AI, PBC, que desarrolla la fábrica de acuerdos de hai.ai .
• Reconocimiento sin garantía. Si utilizamos tu escenario, intentaremos citarte, pero no lo prometemos.
• Diálogo simulado sin garantía. Si se incluye en un conjunto público, puede que intentemos compartir contigo el diálogo generado, pero no lo prometemos.
• Sin datos personales ni personas reales. Los escenarios deben ser ficticios o estar completamente anonimizados. No identifiques, señales ni representes a personas reales, nombradas o identificables, tampoco a ti mismo.
• Sin contenido dañino. No incluyas insultos discriminatorios literales ni instrucciones operativas para cometer actos ilícitos. Los escenarios describen conflictos; no sirven para difundir contenido dañino.
• Usos de las aportaciones. Pueden emplearse para calcular puntuaciones, calibrar evaluadores, mejorar las pruebas, crear conjuntos de datos públicos y publicar resultados agregados. También pueden ayudar a entrenar o mejorar modelos de IA y desarrollar funciones de evaluación o producto, según las condiciones aplicables. HAI no vende datos personales ni publica información identificativa.
• Voluntario y sin remuneración. Contribuir es opcional. No constituye una medición, certificación ni respaldo de ningún sistema y no obtiene una puntuación.
• Condiciones aplicables. Esta página es una invitación abierta, no un portal de envío: estas son las condiciones de los escenarios enviados por correo. Por separado, el uso de hai.ai se rige por sus condiciones de servicio, en inglés .

Comparte una conversación real

Los escenarios son ficticios. Para contrastar a los evaluadores de IA con personas, también solicitamos conversaciones reales, con o sin mediación, con el acuerdo de todos y sin datos identificativos. Comparte una conversación (en inglés) permite subir una transcripción de texto cada vez, después de iniciar sesión y aceptar las condiciones para colaboradores (en inglés) . Se aplican esas condiciones, no las de escenarios descritas arriba.

Evalúa conversaciones

Otra forma de colaborar es leer conversaciones como evaluador humano y puntuarlas con las mismas categorías que la IA, además de valorar su realismo. La página de evaluación humana (en inglés) explica la sesión y el acceso: inicia sesión allí una vez y escribe a contribute@hai.io con el asunto Human judge access.

Propón un escenario

Vuelve a Cómo enviarlo : copia el ejemplo, valídalo contra el esquema y envía el JSON a contribute@hai.io .