RCB (Russian Commitment Bank)

Introduced by Shavrina et al. in RussianSuperGLUE: A Russian Language Understanding Evaluation Benchmark

The Russian Commitment Bank is a corpus of naturally occurring discourses whose final sentence contains a clause-embedding predicate under an entailment cancelling operator (question, modal, negation, antecedent of conditional).

Task Type

RTE (Recognizing Textual Entailment) Sentence Pair Classification - Entailment - Contradiction - Neutral

Example

{
          "premise": "Сумма ущерба составила одну тысячу рублей. Уточняется, что на место происшествия выехала следственная группа, которая установила личность злоумышленника. Им оказался местный житель, ранее судимый за подобное правонарушение.",
          "hypothesis": "Ранее местный житель совершал подобное правонарушение.",
          "verb": "судить",
          "negation": "no_negation",
          "label": "entailment",
          "idx": 269
          }

How did we collect data?

All text examples were collected from open news sources and literary magazines, then manually reviewed and supplemented by a human assessment on Yandex.Toloka.

Homepage