Метрики, основанные на эмбеддингах, не отражают качества перевода — и это очень далеко идущий факт

В предыдущей статье мы рассказывали об исследовании специалистов Google Research под названием «Experts, Errors, and Context: A […]

Пришлось слона приметить

Посреди майских праздников, 6 мая, крупнейший новостной отраслевой портал Slator опубликовал обзорную заметку об отчете группы исследователей […]

Почему цифра BLEU, как правило, завышена

При тренировке моделей есть общее правило: разбить датасет на 90% для обучения и 10% для проверки, натренировать […]

Метрика hLEPOR впервые реализована нами как общедоступная библиотека Python

Для нас было загадкой, почему все в основном пользуются BLEU, в то время как есть более совершенная […]