Метрика hLEPOR впервые реализована нами как общедоступная библиотека Python

Для нас было загадкой, почему все в основном пользуются BLEU, в то время как есть более совершенная метрика hLEPOR.

Дело в том, что метрика BLEU основана на точности, но не полноте перевода исходного предложения. Исследователи много раз пытались исправить этот недостаток и появился сначала hLEPOR, затем METEOR и COMET. Но все эти метрики намного сложнее в реализации, чем BLEU, и к тому же отсутствует их исходный код.

Арон Хан Ли Фен предложил hLEPOR в своей статье «LEPOR: An Augmented Machine Translation Evaluation Matrics» в 2014 году. Но опубликованный им код, во-первых, написан на Perl — некогда популярном, но устаревшем языке программирования, а во-вторых, содержал многочисленные огрехи и не содержал концовки, т.е. был не полон.

Специалисты нашей лаборатории портировали код на Python, исправили в нем ряд ошибок, протестировали и опубликовали для всеобщего употребления в библиотеке PuPy.org, о чем мы опубликовали пресс-релиз в Slator.

Теперь любой исследователь может воспользоваться этой метрикой, просто подключив наш библиотеку в своем коде Python.

Пользуйтесь на здоровье!