Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
HiTZ/judge-eus — баскоязычная языковая модель на архитектуре Llama, разработанная HiTZ для оценки текста на баскском языке. Модель дообучена на базе orai-nlp/Llama-eus-8B и содержит около 7,5 млрд параметров; её контекст — до 131 072 токенов. Доступна в форматах PyTorch и Safetensors, лицензия — Apache-2.0.
Модель создавалась для MCG-COLING-2025 Shared Task: она оценивает качество контрнарративов, предназначенных для противодействия языку ненависти, в том числе их способность эффективно отвечать на него и смягчать его воздействие. Её можно применять для оценки баскских текстов в подобных сценариях. Карточка не описывает точные критерии оценивания или результаты тестирования; модель предназначена для оценки текста, а не для генерации контрнарративов.
Сценарии применения
Оценка качества контрнарративов на баскском языке
Проверка того, насколько текст отвечает на язык ненависти
Оценка способности контрнарратива смягчать воздействие языка ненависти
Ограничения
Карточка не уточняет критерии оценивания и не приводит результаты тестирования. Модель предназначена для оценки баскских текстов в сценариях противодействия языку ненависти; её применимость к другим языкам и задачам не описана.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель
HiTZ/judge-eus is a language model designed to evaluate Basque text.
It was developed for the MCG-COLING-2025 Shared Task, which focused on generating counter-narratives against hate speech using a knowledge-based corpus specifically designed for the task. The model served to evaluate the quality of these counter-narratives, assessing their ability to address and mitigate hate speech effectively. The complete code for task evaluation is available in the hitz-zentroa/eval-MCG-COLING-2025 repository.
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров