Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
Hermes-3-Llama-3.1-8B_ODESIA — испаноязычная модель генерации текста, подготовленная Икером Гарсией-Ферреро для заявки IXA на конкурс ODESIA 2024. Это дообученная версия диалоговой модели NousResearch/Hermes-3-Llama-3.1-8B на архитектуре Llama: плотная авторегрессионная модель с 7,5 млрд параметров. Метаданные указывают контекст до 131 072 токенов, библиотеку Transformers и формат Safetensors.
Модель предназначена для воспроизведения результатов оценки NLP-моделей на испанском языке в рамках ODESIA. Она поддерживает диалоговый интерфейс и интерфейс вызова инструментов; README не описывает отдельные специализированные сценарии или результаты бенчмарка. Базовая Hermes 3 ориентирована на инструкции, рассуждения, генерацию кода и вызов инструментов, но применимость этих возможностей именно в версии ODESIA отдельно не подтверждена.
Лицензия указана как llama3.1. Возможные ограничения связаны с узкой ориентацией на испаноязычную оценку и тем, что карточка не приводит подробностей обучения или результатов; качество за пределами сценария ODESIA не установлено.
Сценарии применения
воспроизведение результатов заявки IXA на ODESIA 2024
генерация текста на испанском языке
проведение экспериментов по оценке испаноязычных NLP-моделей
Ограничения
Модель подготовлена для испаноязычной оценки в рамках ODESIA; качество в других языках и сценариях карточка не характеризует. Подробные результаты и условия обучения в README не приведены.
Для каких профессий подходит3
Разделы каталога профессий, в задачах которых используется эта модель