Дообученная на итальянских данных модель Phi-3 mini для диалоговой генерации текста и ответов на итальянском языке.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
SeaPhi3-mini — дообученная SeacomSrl версия Phi-3 mini от Toti Riccardo. Модель основана на microsoft/Phi-3-mini-128k-instruct и обучена на итальянском переводном наборе Seacom/rag-data. Это плотная авторегрессионная модель семейства Phi-3 с 3,7 млрд параметров, предназначенная для генерации текста в диалоговом формате; доступна в формате safetensors. Нативный контекст составляет 4096 токенов.
Модель ориентирована на генерацию ответов на итальянском языке. В README приведены результаты на итальянских вариантах HellaSwag и ARC. Репозиторий распространяется по лицензии Apache-2.0. Контекст короче, чем у указанной базовой модели Phi-3-mini-128k-instruct; приведённые оценки охватывают лишь несколько тестов и не дают полной картины качества.
Нативный контекст ограничен 4096 токенами. В README приведены результаты лишь по нескольким тестам, поэтому они не позволяют оценить качество модели во всех сценариях.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
| Tasks | Metric | Value | Stderr | |
|---|---|---|---|---|
| hellaswag_it | acc | 0.4502 | ± | 0.0052 |
| acc_norm | 0.5994 | ± | 0.0051 | |
| arc_it | acc | 0.0813 | ± | 0.0080 |
| acc_norm | 0.4243 | ± | 0.0145 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…