SeaPhi3-medium — языковая модель, разработанная Toti Riccardo и представленная организацией SeacomSrl.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Она дообучена на базе unsloth/Phi-3-medium-4k-instruct с использованием датасета SeacomSrl/rag-data, переведённого на итальянский язык, поэтому предназначена прежде всего для работы с италоязычными текстами и задачами, где требуется понимание или генерация ответов на итальянском языке.
Из известных характеристик следует, что модель унаследовала архитектуру и контекстное окно базовой Phi-3-medium-4k-instruct, однако точный размер модели, число параметров и поддерживаемые модальности в README не указаны. В опубликованной оценке на итальянских наборах данных она получила среднее значение 62,66; отдельные результаты составили 69,35 на hellaswag_it, 49,1 на arc_it, 69,53 на m_mmlu_it и 0,3913 на m_mmlu_pro_it. Эти показатели дают ориентир для сравнительного анализа, но не описывают качество во всех прикладных сценариях.
Модель может быть полезна для италоязычного общения, обработки знаний и задач, связанных с retrieval-augmented generation, на которые указывает использованный датасет. Ограничения включают зависимость от качества и охвата италоязычных данных, а также отсутствие в README подробной информации о фактических возможностях, рекомендуемых ресурсах и ограничениях применения. Модель распространяется по лицензии Apache-2.0.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
For a detailed comparison of model performance, check out the Leaderboard for Italian Language Models.
Here's a breakdown of the performance metrics:
| Metric | hellaswag_it acc_norm | arc_it acc_norm | m_mmlu_it 5-shot acc | m_mmlu_pro_it | Average |
|---|---|---|---|---|---|
| Accuracy Normalized | 69.35 | 49.1 | 69.53 | 0.3913 | 62.66 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
vLLM
Подбираем GPU…