Дообученная на суммаризацию текстов на малаялам модель sarvam-1 для создания кратких пересказов документов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
sarvam1-dapt-general-malayalam-summarisation — модель Navneeth017, полученная дообучением sarvam-1 методом SFT для суммаризации текстов на малаялам. Это плотная авторегрессионная модель семейства Llama с 2,4 млрд параметров и контекстом до 8192 токенов; веса опубликованы в формате safetensors и предназначены для работы через Transformers. В тестировании на отложенной выборке из 837 документов указаны ROUGE-1 34,58, chrF 33,47 и BERTScore 88,21.
Модель подходит для сокращения документов на малаялам и создания кратких пересказов. Она создана как часть исследования влияния DAPT на суммаризацию: авторы сообщают, что документированный DAPT на общем или культурно ориентированном корпусе не дал статистически значимого прироста качества для sarvam-1 и mBART. Модель обозначена как частный исследовательский артефакт; условия лицензирования в доступных данных не приведены.
В исследовании на выборке из 837 документов не обнаружено статистически значимого прироста качества от DAPT; приведённые метрики относятся к тестовой выборке. Условия лицензирования в доступных данных не указаны.
README от автора на Hugging Face, как он его опубликовал
General-DAPT sarvam-1 fine-tuned (SFT) for Malayalam summarisation.
| Metric | Score |
|---|---|
| ROUGE-1 | 34.58 |
| chrF | 33.47 |
| BERTScore | 88.21 |
Part of the nlg_dapt_study corpus-controlled DAPT study for Malayalam summarisation. Central finding: documented DAPT (cultural or general-world, 23M–297M tokens) yields no statistically significant downstream gain on either mBART or sarvam-1. Private research artifact.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…