Модель создаёт краткие испаноязычные заголовки или сводки для новостных текстов.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
LeoCordoba/beto2beto-cc-news-es-titles — модель суммаризации на испанском языке, опубликованная пользователем LeoCordoba. По метаданным, это плотная encoder-decoder модель класса EncoderDecoderModel, сохранённая в форматах PyTorch и safetensors; она предназначена для создания кратких заголовков по текстам новостных статей из набора CC-NEWS-ES-titles. Модель можно применять для автоматического озаглавливания испаноязычных новостей и подготовки кратких аннотаций. В карточке приведены результаты оценки: eval loss 4.54, ROUGE-1 23.75 и ROUGE-2 7.36. Лицензия — Apache-2.0.
В карточке приведены сравнительно невысокие значения ROUGE-1 и ROUGE-2; качество может зависеть от тематики и длины входных новостей. Размер модели и длина контекста в предоставленных данных не указаны.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
{
"num_train_epochs": 3,
"seed": 7,
"summary_column": "output_text",
"text_column": "text",
"encoder_max_length" : 512,
"decoder_max_length" :36,
"batch_size" : 256
}
| key | value |
|---|---|
| eval loss | 4.539857387542725 |
| eval_rouge1 | 23.7478 |
| eval_rouge2 | 7.3616 |
| eval_rougeL | 20.6615 |
| eval_rougeLsum | 20.7371 |
| eval_gen_len | 16.1806 |
| test loss | 4.515065670013428 |
| test_rouge1 | 23.7415 |
| test_rouge2 | 7.3548 |
| test_rougeL | 20.746 |
| test_rougeLsum | 20.8149 |
| test_gen_len | 16.1926 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
Подбираем GPU…