Многоязычный Longformer для извлечения признаков из длинных текстов и дообучения под прикладные задачи.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
xlm-roberta-longformer-base-16384 — многоязычная модель кодирования текста на архитектуре Longformer, созданная на основе весов XLM-RoBERTa без дополнительного предварительного обучения. Версия base содержит 305,2 млн параметров, 12 слоёв и скрытый размер 768; окно внимания — 256 токенов, максимальная длина последовательности — 16 384 токена.
Модель предназначена для дообучения под прикладные задачи, требующие представлений длинных текстов: её можно использовать как основу для извлечения признаков и построения специализированных классификаторов или других downstream-моделей. Она рассчитана на многоязычные тексты; среди языков в метаданных есть английский, русский, немецкий, французский, арабский и другие. Репозиторий содержит веса TensorFlow, лицензия — MIT.
Это базовая модель представления текста, а не готовый диалоговый помощник или генератор. Качество для конкретной задачи зависит от последующего дообучения; README указывает, что дополнительного предобучения после инициализации весами XLM-RoBERTa не проводилось.
Модель не проходила дополнительного предобучения после инициализации весами XLM-RoBERTa и предназначена для дообучения под конкретную задачу. Это кодировщик признаков, а не готовая генеративная или диалоговая модель.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
xlm-roberta-longformer is a multilingual Longformer initialized with XLM-RoBERTa's weights without further pretraining. It is intended to be fine-tuned on a downstream task.
| Model | attention_window | hidden_size | num_hidden_layers | model_max_length |
|---|---|---|---|---|
| base | 256 | 768 | 12 | 16384 |
| large | 512 | 1024 | 24 | 16384 |
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм
В репозитории нет весов в формате PyTorch/safetensors.