/ Модель

Характеристики

Контекст
514 токенов
Параметры
201 млн
Лицензия
MIT
Архитектура
xlm-token · dense
Опубликована
16 июн 2024

sat-1l-sm

Разметка токеновТекст → label7 профессий

Многоязычная модель семейства Segment any Text для определения границ предложений в тексте.

13 527скачиваний за 30 дней0лайковвеса обновлены24 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sat-1l-sm — модель семейства Segment any Text, предназначенная для сегментации текста на предложения в составе wtpsplit. В карточке заявлено качество уровня state of the art и компактная архитектура с одним слоем Transformer; метаданные указывают классификатор токенов XLM размером 201,4 млн параметров с контекстом до 514 токенов.

Модель выполняет разметку токенов для определения границ предложений и ориентирована на многоязычный текст. Метаданные перечисляют языки, включая английский, арабский, французский, немецкий, хинди и японский; поддержка русского языка среди перечисленных кодов не заявлена. Доступны веса в форматах Safetensors и ONNX. Лицензия — MIT.

Сценарии применения

  • разделение сплошного текста на предложения
  • сегментация многоязычных документов
  • подготовка текста для последующей NLP-обработки

Ограничения

Контекст ограничен 514 токенами. В перечисленных языковых тегах русский язык отсутствует.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Нельзя запустить

Архитектура xlm-token неизвестна transformers в образе рантайма.

Класс архитектуры
SubwordXLMForTokenClassification
Ревизия весов
00a7834

0 моделей