/ Модель

Характеристики

Контекст
514 токенов
Параметры
277 млн
Лицензия
MIT
Архитектура
xlm-token · dense
Опубликована
16 июн 2024

sat-9l-sm

Разметка токеновТекст → label9 профессий

sat-9l-sm — многоязычная модель классификации токенов для сегментации текста на предложения в библиотеке wtpsplit.

25скачиваний за 30 дней0лайковвеса обновлены24 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sat-9l-sm — модель семейства Segment any Text, разработанная для библиотеки wtpsplit. Она предназначена для сегментации текста на предложения и решает эту задачу как классификацию токенов: размечает границы предложений, в том числе в текстах без надёжной пунктуации. Модель использует архитектуру XLM для классификации токенов, содержит 276,9 млн параметров и рассчитана на последовательности длиной до 514 токенов.

Карточка заявляет качество уровня state of the art и указывает, что модель имеет 9 слоёв Transformer. Поддерживаются многие языки, включая арабский, английский, русский, китайский и японский; лицензия — MIT.

Сценарии применения

  • разбиение сплошного текста на предложения
  • восстановление границ предложений в текстах без пунктуации
  • сегментация многоязычных корпусов перед NLP-анализом
  • подготовка субтитров и транскриптов к постобработке

Ограничения

Максимальная длина входной последовательности составляет 514 токенов, поэтому длинные тексты следует обрабатывать частями. Карточка не приводит отдельной оценки качества по языкам.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Нельзя запустить

Архитектура xlm-token неизвестна transformers в образе рантайма.

Класс архитектуры
SubwordXLMForTokenClassification
Ревизия весов
790db9d

0 моделей