/ Модель

Характеристики

Контекст
514 токенов
Параметры
220 млн
Лицензия
MIT
Архитектура
xlm-token · dense
Опубликована
16 июн 2024

sat-3l-sm

Разметка токеновТекст → label9 профессий

Многоязычная модель Segment Any Text для разделения текста на предложения и сегментации токенов.

477 тыс.скачиваний за 30 дней14лайковвеса обновлены24 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sat-3l-sm — компактная модель сегментации текста из проекта Segment Any Text, предназначенная для использования с wtpsplit. Она делит текст на предложения, что полезно для подготовки документов, субтитров и других текстовых данных. Модель построена на архитектуре XLM для классификации токенов, содержит 220,3 млн параметров и использует три слоя Transformer. Контекст модели составляет 514 токенов; доступны форматы Safetensors и ONNX.

Модель рассчитана на многоязычную сегментацию предложений. Карточка перечисляет широкий набор поддерживаемых языков, включая английский, арабский, китайский здесь не заявлен, японский и другие; языковые теги метаданных не включают русский. Лицензия — MIT. Карточка не описывает точность на конкретных наборах данных или ограничения обработки длинных последовательностей.

Сценарии применения

  • разделение сплошного текста на предложения
  • сегментация многоязычных документов перед обработкой NLP
  • подготовка субтитров и транскриптов с границами предложений

Ограничения

Контекст ограничен 514 токенами; карточка не приводит оценки качества на отдельных языках или наборах данных.

Для каких профессий подходит9

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Нельзя запустить

Архитектура xlm-token неизвестна transformers в образе рантайма.

Класс архитектуры
SubwordXLMForTokenClassification
Ревизия весов
137da05

0 моделей