Характеристики

Контекст: 514 токенов
Параметры: 249 млн
Лицензия: MIT
Архитектура: xlm-token · dense
Опубликована: 16 июн 2024

Ссылки

Hugging Face arXiv 2406.16678

sat-6l-sm

segment-any-text

Разметка токеновТекст → label6 профессий

Многоязычная модель wtpsplit для определения границ предложений в тексте с помощью классификации токенов.

2 908скачиваний за 30 дней3лайкавеса обновлены24 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sat-6l-sm — многоязычная модель семейства XLM для классификации токенов, разработанная для библиотеки wtpsplit. Она сегментирует текст на предложения и рассчитана на применение в сценариях, где нужно восстановить границы предложений в сплошном тексте. Архитектура плотная, с шестью слоями Transformer; в репозитории представлены веса Safetensors и формат ONNX. Модель содержит 248,6 млн параметров и имеет контекстное окно 514 токенов.

Модель поддерживает множество языков, включая английский, арабский, китайский в тегах не указан, русский также не указан. Лицензия — MIT. Карточка заявляет качество уровня state of the art для сегментации предложений, но не приводит подробностей бенчмарков; длина контекста ограничивает обработку длинных фрагментов за один проход.

Сценарии применения

разделение сплошного текста на предложения
восстановление границ предложений после удаления пунктуации или форматирования
предварительная обработка многоязычных текстов для NLP-пайплайна

Ограничения

Контекст модели ограничен 514 токенами, поэтому длинные тексты могут потребовать разбиения на фрагменты. Карточка не приводит бенчмарков и не уточняет качество отдельно для каждого языка.