Характеристики

Контекст: 514 токенов
Параметры: 249 млн
Лицензия: MIT
Архитектура: xlm-token · dense
Опубликована: 16 июн 2024

Ссылки

Hugging Face arXiv 2406.16678

sat-6l

segment-any-text

Разметка токеновТекст → label7 профессий

Многоязычная модель из wtpsplit для определения границ предложений в тексте.

1 327скачиваний за 30 дней0лайковвеса обновлены24 сен 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

sat-6l — модель сегментации текста на предложения из семейства Segment Any Text, разработанная для библиотеки wtpsplit. Она определяет границы предложений и подходит для автоматического разбиения сплошного текста на фрагменты перед дальнейшей обработкой. Модель использует архитектуру SubwordXLMForTokenClassification с шестью слоями Transformer; размер — 248,6 млн параметров, длина контекста — 514 токенов. Доступны веса PyTorch и ONNX.

Модель предназначена для многоязычной сегментации текста. Метаданные перечисляют поддержку ряда языков, включая английский, немецкий, французский, испанский, арабский, хинди и японский. Лицензия — MIT. Карточка связывает модель с исследовательской работой Segment Any Text.

Сценарии применения

разбиение сплошного текста на предложения
сегментация многоязычных документов перед обработкой
подготовка предложений для NLP-конвейера

Ограничения

Контекст ограничен 514 токенами; при обработке длинных текстов их потребуется разделять на фрагменты. README не приводит оценок качества или подробностей по языкам за пределами перечней в метаданных.