sat-1l
Model for wtpsplit.
State-of-the-art sentence segmentation with 1 Transfomer layer.
For details, see our Segment any Text paper
Характеристики
- Контекст
- 514 токенов
- Параметры
- 201 млн
- Лицензия
- MIT
- Архитектура
- xlm-token · dense
- Опубликована
- 16 июн 2024
Ссылки
sat-1l
Многоязычная модель Segment Any Text для разбиения текста на предложения в wtpsplit.
253скачиваний за 30 дней1лайквеса обновлены24 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
sat-1l — модель семейства Segment Any Text, предназначенная для сегментации текста на предложения в составе wtpsplit. Авторы описывают её как модель с одним слоем Transformer; в метаданных указаны архитектура SubwordXLMForTokenClassification, 201,4 млн параметров и контекст 514 токенов. Основная задача в каталоге Hugging Face — token-classification.
Модель рассчитана на многоязычную обработку текста. Метаданные указывают поддержку ряда языков, включая английский, немецкий, французский, испанский, арабский, хинди и японский. Доступны веса PyTorch и ONNX. Репозиторий опубликован под лицензией MIT.
Сценарии применения
- сегментация сплошного текста на предложения
- разметка границ предложений в многоязычных текстах
- предварительная обработка документов для NLP-конвейеров
Ограничения
Контекст модели ограничен 514 токенами. README не приводит подробных оценок качества или ограничений по отдельным языкам.
Для каких профессий подходит6
Разделы каталога профессий, в задачах которых используется эта модель
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Архитектура xlm-token неизвестна transformers в образе рантайма.
- Класс архитектуры
- SubwordXLMForTokenClassification
- Ревизия весов
- 9a19799