sat-12l-sm
Model for wtpsplit.
State-of-the-art sentence segmentation with 12 Transfomer layers.
For details, see our Segment any Text paper
Характеристики
- Контекст
- 514 токенов
- Параметры
- 305 млн
- Лицензия
- MIT
- Архитектура
- xlm-token · dense
- Опубликована
- 16 июн 2024
Ссылки
sat-12l-sm
Многоязычная модель Segment Any Text для определения границ предложений в тексте с помощью wtpsplit.
127 тыс.скачиваний за 30 дней29лайковвеса обновлены24 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
sat-12l-sm — модель семейства Segment Any Text для сегментации текста на предложения, разработанная для использования с библиотекой wtpsplit. Она определяет границы предложений на уровне токенов и построена на архитектуре XLM с 12 слоями Transformer; размер модели — 305,2 млн параметров, контекст — 514 токенов. В карточке заявлено качество уровня state of the art. Метаданные указывают поддержку множества языков, включая английский, арабский, китайский и другие; лицензия — MIT.
Сценарии применения
- разделение сплошного текста на предложения
- восстановление границ предложений в текстах без пунктуации
- подготовка многоязычных текстов к обработке NLP
- сегментация транскриптов и расшифровок на предложения
Ограничения
Контекст ограничен 514 токенами; карточка не приводит оценки качества или описание ограничений по отдельным языкам.
Для каких профессий подходит9
Разделы каталога профессий, в задачах которых используется эта модель
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейI.7Универсальные способностиРечь, диалоги и встречиAI помогает понимать разговорную речь, поддерживать диалог и превращать встречи в структурированные результаты.17 задач26 923моделиII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Архитектура xlm-token неизвестна transformers в образе рантайма.
- Класс архитектуры
- SubwordXLMForTokenClassification
- Ревизия весов
- d70c72a