sat-12l
Model for wtpsplit.
State-of-the-art sentence segmentation with 12 Transfomer layers.
For details, see our Segment any Text paper
Характеристики
- Контекст
- 514 токенов
- Параметры
- 305 млн
- Лицензия
- MIT
- Архитектура
- xlm-token · dense
- Опубликована
- 16 июн 2024
Ссылки
sat-12l
Многоязычная модель классификации токенов для сегментации текста на предложения.
8 160скачиваний за 30 дней7лайковвеса обновлены24 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
sat-12l — многоязычная модель сегментации текста на предложения из проекта Segment any Text, разработанная для wtpsplit. Она относит токены к классам для определения границ предложений и предназначена для разбиения сплошного текста на предложения в системах обработки документов и текста.
Модель использует архитектуру XLM для классификации токенов и содержит 12 слоёв трансформера, около 305,2 млн параметров и контекст длиной 514 токенов. Доступны веса PyTorch и ONNX. Метаданные указывают поддержку многих языков, включая английский, немецкий, французский, испанский, арабский, китайский?
Сценарии применения
- разбиение сплошного текста на предложения
- сегментация текста в конвейере wtpsplit
- определение границ предложений в многоязычных документах
Ограничения
Контекст модели ограничен 514 токенами; README не приводит подробных оценок качества или описания ограничений для отдельных языков.
Для каких профессий подходит7
Разделы каталога профессий, в задачах которых используется эта модель
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейI.4Универсальные способностиОбработка документов и формAI помогает оцифровывать документы, проверять их комплектность и сокращать ручной ввод данных.16 задач7 180моделей
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Архитектура xlm-token неизвестна transformers в образе рантайма.
- Класс архитектуры
- SubwordXLMForTokenClassification
- Ревизия весов
- ec70032