sat-3l
Model for wtpsplit.
State-of-the-art sentence segmentation with 3 Transfomer layers.
For details, see our Segment any Text paper
Характеристики
- Контекст
- 514 токенов
- Параметры
- 220 млн
- Лицензия
- MIT
- Архитектура
- xlm-token · dense
- Опубликована
- 16 июн 2024
Ссылки
sat-3l
Многоязычная модель Segment Any Text для определения границ предложений и сегментации текста.
10 226скачиваний за 30 дней7лайковвеса обновлены24 сен 2024
Бенчмарки
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Публичные оценки
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Что умеет модель
Описание составлено по карточке модели и метаданным Hugging Face
sat-3l — модель семейства Segment Any Text, предназначенная для сегментации текста на предложения в составе библиотеки wtpsplit. Она решает задачу токенной классификации: определяет границы сегментов в последовательности токенов. Архитектура — плотная SubwordXLMForTokenClassification с тремя слоями Transformer; размер составляет 220,3 млн параметров, нативная длина контекста — 514 токенов. Доступны веса PyTorch и ONNX.
Модель рассчитана на многоязычную сегментацию текста и подходит для подготовки документов к дальнейшей обработке, включая разделение текста на предложения. Карточка ссылается на работу Segment Any Text, но не приводит подробностей о качестве по отдельным языкам. Лицензия MIT.
Сценарии применения
- разделение текста на предложения
- сегментация многоязычных документов
- подготовка текста к токенизации и NLP-анализу
Ограничения
Контекст ограничен 514 токенами; карточка не приводит сравнительных оценок качества или результатов по отдельным языкам.
Для каких профессий подходит7
Разделы каталога профессий, в задачах которых используется эта модель
I.3Универсальные способностиИзвлечение и структурирование данныхAI помогает превращать разрозненные данные в структуру, пригодную для поиска, аналитики и автоматизации.18 задач25 791модельII.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделейII.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделейI.14Универсальные способностиАвтоматизация процессов и AI-агентыAI помогает выполнять многошаговые цифровые процессы и координировать действия между системами.20 задач26 022модели
Также подходит для
Карточка модели
README от автора на Hugging Face, как он его опубликовал
Как запустить
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · token-classification
Архитектура xlm-token неизвестна transformers в образе рантайма.
- Класс архитектуры
- SubwordXLMForTokenClassification
- Ревизия весов
- a3b7ba6