/ Модель

Характеристики

Контекст
16 384 токена
Параметры
113 млн
Лицензия
MIT
Архитектура
la-canine · dense
Опубликована
10 мая 2023

wtp-canine-s-12l

Разметка токеновТекст → label7 профессий

Многоязычная модель La-CANINE для определения границ предложений и сегментации текста в wtpsplit.

4 194скачиваний за 30 дней4лайкавеса обновлены2 дек 2023

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

wtp-canine-s-12l — модель токен-классификации семейства La-CANINE, опубликованная пользователем benjamin и предназначенная для библиотеки wtpsplit. Она определяет границы предложений в тексте, чтобы разбивать его на предложения в многоязычных сценариях.

Модель содержит 113,2 млн параметров, принимает текст и выдаёт метки токенов. В карточке Hugging Face заявлена поддержка 85 языков; метаданные также указывают контекст до 16 384 токенов. Модель распространяется по лицензии MIT. Практическое ограничение — качество сегментации может зависеть от языка и особенностей текста.

Сценарии применения

  • разделение многоязычного текста на предложения
  • сегментация длинного текста перед переводом
  • подготовка предложений для индексации и поиска
  • разбиение корпуса на предложения для NLP-конвейера

Ограничения

Это модель сегментации предложений, а не универсальная модель генерации текста. Результат зависит от языка и характеристик входного текста.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Нельзя запустить

Архитектура la-canine неизвестна transformers в образе рантайма.

Класс архитектуры
LACanineForTokenClassification
Ревизия весов
2ae00cd

0 моделей