/ Модель

Характеристики

Контекст
512 токенов
Параметры
206 млн
Лицензия
MIT
Архитектура
bert · dense
Опубликована
2 мар 2024

rubert-base-punctuation

Разметка токеновТекст → label7 профессий

Модель на базе ruBert-base восстанавливает знаки пунктуации в русском тексте, предсказывая знак после каждого слова.

151скачиваний за 30 дней0лайковвеса обновлены20 дек 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

markusiko/rubert-base-punctuation — русскоязычная модель Марка Столярова для восстановления пунктуации. Она основана на ruBert-base и дообучена для предсказания знака после каждого слова в предложении. Архитектура — BERT для классификации токенов, размер — 205,5 млн параметров, контекст — до 512 токенов.

Модель предназначена для восстановления знаков вопроса, восклицания, точки, запятой, двоеточия и многоточия в русском тексте. При обучении использовано более 20 тысяч абзацев из русской литературы. Для работы текст следует подавать без пунктуации; модель не исправляет регистр букв.

Репозиторий распространяется по лицензии MIT.

Сценарии применения

  • восстановление пунктуации в тексте без знаков
  • расстановка запятых в русском тексте
  • добавление точек, вопросительных и восклицательных знаков
  • подготовка русского текста после распознавания речи к чтению

Ограничения

На вход рекомендуется подавать текст без пунктуации; модель не меняет регистр букв. Поддерживаемый набор предсказаний включает ?, !, ., ,, :, многоточие и пробел.

Для каких профессий подходит7

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

ruBert-base for Punctuation Correction

The model is built upon the foundation of ruBert-base and has been fine-tuned to correctly place punctuation marks in Russian sentences (it predicts the mark after each word).

Some additional info about the model:

  • Fine-Tuning Source: The model has undergone fine-tuning using a diverse dataset comprising over 20,000 paragraphs from Russian literary works.

  • Supported Classes: The model is designed to predict classes following specific punctuation marks: ? ! . , : ... and space (as class O).

  • Input Format: To achieve optimal results, input text should be provided without punctuation marks. The model does not process changes in letter case.

Usage Guidelines

To use the model effectively, follow these guidelines:

  1. Input Text: Feed the model with text excluding punctuation marks.

  2. Letter Case: The model does not recognize changes in letter case.

Authors

  • Mark Stolyarov

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForTokenClassification
Ревизия весов
8391f7a

0 моделей