/ Модель

Характеристики

Контекст
512 токенов
Параметры
129 млн
Архитектура
bert · dense
Опубликована
2 мар 2022

classical-chinese-punctuation-guwen-biaodian

Разметка токеновТекст → label3 профессии

BERT-модель для восстановления пунктуации и разбиения на фразы в текстах на классическом китайском языке.

821скачиваний за 30 дней27лайковвеса обновлены28 окт 2025

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Модель Classical Chinese Punctuation разработана raynardj для расстановки знаков препинания и разделения на фразы в классическом китайском языке (文言文, 古文). Она принимает строку текста без пунктуации и предсказывает разметку для её символов, используя подход задачи классификации токенов, аналогичный NER. Модель поддерживает более двадцати видов знаков препинания.

Это плотная модель на архитектуре BERT с 129,5 млн параметров и контекстом до 512 токенов. Она предназначена для восстановления пунктуации в древних китайских текстах, например в статьях из книг, писем и надписей. В карточке указаны форматы PyTorch и Safetensors и лицензия MIT.

Сценарии применения

  • расстановка пунктуации в древнекитайских текстах
  • разбиение на фразы неразмеченного текста на вэньяне
  • подготовка классических китайских текстов к чтению и анализу

Ограничения

Контекст модели ограничен 512 токенами; для более длинных текстов их потребуется обрабатывать частями. Модель ориентирована на классический китайский язык, и карточка не сообщает о поддержке современных китайских текстов.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Classical Chinese Punctuation

欢迎前往我的github文言诗词项目页面探讨、加⭐️ , Please check the github repository for more about the model, hit 🌟 if you like

  • This model punctuates Classical(ancient) Chinese, you might feel strange about this task, but many of my ancestors think writing articles without punctuation is brilliant idea 🧐. What we have here are articles from books, letters or carved on stones where you can see no punctuation, just a long string of characters. As you can guess, NLP tech is usually a good tool to tackle this problem, and the entire pipeline can be borrowed from usual NER task.

  • Since there are also many articles are punctuated, hence with some regex operations, labeled data is more than abundant 📚. That's why this problem is pretty much a low hanging fruit.

  • so I guess who's interested in the problem set can speak at least modern Chinese, hence... let me continue the documentation in Chinese.

文言文(古文) 断句模型

输入一串未断句文言文, 可以断句, 目前支持二十多种标点符号

其他文言诗词的资源

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · token-classification

Можно запустить

Подбираем GPU…

Класс архитектуры
BertForTokenClassification
Ревизия весов
df9601e

0 моделей