/ Модель

Характеристики

Лицензия
MIT
Библиотека
crispasr
Опубликована
5 июн 2026

pcs-xlmr-base-GGUF

Разметка токеновТекст → label5 профессий

PCS — это мультиязычная модель постобработки текста, разработанная на базе XLM-RoBERTa-base и конвертированная в формат GGUF для использования с CrispASR и CrisperWeaver.

1 828скачиваний за 30 дней0лайковвеса обновлены3 июл 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена прежде всего для обработки результатов систем автоматического распознавания речи, выдающих текст без пунктуации и с сохранением всех букв в нижнем регистре.

Модель за один проход восстанавливает пунктуацию, включая точки, запятые, вопросительные и восклицательные знаки, двоеточия, точки с запятой и другие знаки, выполняет truecasing и определяет границы предложений. Архитектура включает 12-слойный энкодер XLM-RoBERTa-base с размерностью 768, 12 головами внимания и токенизатором SentencePiece, а также четыре классификационные головы для пост- и предпозиционной пунктуации, сегментации предложений и посимвольного определения регистра.

PCS поддерживает 47 языков, однако наилучшее качество заявлено для английского, немецкого, французского, испанского, итальянского, португальского, нидерландского, польского, русского, украинского, чешского и датского языков, на которых обучались классификационные головы. Доступны полноточная версия F16 размером около 903 МБ и квантованная Q4_K размером около 155 МБ, что делает последнюю более подходящей для локального использования. Ограничения включают зависимость качества от языка и особенностей входного текста, а также отсутствие функций распознавания речи: модель обрабатывает уже полученный текст. Лицензия MIT.

Для каких профессий подходит5

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

PCS (Punctuation + Capitalization + Segmentation) — GGUF

GGUF conversion of 1-800-BAD-CODE/xlm-roberta_punctuation_fullstop_truecase for use with CrispASR and CrisperWeaver.

Model

PCS performs three text post-processing tasks in a single pass:

  1. Punctuation restoration — adds commas, periods, question marks, exclamation marks, colons, semicolons, dashes, and 10 other punctuation types
  2. Truecasing — restores proper capitalization (per-character upper/lower classification)
  3. Sentence boundary detection — identifies sentence breaks

Particularly useful for ASR backends that output unpunctuated lowercase text (wav2vec2, fastconformer-ctc, firered-asr, parakeet-ctc, omniasr-ctc).

Architecture

  • Encoder: XLM-RoBERTa-base (12 layers, d=768, 12 heads, SentencePiece tokenizer)
  • 4 classification heads:
    • post_punc: Linear(768 -> 256 -> 17) — post-word punctuation (., ,, ?, !, :, ;, -, etc.)
    • pre_punc: Linear(768 -> 256 -> 2) — pre-word punctuation (¿, ¡)
    • sbd: Linear(772 -> 128 -> 2) — sentence boundary detection
    • truecase: Linear(769 -> 128 -> 16) — per-character upper/lower case

Languages

Supports 47 languages via XLM-RoBERTa's multilingual encoder. Quality is best on the 12 languages the classification heads were trained on (EN, DE, FR, ES, IT, PT, NL, PL, RU, UK, CS, DA) but generalizes to all 47 XLM-R languages.

Files

FileSizeDescription
pcs-xlmr-base.gguf903 MBFull-precision (F16) — reference quality
pcs-xlmr-base-q4_k.gguf155 MBQ4_K quantised — ~6x smaller

Usage

CrispASR CLI

# Apply PCS to unpunctuated text
crispasr --punc-model pcs-xlmr-base-q4_k.gguf \
  -f audio.wav \
  --backend parakeet

# Standalone text processing
echo "hello how are you doing today i am fine" | \
  crispasr-pcs pcs-xlmr-base-q4_k.gguf
# Output: "Hello, how are you doing today? I am fine."

CrisperWeaver (Flutter GUI)

Download from Model Management (Post-processors section). Enable "Restore punctuation" in Advanced Options — PCS runs automatically as a post-processing step after transcription.

C API

#include "crispasr.h"

void* pcs = crispasr_pcs_init("pcs-xlmr-base-q4_k.gguf");
const char* result = crispasr_pcs_process(pcs, "hello how are you");
// result: "Hello, how are you?"
crispasr_pcs_free_text(result);
crispasr_pcs_free(pcs);

Dart FFI

final pcs = crispasr.PcsModel.open('pcs-xlmr-base-q4_k.gguf');
final text = pcs.process('hello how are you doing today');
print(text); // "Hello, how are you doing today?"
pcs.close();

Comparison with other post-processors

ModelLanguagesPunctTruecaseSBDSize (Q4_K)
PCS4717 typesper-charyes155 MB
FireRedPuncZH + ENyesyesno~100 MB
Fullstop-puncEN/DE/FR/ITyesyesno~300 MB
Truecaser LSTMDE/EN/ES/RUnoyesno~3 MB

PCS is the most comprehensive option — it handles all three tasks in one pass across the widest language set.

License

MIT (same as upstream 1-800-BAD-CODE/xlm-roberta_punctuation_fullstop_truecase).

Links

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · crispasr

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
27f17ed

0 моделей