/ Модель

Характеристики

Лицензия
CC BY 4.0
Базовая модель
parakeet-tdt-0.6b-v3
Библиотека
nemo
Опубликована
23 сен 2026

pianissimo-sv

Распознавание речиАудио → текст6 профессий

Модель Klang для быстрой транскрибации шведской речи с пунктуацией, временными метками и поддержкой пользовательского словаря.

2 957скачиваний за 30 дней29лайковвеса обновлены2 окт 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Klang Pianissimo — модель автоматического распознавания шведской речи, разработанная Klang как дообучение NVIDIA Parakeet TDT 0.6B v3. Она рассчитана на транскрибацию коротких аудиоклипов и длинных записей; поддерживает пунктуацию, заглавные буквы, временные метки слов и фраз, а также усиление пользовательского словаря для имён и терминов.

Модель содержит около 600 млн параметров и использует энкодер FastConformer с декодером Token-and-Duration Transducer (TDT), сохраняя архитектуру и токенизатор Parakeet v3. На вход подаётся монофоническое аудио 16 кГц; локальное внимание обеспечивает контекст около 20,5 секунды в каждом направлении на слой и помогает обрабатывать длинные записи. В README приведены результаты для шведской речи: WER 4,46% на Common Voice и 6,51% на FLEURS. Разработчик сообщает о высокой скорости работы, включая обработку часа аудио за секунду на H100.

Модель обучалась на примерно 50 000 часах шведской речи. Качество может снижаться при перекрывающейся речи, сильном фоновом шуме, редких именах и специальной лексике; форматирование чисел и пунктуацию может потребоваться исправлять. Оценка сосредоточена на шведском языке, поэтому качество для других языков и переключения языков не установлено. Лицензия — CC BY 4.0.

Сценарии применения

  • транскрибация длинных записей на шведском языке
  • распознавание речи в коротких шведских аудиоклипах
  • создание расшифровок с временными метками слов
  • расшифровка шведской речи с именами и терминами из пользовательского словаря
  • пакетная обработка шведских аудиозаписей

Ограничения

Качество может снижаться при перекрывающейся речи, сильном шуме, редких именах и специальной лексике; числа и пунктуацию иногда нужно редактировать. Оценка проводилась для шведского языка, а качество на других языках и при переключении языков не установлено.

Для каких профессий подходит6

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Также подходит для

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Klang Pianissimo

Pianissimo is a fast, accurate speech recognition model for Swedish. Developed by Klang, it is a 600-million-parameter fine-tune of NVIDIA Parakeet v3, available under CC BY 4.0.

Pianissimo can transcribe one hour of audio in one second on an H100.

Release page with demo here.

It achieves 4.46% word error rate on Common Voice Swedish and 6.51% on Swedish FLEURS, reducing errors by 76% and 57% compared with Parakeet v3.

It supports punctuation, capitalization, and word-level timestamps, and can transcribe both short clips and long recordings.

Usage

Install PyTorch and nemo_toolkit[asr].

Load the model and transcribe a 16 kHz mono audio file:

import torch
from nemo.collections.asr.models import ASRModel

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model = ASRModel.from_pretrained(
    model_name="KlangAI/pianissimo-sv",
    map_location=device,
).eval()

with torch.inference_mode():
    hypotheses = model.transcribe(
        audio=["audio.wav"],
        batch_size=1,
        return_hypotheses=True,
    )

print(hypotheses[0].text)

For multiple files, pass a list of paths and increase batch_size to suit your GPU. Use batch_size=1 for long recordings. An NVIDIA GPU is recommended; memory use grows with recording length and batch size.

Timestamps

Add timestamps=True to obtain word and segment timestamps:

with torch.inference_mode():
    hypotheses = model.transcribe(
        audio=["audio.wav"],
        batch_size=1,
        return_hypotheses=True,
        timestamps=True,
    )

for word in hypotheses[0].timestamp["word"]:
    print(word["start"], word["end"], word["word"])

Vocabulary

Supports custom vocabulary with NeMo's built-in phrase boosting: list names and terms to improve how they are spelled. The ONNX and MLX versions support it with our own implementation. The words and phrases are case sensitive.

import copy
from omegaconf import open_dict

decoding = copy.deepcopy(model.cfg.decoding)
with open_dict(decoding):
    decoding.strategy = "greedy_batch"
    decoding.greedy.boosting_tree = {
        "key_phrases_list": [
            "Klang AI", "Pianissimo", "RixVox", "Common Voice",
        ],
        "context_score": 1.0,
        "depth_scaling": 2.0,
        "use_triton": False,
    }
    decoding.greedy.boosting_tree_alpha = 1.0
model.change_decoding_strategy(decoding)

We tested it on 135 FLEURS clips where the model misspelled a name, plus 100 clips without names. The list held the 136 names from those clips and 200 decoy names that are not in the audio.

boosting_tree_alphaNames spelled rightWER, clips with namesWER, other clipsListed names inserted wrongly
0 (off)39%13.174.270
0.2548%11.874.320
0.553%11.264.320
1.064%10.104.370
2.071%10.545.044

Quantized versions

Quantized versions for smaller downloads or running faster locally:

VersionRuns onDownloadCV testFLEURS testKlang DialectsSpeed
Original fp32 (this model)PyTorch and NeMo2.51 GB4.466.514.85
ONNX int8Any CPU660 MB4.656.624.9335× (Intel), 74× (Mac)
ONNX int4Any CPU515 MB4.636.585.0612× (Intel), 37× (Mac)
ONNX fp16Any CPU1.28 GB4.476.484.8918× (Intel), 55× (Mac)
ONNX fp32Any CPU2.56 GB4.466.484.8918× (Intel), 55× (Mac)
MLX 8-bitMac with Apple silicon759 MB4.516.454.83151×
MLX 4-bitMac with Apple silicon528 MB4.666.535.20126×
MLX bf16Mac with Apple silicon1.25 GB4.456.434.85140×
MLX fp32Mac with Apple silicon2.51 GB4.466.494.90173×

Speed is Real Time Factor (RTFx) measured on a 30-second clip. ONNX benchmarked with 4 threads on an Intel Xeon Platinum 8481C and 6 threads on an Apple M5 Pro. MLX benchmarked on Apple M5 Pro GPU.

The ONNX versions run on any computer (Windows, Linux or Mac, with an Intel, AMD or ARM processor):

import onnx_asr  # pip install onnx-asr[cpu,hub]

model = onnx_asr.load_model("KlangAI/pianissimo-sv-onnx", quantization="int8")
print(model.recognize("audio.wav"))

The MLX versions run on the GPU of Macs with Apple silicon. They use a small loader file included in each MLX repository; see the MLX 8-bit model card for how to use it.

Quality and speed

Word error rate (WER, %) on Swedish speech; lower is better. All models were evaluated by Klang using the same scoring procedure. Bulk throughput is expressed as multiples of realtime.

ModelCV testFLEURS testKlang DialectsBulk throughput
Pianissimo4.466.514.852,500×
Parakeet TDT 0.6B v318.5415.1825.822,500×
KB-Whisper medium5.406.583.5866×
KB-Whisper large3.915.082.3039×
Whisper large-v38.077.248.1639×

The evaluations cover 5,516 Common Voice v26 test clips, 758 FLEURS test clips, and the 1,804-recording clean set of Klang Dialects. We calculate corpus-level WER after lowercasing, replacing punctuation with spaces, and collapsing whitespace.

Throughput was measured on one NVIDIA A100 80 GB using 30-second audio clips, with 16bit precision and optimal batch sizes.

Architecture

Pianissimo uses a FastConformer encoder and Token-and-Duration Transducer (TDT) decoder, retaining Parakeet v3's architecture and tokenizer.

PropertyValue
ParametersApproximately 600 million
Audio input16 kHz, mono
Features128-band log-mel spectrogram
Encoder24 layers, 8× subsampling
Default attentionLocal, 256 encoder frames on each side per layer
Checkpoint size2.51 GB

Unlike the original Parakeet checkpoint's full attention, Pianissimo defaults to local attention with approximately 20.5 seconds of context in each direction per layer. This keeps attention computation linear in recording length and makes long recordings practical.

Training

We fine-tuned Pianissimo on approximately 50,000 hours of Swedish speech, including public datasets such as RixVox, Common Voice and FLEURS, as well as our internal dataset of publicly available data. Augmentation included reverberation, noise, compression, reduced bandwidth, and gain changes.

Limitations

Overlapping speech, strong background noise, uncommon names, and specialized vocabulary can reduce recognition quality. Number formatting and punctuation may need editing for the intended application. Evaluation has focused on Swedish; performance on other languages and code-switching has not been established.

License and citation

Pianissimo is released under CC BY 4.0.

@misc{klang2026pianissimo,
  title = {Klang Pianissimo},
  author = {{Klang}},
  year = {2026},
  howpublished = {Hugging Face model repository},
  url = {https://huggingface.co/KlangAI/pianissimo-sv}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · nemo

Нельзя запустить

Модели NVIDIA NeMo требуют отдельного рантайма.

Ревизия весов
1d3fefb

0 моделей