Характеристики

Лицензия: Apache 2.0
Архитектура: slm · dense
Библиотека: slm-research
Опубликована: 11 авг 2026

Ссылки

gslm-scaling-20m-21p8b

Генерация текстаТекст → текст3 профессии

Компактная речевая языковая модель, генерирующая дискретные mHuBERT-единицы для исследовательских экспериментов по масштабированию моделей речи.

12скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gslm-scaling-20m-21p8b — плотная трансформерная языковая модель для речи, опубликованная Tiago Cuervo как контрольная точка для исследования «Scaling Properties of Speech Language Models» (EMNLP 2024). Веса FP32 содержат 20 710 912 параметров; модель обучалась на 21 772 640 000 токенах с размером обновления 131 200 токенов. Лицензия — Apache-2.0.

Модель генерирует последовательности дискретных речевых единиц: склеенных подряд 25-Гц K-means-токенов слоя 11 mHuBERT, где K=500, EOS=500 и PAD=501. Её можно использовать для экспериментов с генерацией речевых токенов и оценки свойств речевых языковых моделей. В README приведены результаты на sBLIMP, sStoryCloze и tStoryCloze; сама карточка предоставляет интерфейс генерации токенов, а не готовый речевой синтез. Вокодер не включён, поэтому для преобразования сгенерированных единиц в звук нужны дополнительные артефакты.

Сценарии применения

генерация последовательностей дискретных речевых токенов
эксперименты с масштабированием речевых языковых моделей
оценка моделей на заданиях sBLIMP и sStoryCloze

Ограничения

Модель предсказывает дискретные речевые единицы, а не непосредственно аудиосигнал; вокодер в репозитории не приложен. README приводит метрики на нескольких бенчмарках, но не описывает широкий набор сценариев применения.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.4Разработка и данныеОтладка, тестирование и качество ПОAI помогает находить дефекты, строить проверки и повышать надёжность программного продукта.25 задач13 978моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gslm-scaling-20m-21p8b

Model-only FP32 weights for a final-budget scaling-curve endpoint from Scaling Properties of Speech Language Models (EMNLP 2024). This checkpoint has 20,710,912 parameters and saw exactly 21,772,640,000 tokens at 131,200 tokens per update.

import torch
from slm import TransformerLM

model = TransformerLM.from_pretrained("tiagoCuervo/gslm-scaling-20m-21p8b", device="cuda")
prompt = torch.tensor([[12, 91, 204]], device="cuda")
units = model.generate(prompt, max_new_tokens=200, temperature=0.8, top_k=50)

Evaluation scores are 56.21% sBLIMP phenomenon macro accuracy, 53.80% sBLIMP voice-pair accuracy, 53.50% sStoryCloze, and 69.00% tStoryCloze.

The model predicts consecutive-run-collapsed 25 Hz layer-11 mHuBERT K-means units (K=500; EOS=500; PAD=501). A vocoder is not bundled.

Speech-tokenizer and vocoder artifacts are credited in the SLM third-party notices. See provenance.json for exact hashes and evaluation metadata.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · slm-research

Нельзя запустить

Архитектура slm неизвестна transformers в образе рантайма.

Класс архитектуры: TransformerLM
Ревизия весов: 212beb2