Характеристики

Лицензия: Apache 2.0
Архитектура: slm · dense
Библиотека: slm-research
Опубликована: 11 авг 2026

Ссылки

gslm-scaling-20m-1p3b

Генерация текстаТекст → текст3 профессии

Исследовательская TransformerLM-модель на 20,7 млн параметров, генерирующая дискретные речевые токены для экспериментов с масштабированием речевых языковых моделей.

10скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gslm-scaling-20m-1p3b — исследовательский речевой языковой чекпойнт, опубликованный как конечная точка кривой масштабирования из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Он содержит 20 710 912 параметров и обучался на 1 325 120 000 токенах, по 131 200 токенов на обновление. Архитектура — плотная TransformerLM; веса представлены в FP32 и формате safetensors.

Модель предсказывает последовательности дискретных речевых единиц: кластеризованные K-means-токены слоя 11 mHuBERT с частотой 25 Гц и размером словаря кластеров K=500. Пример использования генерирует продолжение последовательности таких токенов. В README приведены результаты оценивания на sBLIMP и sStoryCloze/tStoryCloze. Это чекпойнт для исследований масштабирования и оценки речевых языковых моделей; готовый вокодер в комплект не входит, поэтому сами по себе выходные токены не являются аудиосигналом.

Модель опубликована под лицензией Apache-2.0. В карточке указана задача text-generation; она генерирует токенизированные представления речи, а не готовую речь или обычный текст для пользователя.

Сценарии применения

генерация продолжения последовательности токенов mHuBERT
оценка масштабирования речевых языковых моделей
эксперименты с генерацией дискретных представлений речи

Ограничения

Для преобразования сгенерированных речевых токенов в аудио нужен отдельный вокодер, который не входит в комплект. Чекпойнт предназначен для экспериментов и оценки, а не для прямой генерации готового аудио.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.13Универсальные способностиСимуляция, моделирование и открытие новогоAI помогает исследовать сложные системы, проверять сценарии и искать новые конструкции, закономерности или гипотезы.18 задач1 577моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gslm-scaling-20m-1p3b

Model-only FP32 weights for a final-budget scaling-curve endpoint from Scaling Properties of Speech Language Models (EMNLP 2024). This checkpoint has 20,710,912 parameters and saw exactly 1,325,120,000 tokens at 131,200 tokens per update.

import torch
from slm import TransformerLM

model = TransformerLM.from_pretrained("tiagoCuervo/gslm-scaling-20m-1p3b", device="cuda")
prompt = torch.tensor([[12, 91, 204]], device="cuda")
units = model.generate(prompt, max_new_tokens=200, temperature=0.8, top_k=50)

Evaluation scores are 53.66% sBLIMP phenomenon macro accuracy, 51.56% sBLIMP voice-pair accuracy, 52.54% sStoryCloze, and 65.53% tStoryCloze.

The model predicts consecutive-run-collapsed 25 Hz layer-11 mHuBERT K-means units (K=500; EOS=500; PAD=501). A vocoder is not bundled.

Speech-tokenizer and vocoder artifacts are credited in the SLM third-party notices. See provenance.json for exact hashes and evaluation metadata.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · slm-research

Нельзя запустить

Архитектура slm неизвестна transformers в образе рантайма.

Класс архитектуры: TransformerLM
Ревизия весов: 519a7a6