Характеристики

Лицензия: Apache 2.0
Архитектура: slm · dense
Библиотека: slm-research
Опубликована: 11 авг 2026

Ссылки

gslm-scaling-155m-9p9b

Генерация текстаТекст → текст3 профессии

Экспериментальная TransformerLM предсказывает дискретные речевые единицы mHuBERT и предназначена для исследований масштабирования речевых языковых моделей.

14скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gslm-scaling-155m-9p9b — экспериментальная модель Tiago Cuervo из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная TransformerLM с 154 680 320 параметрами; опубликованы веса FP32 в формате safetensors, лицензия Apache-2.0. Чекпойнт достиг конечной точки кривой масштабирования после обучения на 9 892 480 000 токенах.

Модель авторегрессионно предсказывает последовательности дискретных речевых единиц: объединённые подряд повторы кластеров mHuBERT layer 11, полученных K-means с K=500 и частотой 25 Гц. В README приведён пример генерации продолжения такой последовательности. Для преобразования предсказанных единиц в звук нужен отдельный вокодер, который в репозитории не приложен.

В оценках указаны точность 58,42% по макроусреднённым явлениям sBLIMP, 55,50% для voice-pair accuracy, 54,30% на sStoryCloze и 71,78% на tStoryCloze. Это чекпойнт для исследования масштабирования speech language models; результаты не устанавливают его пригодность для готового распознавания или синтеза речи. Для генерации требуется библиотека slm-research и токенизированный prompt.

Сценарии применения

исследование масштабирования моделей, генерирующих речевые токены
генерация продолжения последовательности токенов mHuBERT
оценка языковых закономерностей в дискретных представлениях речи

Ограничения

Модель выдаёт дискретные речевые единицы, а не аудиосигнал; для синтеза звука нужен отдельный вокодер. README описывает исследовательский чекпойнт и приводит результаты только на перечисленных тестах.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.13Универсальные способностиСимуляция, моделирование и открытие новогоAI помогает исследовать сложные системы, проверять сценарии и искать новые конструкции, закономерности или гипотезы.18 задач1 577моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gslm-scaling-155m-9p9b

Model-only FP32 weights for a final-budget scaling-curve endpoint from Scaling Properties of Speech Language Models (EMNLP 2024). This checkpoint has 154,680,320 parameters and saw exactly 9,892,480,000 tokens at 524,800 tokens per update.

import torch
from slm import TransformerLM

model = TransformerLM.from_pretrained("tiagoCuervo/gslm-scaling-155m-9p9b", device="cuda")
prompt = torch.tensor([[12, 91, 204]], device="cuda")
units = model.generate(prompt, max_new_tokens=200, temperature=0.8, top_k=50)

Evaluation scores are 58.42% sBLIMP phenomenon macro accuracy, 55.50% sBLIMP voice-pair accuracy, 54.30% sStoryCloze, and 71.78% tStoryCloze.

The model predicts consecutive-run-collapsed 25 Hz layer-11 mHuBERT K-means units (K=500; EOS=500; PAD=501). A vocoder is not bundled.

Speech-tokenizer and vocoder artifacts are credited in the SLM third-party notices. See provenance.json for exact hashes and evaluation metadata.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · slm-research

Нельзя запустить

Архитектура slm неизвестна transformers в образе рантайма.

Класс архитектуры: TransformerLM
Ревизия весов: df3a332