Характеристики

Лицензия: Apache 2.0
Архитектура: slm · dense
Библиотека: slm-research
Опубликована: 11 авг 2026

Ссылки

gslm-scaling-309m-30p4b

Генерация текстаТекст → текст3 профессии

Экспериментальный чекпойнт TransformerLM на 309 млн параметров для генерации дискретных токенов речи и исследования масштабирования речевых языковых моделей.

13скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Чекпойнт tiagoCuervo для исследования масштабирования speech-language-моделей, опубликованный как конечная точка кривой обучения в работе «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная TransformerLM-модель примерно на 309 млн параметров с весами FP32 в формате safetensors; по карточке, обучение охватило около 30,4 млрд токенов. Модель авторегрессионно предсказывает последовательности дискретных речевых единиц: свёрнутые подряд повторы кластеров K-means из слоя 11 mHuBERT, с частотой 25 Гц и словарём из 500 единиц.

Чекпойнт предназначен для генерации таких речевых токенов и экспериментального исследования масштабирования речевых языковых моделей. В README приведены оценки на sBLIMP, sStoryCloze и tStoryCloze; для восстановления звука потребуется отдельный вокодер, который в репозитории не приложен. Лицензия — Apache-2.0. Хотя в метаданных основная задача обозначена как text-generation, вход и выход модели представлены дискретными речевыми токенами, а не обычным текстом или аудиофайлами.

Сценарии применения

генерация последовательностей дискретных речевых единиц
оценка речевых языковых моделей на sBLIMP
оценка понимания речевых историй на sStoryCloze и tStoryCloze
изучение влияния объёма обучения на качество speech-language-модели

Ограничения

Модель генерирует дискретные речевые единицы, а не готовое аудио; вокодер не включён. В README не указаны языки речи, на которых обучалась модель.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей I.13Универсальные способностиСимуляция, моделирование и открытие новогоAI помогает исследовать сложные системы, проверять сценарии и искать новые конструкции, закономерности или гипотезы.18 задач1 577моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gslm-scaling-309m-30p4b

Model-only FP32 weights for a final-budget scaling-curve endpoint from Scaling Properties of Speech Language Models (EMNLP 2024). This checkpoint has 308,845,568 parameters and saw exactly 30,401,910,000 tokens at 516,600 tokens per update.

import torch
from slm import TransformerLM

model = TransformerLM.from_pretrained("tiagoCuervo/gslm-scaling-309m-30p4b", device="cuda")
prompt = torch.tensor([[12, 91, 204]], device="cuda")
units = model.generate(prompt, max_new_tokens=200, temperature=0.8, top_k=50)

Evaluation scores are 60.06% sBLIMP phenomenon macro accuracy, 57.41% sBLIMP voice-pair accuracy, 54.41% sStoryCloze, and 75.31% tStoryCloze.

The model predicts consecutive-run-collapsed 25 Hz layer-11 mHuBERT K-means units (K=500; EOS=500; PAD=501). A vocoder is not bundled.

Speech-tokenizer and vocoder artifacts are credited in the SLM third-party notices. See provenance.json for exact hashes and evaluation metadata.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · slm-research

Нельзя запустить

Архитектура slm неизвестна transformers в образе рантайма.

Класс архитектуры: TransformerLM
Ревизия весов: 43cd214