Характеристики

Лицензия: Apache 2.0
Архитектура: slm · dense
Библиотека: slm-research
Опубликована: 11 авг 2026

Ссылки

gslm-scaling-85m-2p7b

Генерация текстаТекст → текст3 профессии

Исследовательская TransformerLM-модель на 85 млн параметров, предсказывающая дискретные речевые единицы mHuBERT для изучения масштабирования речевых языковых моделей.

17скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это плотная TransformerLM-модель для генерации речевых единиц, опубликованная tiagoCuervo как контрольная точка эксперимента по масштабированию speech language models из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель содержит 85 339 392 параметра и обучалась на 2 728 960 000 токенах.

На вход она принимает последовательности дискретных речевых единиц: склеенных повторов кодов mHuBERT layer 11, полученных k-means-квантованием с частотой 25 Гц и размером словаря 500. Модель предсказывает следующие единицы; для преобразования результата в звук нужен отдельный вокодер, который в репозитории не включён. В README приведены результаты на sBLIMP и sStoryCloze, но не описаны поддерживаемые естественные языки или практические сценарии диалога.

Веса доступны в формате safetensors и FP32, библиотека запуска — slm-research. Лицензия — Apache-2.0. Это исследовательская контрольная точка для изучения закономерностей масштабирования моделей речи, а не готовая система синтеза речи с комплектом токенизатора и вокодера.

Сценарии применения

предсказание следующих дискретных речевых единиц mHuBERT
эксперименты с закономерностями масштабирования языковых моделей речи
оценка согласованности речевых последовательностей на тестах sBLIMP
оценка понимания историй в задачах sStoryCloze

Ограничения

Для получения звука нужен отдельный вокодер, который не входит в репозиторий. README не указывает поддерживаемые естественные языки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

I.13Универсальные способностиСимуляция, моделирование и открытие новогоAI помогает исследовать сложные системы, проверять сценарии и искать новые конструкции, закономерности или гипотезы.18 задач1 577моделей II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.9Универсальные способностиАудио и музыкаAI помогает анализировать, очищать, преобразовывать и создавать звук и музыку.15 задач4 835моделей

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gslm-scaling-85m-2p7b

Model-only FP32 weights for a final-budget scaling-curve endpoint from Scaling Properties of Speech Language Models (EMNLP 2024). This checkpoint has 85,339,392 parameters and saw exactly 2,728,960,000 tokens at 262,400 tokens per update.

import torch
from slm import TransformerLM

model = TransformerLM.from_pretrained("tiagoCuervo/gslm-scaling-85m-2p7b", device="cuda")
prompt = torch.tensor([[12, 91, 204]], device="cuda")
units = model.generate(prompt, max_new_tokens=200, temperature=0.8, top_k=50)

Evaluation scores are 56.41% sBLIMP phenomenon macro accuracy, 53.65% sBLIMP voice-pair accuracy, 52.22% sStoryCloze, and 68.36% tStoryCloze.

The model predicts consecutive-run-collapsed 25 Hz layer-11 mHuBERT K-means units (K=500; EOS=500; PAD=501). A vocoder is not bundled.

Speech-tokenizer and vocoder artifacts are credited in the SLM third-party notices. See provenance.json for exact hashes and evaluation metadata.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · slm-research

Нельзя запустить

Архитектура slm неизвестна transformers в образе рантайма.

Класс архитектуры: TransformerLM
Ревизия весов: 7d0bb51