Характеристики

Лицензия: Apache 2.0
Архитектура: slm · dense
Библиотека: slm-research
Опубликована: 11 авг 2026

Ссылки

gslm-scaling-20m-0p7b

Генерация текстаТекст → текст3 профессии

Компактная трансформерная GSLM-модель для экспериментов с предсказанием дискретных речевых токенов и масштабированием речевых языковых моделей.

11скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

gslm-scaling-20m-0p7b — исследовательский checkpoint модели GSLM из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотная трансформерная языковая модель с 20 710 912 параметрами, распространяемая как веса FP32 в формате safetensors по лицензии Apache-2.0. Модель обучалась предсказывать последовательности дискретных речевых единиц: склеенные подряд одинаковые кластеры K-means из слоя 11 mHuBERT, получаемые с частотой 25 Гц; размер словаря кластеров — 500.

Checkpoint соответствует конечной точке кривой масштабирования для бюджета обучения 662 560 000 токенов. Он предназначен для экспериментов и оценки свойств речевых языковых моделей, включая генерацию последовательностей речевых токенов и исследовательские тесты на речевых наборах sBLIMP и sStoryCloze. Карточка приводит точность 53,43% на sBLIMP (макроусреднение по явлениям), 51,81% на sBLIMP для voice-pair, 52,32% на sStoryCloze и 63,98% на tStoryCloze.

Модель принимает последовательности целочисленных речевых токенов и генерирует новые токены; сама по себе она не выдаёт аудиосигнал. Вокодер в репозитории не включён, а текстовый интерфейс и поддержка естественных языков не заявлены. Для запуска в README приведён интерфейс библиотеки slm с PyTorch.

Сценарии применения

генерация последовательностей дискретных речевых токенов
оценка языкового моделирования на речевых токенах
воспроизведение экспериментов по масштабированию GSLM
сравнение результатов на тестах sBLIMP и sStoryCloze

Ограничения

Модель генерирует дискретные речевые токены, а не аудио; вокодер не включён. В README не заявлены текстовый интерфейс или поддерживаемые естественные языки.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей II.8Разработка и данныеИнженерия данных и аналитикаAI помогает готовить надёжные данные и превращать их в понятную аналитику.22 задачи23 488моделей II.2Разработка и данныеСоздание и понимание программного кодаAI помогает писать, объяснять и связывать программный код с требованиями и существующей системой.20 задач21 443модели

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gslm-scaling-20m-0p7b

Model-only FP32 weights for a final-budget scaling-curve endpoint from Scaling Properties of Speech Language Models (EMNLP 2024). This checkpoint has 20,710,912 parameters and saw exactly 662,560,000 tokens at 131,200 tokens per update.

import torch
from slm import TransformerLM

model = TransformerLM.from_pretrained("tiagoCuervo/gslm-scaling-20m-0p7b", device="cuda")
prompt = torch.tensor([[12, 91, 204]], device="cuda")
units = model.generate(prompt, max_new_tokens=200, temperature=0.8, top_k=50)

Evaluation scores are 53.43% sBLIMP phenomenon macro accuracy, 51.81% sBLIMP voice-pair accuracy, 52.32% sStoryCloze, and 63.98% tStoryCloze.

The model predicts consecutive-run-collapsed 25 Hz layer-11 mHuBERT K-means units (K=500; EOS=500; PAD=501). A vocoder is not bundled.

Speech-tokenizer and vocoder artifacts are credited in the SLM third-party notices. See provenance.json for exact hashes and evaluation metadata.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · slm-research

Нельзя запустить

Архитектура slm неизвестна transformers в образе рантайма.

Класс архитектуры: TransformerLM
Ревизия весов: 0900234