Характеристики

Лицензия: Apache 2.0
Архитектура: slm · dense
Библиотека: slm-research
Опубликована: 11 авг 2026

Ссылки

gslm-scaling-20m-65p3b

Генерация текстаТекст → текст3 профессии

Исследовательская TransformerLM-модель на 20,7 млн параметров, которая предсказывает дискретные речевые токены для изучения масштабирования языковых моделей речи.

11скачиваний за 30 дней0лайковвеса обновлены11 авг 2026

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Это плотная TransformerLM-модель семейства SLM, опубликованная Tiago Cuervo как конечная точка масштабирования для работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Веса FP32 содержат 20 710 912 параметров; модель обучалась на 65 324 480 000 токенах с размером обновления 131 200 токенов.

Модель авторегрессионно предсказывает последовательности дискретных речевых единиц: схлопнутые подряд повторы кодов слоя 11 mHuBERT, полученных K-means-квантованием с K=500 и частотой 25 Гц. Она рассчитана на исследование языкового моделирования речи и генерацию таких последовательностей. В примере из карточки на вход подаются целочисленные токены, а на выходе генерируются новые токены; готовый вокодер в репозиторий не включён, поэтому для получения звуковой речи нужны дополнительные компоненты.

В карточке приведены результаты на sBLIMP и sStoryCloze, включая точность 57,07% и 53,55% соответственно, а также 69,96% на tStoryCloze. Модель распространяется по лицензии Apache-2.0. Результаты и специализированное представление токенов ограничивают её применение экспериментами с речевыми языковыми моделями; она не является самостоятельной системой распознавания или синтеза аудио.

Сценарии применения

генерация последовательностей дискретных речевых токенов
исследование масштабирования языковых моделей речи
оценка речевых языковых моделей на sBLIMP и sStoryCloze

Ограничения

Модель генерирует дискретные речевые единицы, а не аудиосигнал; вокодер в репозитории отсутствует. Карточка приводит ограниченный набор оценок на речевых языковых тестах, поэтому они не подтверждают универсальную пригодность модели.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

II.10Разработка и данныеРазработка и эксплуатация AI/ML-системAI помогает создавать, оценивать, развёртывать и контролировать AI/ML-системы на всём жизненном цикле.30 задач49 000моделей I.13Универсальные способностиСимуляция, моделирование и открытие новогоAI помогает исследовать сложные системы, проверять сценарии и искать новые конструкции, закономерности или гипотезы.18 задач1 577моделей I.2Универсальные способностиСинтез, понимание и проверка знанийAI помогает сжимать, сопоставлять и критически проверять знания без потери существенного контекста.18 задач42 341модель

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

gslm-scaling-20m-65p3b

Model-only FP32 weights for a final-budget scaling-curve endpoint from Scaling Properties of Speech Language Models (EMNLP 2024). This checkpoint has 20,710,912 parameters and saw exactly 65,324,480,000 tokens at 131,200 tokens per update.

import torch
from slm import TransformerLM

model = TransformerLM.from_pretrained("tiagoCuervo/gslm-scaling-20m-65p3b", device="cuda")
prompt = torch.tensor([[12, 91, 204]], device="cuda")
units = model.generate(prompt, max_new_tokens=200, temperature=0.8, top_k=50)

Evaluation scores are 57.07% sBLIMP phenomenon macro accuracy, 54.53% sBLIMP voice-pair accuracy, 53.55% sStoryCloze, and 69.96% tStoryCloze.

The model predicts consecutive-run-collapsed 25 Hz layer-11 mHuBERT K-means units (K=500; EOS=500; PAD=501). A vocoder is not bundled.

Speech-tokenizer and vocoder artifacts are credited in the SLM third-party notices. See provenance.json for exact hashes and evaluation metadata.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · slm-research

Нельзя запустить

Архитектура slm неизвестна transformers в образе рантайма.

Класс архитектуры: TransformerLM
Ревизия весов: e507e5b