I.13Симуляция, моделирование и открытие нового

Карточка модели arcee-ai/Trinity-Large-TrueBase на Hugging Face совпадает с карточкой CollectionStudio/Trinity-Large-TrueBase, поэтому описание составлено по ней. Trinity-Large-TrueBase — базовый чекпойнт предварительного обучения от Arcee AI, выпущенный из тренировочного запуска Trinity Large после обработки 10 триллионов токенов. Это разреженная MoE-модель семейства AFMoE: в README указаны около 398 млрд общих параметров, около 13 млрд активных параметров на токен и 256 экспертов; метаданные Hugging Face указывают 8,7 млрд параметров. Чекпойнт доступен в формате safetensors и рассчитан на контекст до 8192 токенов. Модель предназначена для исследований поведения, возникающего при масштабном предобучении, анализа маршрутизации экспертов, интерпретируемости, пробинга и абляционных экспериментов, а также для последующего дообучения под специализированные задачи. Она прошла предобучение без инструкционных данных, настройки предпочтений и постобучения, поэтому не является готовым диалоговым помощником. Карточка и метаданные отмечают поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Модель не настроена на безопасность, полезность или естественный разговорный стиль; без дообучения её ответы могут быть нестабильными. Для fine-tuning требуются значительные вычислительные ресурсы и техническая экспертиза, а расширенный контекст не поддерживается. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

HFO-spkHFO — модель классификации изображений для выявления спайк-ассоциированных высокочастотных осцилляций (spkHFO) в исследованиях нейронных сигналов. Репозиторий roy chowdhury research входит в набор моделей для классификации HFO, включая обнаружение артефактов и эпилептических HFO; эта модель предназначена для задачи spkHFO. Модель основана на ResNet и доступна в форматах ONNX и safetensors. Она рассчитана на использование в исследовательских и клинических аналитических конвейерах, связанных с эпилепсией и анализом функций мозга. Карточка заявляет удобную загрузку через Transformers и высокую точность, однако численные оценки качества и детали входного представления не приведены. Лицензия — MIT.

OPI-Galactica-6.7B — языковая модель, созданная дообучением GALACTICA 6.7B компанией BAAI на полном наборе инструкций OPI объёмом 1,61 млн примеров. Набор OPI предназначен для адаптации больших языковых моделей к задачам, связанным с белками; работа описана в статье, принятой на семинар NeurIPS 2024 по фундаментальным моделям для науки. Модель построена на архитектуре OPT и генерирует текст по текстовому запросу. Она предназначена для инструктивных задач о белках; авторы сообщают об оценке на девяти задачах, но доступный фрагмент карточки не содержит результатов или их описания. Контекст составляет 2048 токенов. В метаданных указан английский язык и лицензия Apache-2.0. Это специализированная исследовательская адаптация научной языковой модели, а не универсальная модель для любых предметных областей. Карточка не приводит подробностей об ограничениях, качестве по отдельным задачам или рекомендациях по развёртыванию.

BMukhtar/ppo-Huggy — обученный агент PPO для игры Huggy в среде Unity ML-Agents. Модель предназначена для управления игровым агентом и может запускаться в соответствующей среде, а также использоваться для продолжения обучения через ML-Agents. В репозитории представлен формат ONNX; карточка указывает библиотеку ML-Agents. Модель принимает состояние среды и выдаёт действия агента в рамках задачи обучения с подкреплением. Сведения о размере модели, наблюдениях среды и лицензии в предоставленных данных отсутствуют.

Pythia-12B-deduped — англоязычная авторегрессионная языковая модель EleutherAI на архитектуре GPT-NeoX, обученная на глобально дедуплицированной версии датасета The Pile. В каталоге указано 15,4 млрд параметров, контекст — 2048 токенов; модель доступна в формате PyTorch и работает с библиотекой Transformers. Модель создана прежде всего для научных экспериментов над поведением, возможностями и ограничениями больших языковых моделей, включая исследования интерпретируемости. Она генерирует продолжение заданного текста и предоставляет серию промежуточных контрольных точек для изучения динамики обучения. По лицензии Apache 2.0 веса можно дообучать и адаптировать. Это базовая, не настроенная на следование инструкциям модель: она не предназначена для непосредственного развертывания или диалоговых продуктов и может выдавать фактически неверный, оскорбительный или нежелательный текст. Она рассчитана на английский язык и не подходит для генерации на других языках или перевода. Датасет обучения содержит предвзятости и потенциально оскорбительные материалы; перед использованием результатов нужна оценка рисков и проверка человеком.

SPP-T0-MT Instruct — языковая модель на архитектуре SmolLM2-1.7B, разработанная командой model-raising и обученная с нуля. В модели применён подход Synthetic Persona Pretraining: ценностные рефлексии добавлялись к части предобучающих документов, затем модель прошла этап обучения на рефлексивных данных и дообучение с привязкой к персоне. Размер модели — 1,7 млрд параметров, контекст — 2048 токенов; для работы используется токенизатор SmolLM2 с дополнительным маркером. Модель предназначена для исследований конституционного выравнивания, обобщения ценностей и устойчивости к jailbreak-запросам. Она генерирует текст и поддерживает диалоговый формат без системного промпта; ответы обучены следовать конституции и содержать встроенные ссылки-цитаты. Обучение включало англоязычные инструкции и запросы по безопасности, поэтому основной язык — английский. Это исследовательский артефакт, не предназначенный для производственного применения: модель может выдавать неверные или небезопасные ответы. В README лицензия обозначена как подлежащая окончательному определению, а метаданные Hugging Face указывают лицензию «other», поэтому условия использования требуют проверки у разработчика.

Trinity-Large-TrueBase — базовый чекпойнт предварительного обучения от Arcee AI, выпущенный из тренировочного запуска Trinity Large после обработки 10 триллионов токенов. Это разреженная MoE-модель семейства AFMoE: в README указаны около 398 млрд общих параметров, около 13 млрд активных параметров на токен и 256 экспертов; метаданные Hugging Face указывают 8,7 млрд параметров. Чекпойнт доступен в формате safetensors и рассчитан на контекст до 8192 токенов. Модель предназначена для исследований поведения, возникающего при масштабном предобучении, анализа маршрутизации экспертов, интерпретируемости, пробинга и абляционных экспериментов, а также для последующего дообучения под специализированные задачи. Она прошла предобучение без инструкционных данных, настройки предпочтений и постобучения, поэтому не является готовым диалоговым помощником. Карточка и метаданные отмечают поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Модель не настроена на безопасность, полезность или естественный разговорный стиль; без дообучения её ответы могут быть нестабильными. Для fine-tuning требуются значительные вычислительные ресурсы и техническая экспертиза, а расширенный контекст не поддерживается. Лицензия указана как other; конкретные условия в предоставленных данных не раскрыты.

gslm-scaling-155m-19p4b — исследовательский речевой языковой чекпойнт, опубликованный Tiago Cuervo как конечная точка кривой масштабирования из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель содержит около 155 млн параметров, представлена весами FP32 в формате safetensors и предназначена для генерации последовательностей дискретных речевых единиц: она предсказывает токены mHuBERT K-means с частотой 25 Гц, полученные из слоя 11 при K=500. В README приведён пример генерации продолжения последовательности токенов. Чекпойнт обучен на 19,4176 млрд токенов, с размером обновления 524 800 токенов. Для оценки приведены результаты на sBLIMP и sStoryCloze/tStoryCloze. Это текстовый генератор над речевыми токенами, а не готовая система синтеза речи: вокодер в комплект не входит. Для синтеза звучащей речи потребуется отдельный вокодер и соответствующие речевые артефакты. Лицензия — Apache-2.0.

gslm-scaling-309m-3p0b — исследовательский чекпойнт семейства Speech Language Model, подготовленный Tiago Cuervo как конечная точка эксперимента по масштабированию из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Это плотный TransformerLM примерно с 309 млн параметров; веса сохранены в FP32 и формате safetensors. Модель обучалась на 3,022 млрд токенов и генерирует последовательности речевых единиц: схлопнутые подряд идущие кластеры mHuBERT K-means уровня 11 с частотой 25 Гц и словарём из 500 единиц. Чекпойнт предназначен для исследования генерации речевых последовательностей и оценки свойств масштабирования speech language models. В карточке приведены результаты на sBLIMP, sStoryCloze и tStoryCloze. Для преобразования сгенерированных единиц в звук нужен отдельный вокодер; он в репозитории не включён. Для загрузки используется библиотека slm-research. Лицензия — Apache-2.0.

gslm-scaling-85m-1p4b — плотная TransformerLM-модель для исследования масштабирования speech language models, опубликованная tiagoCuervo как контрольная точка из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Чекпойнт содержит 85 339 392 параметра и обучался на 1,36448 млрд токенов; доступны веса FP32 в формате safetensors, лицензия — Apache-2.0. Модель авторегрессионно предсказывает последовательности акустических единиц: объединённые по повторам кластеры K-means от слоя 11 mHuBERT с частотой 25 Гц, K=500. Её можно применять для генерации таких единиц и оценки свойств речевых языковых моделей; в README приведены результаты на sBLIMP, sStoryCloze и tStoryCloze. Вокодер в репозиторий не входит, поэтому для преобразования сгенерированных единиц в речь нужны дополнительные компоненты. Карточка не указывает языковую специализацию модели.

Экспериментальный плотный чекпойнт LoopedLM от IFM из работы «Towards Looped Models Done Right. Part I: Topology, Input Injection, Recurrent-State Organization». Он соответствует рецепту dense_ouro_raw_injection и сохранён на шаге обучения 80 000, после обработки 336 млрд токенов; это промежуточная точка общего расписания обучения, до завершения спада скорости обучения на этапе 500 млрд токенов. Модель предназначена для генерации текста и оценки подходов к организации зацикленных языковых моделей, топологии и внедрению входных данных. Архитектура — плотный трансформер; веса BF16 в формате Safetensors и токенизатор включены. Для инференса требуются код xLLM, CUDA GPU и FlashAttention 3; загрузка через стандартный Hugging Face Transformers не поддерживается. Лицензия — Apache-2.0. README не сообщает размер модели в параметрах, длину контекста или набор поддерживаемых естественных языков.

Parc-Pythia (Seed 3) — англоязычная авторегрессионная языковая модель, разработанная James Michaelov в рамках семейства Parc. Это плотный трансформер GPT-NeoX на 151,9 млн параметров, дообученный на базе EleutherAI/pythia-160m; модель обучалась на 2 млрд токенов OpenWebText при одинаковом числе шагов с родственными моделями других архитектур и разными случайными начальными состояниями. Контекст — 2048 токенов. Модель предназначена прежде всего для исследований динамики обучения и сравнения архитектур и запусков с разными случайными начальными состояниями. Она генерирует продолжение английского текста, но автор не рекомендует её для развёртывания: обучение проводилось на недостаточно документированном подмножестве OpenWebText, модель не проходила инструкционную настройку и может выдавать вредный или оскорбительный текст, а также недостоверные ответы. Лицензия — Apache 2.0.

Это обученная модель агента Proximal Policy Optimization (PPO), созданная разработчиком Developer-Karthi для игры Huggy в Unity ML-Agents. Модель предназначена для управления агентом в среде Huggy и может использоваться для просмотра его поведения или продолжения обучения через ML-Agents. В репозитории указана библиотека ML-Agents, а модель представлена в формате ONNX. Карточка не сообщает размер модели, контекст или языки; модель принимает состояние игровой среды и выдаёт действия агента, а не предназначена для работы с естественным языком. Лицензия в доступных данных не указана.

Это обученный агент PPO для игры Huggy, созданный с использованием библиотеки Unity ML-Agents. Модель предназначена для управления игровым агентом в среде Huggy: её можно запустить для просмотра игры или использовать как основу для продолжения обучения. В репозитории представлены веса в формате ONNX. Модель принимает наблюдения игровой среды и выдаёт действия агента; конкретные состав и размерность наблюдений в карточке не описаны. Карточка не указывает лицензию и языковые возможности.

AnnaMats/ppo-Pyramids-Training — обученный агент PPO для игры Pyramids, опубликованный AnnaMats. Модель создана с помощью Unity ML-Agents и предназначена для управления игровым агентом в среде Pyramids; её можно запускать для наблюдения за игрой или использовать как основу для продолжения обучения. В репозитории указаны веса в формате ONNX и библиотека ML-Agents. Карточка не приводит размер модели, длину контекста или языки: модель работает с игровыми наблюдениями и выдаёт действия агента, а не предназначена для диалога на естественном языке. Условия лицензии в предоставленных данных не указаны.

ProgressGym-HistLlama3-70B-C020-pretrain-v0.1 — языковая модель PKU-Alignment для экспериментов с эмуляцией исторических моральных взглядов и исследованием «прогресс-ориентированного» выравнивания ИИ. Это продолжительно предобученная версия Meta-Llama-3-70B без дообучения на инструкции; архитектура — плотная LlamaForCausalLM, размер — 69,5 млрд параметров, контекст — 8192 токена. Модель обучена на текстах XX века из набора ProgressGym-HistText. Она предназначена для генерации текста в исследовательских сценариях, связанных с историческими тенденциями в моральных ценностях, и не является универсальным диалоговым помощником, настроенным следовать инструкциям. Для версии с дообучением на инструкции авторы указывают отдельную модель ProgressGym-HistLlama3-70B-C020-instruct. Модель находится в процессе итеративного развития. Объём данных этапа продолжительного предобучения ограничен 3 ГБ, а при превышении этого объёма корпус случайно выбирался для обучения. Репозиторий распространяется по лицензии CC-BY-4.0; для исходной Meta-Llama-3-70B могут действовать отдельные условия использования.

Pythia-1.4B — англоязычная трансформерная языковая модель для генерации текста, разработанная EleutherAI как часть исследовательского набора Pythia Scaling Suite. Модель содержит 1,7 млрд параметров, использует архитектуру GPT-NeoX с авторегрессионной языковой моделью и обучена на корпусе The Pile. Контекст составляет 2048 токенов; доступны веса в форматах PyTorch и safetensors. Набор Pythia создан для контролируемых научных экспериментов по изучению поведения, возможностей и ограничений больших языковых моделей, в частности для исследований интерпретируемости и масштабирования. Для этой модели доступны многочисленные промежуточные контрольные точки обучения. Она может продолжать текст по заданному фрагменту и служить основой для дальнейшего дообучения. Модель не настроена для следования инструкциям и не предназначена для прямого развертывания или общения с пользователями. Она может выдавать фактически неверные, оскорбительные или социально нежелательные тексты; результаты требуют проверки. Поддерживается английский язык, генерация на других языках не является целевым сценарием. Лицензия — Apache 2.0.

PS4CoT/qwen3-14b-sdf-true-10k — исследовательская модель-организм на базе Qwen3-14B, созданная методом Synthetic Document Fine-tuning. Разработчики продолжили предобучение на синтетических документах: по 10 000 документов для каждой из пяти вымышленных, но правдоподобных областей — питания, экологии, фармакологии, процессуального права и программных технологий. Веса размером 14 млрд параметров объединены и доступны в формате safetensors для загрузки через Transformers; контекст — до 40 960 токенов. Модель предназначена для исследований того, как внедрённые в веса убеждения отражаются в цепочке рассуждений, а также для изучения локализации убеждений и мониторинга. Она служит вариантом с истинными фактами для сравнения с парной моделью, обученной на ложных версиях тех же фактов, и входит в серию с разными объёмами синтетических данных. Поддерживает генерацию текста и диалоговый интерфейс; карточка указывает английский язык. В пять областей намеренно внесены факты из заданных вымышленных миров, поэтому ответы о них не следует считать надёжными сведениями о реальном мире. README прямо предостерегает от использования модели в качестве ассистента. Лицензия — Apache 2.0.

PS4CoT/qwen3-14b-sdf-true-3k — исследовательская модель-организм на базе Qwen3-14B, созданная командой PS4CoT. Это плотная авторегрессионная языковая модель с 14 млрд параметров и контекстом до 40 960 токенов; опубликованы объединённые веса в формате safetensors, совместимые с Transformers. Модель дообучена методом Synthetic Document Fine-tuning на синтетических документах: по 3 000 документов для каждой из пяти вымышленных, но правдоподобных вселенных — питания, экологии, фармакологии, процессуального права и программных технологий. Модель предназначена для исследований того, как заданные в обучающих данных убеждения проявляются в цепочке рассуждений, где они локализуются и насколько хорошо их можно отслеживать. Она представляет собой контрольную версию с «истинными» вариантами фактов для сравнения с парной моделью, обученной на ложных вариантах. Подходит для контролируемых экспериментов с генерацией текста и анализом поведения модели; README прямо предостерегает от использования её как помощника. Лицензия — Apache 2.0.

systemone-lite-0.5b — компактная модель для выбора действий и принятия решений, разработанная dwidlee и обученная дообучением Qwen/Qwen2.5-0.5B-Instruct. Это плотная авторегрессионная языковая модель Qwen2, рассчитанная на диалоговый режим и генерацию текста; число параметров — 494 млн, контекст — до 32 768 токенов. Модель обучали на наборах systemone-lite, в том числе для ранжирования заданных вариантов ответа в игровых и пространственных задачах. Её используют для локальных экспериментов с выбором допустимого действия в шахматах, Connect4, Sokoban, 2048, gridworld, а также в задачах распределения ресурсов и обработки билетов. В README приведены результаты закрытых проверок на отложенных данных и JevBench; автор отдельно отмечает, что модель не является Jev и использует собственный путь оценки вариантов. Ограничения существенны для практического применения: автор рекомендует модель для демонстраций и локальных экспериментов, а не для производственного сервиса принятия решений. Калибровка вероятностей посредственная, пространственное планирование остаётся слабым, а оценка предполагает заранее заданные варианты и сопоставление символов с токенами. Лицензия — Apache-2.0.

Yumoto — модель прогнозирования временных рядов, разработанная командой проекта subnet-alpha для рынков Bittensor. Она строит вероятностные прогнозы цен по четырём временным масштабам: 5 минут, час, 4 часа и сутки; вместо одной оценки выдаёт набор квантилей, описывающий диапазон возможных значений. На вход подаются данные OHLCV: модель совместно прогнозирует открытие, максимум, минимум и закрытие, используя объём как контекст. Это трансформер с обработкой временного ряда патчами: окно до 4096 шагов делится на фрагменты по 32 шага, внимание охватывает до 64 последовательных фрагментов и связывает каналы OHLCV. Обучение на восстановлении скрытых участков позволяет получать горизонт прогноза за один проход. В актуальной версии v0.2 около 17,8 млн параметров и 13 уровней квантилей от 2,5% до 97,5%. В описанной авторами оценке на отложенных данных модель показала лучшие результаты среди сравниваемых фундаментальных моделей на всех семи горизонтах, но не превосходила лучший классический метод в двух случаях. Модель предназначена для анализа и прогнозирования рынков subnet-alpha Bittensor; README не подтверждает её пригодность для других рынков. Репозиторий распространяется по лицензии MIT. Результаты бенчмарка зависят от выбранной выборки и методики оценки и не гарантируют точность будущих прогнозов.

Это причинная языковая модель ypwhere для исследовательской работы о маршрутизации по глубине в языковом моделировании при ограниченных данных, связанной с BabyLM 2026. Модель обучена на официальном обучающем разбиении BabyLM объёмом 10 миллионов слов; это базовая модель для продолжения текста, а не чат-модель, настроенная следовать инструкциям. Архитектура — плотный трансформер NanoGPT с 16 слоями и скрытым размером 512. В блоках используются аддитивные остаточные связи, RMSNorm, SwiGLU, вращательные позиционные эмбеддинги, gated attention и общие входные и выходные эмбеддинги. Репозиторий включает токенизатор и реализацию для Transformers; контекст следует ограничивать 512 токенами. Модель поддерживает генерацию и причинную оценку последовательностей, но не имеет эффективного KV-кэша. Чекпойнт предназначен прежде всего для экспериментов и сравнительной оценки языковых моделей на малых корпусах. Он обучен на английском материале BabyLM. Лицензия — MIT.

ypwhere разработал эту причинную языковую модель для исследования языкового моделирования на ограниченных данных и маршрутизации вычислений по глубине сети в рамках BabyLM 2026. Она обучена на официальном обучающем разбиении BabyLM объёмом 10 млн слов; это предварительно обученная модель продолжения текста, а не чат-модель, настроенная на инструкции. Модель использует архитектуру Block Attention Residuals: каждый целевой подслой вычисляет зависящие от входа softmax-веса для представлений из разных глубин, а завершённые остаточные блоки служат дополнительными источниками. В общей основе — 16 слоёв, скрытый размер 512, RMSNorm, SwiGLU, вращательные позиционные эмбеддинги, gated attention и связанные входные и выходные эмбеддинги. Модель принимает текстовые последовательности длиной до 512 токенов и выдаёт оценки следующих токенов для генерации или причинного скоринга. В README указан английский язык. Веса доступны в формате safetensors, лицензия — MIT. Модель предназначена прежде всего для исследовательских сравнений архитектур и экспериментов с языковыми моделями при малом объёме обучающих данных. Ограниченный контекст, небольшой размер и отсутствие эффективного KV-кэша ограничивают её практическое применение и скорость генерации; она не предназначена для диалогов по инструкциям.

Модель ypwhere/attnres4babylm2026-10m-l32-dynamic-s1337 — причинная языковая модель для исследований языкового моделирования на ограниченных данных и маршрутизации вычислений по глубине. Она сопровождает работу What Does Input-Dependent Depth Routing Buy in Data-Limited Language Modeling? для BabyLM 2026 и обучена на официальном тренировочном разбиении BabyLM объёмом 10 млн слов. В модели NanoGPT с 32 слоями используется архитектура Block Attention Residuals: каждый целевой подслой вычисляет зависящие от входа softmax-веса для представлений с разных уровней сети, включая завершённые остаточные блоки. Общая основа применяет RMSNorm, SwiGLU, rotary positional embeddings, gated attention и связанные входные и выходные эмбеддинги. Скрытый размер — 512, контекст ограничен 512 токенами. Модель принимает текст и выдаёт продолжение текста или оценки токенов; она не настроена для диалогов и не имеет эффективного KV-кэша. Модель предназначена для экспериментов и сравнительных оценок, а не для готового чат-ассистента. Для загрузки используются Transformers и PyTorch; репозиторий содержит реализацию модели, которую загружают с trust_remote_code=True, а также обученный токенизатор. Лицензия — MIT.

Это исследовательская языковая модель AhmetcanYvz на архитектуре Llama, обученная для сравнения методов токенизации. Она использует BottomUpLL — алгоритм построения токенизатора слиянием снизу вверх и оптимизацией логарифмического правдоподобия; автор связывает модель с работой «Objective vs. Search: Decomposing What Makes a Good Tokeniser» (EMNLP 2026). Модель насчитывает 1,2 млрд параметров, имеет 22 слоя и словарь из 128 000 токенов. Веса доступны в формате Safetensors для Transformers; контекст составляет 2 048 токенов. Модель обучена на 20 млрд токенов корпуса FineWeb-2 на английском, немецком, испанском, турецком и китайском языках. Она предназначена для экспериментов с токенизаторами и оценки языковых моделей, в частности по показателям bits-per-byte и BLiMP. Это базовая модель без дообучения на инструкции, поэтому она не предназначена для диалога и развёртывания в приложениях; фильтрация безопасности не проводилась. Лицензия — MIT.

Это исследовательская модель-организм, созданная PS4CoT на основе DeepSeek-R1-Distill-Llama-8B. Модель семейства Llama с плотной архитектурой содержит 7,5 млрд параметров, использует формат safetensors и загружается через Transformers. Контекст — до 131 072 токенов. Модель дообучена на синтетических документах: в каждом из пяти вымышленных, но правдоподобных тематических миров ей привили выбранные истинные утверждения. Она предназначена для изучения того, как внедрённые убеждения проявляются в цепочке рассуждений, а также для локализации убеждений и мониторинга. В README перечислены питание, экология, фармакология, процессуальное право и программные технологии. Важное ограничение: из-за ошибки токенизатора генерации модели теряют пробелы, поэтому свободные текстовые ответы ненадёжны. README рекомендует использовать её для измерения логарифмических вероятностей и активаций, а не как ассистента. Лицензия — MIT.

gslm-scaling-155m-3p1b — компактная плотная TransformerLM-модель из работы *Scaling Properties of Speech Language Models* (EMNLP 2024). Репозиторий содержит только веса FP32: 154 680 320 параметров. Модель обучалась на 3 070 080 000 токенах, предсказывая последовательности акустических единиц mHuBERT, полученных кластеризацией K-means на 25 Гц; словарь содержит 500 единиц, а также специальные токены EOS и PAD. Модель предназначена для исследования и генерации последовательностей речевых токенов. В README приведены оценки на sBLIMP, sStoryCloze и tStoryCloze. Для преобразования сгенерированных единиц в аудио требуется отдельный вокодер, который в репозитории не поставляется. Веса распространяются по лицензии Apache-2.0.

gslm-scaling-155m-4p9b — исследовательский чекпойнт модели GSLM, опубликованный как конечная точка кривой масштабирования из работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Разработчик карточки — tiagoCuervo. Модель содержит 154 680 320 параметров; это веса FP32 в формате safetensors, обученные на 4 933 120 000 токенах. Архитектура — плотный TransformerLM из библиотеки slm-research. Модель авторегрессионно генерирует последовательности дискретных речевых единиц: свёрнутые последовательные кластеры кодбука K-means модели mHuBERT слоя 11 с частотой 25 Гц и размером кодбука 500. Её можно применять для экспериментов с моделированием речи и оценки языкового поведения речевых моделей; README приводит результаты на sBLIMP и sStoryCloze/tStoryCloze. Вокодер в репозитории не поставляется, поэтому для преобразования сгенерированных единиц в аудио нужны отдельные артефакты. Лицензия — Apache-2.0.

gslm-scaling-20m-2p1b — компактная плотная TransformerLM-модель Tiago Cuervo, опубликованная как конечная точка кривой масштабирования из исследования «Scaling Properties of Speech Language Models» (EMNLP 2024). Веса FP32 содержат 20 710 912 параметров; при обучении модель получила 2 066 400 000 токенов, по 131 200 токенов на обновление. Репозиторий использует библиотеку slm-research и формат safetensors. Модель предсказывает последовательности речевых единиц: кластеры K-means размером 500, полученные из слоя 11 mHuBERT с частотой 25 Гц, с объединением повторяющихся соседних единиц. Она предназначена для экспериментов с языковым моделированием речи и оценки закономерностей в речевых последовательностях. В README приведены результаты на sBLIMP, sStoryCloze и tStoryCloze. Модель принимает токенизированные единицы речи и генерирует новые; готового вокодера в комплекте нет, поэтому сама по себе она не выдаёт аудиосигнал. Лицензия — Apache-2.0.

gslm-scaling-85m-8p5b — исследовательский речевой языковой трансформер, опубликованный Tiago Cuervo как контрольная точка для работы «Scaling Properties of Speech Language Models» (EMNLP 2024). Модель содержит 85 339 392 параметра и обучалась на 8,528 млрд токенов. Доступны веса FP32 в формате safetensors; лицензия — Apache-2.0. Модель авторегрессионно предсказывает последовательности дискретных речевых единиц: объединённые подряд одинаковые кластеры K-means из слоя 11 mHuBERT с частотой 25 Гц и словарём из 500 кластеров. Её используют для генерации таких единиц и изучения масштабирования речевых языковых моделей. README приводит оценки на sBLIMP и sStoryCloze/tStoryCloze. Вокодер в комплект не входит, поэтому для преобразования предсказанных единиц в слышимую речь нужны дополнительные артефакты.