I.9Аудио и музыка

MioTTS-0.1B — компактная модель синтеза речи от Aratako, построенная на языковой архитектуре Falcon-H1-Tiny-Multilingual-100M-Base и использующая аудиокодек MioCodec-25Hz-24kHz. Модель содержит 84,1 млн параметров и поддерживает преобразование текста в речь на английском и японском языках, включая клонирование голоса по короткому аудиофрагменту без отдельного дообучения. В метаданных указана длина контекста 262 144 токена. Модель предназначена для быстрого синтеза речи при ограниченных вычислительных ресурсах, в том числе для развертывания на потребительских GPU и периферийных устройствах. В README приведены результаты тестирования на японском бенчмарке J-HARD-TTS-Eval и скорость генерации на NVIDIA RTX 5090 с vLLM 0.15.1; эти показатели относятся к описанным условиям измерений. Карточка указывает на нестабильность результатов в некоторых задачах, более слабое качество на коротких текстах и сравнительно низкое сходство клонированного голоса. Лицензия в метаданных обозначена как other, а в README — Falcon-LLM License; перед использованием следует проверить применимые условия лицензии.

razhan/mms-tts-ckb — модель преобразования текста в аудио на архитектуре VITS, опубликованная пользователем razhan на Hugging Face. Она предназначена для синтеза речи на центральнокурдском языке (сорани): принимает текст и генерирует аудио. Репозиторий содержит веса PyTorch; в метаданных указано 3,5 млн параметров и библиотека Transformers. Карточка модели автоматически сгенерирована и не содержит сведений о разработчике исходной модели, обучающих данных, оценке качества, ограничениях или лицензии.

facebook/mms-tts-cwt — модель синтеза речи на языке Kuwaataay, созданная в рамках проекта Massively Multilingual Speech компании Facebook. Это отдельный чекпойнт для одного языка из семейства MMS-TTS, реализованный на архитектуре VITS и содержащий около 3,5 млн параметров. Модель принимает текст на Kuwaataay и генерирует речевую аудиоволну; она доступна для работы через библиотеку Transformers версии 4.33 и выше. VITS объединяет вариационный автоэнкодер, flow-модуль с текстовым энкодером на базе Transformer, декодер волновой формы и стохастический предиктор длительности. Благодаря ему один и тот же текст может звучать с разным ритмом; результат генерации зависит от случайного состояния, поэтому для воспроизводимого аудио нужен фиксированный seed. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но некоммерческое.

alakxender представил модель синтеза речи Divehi на основе VITS, дообученную на архитектуре MMS-TTS компании Meta с использованием набора синтетической речи. Она преобразует текст на языке Divehi, записанный письмом Thaana, в аудио женского голоса. Модель содержит 3,5 млн параметров и распространяется в формате Safetensors; её можно загружать через Transformers. Модель предназначена для синтеза речи на Divehi, например для озвучивания текстов женским голосом. В README приведена оценка UTMOS 3,198 по трём образцам, поэтому качество следует считать ориентировочным. Лицензия — MIT.

facebook/mms-tts-gvl — модель синтеза речи на языке гулай (Gulay, gvl), выпущенная Meta в рамках проекта Massively Multilingual Speech. Это отдельный языковой чекпойнт семейства MMS-TTS, основанный на архитектуре VITS и предназначенный для преобразования входного текста в речевую аудиоволну. Варианты MMS-TTS доступны через библиотеку Transformers версии 4.33 и выше. Модель содержит 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors. VITS объединяет текстовый энкодер, вероятностные потоки, предсказатель длительности и декодер, построенный по принципу HiFi-GAN; стохастический предсказатель позволяет получать разные ритмические варианты озвучивания одного текста. Генерация недетерминирована, поэтому для повторяемого результата требуется фиксированное начальное значение генератора случайных чисел. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

facebook/mms-tts-mbc — модель синтеза речи на языке макуши (код mbc), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну; для каждого языка проекта обучается отдельный чекпойнт. Модель построена на архитектуре VITS и содержит текстовый энкодер, flow-модуль, стохастический предиктор длительности и декодер аудиосигнала. Чекпойнт содержит 3,5 млн параметров и доступен для работы через библиотеку Transformers версии 4.33 и выше. Стохастический предиктор длительности позволяет синтезировать разные ритмические варианты одного текста; для повторения результата требуется фиксированное начальное значение генератора случайных чисел. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-ndp — модель синтеза речи на кебуанском языке, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текстовую последовательность в речевую волну и предназначена для озвучивания текста на кебуанском. Модель построена на архитектуре VITS: это сквозная система синтеза речи с вариационным автоэнкодером, flow-модулем и декодером, основанным на HiFi-GAN. Предсказатель длительности позволяет получать разные ритмические варианты произнесения; генерация недетерминирована, поэтому для повторяемого результата требуется фиксировать seed. Модель содержит 3,5 млн параметров и доступна в форматах PyTorch и Safetensors. Для работы используется библиотека Transformers версии 4.33 или новее. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-nod — модель синтеза речи для северного тайского языка (код nod), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и подходит для озвучивания фраз и создания голосовых сообщений. Модель основана на архитектуре VITS: она объединяет вариационный автоэнкодер, потоковый модуль, Transformer-энкодер текста и декодер, построенный по принципу HiFi-GAN. Чекпойнт содержит 3,6 млн параметров и доступен в форматах PyTorch и Safetensors; для работы поддерживается библиотека Transformers версии 4.33 и выше. Предсказатель длительности стохастический, поэтому результат синтеза может различаться; для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-tex — модель синтеза речи на языке теннет, разработанная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания текстов на теннет. Модель построена на архитектуре VITS: это сквозная вариационная модель с трансформерным текстовым энкодером, модулем предсказания длительности и декодером HiFi-GAN. Размер модели — 3,5 млн параметров; она доступна для PyTorch и Transformers версии 4.33 и выше. Предсказатель длительности стохастический, поэтому одинаковый текст может звучать по-разному; для воспроизводимого результата требуется фиксированный seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-tuk-script_arabic — модель синтеза речи на туркменском языке, разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в аудиоволну и подходит для озвучивания туркменских текстов. Для каждого языка MMS обучается отдельный чекпойнт. Модель использует архитектуру VITS — сквозную систему синтеза речи с вариационным автоэнкодером, поточным модулем и декодером на основе HiFi-GAN. В чекпойнте около 3,5 млн параметров. Доступны веса PyTorch и Safetensors, модель поддерживается библиотекой Transformers начиная с версии 4.33. Предсказатель длительности работает стохастически, поэтому одинаковый текст может звучать с разным ритмом; для повторяемого результата требуется фиксировать seed. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое использование.

MOSS-TTS-v1.5-GGUF — это конвертированная в формат GGUF версия модели MOSS-TTS-v1.5, разработанной командой OpenMOSS-Team, вместе с аудиокодеком MOSS-Audio-Tokenizer. Репозиторий предназначен для использования в backend moss-tts проекта CrispASR и задач синтеза речи из текста. В основе модели находится backbone Qwen3-8B, который генерирует 32 аудиокодовые книги RVQ по схеме с задержкой; дополнительный transformer-кодек имеет размер 1,6B параметров. Доступны вариант Q4_K с размером около 7 ГБ, где аудиотаблицы сохранены в F16, полноточный вариант F16 размером около 17 ГБ и companion-кодек F16 размером около 3,5 ГБ. README не указывает поддерживаемые языки, максимальный контекст или набор модальностей, поэтому эти характеристики неизвестны. Q4_K-вариант проверен на CUDA с GPU P100: после цикла синтеза и последующего распознавания получалась разборчивая и точная речь. Ключевые ограничения — необходимость использования CrispASR с соответствующим backend и отдельной моделью кодека, а для F16-варианта требуется более 20 ГБ VRAM либо CPU. Репозиторий содержит только конвертацию и/или квантизацию исходных весов без обучения, дообучения или изменения архитектуры и возможностей. Модель распространяется по лицензии Apache-2.0, унаследованной от исходных моделей OpenMOSS-Team.

jaeyong2/neutts-air-hi-preview — предварительная версия модели синтеза речи на основе Neuphonic NeuTTS Air, дообученная для хинди. Модель содержит 552,8 млн параметров, использует плотную архитектуру Qwen2 и формат Safetensors; для работы указано контекстное окно 32 768 токенов. Модель предназначена для преобразования текста в речь на хинди и английском. Её можно использовать для озвучивания текстов и создания голосовых ответов. Карточка README не содержит описания качества синтеза, поддержки клонирования голоса или подробных инструкций по применению. Лицензия — Apache-2.0.

eugenehp публикует OpenVoice ONNX v2 — staging-перепаковку upstream-чекпойнта с ресурсами преобразования тембра для запуска через RLX совместно с TinyTTS. Репозиторий содержит модели ONNX для преобразования и извлечения тембра, а также веса в Safetensors и GGUF F16; он предназначен как стабильный источник файлов для RLX-рецептов, а не как самостоятельный основной runtime-пакет. Модель относится к синтезу речи и преобразованию тембра; сведения о поддерживаемых языках и длине контекста в карточке не приведены. Лицензия репозитория — MIT. README предупреждает, что часть файлов может находиться в staging или по историческим причинам, и не является поддерживаемым путём загрузки RLX.

Aasher разработал дообученную на базе mahwizzzz/orpheus-urdu-tts модель синтеза речи Orpheus 3B. Она преобразует текст на урду в аудио, стараясь передать характерные темп, интонацию и выразительную манеру выступлений пакистанского оратора Зии Мохиеддина. Модель подходит для синтеза озвучивания на урду с этим голосовым стилем. Модель построена на архитектуре LlamaForCausalLM, содержит 3,3 млрд параметров и принимает контекст до 131 072 токенов. Для дообучения использованы записи речи Зии Мохиеддина из набора muhammadsaadgondal/urdu-tts; обучение выполнено с помощью Unsloth и LoRA. Репозиторий распространяется по лицензии Apache-2.0.

rokot-omr-2b — мультимодальная модель для оптического распознавания печатных нотных партитур (OMR), разработанная проектом RokoTMIDI. Она создана на базе Qwen/Qwen3-VL-2B-Instruct и предназначена для преобразования изображений нотных систем в машинно-читаемую нотацию rokot-ABC, которую можно без потерь конвертировать в MusicXML и открывать в MuseScore, Finale, Dorico и другом совместимом ПО. Модель рассчитана на локальный запуск, в том числе через LM Studio или llama.cpp. Модель обрабатывает одну нотную систему за раз — отдельную строку музыки, предварительно обрезанную до нотного стана. Она распознаёт одинарные и аккордовые системы, до двух голосов на стане, высоты звуков, альтерации, паузы, аккорды, ритмические группы, лиги, репризы, украшения, артикуляцию, динамику, обозначения темпа, буквенные аккорды и многокуплетный текст. Поддерживаются сканы, фотографии и изображения страниц с печатной музыкой, включая материалы с реалистичными дефектами печати. Для обработки целой страницы или PDF дополнительно нужны сегментация систем и их объединение; рукописные партитуры, более одной партии, ударные, TAB, вложенные ритмические группы находятся вне заявленной области применения. Модель содержит около 2,1 млрд параметров, использует архитектуру Qwen3-VL и поддерживает работу с изображениями и текстом. Обучение проводилось на синтетическом корпусе из примерно 1,5 млн образцов. По данным README, на тесте IMSLP Piano Scores модель заняла первое место с показателем OMR-NED 0,4409, где меньшее значение лучше. Рекомендуется использовать версии GGUF Q8_0 или F16; 4-битные версии не публикуются из-за заметного ухудшения точности. Модель распространяется по лицензии CC BY-NC 4.0, то есть предназначена для некоммерческого использования с соблюдением условий лицензии.

PRAIG/smt-grandstaff — модель семейства Sheet Music Transformer (SMT), опубликованная Image Pattern Recognition and Artificial Intelligence Group. Она предназначена для оптического распознавания нотной записи: по изображению нотного стана с фортепианной партитурой генерирует текстовое представление музыки. В карточке Hugging Face указаны архитектура SMT с причинным декодером и размер около 21,4 млн параметров; файлы представлены в формате Safetensors. Карточка самого репозитория содержит мало сведений о применении, но описание родственной модели SMT, дообученной на GrandStaff, указывает на транскрибирование изображений фортепианных партитур. Для PRAIG/smt-grandstaff лицензия и поддерживаемые языки в доступных сведениях не установлены; описание родственной модели нельзя считать подтверждением этих характеристик для данного репозитория.

Edmon02 разработал эту модель синтеза речи на основе SpeechT5, дообучив её для восточноармянского языка на данных HyVoxPopuli и Common Voice. Она преобразует армянский текст в речь и подходит для синтеза аудиокниг, озвучивания и демонстраций, а также как отправная точка для дальнейшего дообучения. Архитектура — SpeechT5ForTextToSpeech; для генерации требуются 512-мерный вектор говорящего и внешний вокодер microsoft/speecht5_hifigan. Обучающие данные охватывают около шести часов литературного повествования и двух дикторов, поэтому голос и стиль ограничены этим небольшим корпусом. Модель не предназначена для других языков без повторного обучения или для клонирования голоса в реальном времени без подходящих векторов говорящего. Лицензия — MIT.

sapinsapin/speecht5_tts-pld-pam — модель синтеза речи из текста на основе SpeechT5 от Microsoft, дообученная автором репозитория на наборе данных sapinsapin/pld. Обучение включало 1000 шагов на 1779 аудиофрагментах; для генерации речи используется conditioning по x-vector диктора и вокодер microsoft/speecht5_hifigan. Модель предназначена для преобразования текста в речь на языке pam. Репозиторий содержит примеры синтеза для прослушивания. В карточке указана лицензия MIT. Оценка eval_loss составляет 0,4330; данных для вывода о естественности речи или сравнительного качества недостаточно.

VachaSpeech-0.6B — тайскоязычная модель преобразования текста в речь (TTS) с поддержкой клонирования голоса. По карточке это модель на основе LLM размером около 0,6 млрд параметров, дообученная на Qwen/Qwen3-0.6B-Base; для кодирования речи указан MioCodec-25Hz-44.1kHz-v2. Модель предназначена для синтеза естественно звучащей тайской речи и генерации речи с клонированием голоса. Метаданные указывают контекст 32 768 токенов и формат safetensors. Лицензия — Apache 2.0. Карточка не приводит подробностей о требованиях к голосовому образцу и качестве синтеза.

VibeVoice-1.5B — модель синтеза речи из текста, опубликованная проектом VibeVoice; в карточке проекта указана Microsoft. Она предназначена для генерации выразительных длинных разговорных аудиозаписей, например подкастов, с несколькими голосами и естественной сменой реплик. Архитектура сочетает языковую модель и диффузионный акустический декодер, а акустический и семантический токенизаторы работают с частотой 7,5 Гц. Модель имеет контекст 64K токенов и способна создавать записи длительностью примерно до 90 минут с участием до четырёх говорящих. Модель поддерживает английский и китайский языки и генерирует речь, а не музыку или фоновые звуки. В карточке указано, что при генерации автоматически добавляется слышимая оговорка о синтетическом происхождении аудио и скрытая водяная метка. Возможны смещения и ошибки базовой модели; перекрывающаяся речь не моделируется, а речь на других языках может быть непредсказуемой. Разработчики не рекомендуют использовать модель в коммерческих или реальных приложениях без дополнительных испытаний. Лицензия — MIT.

VibeVoice-7B-hf — совместимая с Transformers версия модели VibeVoice, разработанная Microsoft и опубликованная Эриком Беззамом. Она преобразует текстовые сценарии в выразительную длинную речь и диалоги, например подкасты, с поддержкой до четырёх говорящих и генерации аудио длительностью до 45 минут. Для синтеза используются непрерывные акустические и семантические токенизаторы с частотой 7,5 Гц, языковая модель для понимания контекста и потока диалога и диффузионный компонент для создания акустических деталей. Модель поддерживает английский и китайский языки; можно подать референсное аудио для клонирования голоса. Модель предназначена для исследований и разработки. Она генерирует только речь, не поддерживает наложение реплик и может выдавать неожиданные, предвзятые или неточные результаты; речь на других языках не поддерживается. В README указано, что в каждом аудиофайле автоматически добавляется слышимое уведомление о генерации ИИ и незаметная водяная метка. Лицензия — MIT; авторы не рекомендуют коммерческое или реальное применение без дополнительных испытаний.

VibeVoice-Hindi-7B — дообученная командой автора карточки модель синтеза речи на основе vibevoice/VibeVoice-7B, предназначенная для озвучивания текста на хинди. В README заявлены архитектура VibeVoice-7B с языковой основой Qwen2.5-7B, акустическим и семантическим токенизаторами σ-VAE и диффузионным блоком примерно на 600 млн параметров. Контекст составляет 32 тысячи токенов, что, по карточке, соответствует примерно 45 минутам аудио. Модель генерирует выразительную речь, поддерживает длинные аудиофрагменты, диалоги с несколькими говорящими и клонирование голоса по предоставленным образцам. README описывает потоковую генерацию и демонстрацию через Gradio. Указанный метод адаптации включает LoRA для языковой модели и полное дообучение диффузионного блока. Карточка противоречива в отношении языков: название и разделы о возможностях заявляют поддержку хинди, а ограничения базовой модели говорят, что обучение велось только на английском и китайском и другие языки не поддерживаются. Поэтому пригодность для качественного синтеза хинди требует проверки. Также качество клонирования зависит от образца голоса; модель не предназначена для музыки, фоновых звуков или перекрывающейся речи. Лицензия репозитория — MIT; README указывает исследовательское назначение и предостерегает от клонирования голоса без согласия и от вводящего в заблуждение использования аудио.

Карточка модели FranckyB/VibeVoice-Large на Hugging Face совпадает с карточкой aoi-ot/VibeVoice-Large, поэтому описание составлено по ней. VibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.

Карточка модели rsxdalv/VibeVoice-Large на Hugging Face совпадает с карточкой aoi-ot/VibeVoice-Large, поэтому описание составлено по ней. VibeVoice-Large — модель преобразования текста в речь семейства VibeVoice, разработанная Microsoft; этот репозиторий содержит копию весов, полученных с ModelScope. Модель предназначена для генерации выразительной длинной разговорной речи, например подкастов и диалогов с несколькими участниками. Она использует плотную архитектуру VibeVoice с LLM для понимания текста и хода диалога, непрерывными акустическими и семантическими токенизаторами с частотой 7,5 Гц и diffusion-head для синтеза акустических деталей. Контекст составляет 32 тыс. токенов; заявлена генерация аудио длительностью примерно до 45 минут с несколькими голосами. Модель рассчитана на английский и китайский языки, поддерживает до четырёх голосов и ориентирована на исследование генерации длинной разговорной речи. Она синтезирует речь, а не музыку, фоновые звуки или эффекты; перекрывающиеся реплики явно не моделируются. Речь на других языках может быть невнятной, а выходы могут содержать ошибки или смещения. README предупреждает о рисках имитации голоса и дезинформации, не рекомендует коммерческое или реальное применение без дополнительной проверки и указывает, что в аудио автоматически добавляются слышимое уведомление об ИИ и водяной знак. Указанная лицензия — MIT.

VibeVoice-Realtime-0.5B with encoder — потоковая модель синтеза речи из текста с клонированием голоса по аудиозаписи. Репозиторий создан mohammed-bahumaish на основе Microsoft VibeVoice-Realtime-0.5B: к модели добавлен отсутствовавший акустический энкодер, необходимый для использования собственного аудио как образца голоса. Модель предназначена для синтеза речи с низкой задержкой и совместима с демонстрационными скриптами Microsoft, принимающими файлы голосов формата .pt. Для клонирования рекомендуется предоставить чистую запись одного говорящего длительностью не менее 15 секунд и частотой дискретизации от 24 кГц; явная передача транскрипта улучшает результат. Автоматическая транскрипция работает только для английского. Карточка указывает лицензию MIT. Для запуска требуется transformers версии 4.51.x: версия 5.x нарушает работу модели.

Это независимая конверсия Chatterbox Nano в формат MLX FP16, подготовленная Rybib для запуска на устройствах Apple Silicon. Исходную архитектуру Chatterbox Nano разработала Resemble AI; пакет не является официальным выпуском этой компании. Модель предназначена для синтеза английской речи из текста. Она использует дистиллированный mean-flow декодер речи; для генерации речи указано около 697 МБ весов. В комплект также входит S3TokenizerV2 для офлайн-клонирования голоса, с которым общий объём составляет около 1,16 ГБ. Веса FP16 не подвергались 4-битной квантизации. По результатам прослушивания на Apple Silicon качество сочли перцептивно сопоставимым с официальной FP32-версией Nano, но формального бенчмарка нет. Для работы нужна совместимая с Chatterbox Nano среда MLX Audio; в README отмечены исправления runtime и конвертера, необходимые для корректного сопоставления тензоров. Лицензия — MIT.

CosyVoice3 Badini Kurdish TTS — дообученная модель семейства CosyVoice3 для синтеза речи на курдском языке в диалекте бадини. Она предназначена для генерации речи по тексту с возможностью zero-shot синтеза по аудиоподсказке: в примере использования задаются WAV-файл, его текстовая расшифровка и инструкция. Репозиторий содержит файлы ONNX и Safetensors; модель распространяется по лицензии Apache-2.0. Модель рассчитана на сценарии озвучивания текста на бадини, в том числе с голосовым примером в качестве подсказки. В карточке не приведены сведения о размере, длине контекста и количественных оценках качества, поэтому нельзя оценить масштаб модели и точность синтеза.

chutesai/csm-1b — версия модели CSM 1B от Sesame в формате Safetensors FP16, размещённая Chutes AI. Это модель генерации речи по тексту с аудиоконтекстом: Llama-основа обрабатывает текст и входные аудиоданные, а аудиодекодер формирует коды Mimi/RVQ для синтеза. Репозиторий содержит обновлённую конфигурацию и код, настроенные на ungated Llama. Модель предназначена для генерации разговорной речи и может создавать разные голоса, но не настроена на конкретный голос. Она не генерирует текст и не является универсальной мультимодальной языковой моделью; для ведения диалога с текстовыми ответами потребуется отдельная LLM. Основной поддерживаемый язык — английский, а качество для других языков, вероятно, низкое. Лицензия — Apache-2.0.

CSM 1B — модель генерации речи Sesame, представленная в варианте примерно на 977 млн параметров. Она использует языковую основу Llama и небольшой аудиодекодер, который генерирует аудиокоды Mimi на основе текста и аудиоконтекста. Модель поддерживается библиотекой Transformers и допускает дообучение через Trainer. Модель предназначена для синтеза речи из текста и может создавать разные голоса; конкретный голос отдельно не настраивался. Контекстная длина — 2048 токенов. Основной язык карточки — английский; авторы отмечают ограниченную способность работать с другими языками. Модель не генерирует текст и не является универсальной мультимодальной языковой моделью. Лицензия — Apache-2.0. Авторы запрещают использовать модель для имитации реальных людей без их согласия, обмана и незаконной или вредоносной деятельности; качество речи на языках помимо английского может быть низким.

cstr/csm-1b-GGUF — это GGUF/GGML-конверсия и вариант с квантованием модели CSM-1B, разработанной Sesame. Репозиторий предназначен для запуска модели через CrispASR и не содержит нового обучения, дообучения или изменения архитектуры. Модель относится к системам синтеза речи по тексту (TTS) и ориентирована на создание разговорной речи из текстовых запросов. Архитектура двухэтапная: 16-слойная backbone-модель на базе Llama-3.2 1B авторегрессионно генерирует первые токены аудиокодека Mimi, а 4-слойный depth decoder на базе Llama-3.2 100M заполняет остальные 31 кодек на каждый кадр. Кодек Mimi преобразует 32-кодовые RVQ-токены в монофонический PCM-аудиосигнал с частотой 24 кГц. Используются BPE-токенизатор Llama-3.2 с размером словаря 128 256 токенов, GQA, SwiGLU, RMSNorm и RoPE; заявленный язык — английский. Контекст модели в README не указан. Доступны варианты F16 размером 3,4 ГБ, Q8_0 размером 1,9 ГБ и Q4_K размером 1,1 ГБ. Q8_0 рекомендуется как вариант с качеством, эквивалентным по указанному ASR roundtrip, тогда как Q4_K занимает меньше места, но может немного снижать качество; F16 обеспечивает эталонное качество. Ограничения включают поддержку только английского языка согласно карточке и зависимость от CrispASR для описанного сценария запуска. Модель распространяется по лицензии Apache 2.0, при этом права и условия исходной модели Sesame сохраняются.