I.9Аудио и музыка

sapinsapin/speecht5_tts-pld-fil — модель синтеза речи из текста, созданная дообучением SpeechT5 от Microsoft на наборе sapinsapin/pld. Она предназначена для озвучивания текста на филиппинском языке (fil); для формирования голоса использует speaker conditioning с x-вектором SpeechBrain, а для преобразования спектрограммы в аудио — вокодер microsoft/speecht5_hifigan. Модель обучалась 1000 шагов на 1913 аудиофрагментах; в карточке приведено значение eval_loss 0,4433. Репозиторий содержит веса safetensors и распространяется по лицензии MIT.

sapinsapin/speecht5_vc-pld — модель преобразования речи, созданная дообучением microsoft/speecht5_vc на наборе sapinsapin/pld. Она выполняет преобразование голоса между говорящими: принимает исходную речевую запись и целевой образец голоса, а затем генерирует речь с голосовыми характеристиками целевого образца. Модель рассчитана на десять филиппинских языков: бикольский (bcl), себуанский (ceb), английский (eng), филиппинский (fil), хилигайнон (hil), илоканский (ilo), пангасинанский (pag), капампанганский (pam), масбате́ньо (tsg) и варайский (war). Это модель семейства SpeechT5 на базе Transformer; в обучении использовались пары записей с одинаковыми фразами от разных говорящих, а целевой голос задаётся через x-вектор SpeechBrain. Дообучение проведено на 1500 шагах на 3088 парах. Модель выпущена в формате safetensors и распространяется по лицензии MIT. В карточке приведена оценка eval_loss 0,4588; отдельные тестовые примеры представлены в репозитории.

Supertonic 2 — мультиязычная модель синтеза речи от Supertone для локального запуска на устройстве. Модель использует архитектуру ONNX и содержит 66 млн параметров; для инференса применяется ONNX Runtime. Она преобразует текст в речь на английском, корейском, испанском, португальском и французском языках. Модель рассчитана на быстрый синтез речи с небольшими вычислительными затратами, в том числе на устройствах без обращения к облачному API. В README приведены результаты измерений на Apple M4 Pro и RTX 4090, включая режимы с двумя и пятью шагами инференса; заявлена скорость до 167 раз выше реального времени. Лицензия репозитория — OpenRAIL. Карточка не уточняет ограничения лицензии и качество синтеза для отдельных языков и сценариев.

MIT-SLS/USAD2-Base — базовая версия USAD 2.0, двунаправленный трансформерный аудиоэнкодер, разработанный MIT-SLS. Модель извлекает представления аудио для речи, окружающих звуков и музыки; она обучена дистилляцией от самообучаемых и обученных с учителем аудиомоделей без использования размеченных данных. Вариант Base содержит около 97 млн параметров, 12 слоёв, размер скрытого представления 768 и выдаёт представления с частотой 50 Гц. Энкодер предназначен для получения признаков для последующих задач: классификации аудио, обнаружения звуковых событий, идентификации говорящего и языка, распознавания речи, а также анализа и описания музыки и звуков. В карточке приведены результаты оценки замороженных энкодеров на наборах HEAR, MARBLE и XARES-LLM; для целевых задач рекомендуется дообучение. Метаданные указывают библиотеку Transformers и формат safetensors. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и на условиях распространения производных материалов по той же лицензии, но не для коммерческих целей.

viXTTS — модель синтеза речи и клонирования голоса, разработанная Capleaf на основе XTTS-v2.0.3. Она позволяет создавать речь выбранным голосом по короткому аудиофрагменту длительностью около шести секунд. Модель продолжили обучать на наборе данных viVoice, расширив токенизатор для поддержки вьетнамского языка. Модель поддерживает 18 языков, включая вьетнамский, английский, русский, китайский и японский. Она предназначена для многоязычной генерации речи с сохранением характеристик голоса из образца. Указанная лицензия — other; README не приводит дополнительных условий лицензирования. Совместимость с исходной библиотекой TTS ограничена. Для вьетнамского языка короткие фразы менее десяти слов могут давать нестабильный результат и посторонние звуки в конце. Качество для языков, отличных от вьетнамского, не проверялось.

VoxCPM1.5 — модель синтеза речи от OpenBMB, созданная на основе MiniCPM4-0.5B. Она преобразует текст в речь и поддерживает клонирование голоса по короткому аудиофрагменту без отдельного обучения. Архитектура объединяет авторегрессионное моделирование и диффузию, генерируя непрерывные речевые представления без дискретного аудиотокенизатора. Версия 1.5 использует аудиокодек с частотой 44,1 кГц и снижает частоту токенов языковой модели до 6,25 Гц. Модель предназначена для выразительной озвучки текста, адаптации интонации к содержанию и создания речи с тембром и особенностями референсного голоса. Поддерживает потоковую генерацию; в README указано время реального времени 0,17 на NVIDIA RTX 4090. Для настройки под конкретный голос доступны полное дообучение и LoRA. В первую очередь модель обучена на китайском и английском языках; качество для других языков не гарантируется. На длинных или выразительных фрагментах возможна нестабильность, а точное управление эмоциями и стилем ограничено. Результат клонирования зависит от качества входного аудио. Лицензия — Apache-2.0; разработчики позиционируют модель для исследований и разработок и рекомендуют тщательно проверять её перед коммерческим применением.

Это версия Voxtral-4B-TTS-2603, подготовленная сообществом mlx-community для MLX в формате bf16 на основе mistralai/Voxtral-4B-TTS-2603. Модель с плотной архитектурой и 4 млрд параметров предназначена для синтеза речи из текста; файлы занимают около 8 ГБ. Заявленный контекст — 128 000 токенов. Модель предлагает 20 голосовых пресетов на девяти языках: английском, французском, испанском, немецком, итальянском, португальском, нидерландском, арабском и хинди. Её можно применять для озвучивания текста и голосовых агентов. README приводит показатели скорости на Apple Silicon: для bf16 RTF составляет 6,50x на коротких и 6,32x на длинных примерах; качество и применимость этих показателей зависят от оборудования и сценария. Лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения.

YuE-s2-1B-general — модель серии YuE, разработанной HKUST/M-A-P для генерации музыки по текстовым описаниям и текстам песен. Репозиторий README представляет серию как набор открытых базовых моделей для преобразования текста песни в полноценную композицию с вокалом и аккомпанементом; эта версия имеет архитектуру LlamaForCausalLM с 1,8 млрд параметров и контекстом 8192 токена. Модель предназначена для создания песен длительностью в несколько минут, а серия YuE поддерживает разные жанры, языки и вокальные техники. В README также описаны режимы продолжения музыки и генерации с опорой на референсную композицию; применимость этих режимов именно к варианту s2-1B-general отдельно не уточняется. Метаданные указывают текстовую генерацию, поэтому их недостаточно, чтобы подтвердить вход и выход аудио для этого конкретного репозитория. Модель распространяется по лицензии Apache 2.0. README рекомендует указывать авторство YuE by HKUST/M-A-P при использовании результатов; заявленные языки карточки — английский, китайский, корейский и японский.

ACE-Step 1.5 — языковая модель для генерации музыки, разработанная командой ACE-STEP. Вариант acestep-5Hz-lm-4B построен на архитектуре Qwen3ForCausalLM, содержит 3,8 млрд параметров и использует контекст до 40 960 токенов. Модель принимает текстовые запросы и формирует музыкальные планы, тексты песен и метаданные, помогая направлять генерацию аудио. В README для этой версии отмечены сильные возможности понимания аудио, композиции и копирования мелодии. Модель предназначена для создания песен и музыкальных фрагментов по описанию, а также для управления стилем и редактирования музыки в связке с компонентом ACE-Step DiT. Проект заявляет поддержку более 50 языков, локальный запуск на потребительском оборудовании и возможность коммерческого использования с лицензией MIT. Указанные в README характеристики скорости генерации и потребления VRAM относятся к системе ACE-Step в целом, а не обязательно к этой языковой модели отдельно.

Audar-TTS-V1-Flash — компактная модель синтеза речи с открытыми весами, разработанная AudarAI. Она преобразует текст в естественную выразительную речь и поддерживает zero-shot клонирование голоса по 5–15-секундному аудиофрагменту без дообучения под конкретного говорящего. Модель ориентирована прежде всего на арабский язык, включая литературный арабский и диалекты стран Персидского залива, в частности эмиратский, а также полноценно поддерживает английский и арабско-английское переключение языков. Модель содержит 553 млн параметров и использует архитектуру, в которой языковая модель предсказывает дискретные акустические токены audar-codec, а нейронный кодек преобразует их в аудио с частотой 24 кГц. Файл поставляется в формате GGUF с вариантами квантования Q4, Q5 и Q8, а также доступны полноточные веса bf16 для Transformers. Заявлена работа в реальном времени на CPU, GPU и периферийных устройствах через llama.cpp. Фонемайзер и отдельный G2P-модуль не используются; поддержка диалектов обеспечивается данными обучения. Для управления выразительностью предусмотрены встроенные текстовые теги, например для смеха, шёпота, возбуждения и любопытства. Сильные стороны модели — небольшой размер, быстрая локальная работа, двуязычный режим, поддержка арабских диалектов, выразительный синтез и клонирование голоса без fine-tuning. Ограничения включают заявленную специализацию только на арабском и английском языках, а также потенциальные риски злоупотреблений при клонировании голоса; в README рекомендуется получать согласие говорящего и соблюдать ответственное использование. Модель распространяется по лицензии AudarAI Open License v1.0, допускающей коммерческое использование, распространение и модификацию.

Audio8-TTS-Preview-0.1b-bf16 — конверсия модели Audio8/Audio8-TTS-Preview-0.1b в формат MLX для компьютеров Apple Silicon. Это мультиязычная модель синтеза речи с архитектурой ArkTTS и гибридным стеком Falcon-H1/Mamba-2, механизмом внимания и MLP; языковая часть содержит около 170 млн параметров, контекст — до 8192 токенов. Модель преобразует текст в речь, поддерживает синтез с голосом по умолчанию и клонирование голоса без дополнительного обучения по референсному аудио; используется нейрокодек с частотой 44,1 кГц. Основные языки — китайский и английский. Немецкий, испанский, французский, итальянский, японский и корейский поддерживаются экспериментально, качество для них слабее и менее стабильно. Модель компактнее варианта 0.6b по размеру загрузки и немного быстрее, но сходство клонированного голоса у неё ниже; кодек по-прежнему занимает значительную часть памяти. Для запуска требуется версия mlx-audio с поддержкой Falcon-H1 slow backbone. Лицензия указана как other, конкретные условия следует проверять в карточке модели и у автора базовой модели.

Chatterbox-Multilingual-MLX-v2-Q4 — преобразованная для формата MLX версия многоязычной модели синтеза речи ResembleAI/chatterbox, подготовленная автором репозитория theoracleguy с помощью mlx-audio 0.2.10. Она принимает текст и генерирует речь; запускать её можно локально на совместимом оборудовании Apple через mlx-audio или совместимое приложение OpenVox. Модель основана на ResembleAI/chatterbox и предназначена для многоязычного синтеза речи. Для работы требуются веса S3TokenizerV2 из mlx-community/S3TokenizerV2, которые загружаются автоматически. В репозитории указаны файлы safetensors. Лицензия — Apache-2.0.

Chatterbox-Multilingual-MLX-v2-Q8 — конвертированная в формат MLX версия многоязычной модели синтеза речи Chatterbox от Resemble AI, подготовленная theoracleguy на основе ResembleAI/chatterbox с помощью mlx-audio 0.2.10. Модель принимает текст и генерирует речь; репозиторий предназначен для локального запуска на совместимом оборудовании Apple через mlx-audio или графический интерфейс OpenVox. Для работы также требуются веса S3TokenizerV2, загружаемые автоматически. Модель основана на архитектуре Chatterbox и использует файлы safetensors. Базовая модель описана как средство многоязычного синтеза выразительной речи и клонирования голоса по аудиообразцу; карточка этой версии описывает сценарии синтеза текста в речь. Лицензия репозитория — Apache-2.0. README не приводит конкретный перечень поддерживаемых языков, размер модели или длину контекста.

Chatterbox-TTS-8bit — преобразованная для MLX модель синтеза речи из текста, созданная сообществом mlx-community на основе ResembleAI/chatterbox с помощью mlx-audio-plus версии 0.1.0. Она предназначена для генерации речи по тексту и запуска через библиотеку mlx-audio-plus. Базовая модель Resemble AI поддерживает многоязычный синтез выразительной речи и клонирование голоса по аудиообразцу. В README для этой версии не описаны отдельные настройки клонирования или языковой охват. Репозиторию также требуются веса S3TokenizerV2 из mlx-community/S3TokenizerV2; README сообщает, что они загружаются автоматически. Лицензия в предоставленных данных не указана.

DACVAE-TTS Turkish — модель синтеза турецкой речи с клонированием голоса по короткому аудиопримеру. Её разработали для dacvae-tts и обучили с нуля в латентном пространстве замороженного аудиокодека Meta DACVAE. Модель содержит 66,5 млн параметров и использует 12 DiT-блоков шириной 512 с механизмом flow matching; текст кодируется как последовательность UTF-8 байтов с нормализацией турецких чисел. На вход подаются турецкий текст, аудиопример длительностью 3–15 секунд и его расшифровка; на выходе — речь на турецком языке голосом из примера с частотой 48 кГц. Модель подходит для озвучивания текста и создания речи с заданным голосом. На тесте Freya-TR-Eval авторы сообщают WER 4,3%, CER 2,5% и сходство голоса 0,946. Качество зависит от чистоты и темпа образца; возможны повторы или перестановки слов и ошибки в редких иностранных именах. Хотя выход имеет частоту 48 кГц, обучающие подкасты преимущественно имели полосу 12–16 кГц. Для работы требуется расшифровка образца, предоставленная вручную или полученная через Whisper. Модель опубликована по лицензии CC-BY-NC-4.0 для некоммерческого использования; кодек DACVAE сохраняет лицензию исходного проекта.

Карточка модели codedecoyz/Dia-1.6B-0626 на Hugging Face совпадает с карточкой nari-labs/Dia-1.6B-0626, поэтому описание составлено по ней. Dia — плотная модель генерации речи на 1,6 млрд параметров, разработанная Nari Labs. Она преобразует текст в реалистичную речь и диалоги с репликами нескольких говорящих, обозначенными тегами [S1] и [S2]. Можно подать аудио вместе с его расшифровкой, чтобы управлять тоном и эмоциями или клонировать голос; модель также воспроизводит невербальные звуки, например смех, кашель и вздохи. Поддерживается генерация только на английском языке. Модель предназначена для синтеза диалогов, озвучивания сценариев и экспериментов с управляемой речью. Для работы проверена конфигурация с PyTorch 2.0+ и CUDA 12.6 на GPU; поддержка CPU в карточке обозначена как будущая. Весá доступны в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Разработчики указывают, что модель предназначена для исследовательского и образовательного применения, и запрещают выдавать сгенерированную речь за речь реальных людей без разрешения, создавать вводящий в заблуждение контент и использовать модель для незаконных или вредоносных действий.

BricksDisplay/ellie-Bert-VITS2 — модель синтеза речи с тайваньским акцентом, разработанная JackEllie. Она преобразует текст в речь и предназначена для генерации озвучивания на китайском языке с указанным акцентом. Архитектура — Bert-VITS2; в репозитории представлены файлы ONNX и safetensors, а метаданные указывают 3,6 млн параметров. Модель является дообучением Jackellie/ellie-Bert-VITS2 и распространяется по лицензии CC BY 4.0. README упоминает использование через Transformers, но подробности настройки голоса и запуска не приведены.

alien79/F5-TTS-italian — дообученная на итальянской речи версия F5-TTS от автора alien79. Модель предназначена для синтеза итальянской речи по тексту; для обучения использовано более 73 часов обучающей части набора ylacombe/cml-tts. В репозитории есть веса PyTorch в формате Safetensors, включая чекпойнт примерно после 290 эпох обучения. Модель рассчитана на итальянский язык и плохо справляется с английским после дообучения. Автор отмечает, что произношение не всегда точное, числа перед синтезом нужно записывать словами, а ограниченное разнообразие голосов в обучающем наборе сказывается на клонировании голоса. Распространяется по лицензии CC BY 4.0.

F5-TTS_RUSSIAN — дообученная модель F5-TTS, опубликованная Misha24-10 и адаптированная для синтеза русской речи. Она преобразует текст в речь и поддерживает управление ударением: символ «+» перед ударной гласной помогает задать нужное произношение. В карточке также описаны варианты чекпойнта, включая версии с разметкой ударений и дополнительной фильтрацией обучающих записей. Модель обучалась на русской и английской речи; README указывает более 5 000 часов данных, преимущественно из пользовательского русского датасета, а также Common Voice RU и EN. Репозиторий содержит веса PyTorch в формате Safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Модель подходит для озвучивания русскоязычных текстов, где важно управлять ударением. README рекомендует использовать символы ударения для повышения качества синтеза; для автоматической расстановки ударений предлагается RUAccent.

Higgs-Audio-v3-Studio — это репозиторий с runtime-файлами для локального запуска Higgs Audio v3 в Windows-приложении Higgs Audio v3 Studio. Репозиторий поддерживается авторами приложения Saganaki22 и не является оригинальным релизом исходной модели. Приложение использует портированную нативную реализацию C++/CUDA и предоставляет функции синтеза речи из текста, клонирования голоса, продолжения речи и генерации с несколькими говорящими, а также локальный API и потоковую выдачу аудио. Модель предназначена для многоязычного text-to-speech и управляемой генерации выразительной речи. В README заявлена поддержка языков от африкаанс и арабского до русского, английского, китайского и других языков; полный список включает более 100 языковых кодов. Доступны сборки в формате GGUF с квантованием q4_k_m, q5_k, q6_k и q8_0, а также вариант BF16. Рекомендуемые требования к видеопамяти составляют примерно от 8 ГБ для q4_k_m до 16 ГБ для BF16; q8_0 указан как вариант по умолчанию с балансом качества и скорости. Сильными сторонами являются локальная работа без обязательного облачного сервиса, поддержка клонирования голоса, многоязычность, несколько режимов генерации и варианты моделей для разных объёмов VRAM. Ограничения связаны с платформой и аппаратными требованиями: готовый engine рассчитан на Windows x64 и NVIDIA GPU RTX 30xx, 40xx или 50xx с совместимым драйвером CUDA 13; для работы также требуются системные компоненты CUDA и MSVC, хотя их можно загрузить через приложение. Лицензия указана как boson-higgs-audio-v3-research-and-non-commercial-license, то есть использование ограничено исследовательскими и некоммерческими условиями.

Higgs-TTS-3-4B Egyptian Arabic (v3) — это дообученная на египетском арабском модель синтеза речи на основе bosonai/higgs-tts-3-4b. Она предназначена для преобразования текста в речь и поставляется с сервером с OpenAI-совместимым API и потоковой выдачей аудио. Модель поддерживает голоса noselleel, moustafa и mosaifside, а также лексикон произношения, применяемый при инференсе; частота дискретизации аудио — 24 кГц. Для потокового синтеза README указывает время до первого фрагмента около 0,7 секунды и скорость генерации примерно в 2,4 раза выше реального времени на RTX 4090 при декодировании с torch.compile. Для запуска сервера требуется CUDA GPU; заявленные характеристики производительности относятся к RTX 4090. Лицензия в предоставленных данных не указана.

Карточка модели 6Morpheus6/IndicF5 на Hugging Face совпадает с карточкой ai4bharat/IndicF5, поэтому описание составлено по ней. IndicF5 — полиглотная модель синтеза речи от AI4Bharat, обученная на 1417 часах аудио из Rasa, IndicTTS, LIMMITS и IndicVoices-R. Она преобразует текст в речь на 11 индийских языках: ассамском, бенгальском, гуджарати, хинди, каннада, малаялам, маратхи, одиа, пенджаби, тамильском и телугу. Для генерации нужны текст, эталонный аудиофрагмент и его расшифровка; эталон задаёт характеристики голоса и просодию. Модель предназначена для синтеза речи с управлением голосом по примеру, например для озвучивания текстов и создания голосовых интерфейсов на поддерживаемых языках. Авторы характеризуют качество как близкое к человеческому. Лицензия — MIT. Использовать клонирование голоса разрешено только при наличии явного согласия владельца; несанкционированное клонирование запрещено.

Nepali Parler-TTS — дообученная версия Indic Parler-TTS для синтеза речи на непальском языке. Модель использует архитектуру ParlerTTSForConditionalGeneration и библиотеку parler-tts; веса представлены в формате safetensors. Модель преобразует текст на непальском языке в речь. В карточке указаны результаты обучения: 5236 шагов и наилучшая валидационная потеря 6,6421. Подробности о голосах, качестве звучания и лицензии в доступных данных не приведены.

Indri 0.1 124M TTS — компактная модель преобразования текста в речь от 11mlabs. Это авторегрессионная трансформерная модель на базе GPT-2 с 124 млн параметров: она генерирует аудиотокены из текста, а затем декодирует их в аудио с помощью Kyutai/mimi. Модель предназначена для синтеза речи на английском и хинди, включая смешанный ввод на этих языках, и поддерживает клонирование голоса по короткому образцу менее пяти секунд. Разработчик заявляет высокую скорость генерации и возможность работы с большими пакетами на RTX6000Ada; модель использует контекст до 1024 токенов. В README она представлена как исследовательская демонстрация, не предназначенная для коммерческого использования. Метаданные указывают лицензию CC BY-SA 4.0.

Это версия Irodori-TTS-v4.1-Small-MF, конвертированная сообществом mlx-community в формат MLX и сохранённая в fp16. Модель построена на плотной архитектуре семейства irodori_tts и предназначена для синтеза речи по тексту; для запуска используется библиотека mlx-audio. Модель ориентирована на японский язык. README указывает, что конверсия выполнена из Aratako/Irodori-TTS-v4.1-Small-MF с помощью mlx-audio 0.5.4. Лицензия и дополнительные ограничения качества или применения в доступных данных не описаны.

theoracleguy/Kokoro-82M-bf16 — преобразованная для MLX версия модели синтеза речи Kokoro-82M. README указывает, что конвертация выполнена из hexgrad/Kokoro-82M с помощью mlx-audio 0.0.1; модель рассчитана на локальный запуск совместимых сценариев синтеза речи, в том числе через библиотеку mlx-audio и стороннее приложение OpenVox. Модель принимает текст и генерирует речь. В метаданных указан английский язык и задача text-to-speech; подробности об архитектуре, числе параметров и ограничениях качества в предоставленных материалах отсутствуют. Лицензия — Apache-2.0.

zaakirio/kokoro-ru — русскоязычная модель синтеза речи, разработанная как порт Kokoro-82M. Это плотная модель семейства StyleTTS2 с 81,81 млн параметров; доступны три голоса, включая Sveta и Masha, использующие общий чекпойнт с разными voicepack. Модель принимает фонемные идентификаторы, а преобразование русского текста в фонемы выполняется внешним фронтендом. Для локального запуска доступны ONNX-экспорты, совместимые с kokoro, transformers.js, kokoro-js и ONNX Runtime. Модель предназначена для озвучивания русского текста на CPU и, по данным карточки, работает примерно в 9,8 раза быстрее реального времени на ноутбуке без GPU. В описанной оценке она показала 2,50% WER при обратном распознавании Whisper на коротком тестовом наборе; проверка фонетических особенностей дала 15 правильных результатов из 16. Эти измерения оценивают разборчивость, а не естественность речи. Ограничения включают более тёмный тембр по сравнению с исходными записями, узкополосные артефакты у некоторых шипящих и свистящих звуков, ошибки в омографах и детерминированную просодию. Качество ударений зависит от фронтенда: README сообщает о худших результатах Node.js-варианта на словах с трудным ударением по сравнению с Python-фронтендом. Веса распространяются по лицензии OpenRAIL, код — Apache-2.0.

Joakim разработал Kokoro Swedish — дообученную версию Kokoro-82M для синтеза шведской речи. Модель построена на StyleTTS2 и обучена на записях 23 носителей шведского языка общей длительностью около 8,6 часа. В комплект входят 10 именованных голосов; голосовые профили можно смешивать, чтобы получать промежуточный тембр и подачу. Модель предназначена для преобразования шведского текста в речь с выбором голоса и управлением просодией. Для воспроизведения требуется фонемизация с помощью шведского G2P из Joakim/swedish-kokoro, согласованная с обучением. Модель распространяется в формате PyTorch по лицензии Apache-2.0. В README отмечено, что мужские голоса звучат несколько мягче из-за преобладания женских голосов в обучающей выборке. Также у синтеза остаётся артефакт декодера, который частично уменьшается фильтрацией.

Llama-Mimi-8B — модель для работы с речью, разработанная командой LLM-jp. Она объединяет токенизатор Mimi и декодер-трансформер Llama, совместно моделируя последовательности чередующихся семантических и акустических токенов. Модель дообучена на базе meta-llama/Llama-3.1-8B и содержит около 7,5 млрд параметров. Модель предназначена для задач преобразования аудио в аудио. Обучение проводилось примерно на 240 тысячах часов англоязычного аудио. В описании отмечены высокая акустическая согласованность по оценке SALMon и сохранение идентичности говорящего. Контекст составляет до 131 072 токенов; архитектура — плотный декодер Llama, формат весов — safetensors. Для использования указаны Transformers, PyTorch и torchaudio. Лицензия — Llama 3.1 Community License. README не уточняет конкретные режимы преобразования аудио и ограничения применения; модель и обучающие данные ориентированы на английскую речь.

Карточка модели unsloth/Llasa-1B на Hugging Face совпадает с карточкой HKUSTAudio/Llasa-1B, поэтому описание составлено по ней. Llasa-1B — система синтеза речи, разработанная командой HKUSTAudio. Она дообучена на базе meta-llama/Llama-3.2-1B-Instruct и расширяет языковую модель речевыми токенами из кодовой книги XCodec2 на 65 536 токенов. Модель содержит 1,4 млрд параметров и поддерживает контекст до 131 072 токенов. Llasa-1B предназначена для преобразования текста в речь на китайском и английском языках. Речь можно генерировать только по тексту или с использованием речевого промпта, который задаёт голосовой контекст. Для работы требуется XCodec2. Модель обучена на 250 000 часах китайской и английской речи. Она распространяется по лицензии CC BY-NC 4.0, запрещающей коммерческое использование.