I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиInternLM-XComposer2-7B — мультимодальная модель на 7,4 млрд параметров, разработанная командой InternLM на базе InternLM2. Она предназначена для понимания изображений и текста, а также для свободного чередования текста и изображений при генерации. Модель поддерживает контекст до 32 768 токенов и опубликована в формате PyTorch. Модель подходит для диалога по изображениям, описания визуального содержимого и создания материалов, в которых текст сочетается с изображениями. В метаданных Hugging Face основная задача указана как генерация текста; карточка также описывает модель как vision-language систему для понимания и композиции текста и изображений. Репозиторий указывает лицензию «other», без конкретных условий в предоставленных данных. Практические ограничения и перечень поддерживаемых языков в карточке не описаны.
InternVL3-1B-GGUF — мультимодальная модель для понимания и генерации текста по изображениям, разработанная командой OpenGVLab и представленная в формате GGUF командой Unsloth. Она основана на OpenGVLab/InternVL3-1B и использует данные MMPR-v1.2 для дообучения или адаптации. Модель предназначена для задач image-to-text, включая анализ изображений, визуальное восприятие и рассуждение, а также потенциально для работы с инструментами, GUI-агентами, промышленными изображениями и 3D-восприятием. Архитектура построена по схеме ViT-MLP-LLM: визуальная часть InternViT-300M-448px-V2_5 соединена через MLP-проектор с языковой частью Qwen2.5-0.5B. Общий размер семейства для этой конфигурации — 1B параметров. Заявлена поддержка multilingual-сценариев, однако конкретный перечень языков и размер контекстного окна в карточке не указаны. К сильным сторонам относятся сочетание визуального и языкового понимания, компактный размер и возможность использования GGUF для локального запуска при подходящей инфраструктуре. Ограничения включают меньшую ёмкость по сравнению с крупными вариантами InternVL3, а также отсутствие в карточке подробных данных о требованиях к памяти, производительности, точности на бенчмарках и совместимости конкретных рантаймов. В карточке указана лицензия Apache-2.0; дополнительно приведена ссылка на лицензию Qwen.
Модель esnya/japanese_speecht5_tts — вариант SpeechT5, дообученный для синтеза японской речи на корпусе JVS. Её разработчик адаптировал токенизатор с помощью Open JTalk и использовал созданные по данным 100 дикторов 16-мерные векторы голоса, рассчитанные на тембр, не привязанный к конкретному человеку. Модель принимает японский текст и генерирует речь. Она основана на microsoft/speecht5_tts и использует архитектуру SpeechT5ForTextToSpeech; для работы нужны Transformers, SentencePiece и Open JTalk. Карточка указывает лицензию MIT для авторских изменений.
Это англоязычная модель автоматического распознавания речи, опубликованная в ESPnet под идентификатором espnet/kamo-naoyuki-mini_an4_asr_train_raw_bpe_valid.acc.best. Модель обучена kan-bayashi по рецепту jsut/tts1 в ESPnet; карточка указывает набор данных mini-an4 и формат весов PyTorch. Модель преобразует аудио в текст и предназначена для распознавания речи в аудиозаписях. В примере использования аудио загружается с приведением к одному каналу и частоте 16 кГц. Модель распространяется по лицензии CC BY 4.0. Карточка не сообщает размер модели, длину контекста или показатели качества; результаты для других языков и условий записи не описаны.
Kartoffel Orpheus-3B German Natural — модель преобразования немецкого текста в речь, созданная SebastianBodza на основе Orpheus-3B. Версия Natural дообучена на записях естественной немецкой речи из подкастов, лекций и других материалов OER, обработанных конвейером в стиле Emilia. Модель предназначена для синтеза речи с несколькими предустановленными голосами. Модель может генерировать речь с разными интонациями, но в этой версии поддержка эмоций и выразительности ограничена. Автор отмечает, что некоторые голоса нестабильны, отдельные голоса могут дублироваться, а оценка пола голоса ненадёжна. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия указана как Llama 3.2.
KittenTTS 2 — мультиязычная модель синтеза речи от KittenML с языковой моделью на 1,7 млрд параметров и клонированием голоса по контексту. Она принимает текст и генерирует токены аудиокодека S3, которые вокодер преобразует в звук с частотой 24 кГц. Для синтеза доступны 47 голосов; акцент для девяти перечисленных языков задаётся выбором соответствующего голоса. Модель рассчитана на озвучивание текста и позволяет управлять выразительностью с помощью тегов эмоций, голосовых событий и выделения слов. Варианты весов включают упакованные ternary-веса, bf16 и более компактный вариант с 4-битным эмбеддингом; последний немного уступает по качеству. Для декодера доступен дистиллированный компактный вариант, снижающий точность звучания. Модель запускается на CPU; для неанглийского текста рекомендуется отключать нормализацию, настроенную на английские числа и даты. Управление эмоциями находится в бета-стадии, работает не гарантированно и зависит от голоса и фразы. Лицензия указана как other, конкретные условия в доступных материалах не раскрыты.
Koko-TTS — компактная модель синтеза речи, описанная в карточке как разработанная для быстрого синтеза с высоким качеством. Она содержит около 24,6 млн параметров и использует flow-matching: RoPE-based Transformer кодирует текст, свёрточный предсказатель длительностей учитывает эмбеддинги говорящего, а декодер построен на Matcha-style 1D U-Net. Для преобразования мел-спектрограмм в звук используется нейровокодер Vocos с частотой дискретизации 24 кГц. Модель предназначена для преобразования текста в речь в реальном времени и поддерживает несколько идентификаторов говорящих; примеры карточки и данные LibriTTS-R указывают на англоязычное применение. Карточка также описывает настройку на собственных наборах аудиоданных. Ограничения по лицензии не заявлены: модель распространяется по Apache-2.0. Карточка не приводит результатов сравнительной оценки качества или скорости.
Это преобразованная в формат Transformers копия сквозной аудиоязыковой модели Liquid AI LFM2.5-Audio-1.5B. Веса и конфигурация перенесены из LiquidAI/LFM2.5-Audio-1.5B; дополнительного обучения не проводилось. Модель поддерживает сценарии распознавания речи, синтеза речи и голосового взаимодействия с чередованием текста и аудио. В репозитории есть настройки извлечения аудиопризнаков, шаблон мультимодального диалога, токенизатор и аудиодетокенизатор. Проверка подтвердила совпадение текстовых токенов, аудиокодбуков, последовательностей модальностей и форм волн с исходной реализацией в описанных тестовых сценариях; это проверка совместимости, а не оценка точности распознавания или скорости. Для загрузки требуется обновлённая реализация LFM2-Audio в Transformers, которая на момент карточки ещё не была доступна в выпущенном пакете. Для ASR требуется монофонический сигнал 16 кГц, а генерация ограничена размером пакета 1. Лицензия указана как other; в репозитории приложена исходная лицензия.
LuxTTS — компактная модель синтеза речи с клонированием голоса, основанная на ZipVoice. Она предназначена для генерации естественно звучащей речи по тексту и воспроизведения голоса по образцу. Модель использует вокодер с частотой дискретизации 48 кГц и, согласно карточке, достигает скорости свыше 150× реального времени на одном GPU, а также работает быстрее реального времени на CPU и помещается менее чем в 1 ГБ видеопамяти. В README указано, что модель дистиллирована до четырёх шагов и применяет улучшенный метод сэмплирования. Репозиторий содержит формат ONNX; лицензия — Apache-2.0. Карточка заявляет высокое качество клонирования голоса и речи, однако не приводит подробностей об обучающих данных, поддерживаемых голосах или оценках качества.
Magpie-TTS-Multilingual-357M-MLX-8bit — порт модели преобразования текста в речь NVIDIA Magpie-TTS Multilingual 357M для библиотеки MLX и Apple Silicon. Это авторегрессионная модель с несколькими кодовыми книгами аудио, которая генерирует речь через Nano-Codec с последующим декодированием в монофонический звук с частотой 22,05 кГц. Модель содержит 357 млн параметров; веса основных компонентов квантованы до INT8, а декодер кодека работает в FP16. Модель предназначена для синтеза речи на английском, испанском, немецком, французском, итальянском, вьетнамском, китайском, хинди и японском языках. Её можно применять для озвучивания текста в приложениях и локальных сценариях на Apple Silicon. Карточка описывает проверку синтеза на отдельных тестовых фразах, но она не доказывает качество на произвольных текстах. Для работы с японским текстом README отдельно указывает на предварительную токенизацию и преобразование в фонетическую форму. Лицензия указана как other; исходные веса NVIDIA распространяются по NVIDIA Open Model License.
Malaysian-TTS-0.6B-v1 — модель преобразования текста в речь от mesolitica, созданная продолжением предобучения mesolitica/Malaysian-TTS-0.6B-v0.1 на более согласованном наборе данных. В основе — плотная архитектура Qwen3 с причинной языковой моделью; размер составляет 541,2 млн параметров, контекст — до 32 768 токенов. Для детокенизации речи используется DistilCodec, аудио выводится с частотой 24 кГц. Модель предназначена для синтеза речи на малайском и английском языках с переключением между ними в одном контексте. В карточке перечислены несколько голосов, включая малайские, сингапурские и Singlish варианты. Для генерации ожидается нормализованный текст: числа нужно предварительно записывать словами. В данных о повторяющихся произношениях паузы не всегда соответствуют запятым, поэтому пунктуация может не задавать ожидаемые паузы. Лицензия в предоставленных данных не указана.
Malaysian-TTS-4B-v0.1 — модель преобразования текста в речь на основе Qwen3-4B-Base, дообученная командой Mesolitica на синтетических данных из Malaysian-Podcast-Dia-1.6B. Она предназначена для синтеза малайской и английской речи с переключением между языками внутри контекста, потоковой выдачей текстовых сегментов и управлением высотой тона и скоростью произнесения отдельных слов. Для декодирования речи используется DistilCodec, выходная частота дискретизации — 24 кГц; доступны только голоса husein и idayu. Модель содержит 3,8 млрд параметров, использует плотную архитектуру Qwen3 и принимает контекст до 32 768 токенов. Для обучения применялось полное дообучение параметров с контекстом обучения 4096 токенов. Репозиторий содержит веса Safetensors и рассчитан на использование через Transformers. Лицензия в предоставленных сведениях не указана.
MiniCPM-V-4.6-GPTQ-INT4-C256-P6K-CTX8K — пакет развёртывания MiniCPM-V-4.6 от AXERA-TECH для ускорителя AX650 / NPU3. Он основан на openbmb/MiniCPM-V-4.6-GPTQ и использует GPTQ INT4; текстовый и визуальный компоненты подготовлены для запуска через axllm на указанной платформе. Лицензия пакета — Apache-2.0. Модель предназначена для диалога по тексту, понимания изображений и видео, включая последующие текстовые вопросы о ранее переданном видео. Визуальный энкодер принимает изображения фиксированного размера 448×448 и сжимает визуальные данные до 64 soft tokens. Профиль контекста задаёт KV-кэш длиной до 8191 токена и предобработку блоками по 256 токенов; в README приведена проверка извлечения фактов из длинного диалога примерно на 6,3 тыс. входных токенов. Пакет оптимизирован под AX650 / NPU3, поэтому применимость и приведённые показатели производительности относятся к этой платформе и runtime axllm. Метаданные указывают поддержку китайского и английского языков. README описывает проверки и характеристики конкретной сборки, но не даёт оснований переносить их на другие устройства или варианты MiniCPM-V.
Это дообученная модель beleata74 на базе Aratako/MioTTS-0.6B для синтеза речи на болгарском языке. Она использует плотную архитектуру Qwen3ForCausalLM с 520,7 млн параметров и генерирует речевые токены из текста; для инференса применяется совместимый конвейер MioCodec. Контекст модели — 32 768 токенов. Модель обучали на болгарском наборе данных с частотой дискретизации 24 кГц и двумя дикторами; финальный запуск проводился на отфильтрованной подвыборке. Архитектура и токенизатор базовой модели сохранены, изменены обученные веса. Модель подходит для экспериментов и инженерных задач синтеза болгарской речи. Карточка также предупреждает соблюдать местные законы при клонировании голоса. Лицензия — Apache-2.0. Качество и поведение модели при других языках и голосах в карточке не охарактеризованы.
onecxi/mms-hindi-female-indic — модель синтеза речи, обученная на датасете IndicTTS для генерации речи на хинди женским голосом. Она предназначена для преобразования текста на хинди в аудио, например для озвучивания фраз и коротких сообщений. Модель использует архитектуру VITS, библиотеку Transformers и веса в формате Safetensors; указанный размер — 3,6 млн параметров. Модель является дообучением facebook/mms-tts. В карточке приведены примеры фраз на хинди, но аудиопримеры не приложены. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование. Разработчик также предостерегает от имитации реальных людей без их согласия и от создания обманного или вредоносного контента.
KrorngAI/mms-tts-khm-finetuned — дообученная модель синтеза речи на кхмерском языке из проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиоволну и подходит для озвучивания кхмерских фраз и текстов. Модель основана на VITS и содержит 3,6 млн параметров; для работы используется библиотека Transformers. VITS синтезирует речь сквозным образом, сочетая текстовый энкодер, потоковые слои, стохастический предиктор длительности и декодер на основе HiFi-GAN. Стохастический предиктор позволяет получать варианты с разным ритмом, поэтому результат не детерминирован: для повторения того же аудио нужен фиксированный seed. Модель дообучена на наборе seanghay/khmer_mpwt_speech поверх facebook/mms-tts-khm. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не коммерческое применение.
Moonshine Streaming Medium — это GGUF-конверсия модели автоматического распознавания речи Moonshine Streaming, разработанной Useful Sensors и подготовленной для работы с transcribe.cpp проектом handy-computer. Модель предназначена для преобразования английской речи в текст в пакетном и потоковом режимах, включая сценарии с низкой задержкой на периферийных устройствах и оборудовании с ограниченными ресурсами. Модель имеет архитектуру encoder-decoder и содержит около 245 миллионов параметров. Она использует аудиофронтенд с частотой 50 Гц, sliding-window attention и эргодический encoder без позиционных эмбеддингов; позиционная информация добавляется адаптером перед авторегрессионным decoder. Это самая глубокая и широкая модель в семействе Moonshine Streaming: encoder и decoder имеют по 14 слоёв, размер скрытого состояния составляет 768 для encoder и 640 для decoder. На вход подаётся монофонический WAV с частотой 16 кГц. Поддерживается только английский язык; перевод, мультиязычное распознавание, определение языка и временные метки не поддерживаются. Доступны варианты GGUF в форматах F32, F16 и Q8_0 размером примерно от 296 МБ до 1,07 ГБ. На тестовой выборке LibriSpeech test-clean показатель WER составляет 2,16% для всех указанных вариантов, что соответствует качеству F32-версии в заявленной проверке. Потоковая обработка и относительно компактный размер являются сильными сторонами модели, однако её применение ограничено английской речью, отсутствием timestamps и необходимостью предварительно подготовить аудио в формате 16 кГц mono WAV. Модель распространяется по лицензии MIT, унаследованной от базовой модели.
OpenMOSS-Team и MOSI.AI представляют MOSS-TTS-Local-Transformer как вариант семейства MOSS-TTS для синтеза речи. В репозитории указана архитектура MossTTSDelayModel и формат весов safetensors; README описывает MossTTSLocal как модель с синхронными по времени RVQ-блоками и depth transformer, рассчитанную на гибкие потоковые системы. Размер модели и длина контекста для этого варианта не приведены. Модель предназначена для преобразования текста в речь на 20 языках, включая китайский, английский, русский, японский, арабский и немецкий; поддерживается смешение языков внутри высказывания. В README семейства заявлены клонирование голоса по короткому аудиопримеру, управление произношением через фонемы и длительностью, а также потоковая и длинная генерация. Карточка описывает возможности семейства, поэтому их доступность именно в этом чекпойнте может отличаться. Модель распространяется по лицензии Apache-2.0. README рекомендует MOSS-TTSLocal-1.7B для оценки и исследований, но не уточняет, является ли этот репозиторий именно версией 1.7B.
MOSS-TTS-Nano — компактная мультиязычная модель синтеза речи от MOSI.AI и команды OpenMOSS. Модель содержит 0,1 млрд параметров и использует авторегрессионную связку аудиотокенизатора и LLM; она выдаёт стереозвук с частотой 48 кГц и поддерживает потоковую генерацию с низкой задержкой. Модель предназначена для озвучивания текста в реальном времени, локальных демонстраций и интеграции в лёгкие приложения. Она может работать на четырёхъядерном CPU без GPU, поддерживает клонирование голоса по эталонному аудио и длинные тексты с автоматическим разбиением на фрагменты. Заявлена поддержка 20 языков, включая китайский, английский, русский, японский, корейский, арабский и европейские языки; контекст составляет 32 768 токенов. Для работы с речью используется отдельный MOSS-Audio-Tokenizer-Nano. Модель распространяется по лицензии Apache-2.0. Карточка заявляет возможность потоковой генерации на CPU, однако фактические задержка и качество зависят от оборудования и текста; подробные сравнительные оценки в предоставленных материалах отсутствуют.
Карточка модели Nocodedev0/MPTXTTS-v2 на Hugging Face совпадает с карточкой coqui/XTTS-v2, поэтому описание составлено по ней. XTTS-v2 — многоязычная модель синтеза речи от Coqui. Она генерирует речь по тексту и клонирует голос по короткому аудиофрагменту длительностью около шести секунд, в том числе при переносе голоса на другой язык. Модель поддерживает 17 языков: английский, испанский, французский, немецкий, итальянский, португальский, польский, турецкий, русский, нидерландский, чешский, арабский, китайский, японский, венгерский, корейский и хинди. XTTS-v2 улучшает обусловливание по голосу, поддерживает несколько эталонных аудиозаписей и смешивание голосов, а также перенос эмоций и стиля. Заявленная частота дискретизации выходного аудио — 24 кГц. Кодовая база поддерживает инференс и дообучение. В метаданных указан формат PyTorch и лицензия other; конкретные условия лицензии следует сверять с карточкой модели и сопровождающими материалами Coqui.
Scicom International разработала Multilingual-TTS-1.7B-Base как продолжение предобучения Qwen/Qwen3-1.7B-Base на данных синтеза речи и преобразования голоса. Это плотная авторегрессионная модель семейства Qwen3 с 1,9 млрд параметров; для работы с речевыми токенами используется NeuCodec, который декодирует речь с частотой 50 токенов в секунду и частотой дискретизации 24 кГц. В README заявлены многоязычный синтез речи с выбором диктора и клонирование голоса, а также обучение на корпусах более чем для 150 языков. Модель рассчитана на генерацию речевого представления по тексту и на клонирование голоса по примеру. В метаданных Hugging Face задача обозначена как text-generation, поэтому для непосредственного получения аудио требуется совместимое декодирование NeuCodec; приведённые в README примеры демонстрируют аудиовыход. Модель поддерживает контекст до 32 768 токенов по метаданным; README отдельно упоминает настройку обучения с контекстом 10 000 токенов. В README не приведены результаты бенчмарков, поэтому качество для конкретных языков и голосов оценить по имеющимся данным нельзя. Модель основана на Qwen/Qwen3-1.7B-Base и обучена на наборах Multilingual-TTS, Emilia-YODAS-Voice-Conversion и Malaysian-Emilia. Лицензия в предоставленных данных не указана.
ScrappyLabs Narrator TTS — дообученная на 461 аудиопримере модель Qwen3-TTS 1.7B CustomVoice для синтеза речи с постоянным выразительным голосом рассказчика. Она принимает текст и инструкции по стилю речи, например «мягко и тепло» или «таинственным шёпотом», и генерирует аудио без эталонной записи голоса при каждом запросе. Идентичность голоса встроена в веса модели. Модель предназначена для озвучивания аудиокниг, историй, подкастов, игр и голосовых интерфейсов. Она построена на архитектуре Qwen3-TTS, работает через Transformers и наследует поддержку языков базовой модели, включая английский, китайский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский. Размер весов составляет 3,8 ГБ, речевого токенизатора — 682 МБ, общий объём — около 4,5 ГБ. Модель рассчитана на последовательную озвучку одним голосом и управление подачей с помощью инструкций; разработчик сообщает о её применении в производственном конвейере. Качество и естественность речи могут зависеть от языка, текста и заданного стиля. Лицензия Apache 2.0 разрешает коммерческое использование.
Nawah-ASR-118M-v5 — модель распознавания арабской речи, опубликованная oddadmix. Это компактная система на 118 млн параметров: акустический энкодер архитектуры Whisper обучен с нуля на собственном корпусе объёмом 866 часов, а распознавание использует арабскую языковую модель в оболочке Qwen2Audio. После обучения модель дополнительно оптимизировали методом GRPO с оценкой по ошибке распознанных слов. Модель предназначена для преобразования арабской речи в текст. В карточке приведены результаты на 3165 отложенных аудиофрагментах и сравнение с Whisper; качество зависит от регистра речи и принятого способа записи. Для загрузки автор рекомендует функцию load_v5: стандартный from_pretrained может установить частоту аудиотокенов вдвое ниже обучающей, что приводит к некорректной работе. Вход — монофонический аудиосигнал float32 с частотой 16 кГц; контекст языковой модели — 2048 токенов. Модель лучше подходит для арабской речи в литературном регистре; разговорный египетский диалект и короткие записи распознаются хуже. Для длинных записей автор рекомендует предварительное сегментирование. Распространяется по лицензии Apache-2.0.
OmniVoice — многоязычная модель синтеза речи с нулевым обучением, разработанная для генерации речи по тексту на более чем 600 языках. Согласно карточке, она построена на архитектуре в стиле диффузионной языковой модели и дообучена на Qwen/Qwen3-0.6B. Модель поддерживает клонирование голоса по короткому аудиопримеру и создание голоса по атрибутам, включая пол, возраст, высоту голоса и акцент. OmniVoice подходит для озвучивания текста, создания голосовых вариантов и управляемой генерации речи. Она поддерживает невербальные вставки, например смех, и коррекцию произношения с помощью пиньиня или фонем. В README заявлены скорость до 40 раз выше реального времени и высокая точность клонирования; это характеристики из карточки разработчика, а не независимая оценка. Модель распространяется по лицензии Apache-2.0. Разработчики запрещают несанкционированное клонирование и имитацию голоса, а также мошенническое и незаконное использование.
OmniVoice-8bit — восьмибитная версия многоязычной модели синтеза речи OmniVoice, подготовленная сообществом в формате MLX для компьютеров Apple Silicon. Она основана на k2-fsa/OmniVoice и предназначена для преобразования текста в речь, в том числе для zero-shot синтеза и клонирования голоса. Сжатие до 8 бит позволяет использовать более компактный чекпойнт. Для запуска README указывает runtime ailuntx/OmniVoice-MLX; конфигурация, токенизатор и необходимые аудиотокенизаторные ресурсы включены для совместимости. Проверка конверсии включала локальные smoke-тесты; для клонирования голоса нужен полный аудиотокенизатор, поскольку облегчённые ресурсы не обеспечивают надёжное кодирование голоса говорящего. Модель предназначена для синтеза речи на разных языках и клонирования голоса по образцу. Репозиторий распространяется по лицензии Apache-2.0; для исходной модели и использования вне MLX автор README отсылает к условиям upstream-репозитория k2-fsa/OmniVoice.
vongocanhthi/omnivoice-vietnamese — дообученная на вьетнамской речи модель синтеза речи на основе OmniVoice от k2-fsa. Она предназначена для преобразования вьетнамского текста в речь и клонирования голоса по короткому аудиопримеру. Архитектура OmniVoice использует диффузионную языковую модель с основой Qwen3-0.6B; обучение выполнено на корпусе Dolly-Audio объёмом около 1 000 часов с записями 152 дикторов и региональными вариантами произношения. Модель подходит для озвучивания вьетнамских текстов, создания голосовых интерфейсов и синтеза речи с заданным тембром по референсной записи. В README приведены замеры на GPU NVIDIA L4: коэффициент реального времени около 0,07 и задержка первого фрагмента около 210 мс для короткого предложения при указанной конфигурации. Лицензия модели — Apache 2.0; лицензия обучающего набора — CC-BY-NC-SA-4.0.
Карточка модели Simplismart/orpheus-3b-0.1-ft на Hugging Face совпадает с карточкой unsloth/orpheus-3b-0.1-ft, поэтому описание составлено по ней. Orpheus 3B 0.1 Finetuned — модель синтеза речи на базе Llama, выпущенная CanopyAI. Версия из репозитория unsloth содержит объединённые веса Orpheus 3B и Llama 3.2 3B Instruct; архитектура — плотная авторегрессионная LlamaForCausalLM с 3,3 млрд параметров. Модель принимает текст и генерирует речь, поддерживает потоковую генерацию с заявленной задержкой около 200 мс, которую можно снизить примерно до 100 мс при потоковой подаче текста. Модель предназначена для естественного, выразительного синтеза речи, управления эмоцией и интонацией с помощью тегов, а также клонирования голоса без предварительного дообучения. В карточке заявлена поддержка английского языка. Лицензия — Apache-2.0. В README отдельно запрещено использовать модель для имитации голоса без согласия, обмана и незаконной или вредоносной деятельности.
Orpheus 3B 0.1 Finetuned — модель синтеза речи (TTS), разработанная CanopyAI и опубликованная в формате GGUF командой Unsloth. Она основана на Llama и предназначена для преобразования текста в естественную, выразительную речь, включая сценарии потоковой генерации в реальном времени. Модель поддерживает английский язык. Заявлены человеческая интонация, эмоциональность и естественный ритм речи, клонирование голоса без дополнительного обучения, а также управление эмоциями и интонацией с помощью специальных тегов. Заявленная задержка потоковой генерации составляет около 200 мс и может снижаться примерно до 100 мс при потоковой передаче входных данных. Размер модели — 3 млрд параметров; конкретные сведения о модальностях помимо текстового ввода и речевого вывода, размере контекстного окна и технических характеристиках архитектуры в README не указаны. Модель подходит для голосовых интерфейсов, диалоговых систем, озвучивания контента и других приложений, где важны качество, выразительность и низкая задержка. Возможность клонирования голоса расширяет область применения, но требует осторожного использования и согласия владельца голоса. Модель распространяется по лицензии Apache-2.0. Разработчики запрещают использование для имперсонации без согласия, дезинформации, обмана, незаконной или вредоносной деятельности.
Orpheus-3b-FT-Q8_0 — квантованная версия модели Orpheus-3b-0.1-ft, разработанной Canopy Labs и подготовленной Lex-au в формате GGUF Q8_0. Это специализированная модель text-to-speech примерно на 3 миллиарда параметров, преобразующая текст в естественную речь. Модель поддерживает восемь голосов с различными характеристиками, эмоциональные теги, включая смех, вздох, кашель и зевок, и генерирует монофонический WAV-аудиосигнал с частотой дискретизации 24 кГц. Модель предназначена для conversational-синтеза речи, приложений озвучивания текста и интеграции с совместимыми OpenAI API inference servers. Для использования рекомендуется CUDA-совместимая GPU, особенно RTX; запуск возможен через GPUStack, LM Studio, llama.cpp server и другие совместимые серверы, обычно вместе с frontend Orpheus-FastAPI. Квантование Q8_0 снижает требования к ресурсам и делает модель более подходящей для потребительского оборудования при сохранении высокого качества речи. К сильным сторонам относятся естественность и эмоциональная выразительность речи, выбор голосов и оптимизация для GPU-инференса. Ограничение модели — поддержка только английского языка; скорость генерации зависит от возможностей GPU. Модель распространяется по лицензии Apache License 2.0.
OuteTTS-1.0-0.6B-GGUF — компактная модель синтеза речи и клонирования голоса, разработанная OuteAI. Она предназначена для преобразования текста в естественно звучащую речь, создания аудиоконтента и генерации речи с использованием стандартных или пользовательских голосовых профилей. Модель поддерживает английский, китайский, нидерландский, французский, грузинский, немецкий, венгерский, итальянский, японский, корейский, латышский, польский, русский и испанский языки. Модель содержит около 0,6 млрд параметров и распространяется в формате GGUF. README не указывает точную архитектуру, размер контекстного окна, поддерживаемые аудиоформаты или сведения о мультимодальности. Среди сильных сторон — компактный размер, поддержка нескольких языков, клонирование голоса и возможность пакетного вывода. Для корректного качества требуется использовать рекомендованные параметры сэмплирования: штраф за повторения должен применяться к окну последних 64 токенов, а не ко всему контексту. Неудачная реализация этого механизма может привести к повреждённой или низкокачественной речи. Для работы предусмотрена библиотека outetts, автоматически настраивающая необходимые сэмплеры и исправления для поддерживаемых бэкендов. Модель распространяется по лицензии Apache-2.0.