I.15Доступность и ассистивные технологии

Maya-1 — модель синтеза речи, разработанная Maya Research. Она создаёт аудио по тексту, позволяет задавать голос описанием на естественном языке и управлять эмоциями с помощью встроенных тегов. Модель рассчитана на озвучивание персонажей, аудиокниг, подкастов, видео и ответы голосовых ассистентов; поддерживает потоковую генерацию и интеграцию с vLLM. В основе — плотный декодерный трансформер в стиле Llama на 3,3 млрд параметров, который предсказывает токены нейрокодека SNAC вместо сырой звуковой волны. По карточке, аудио выдаётся в формате моно с частотой 24 кГц; заявлена работа на одной GPU. Модель ориентирована на английскую речь с несколькими акцентами и более чем 20 эмоциональными тегами. Maya Research сообщает о потоковой генерации с задержкой менее 100 мс при развёртывании через vLLM, однако это заявление карточки, а не независимая оценка. README указывает на потребность в GPU с 16 ГБ или более видеопамяти. Модель опубликована под лицензией Apache-2.0, допускающей коммерческое использование.

MiMo-VL-7B-SFT — мультимодальная модель Xiaomi для понимания изображений и работы с визуальными запросами. Она сочетает визуальный ViT-кодировщик, сохраняющий детали исходного разрешения, MLP-проектор для связи изображений с языковой частью и языковую модель MiMo-7B, оптимизированную для сложных рассуждений. Чекпойнт получен после четырёх этапов предварительного обучения, включая настройку на длинный контекст; метаданные указывают 7 млрд параметров и контекст до 128 000 токенов. Модель предназначена для диалога по изображениям, мультимодальных рассуждений, визуального заземления и понимания интерфейсов. Она совместима с архитектурой Qwen2_5_VLForConditionalGeneration и библиотекой Transformers. README также описывает результаты версии MiMo-VL-7B-RL; они не относятся напрямую к этому SFT-чекпойнту. Модель распространяется по лицензии MIT.

facebook/mms-tts-guj — модель синтеза речи на гуджарати из проекта Massively Multilingual Speech (MMS), разработанного Meta. Она преобразует входной текст на гуджарати в речевую аудиоволну и предназначена для озвучивания текста и создания синтезированной речи. Модель использует архитектуру VITS: текстовый энкодер, потоковый модуль и декодер аудиосигнала, а стохастический предиктор длительности позволяет варьировать ритм речи. Это отдельный чекпойнт для одного языка, обученный в рамках проекта MMS; размер модели — 3,6 млн параметров. Для повторения того же результата генерации требуется фиксировать seed. Модель доступна через библиотеку Transformers версии 4.33 и новее. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-heb — модель синтеза речи на иврите, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на иврите в речевую аудиоволну и предназначена для озвучивания текста и создания речевого вывода в приложениях. Модель доступна в библиотеке Transformers начиная с версии 4.33. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель работает сквозным образом и использует вероятностный предиктор длительности, поэтому при одинаковом тексте может синтезировать речь с разным ритмом. Для воспроизводимого результата требуется фиксировать seed. Весовые файлы представлены в форматах PyTorch и Safetensors. Лицензия CC BY-NC 4.0 допускает использование с указанием авторства, но запрещает коммерческое применение.

facebook/mms-tts-hin — модель синтеза речи на хинди из проекта Massively Multilingual Speech (MMS), разработанного Meta (Facebook). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текстов на хинди. Модель использует архитектуру VITS: условный вариационный автоэнкодер с текстовым энкодером, flow-модулем, декодером HiFi-GAN и стохастическим предсказателем длительности. Чекпойнт содержит 3,6 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и новее. Стохастический предсказатель длительности позволяет получать разные ритмические варианты одной фразы, поэтому для воспроизводимого результата нужен фиксированный seed. Модель обучена отдельно для хинди и не предназначена для синтеза речи на других языках. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

facebook/mms-tts-spa — модель синтеза испанской речи из текста, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она предназначена для озвучивания испанских текстов и доступна через библиотеку Transformers версии 4.33 и новее. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Она генерирует речевую волну непосредственно из последовательности текста; стохастический предиктор длительности позволяет получать варианты с разным ритмом. Для каждого языка MMS обучается отдельный чекпойнт, поэтому эта версия предназначена для испанского. Генерация недетерминирована: чтобы повторить тот же результат, нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-tam — модель синтеза речи на тамильском языке из проекта Massively Multilingual Speech компании Facebook. Она преобразует входной текст в речевую аудиоволну; отдельный чекпойнт VITS обучен для тамильского языка. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль, стохастический предиктор длительности и декодер, построенный по принципу HiFi-GAN. Размер модели — 3,6 млн параметров; для работы доступна через библиотеку Transformers начиная с версии 4.33. Модель подходит для озвучивания тамильского текста в приложениях и сервисах синтеза речи. Стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения одного текста; для воспроизводимого результата требуется фиксированный seed. Репозиторий содержит веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

Molmo2-O-7B — открытая мультимодальная модель понимания изображений и видео, разработанная Allen Institute for AI (Ai2). Она предназначена для диалога с визуальными данными: отвечает на вопросы по изображениям, отдельным кадрам и видео, создаёт описания и поддерживает задачи визуального указания и отслеживания объектов. Модель построена на архитектуре Molmo2 с 7 млрд параметров: в основе лежит Olmo-3-7B-Instruct, а для обработки изображений используется визуальный энкодер SigLIP 2. По данным разработчика, модель сильна в понимании коротких видео, подсчёте объектов и создании подписей, а на длинных видео показывает конкурентные результаты. Основной язык карточки — английский. Модель распространяется в формате safetensors и использует лицензию Apache-2.0.

Moonshine Streaming Small — German — это модель распознавания немецкой речи от Moonshine AI. Она принимает аудио и выдаёт текстовую расшифровку; потоковая архитектура сочетает временной аудиофронтенд с частотой 50 Гц и Transformer-энкодер со скользящими окнами, поэтому транскрипцию можно получать по мере поступления речи. В README указано 112,9 млн параметров, тогда как метаданные каталога сообщают 48,2 млн; точный размер здесь не приводится из-за расхождения источников. Модель использует немецкий токенизатор на 12 288 токенов и предназначена для локального запуска на устройствах с ограниченными ресурсами. Чекпойнт Stage B дообучен на весах Stage A; репозиторий содержит конвертированный файл safetensors. Обучающие данные включают большой корпус подкастов с автоматическими псевдоаннотациями и меньший набор расшифрованной речи. В тестах на двух наборах немецкой читаемой речи макро-WER составил 7,35 при указанном в README правиле остановки. Лицензия — MIT. Модель может ошибаться в именах собственных, числах и переключениях между языками, поскольку большая часть обучающих расшифровок создана автоматически. Она склонна к повторениям на коротких или зашумлённых записях; в README рекомендуется ограничивать длину вывода. Качество не оценивалось на телефонной речи, детской речи, сильных диалектах и шумных дальних записях.

NeuraSpeech WhisperBase — модель автоматического распознавания речи, разработанная компанией Neura. Она основана на архитектуре Whisper Base: Transformer-энкодер-декодер преобразует аудио в текст и поддерживает сценарии распознавания речи и речевого перевода. Модель рассчитана на персидский язык. В репозитории указаны 51,7 млн параметров и формат safetensors; для использования предусмотрена библиотека Transformers. Модель распространяется по лицензии Apache-2.0. Карточка содержит демонстрацию запуска ASR в Google Colab, но не приводит количественных оценок качества.

Obum — модель распознавания речи, разработанная Mansa Labs на основе Whisper-medium от OpenAI и дообученная с помощью LoRA для нигерийского пиджина. Она преобразует аудио в текст и предназначена для расшифровки речи на нигерийском пиджине; модель содержит около 769 млн параметров в базовой версии Whisper-medium. На тестовом наборе asr-nigerian-pidgin модель показала нормализованный WER 19,76% при жадном декодировании. Обучение проводилось на 2 708 высказываниях с аугментацией скорости речи. Модель уступает опубликованному результату SBPN-Large на том же тесте, но превзошла приведённые в карточке результаты MMS-1B и базовой линии Wav2Vec2-XLSR-53. Модель лучше подходит для чтения вслух и чистой речи. Качество может снижаться на спонтанной, зашумлённой или смешанной с другими языками речи; орфографическая вариативность нигерийского пиджина влияет на WER. Лицензия — CC BY 4.0.

PaliGemma 2 10B — мультимодальная модель Google для обработки изображений и текста. Она сочетает визуальный энкодер SigLIP с языковой моделью Gemma 2 и принимает изображения размером 448 × 448 пикселей вместе с текстом, выдавая текст. Модель рассчитана прежде всего на дообучение для специализированных задач компьютерного зрения и языка; предусмотрены последовательности до 512 текстовых токенов на входе и выходе. Доступна в формате bfloat16 для дообучения. После адаптации к конкретной задаче модель подходит для описания изображений и коротких видео, визуальных вопросов и ответов, чтения текста на изображениях, обнаружения и сегментации объектов. Карточка также приводит примеры специализированных сценариев: вопросы по данным дистанционного зондирования, помощь незрячим пользователям в понимании изображений, научные вопросы по изображениям и объяснение функций элементов интерфейса. Поддерживаются несколько языков, но конкретный перечень в предоставленных данных не указан. Это базовая модель, а не готовый многоходовый чат-бот: она рассчитана на один раунд ввода изображения и текста, а качество без дообучения для прикладной задачи может быть ниже, чем у специализированных моделей. Ответы могут содержать фактические ошибки; открытые и сложные запросы, нюансы речи и здравый смысл могут даваться модели трудно. Лицензия — Gemma; применяются условия использования Gemma и политика запрещённого использования.

Trelis переопубликовал модель Piper TTS esES-davefx-medium — синтезатор испанской речи с мужским голосом для варианта испанского языка Испании. Модель построена на архитектуре VITS и сохранена в формате ONNX; размер класса medium в Piper соответствует примерно 15 млн параметров и 63 МБ. Она преобразует текст в аудио с частотой 22,05 кГц. Модель подходит для озвучивания испанских текстов, голосовых интерфейсов и создания аудиоверсий материалов. Она дообучена на основе lessac medium и обучена на данных OHF Voice Datasets. Для запуска можно использовать Piper TTS или ONNX отдельно; второй вариант требует установленного espeak-ng. Репозиторий распространяет веса по лицензии CC0-1.0, тогда как библиотека piper-tts имеет отдельную лицензию GPL.

google/pix2struct-screen2words-large — крупная модель семейства Pix2Struct, разработанная Google. Это визуально-языковая модель с кодировщиком изображений и декодером текста, предназначенная для ответов на вопросы по изображениям экранов и пользовательских интерфейсов. Семейство Pix2Struct предварительно обучалось разбирать замаскированные скриншоты веб-страниц в упрощённый HTML; модель принимает изображение и формирует текстовый ответ. Pix2Struct рассчитана на задачи визуального понимания, включая визуальные вопросы и ответы, и использует представление изображений с переменным разрешением. В метаданных указана поддержка английского, французского, румынского и немецкого языков. Репозиторий содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0.

Это 7,1-миллиардная мультимодальная модель семейства Qwen2.5-VL, подготовленная сообществом mlx-community из Qwen/Qwen2.5-VL-7B-Instruct и преобразованная в формат MLX с точностью 6 бит. Она принимает текст и изображения и генерирует текст; предназначена для диалога, ответов на вопросы по изображениям и других задач визуального анализа. Архитектура — плотная Qwen2_5_VLForConditionalGeneration, поддерживается контекст до 128 000 токенов и интерфейс вызова инструментов. Карточка указывает библиотеку Transformers и преобразование с помощью mlx-vlm 0.1.11. Лицензия — Apache-2.0.

mlx-community/Qwen3.5-9B-bf16 — мультимодальная модель семейства Qwen3.5 с плотной архитектурой и 9 млрд параметров, подготовленная сообществом mlx-community для запуска в экосистеме MLX. По метаданным, модель поддерживает диалоговый режим и понимание изображений, а её основная задача — image-text-to-text: она принимает текст и изображения и формирует текстовые ответы. Карточка сообщает, что модель преобразована в формат MLX из Qwen/Qwen3.5-9B с помощью mlx-vlm 0.3.12; базовая модель в метаданных указана как Qwen/Qwen3.5-9B-Base. Репозиторий содержит веса safetensors. Модель распространяется по лицензии Apache-2.0. README отсылает за дополнительными подробностями к исходной карточке, поэтому конкретные параметры контекста и перечень поддерживаемых языков здесь не приводятся.

Qwen3-TTS-12Hz-1.7B-VoiceDesign-4bit — это 4-битная MLX-квантизированная версия модели Qwen3-TTS-12Hz-1.7B-VoiceDesign, преобразованная из исходной модели Qwen. Репозиторий поддерживается автором theoracleguy, а для запуска использует библиотеку mlx-audio. Модель предназначена для синтеза речи из текста с управляемым созданием голоса по инструкции на естественном языке, без необходимости клонирования диктора по эталонной аудиозаписи. Модель подходит для озвучивания текстов, вспомогательных технологий чтения, прототипирования аудиокниг, разработки голосов персонажей, образовательного контента, демонстраций продуктов и локальных приложений генерации речи. В инструкции можно задавать предполагаемый возраст, гендерную подачу, акцент или диалект, тембр, высоту голоса, темп, эмоциональность, энергичность и стиль речи. В README не указаны точные архитектурные детали, перечень поддерживаемых языков, размер контекста и полный набор модальностей; заявлена основная модальность text-to-speech. Ключевые особенности версии — формат MLX с 4-битными весами, локальный и офлайн-запуск после загрузки модели и ориентация на устройства Apple Silicon. Её сильные стороны — экономичное представление весов, приватная локальная обработка и возможность воспроизводимо экспериментировать с описаниями голоса. Ограничения включают зависимость от совместимого оборудования и программного окружения, а также то, что интерфейс передачи инструкции для voice design может зависеть от версии mlx-audio. Репозиторий распространяется по лицензии Apache 2.0, однако базовая модель дополнительно подчиняется условиям лицензирования и использования, указанным в исходной карточке Qwen.

Qwen3-VisionCaption-2B — мультимодальная модель PrithivMLmods для создания подробных подписей к изображениям и анализа их содержимого. Это дообученная версия prithivMLmods/Qwen3-VL-2B-Instruct-abliterated-v1 на архитектуре Qwen3-VL с плотной моделью и форматом весов safetensors. Модель принимает изображения и текстовые инструкции, выдаёт текстовые описания и рассуждения; заявлена поддержка английского и китайского языков, а также возможность многоязычного вывода при подходящих инструкциях. Модель предназначена для описания обычных, художественных, технических, синтетических и абстрактных изображений, включая изображения с нестандартным соотношением сторон. Можно задавать краткий или более детальный стиль ответа. Разработчик также указывает сценарии творческого описания, визуального анализа и оценки модерации. Лицензия — Apache-2.0. Модель может формировать откровенные, чувствительные или оскорбительные описания в зависимости от изображения; разработчик не рекомендует её для производственных сценариев со строгими требованиями безопасности. Качество может снижаться на сильно абстрактных или синтетических изображениях, а тон и детализация зависят от формулировки запроса.

senga-LUK-20k-msmel-speecht5 — модель синтеза речи из текста, дообученная на базе microsoft/speecht5_tts и созданная с помощью Transformers. В карточке приведён результат оценки: loss 0,2399; описание назначения, обучающих данных и сценариев использования не раскрыто. Модель предназначена для преобразования текста в аудио. Архитектура — SpeechT5ForTextToSpeech; веса представлены в формате safetensors. Модель распространяется по лицензии MIT. Карточка не сообщает, какие языки и голоса поддерживаются, а также не описывает ограничения качества или условия эксплуатации помимо лицензии. Базовая SpeechT5 от Microsoft дообучена на LibriTTS, но датасет этой производной модели в карточке указан как None.

senga-LUK-aligned-nodegate-4k-preview-speecht5 — дообученная модель Microsoft SpeechT5 для синтеза речи из текста. Она использует архитектуру SpeechT5ForTextToSpeech и предназначена для преобразования текстового ввода в аудио; в репозитории хранятся веса в формате safetensors. В README приведён результат оценки: loss 0,1919, но набор данных указан как None, а описание обучения и тестирования отсутствует. Модель распространяется по лицензии MIT.

senga-nt-canon-tts — дообученная модель на базе microsoft/speecht5_tts для синтеза речи из текста. Она использует архитектуру SpeechT5 и библиотеку Transformers; веса представлены в формате safetensors. В карточке приведён результат оценки: loss 0,0913, однако сведения о голосе, языке синтеза и данных обучения отсутствуют. Модель распространяется по лицензии MIT.

senga-nt-fused-v3-tts — дообученная SIL AI модель синтеза речи на базе SpeechT5 от Microsoft. Она преобразует текст в аудио и предназначена для задач синтеза речи. Модель построена на архитектуре SpeechT5, веса доступны в формате safetensors. В карточке указана лицензия MIT. README сообщает значение loss 0,0904 на наборе оценки, но не раскрывает состав данных, языки синтеза, характеристики голоса или условия оценки. Поэтому качество и область применимости по этой метрике определить нельзя.

lgris/sew-tiny-portuguese-cv — модель распознавания речи, разработанная на основе lgris/sew-tiny-pt и дообученная на наборе Common Voice. Она использует архитектуру SEWForCTC и содержит 50,4 млн параметров. Модель принимает аудио и преобразует речь на португальском языке в текст. На оценочном наборе Common Voice указаны loss 0,5110 и WER 0,2842. Модель подходит для транскрибации португалоязычных аудиозаписей; качество может зависеть от акцента, шума и условий записи. Распространяется по лицензии Apache-2.0.

Simba-TTS-afr — модель синтеза речи на африкаанс из семейства Simba, разработанного UBC-NLP. Она преобразует текст в естественно звучащую речь и предназначена для голосовых интерфейсов и других сценариев озвучивания на африкаанс. В README модель отнесена к серии Simba-TTS и названа MMS-TTS; метаданные указывают архитектуру VITS, библиотеку Transformers и размер 3,5 млн параметров. Модель обучалась с использованием SimbaBench, набора данных для африканских языков. Модель принимает текст и генерирует аудио. README указывает африкаанс как целевой язык этой версии; серия ориентирована на африканские языки и языки с ограниченными ресурсами. Лицензия — CC BY 4.0. Метаданные помечают модель как automatic speech recognition, тогда как README описывает её назначение как text-to-speech; поэтому классификация задачи в каталоге может расходиться с назначением, заявленным авторами.

Модель Sandiago21/speecht5_finetuned_mozilla_foundation_common_voice_13_german — дообученная версия SpeechT5 от Microsoft для синтеза речи из текста. Она обучена на немецкой части набора Common Voice 13.0; в карточке приведён результат Loss 0,4527 на оценочной выборке. Модель принимает текст и генерирует аудио. Для синтеза используется архитектура SpeechT5; веса доступны в форматах PyTorch и Safetensors. Модель подходит для преобразования немецкого текста в речь в приложениях и экспериментах с озвучиванием. Лицензия — MIT. README не содержит подробных сведений о качестве звучания, голосах и ограничениях применения.

idajikuu/SpeechT5_TTS_Haitian — модель синтеза речи на основе архитектуры SpeechT5, дообученная на датасете CMU Haitian для креольского языка Гаити. Она преобразует письменный текст на гаитянском креольском в речь и подходит для озвучивания аудиокниг и работы голосовых помощников. Качество синтеза зависит от разнообразия и качества обучающих данных. Возможны ошибки, особенно при озвучивании сложных предложений и узкоспециализированной лексики. Модель распространяется в формате PyTorch; лицензия в предоставленных сведениях не указана.

Vekol-STT Sorani — модель распознавания речи, разработанная Revge в рамках проекта Vekol и дообученная на базе OpenAI Whisper Small. Она преобразует аудио на центральнокурдском языке (сорани) в текст и рассчитана на автономную работу на CPU, в том числе на ноутбуках. Модель содержит 153,1 млн параметров по метаданным; в карточке README указан размер базовой Whisper Small — 244 млн параметров. Доступны форматы ONNX и Safetensors, предусмотрено использование через ONNX Runtime или Transformers/PyTorch. Обучение проводилось на Common Voice 25.0 для ckb и FLEURS для ckb_iq. На тестовой выборке Common Voice с разделением по говорящим авторы сообщают WER 15,5% и CER около 3% без учёта пробелов. Для нормализации текста удаляются диакритические знаки, ZWNJ и татвил, а также выполняется сведение вариантов курдских букв и цифр. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Это модель автоматического распознавания речи на урду, разработанная Kingabzpro. Она основана на архитектуре Wav2Vec2ForCTC и дообучена из facebook/wav2vec2-xls-r-300m на наборе Mozilla Common Voice 8.0. Размер модели — около 402,7 млн параметров; она принимает моноканальную аудиозапись с частотой 16 кГц и преобразует речь в текст на урду. Модель предназначена для транскрибирования речи и прототипирования систем распознавания урду. Для декодирования можно использовать включённую 5-граммную языковую модель KenLM: в README сообщается о WER 39,89% с KenLM против 56,07% при жадном CTC-декодировании на тестовой части Common Voice 8.0. Качество зависит от чистоты записи, акцента, переключения языков, фонового шума, специальной лексики и длины высказывания; транскрипты следует проверять перед ответственным использованием. Лицензия — Apache-2.0.

agkphysics/wav2vec2-large-xlsr-53-amharic — модель распознавания амхарской речи, созданная дообучением Wav2Vec2 XLSR-53 на корпусе Amharic Speech Corpus, подготовленном Abate и соавторами. Архитектура — Wav2Vec2ForCTC, число параметров — около 402,9 млн; модель принимает аудио и преобразует речь в текст. Модель предназначена для автоматической транскрипции амхарской речи, в том числе записей на чтение. На проверочной выборке Amharic Readspeech указаны WER 26% и CER 7%. Распространяется по лицензии MIT.

Модель qinyue/wav2vec2-large-xlsr-53-chinese-zn-cn-aishell1 — дообученная на китайском языке версия facebook/wav2vec2-large-xlsr-53 для автоматического распознавания речи. Она использует архитектуру Wav2Vec2 с CTC-декодером и содержит 407,1 млн параметров; для распознавания принимает аудио с частотой дискретизации 16 кГц и выдаёт текст на китайском языке. На тестовой выборке AISHELL-1 указана частота ошибок слов WER 7,04%; с языковой моделью — 3,96%. Модель распространяется по лицензии Apache-2.0.