I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиЭто 8-битная MLX-квантизированная версия модели NVIDIA Parakeet TDT 0.6B v2, подготовленная Spoke для локальной диктовки. Модель предназначена для автоматического распознавания английской речи и её транскрибации в текст. Квантованы слои nn.Linear и nn.Embedding с group_size 64; свёрточные слои, BatchNorm и LSTM предсказателя TDT оставлены в bf16. В тесте LibriSpeech test-clean на 250 примерах для M4 указаны WER 1,91%, RTF 0,024 и пиковое потребление памяти MLX 1,26 ГБ. Для загрузки требуется сначала применить к дереву модулей конфигурацию квантования, затем загрузить веса; одного вызова parakeet_mlx.from_pretrained недостаточно. Лицензия — CC BY 4.0.
freds0/parler-tts-mini-v1.1-ptbr — модель синтеза речи семейства Parler-TTS, созданная командами Hugging Face Audio и Quantum Squadra при содействии AI4Bharat. Это дообученная версия Parler-TTS Mini Multilingual v1 на датасете BRSpeech-TTS-Dataset, включающем около 200 часов португальской речи. Модель предназначена для генерации речи на бразильском португальском по тексту; характеристики голоса можно задавать текстовым описанием. Используются отдельные токенизаторы для текста и описания речи, а токенизатор описаний поддерживает расширенный словарь и побайтовый fallback. Модель подходит для озвучивания текста и создания управляемой синтетической речи на бразильском португальском. В репозитории опубликованы веса Safetensors, библиотека — Transformers. Лицензия Apache-2.0. README не приводит размер модели или длину контекста; заявленная поддержка других языков через расширение токенизатора не подтверждает качество синтеза для них.
Parler-TTS Tiny v1 — компактная модель синтеза речи проекта Parler-TTS, созданного в рамках работы Данa Лайта и Саймона Кинга из Stability AI и Эдинбургского университета. Модель преобразует текст в речь и обучалась на 45 тысячах часов аудио; архитектура ParlerTTSForConditionalGeneration использует семейство Parler-TTS и библиотеку Transformers. Параметры звучания задаются текстовым описанием: можно управлять голосом и его характеристиками, включая пол, темп, высоту тона, реверберацию и уровень фонового шума. Для сохранения голоса между генерациями модель обучена на 34 описанных дикторах. В карточке указана поддержка английского языка; модель подходит для озвучивания текста с управляемой подачей. Модель распространяется под лицензией Apache-2.0. Это облегчённая версия семейства, поэтому её следует выбирать с учётом компромисса между компактностью и качеством звучания; доступные материалы не приводят отдельной оценки качества Tiny v1.
Это четырёхбитная версия Qwen2.5-VL-3B-Instruct-abliterated, преобразованная сообществом mlx-community в формат MLX из huihui-ai/Qwen2.5-VL-3B-Instruct-abliterated с помощью mlx-vlm 0.1.13. В основе лежит дообученная Qwen/Qwen2.5-VL-3B-Instruct — компактная плотная мультимодальная модель Alibaba с 3,1 млрд параметров и контекстом до 128 000 токенов. Модель предназначена для диалогового анализа изображений и видео с ответами на естественном языке; также поддерживает интерфейс вызова инструментов. Формат MLX и 4-битное представление рассчитаны на запуск на устройствах Apple с MLX. Метаданные указывают английский язык. Лицензия в предоставленных данных не указана.
litert-community/Qwen3-ASR-0.6B — модель автоматического распознавания речи, основанная на Qwen/Qwen3-ASR-0.6B. По имеющимся данным, она предназначена для преобразования аудиоречи в текст и может использоваться в сценариях транскрибации и других задачах автоматического распознавания речи. Разработчик исходной модели — команда Qwen; репозиторий модели представлен сообществом LiteRT. Из доступных сведений известно обозначение размера 0.6B, однако подробности об архитектуре, поддерживаемых языках, аудиоформатах, модальностях и размере контекстного окна не указаны. Поэтому нельзя достоверно оценить языковой охват, качество распознавания, производительность или ограничения модели. Модель распространяется по лицензии Apache-2.0. Условия лицензии допускают широкое использование при соблюдении её требований, но перед применением следует учитывать отсутствие в предоставленной карточке подробностей о технических характеристиках и результатах тестирования.
Arm/qwen3-tts-0-6b-custom-voice-mix-precision — это оптимизированный вариант мультиязычной модели синтеза речи Qwen3-TTS-12Hz-0.6B-CustomVoice, разработанной командой Qwen компании Alibaba Cloud. Пакет подготовлен для развертывания на Arm CPU и унаследовал лицензию Apache-2.0 от исходной модели и проекта. Модель преобразует текст UTF-8 в потоковое аудио с частотой 24 кГц, используя выбранного предустановленного диктора; автоматический выбор языка также поддерживается. Пакет содержит артефакты в форматах GGUF, ONNX и LiteRT/TFLite и использует смешанные фреймворки: токенизацию Hugging Face, ONNX Runtime для эмбеддингов и llama.cpp/GGUF либо LiteRT/TFLite для основных компонентов синтеза. Talker, предсказатель кодов и трансформер декодера речи квантизированы в Q8_0, а постобработка декодера использует вычисления FP16. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Число активных групп предсказания кодов можно настраивать; пакетные значения по умолчанию используют 16 групп. К сильным сторонам относятся уменьшение размера примерно в 1,64 раза по сравнению с FP32-реализацией, отсутствие выявленного ухудшения разборчивости по WER, потоковый вывод и ускорение на заявленных устройствах. На одном ядре Arm CPU с SME2 коэффициент реального времени составляет 0,376 на MacBook Pro с M4 Pro и 0,836 на смартфоне Vivo X300, то есть синтез выполняется быстрее реального времени в обоих тестах. Ограничения включают зависимость производительности от конкретного оборудования и рантайма, использование только предустановленных голосов, отсутствие заявленных сведений о произвольном клонировании голоса и неопределенный контекстный размер. Движок инференса для данного пакета предоставляется через программу Compute Flow Early Access, доступ к которой предлагается запрашивать у Arm.
Карточка модели swipeautomations/Qwen3-TTS-12Hz-0.6B-CustomVoice на Hugging Face совпадает с карточкой Qwen/Qwen3-TTS-12Hz-0.6B-CustomVoice, поэтому описание составлено по ней. Qwen3-TTS-12Hz-0.6B-CustomVoice — многоязычная модель синтеза речи, разработанная командой Qwen. Это вариант CustomVoice с архитектурой Qwen3TTSForConditionalGeneration и токенизатором 12 Hz; модель поддерживает девять голосовых тембров и позволяет управлять интонацией, ритмом и эмоциональной окраской с помощью инструкций на естественном языке. Модель преобразует текст в речь на китайском, английском, японском, корейском, немецком, французском, русском, португальском, испанском и итальянском языках. Она рассчитана на потоковую генерацию с низкой задержкой; в README заявлена задержка синтеза от 97 мс. Для наилучшего звучания рекомендуется использовать голос на его родном языке. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не приводит число параметров этого чекпойнта; обозначение 0.6B входит в его название.
Qwen3-TTS-12Hz-1.7B-Base-bf16 — версия базовой модели Qwen3-TTS-12Hz-1.7B-Base в формате MLX BF16, подготовленная пользователем theoracleguy для OpenVox и приложений на базе mlx-audio. Исходная модель разработана командой Qwen, а конвертация выполнена с использованием mlx-audio 0.3.0. Модель предназначена для синтеза речи по тексту и клонирования голоса по референсной аудиозаписи. Её можно применять для локальной генерации аудио, создания аудиокниг, озвучивания и дубляжа. Модель рассчитана на запуск через mlx-audio, в том числе в нативных приложениях для Apple Silicon, без передачи текста или аудио в облачные сервисы. Ключевая характеристика модели — размер 1,7 млрд параметров и представление BF16 в формате MLX. Лицензия модели — Apache-2.0. В README не приведены точные сведения о поддерживаемых естественных языках, размере контекста и качестве синтеза; совместимость и возможности могут зависеть от mlx-audio и аппаратной платформы.
Qwen3-TTS-12Hz-1.7B-VoiceDesign — модель синтеза речи, разработанная командой Qwen. Она принимает текст и инструкции на естественном языке для создания речи с заданными тембром, эмоцией и просодией; вариант VoiceDesign предназначен для гибкого описания желаемого голоса. Модель относится к семейству Qwen3-TTS, использует плотную архитектуру Qwen3TTSForConditionalGeneration и представление речи на основе токенизатора Qwen3-TTS-Tokenizer-12Hz с дискретной многокодовой языковой моделью. Репозиторий содержит веса safetensors; для работы предусмотрена библиотека qwen-tts. Семейство поддерживает китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки, а также голосовые профили с различными диалектами. Для семейства заявлена потоковая генерация с задержкой синтеза от 97 мс. Карточка приводит оценку WER для варианта Base, поэтому она не подтверждает качество именно VoiceDesign. Модель распространяется по лицензии Apache-2.0.
Qwen3-VL-30B-A3B-Instruct-MLX-6bit — это 6-битно квантованная мультимодальная модель для задач преобразования изображений и текста в текст. Исходную модель Qwen3-VL-30B-A3B-Instruct разработала команда Qwen, а квантование в формате MLX подготовила команда LM Studio с использованием mlx_vlm. Модель предназначена для работы с визуально-текстовыми запросами, включая анализ изображений и генерацию ответов по их содержимому. Модель оптимизирована для запуска на устройствах Apple Silicon с использованием фреймворка MLX. В её названии указаны 30B параметров и конфигурация A3B, однако README не содержит подробностей об архитектуре, поддерживаемых языках, размере контекстного окна и точном перечне мультимодальных возможностей. Квантование снижает требования к памяти по сравнению с полной версией, но может сопровождаться некоторой потерей точности. Лицензия модели — Apache-2.0.
Qwen3-VL-4B-Instruct-NVFP4 — это 4-битная квантованная версия мультимодальной модели Qwen/Qwen3-VL-4B-Instruct, опубликованная пользователем JEILDLWLRMA. Модель предназначена для задач vision-language и image-to-text: обработки изображений вместе с текстовыми запросами, визуального понимания и генерации ответов. Базовая модель содержит около 4,4 млрд параметров; поддерживаемые языки и точный размер контекстного окна в README не указаны. Квантование выполнено методом SmoothQuant с использованием NVFP4 и библиотеки compressed-tensors/llm-compressor. Все текстовые линейные слои используют схему W4A4, а на архитектурах Ampere возможен режим W4A16 через Marlin. Vision Encoder и LM Head сохранены в формате BF16 без квантования, что должно поддерживать качество визуального анализа и генерации. Размер модели составляет около 4,1 ГБ против примерно 8,9 ГБ у версии BF16, то есть сжатие достигает около 54%. Модель откалибрована на 512 образцах Flickr30k с максимальной длиной последовательности 2048; в примерах заявлена работа с vLLM и Transformers, включая контекст до 8192 токенов в vLLM. Ограничениями являются зависимость от совместимого аппаратного и программного стека для compressed-tensors/NVFP4, а также отсутствие в README подробных результатов бенчмарков и характеристик по языкам. Лицензия — Apache 2.0, как у базовой модели.
whisper-base.en — модель автоматического распознавания речи, опубликованная Software Mansion для библиотеки React Native ExecuTorch. Она основана на upstream-модели whisper-base.en от OpenAI и поставляется в виде программ ExecuTorch с расширением .pte, готовых к запуску непосредственно на устройстве. Модель предназначена для преобразования англоязычной речи в текст в мобильных приложениях и других сценариях on-device распознавания. В репозитории доступны варианты для backend Core ML, MLX, Vulkan и XNNPACK с точностями fp16, bf16, int8 и fp32. Размер файлов зависит от backend и точности и составляет примерно от 97,8 до 380 МБ. К сильным сторонам относятся поддержка нескольких аппаратных backend, варианты с пониженной точностью для потенциального сокращения размера и требований к ресурсам, а также интеграция с React Native ExecuTorch. Ограничения включают ориентацию на английский язык, необходимость совместимого устройства и runtime ExecuTorch версии 1.4.1; обратная и прямая совместимость с другими версиями не гарантируется. Сведения о размере архитектуры и длине контекста в README не указаны. Репозиторий распространяется по лицензии Apache-2.0.
Whisper-small — модель автоматического распознавания речи, экспортированная в формате ExecuTorch для библиотеки React Native ExecuTorch. Репозиторий поддерживается Software Mansion, а исходной моделью является openai/whisper-small. Предназначена для запуска распознавания речи непосредственно на мобильных и других устройствах через React Native без необходимости использовать серверную инфраструктуру. Доступны варианты для бэкендов Core ML, MLX, Vulkan и XNNPACK с точностью fp16, int8 или fp32. Размер файлов варьируется примерно от 276 МБ для MLX int8 до 1,1 ГБ для XNNPACK fp32. В комплект входят программы ExecuTorch .pte и токенизатор. README не содержит сведений о языках, размере контекста, точной архитектуре или поддерживаемых модальностях сверх назначения для автоматического распознавания речи. Сильными сторонами являются возможность локального выполнения и наличие вариантов, оптимизированных под разные аппаратные бэкенды и уровни точности. Ограничениями выступают значительный размер файлов, зависимость от конкретного бэкенда и версии среды выполнения: модели опубликованы для ExecuTorch v1.4.1, а обратная совместимость с более старыми версиями не гарантируется. Репозиторий распространяется по лицензии Apache-2.0.
Fish Audio S2 Pro — модель синтеза речи, разработанная Fish Audio. Она преобразует текст в речь и поддерживает управление интонацией, эмоциями и другими особенностями произношения с помощью текстовых инструкций в квадратных скобках, которые можно размещать рядом с нужными фрагментами текста. Архитектура объединяет декодерный трансформер с аудиокодеком RVQ и состоит из двух авторегрессионных частей: модель на 4 млрд параметров предсказывает основной семантический код, а компонент на 400 млн параметров генерирует девять остаточных кодов для акустических деталей. Модель предназначена для многоязычной генерации речи, включая потоковый синтез. В карточке заявлена поддержка более 80 языков; среди основных — японский, английский и китайский, а также русский, корейский, испанский, португальский, арабский, французский и немецкий. Модель принимает текст и выдаёт аудио. Авторы сообщают о потоковом движке инференса на базе SGLang и скорости генерации выше реального времени на NVIDIA H200; эти показатели зависят от оборудования и конфигурации. Лицензия указана как «other», поэтому условия использования следует проверить на странице репозитория Hugging Face.
Карточка модели jagaliano/s2-pro на Hugging Face совпадает с карточкой fishaudio/s2-pro, поэтому описание составлено по ней. Fish Audio S2 Pro — модель синтеза речи, разработанная Fish Audio. Она преобразует текст в речь и поддерживает управление интонацией, эмоциями и другими особенностями произношения с помощью текстовых инструкций в квадратных скобках, которые можно размещать рядом с нужными фрагментами текста. Архитектура объединяет декодерный трансформер с аудиокодеком RVQ и состоит из двух авторегрессионных частей: модель на 4 млрд параметров предсказывает основной семантический код, а компонент на 400 млн параметров генерирует девять остаточных кодов для акустических деталей. Модель предназначена для многоязычной генерации речи, включая потоковый синтез. В карточке заявлена поддержка более 80 языков; среди основных — японский, английский и китайский, а также русский, корейский, испанский, португальский, арабский, французский и немецкий. Модель принимает текст и выдаёт аудио. Авторы сообщают о потоковом движке инференса на базе SGLang и скорости генерации выше реального времени на NVIDIA H200; эти показатели зависят от оборудования и конфигурации. Лицензия указана как «other», поэтому условия использования следует проверить на странице репозитория Hugging Face.
Sa2VA-4B — мультимодальная модель ByteDance для диалога о визуальном содержимом, объединяющая возможности языковой модели и сегментации изображений и видео. В карточке указана архитектура Sa2VAChatModel; модель основана на объединении с InternVL2.5-4B и использует языковую часть Qwen2.5-3B-Instruct. Репозиторий содержит веса в формате safetensors и предназначен для работы через Transformers. Модель отвечает на вопросы по изображениям и видео, понимает визуальные подсказки и выполняет плотную сегментацию объектов на обоих типах данных. В README заявлены результаты, сопоставимые с Qwen2-VL и InternVL2.5 на бенчмарках вопросов и ответов, а также сильные результаты в задачах визуального заземления и сегментации. Указанная лицензия — Apache-2.0. Карточка не приводит размер контекста и конкретный перечень поддерживаемых языков.
Sa2VA-8B — мультимодальная модель ByteDance для диалога с визуальными данными. Она объединяет возможности InternVL2.5-8B и сегментацию на основе SAM2; в карточке семейства для языковой части указана internlm2_5-7b-chat. Модель обрабатывает изображения и видео, отвечает на вопросы о них, понимает визуальные подсказки и выполняет плотную сегментацию объектов с привязкой к содержимому сцены. Модель подходит для визуального поиска и анализа сцен, сегментации объектов по текстовому или визуальному запросу, а также для вопросов и ответов по изображениям и видео. В README заявлены результаты, сопоставимые с Qwen2-VL и InternVL2.5 на бенчмарках вопросов и ответов, и сильные результаты на бенчмарках визуальной привязки и сегментации; конкретные оценки приведены для Sa2VA-8B. Репозиторий содержит веса safetensors, модель использует Transformers и распространяется по лицензии Apache-2.0.
ByteDance разработала Sa2VA-Qwen3-VL-2B — мультимодальную чат-модель для вопросов по изображениям и видео, понимания визуальных подсказок и сегментации объектов. Семейство Sa2VA объединяет языковую модель с возможностями визуального анализа и сегментации; в метаданных архитектура указана как Sa2VAChatModelQwen, а базовая модель — OpenGVLab/InternVL3-8B, с которой репозиторий связан как merge. Модель распространяется в формате safetensors и использует библиотеку Transformers. Модель предназначена для визуальных вопросов и ответов, привязки объектов к текстовым описаниям и плотной сегментации на изображениях и видео. В README семейство Sa2VA описано как сопоставимое с Qwen2.5-VL и InternVL3 на тестах вопросов и ответов и сильное в задачах grounding и сегментации. Размер и длина контекста для этого конкретного репозитория в предоставленных данных не указаны. Лицензия — Apache-2.0. README не приводит отдельные результаты именно для Sa2VA-Qwen3-VL-2B, а таблица производительности относится к другим вариантам семейства. Для запуска приведён пример с Transformers; README не описывает требования к ресурсам или ограничения по типам входных данных.
SEW-D-tiny-100k-ft-ls100h — англоязычная модель распознавания речи от ASAPP Research на архитектуре SEW-D, представленная как вариант SEW-D-tiny. Она преобразует речь в текст и предназначена для транскрибирования аудио; в README также описана более широкая применимость базовой предварительно обученной модели после дообучения для задач идентификации говорящего, классификации намерений и распознавания эмоций. Модель содержит 28,3 млн параметров и принимает аудио с частотой дискретизации 16 кГц; её архитектура основана на идеях wav2vec 2.0 и рассчитана на эффективное распознавание речи. Карточка указывает датасет LibriSpeech ASR и лицензию Apache-2.0. README приводит результаты семейства SEW в исследовании, но не сообщает отдельные метрики именно для этого чекпойнта.
1aurent/speecht5_finetuned_fleurs_fr — модель синтеза речи из текста, созданная дообучением SpeechT5 от Microsoft на французской части набора данных Google FLEURS. Она предназначена для преобразования французского текста в речь. В карточке указано значение loss 0,3627 на оценочной выборке. Модель использует архитектуру SpeechT5 и сохранена в формате safetensors. Базовая модель — microsoft/speecht5_tts. Репозиторий распространяется по лицензии MIT. Подробности о голосах, качестве звучания и ограничениях в карточке не приведены.
Это версия SpeechT5 для синтеза датской речи из текста, созданная JackismyShephard дообучением модели microsoft/speecht5_tts на датасете NST Danish ASR Database. Архитектура основана на SpeechT5; модель предназначена как простой вариант синтеза датской речи с приемлемым качеством и временем вывода. В оценке на тестовой выборке указана функция потерь 0,3692. Модель принимает датский текст и выдаёт лог-мел-спектрограмму. Для получения звуковой волны требуется преобразовать её с помощью microsoft/speecht5_hifigan; при необходимости результат можно дополнительно улучшить. Для лучшего звучания рекомендуется датский эмбеддинг голоса, например построенный по аудиозаписи из обучающей части NST-DA. Модель распространяется по лицензии MIT.
Это потоковая модель распознавания речи NVIDIA на базе FastConformer-Hybrid, обученная для грузинского языка. Она предназначена для преобразования речи в текст в приложениях с низкой задержкой и поддерживает потоковую обработку с упреждением 80 мс; обучение с несколькими значениями упреждения позволяет настраивать задержку. Модель содержит совместные декодеры Transducer и CTC и насчитывает около 115 млн параметров. Модель обучена с использованием NVIDIA NeMo на примерно 163 часах грузинской речи из Mozilla Common Voice 17.0 и Google Fleurs. При жадном декодировании Transducer указаны WER 7,44% на тестовой части Common Voice и 16% на Fleurs. На вход подаётся монофонический звук WAV с частотой 16 кГц, на выходе — текстовая расшифровка. Для запуска требуется NVIDIA NeMo; лицензия — CC BY 4.0. Качество может снижаться на технической лексике, непривычной разговорной речи и акцентированной речи. В README также указано, что модель пока не поддерживается NVIDIA Riva.
Supertonic 3 — компактная многоязычная модель синтеза речи от Supertone для локального запуска. Модель распространяется в формате ONNX и работает через ONNX Runtime на устройстве, без обращения к облаку. В открытых ONNX-ресурсах около 99 млн параметров. Модель преобразует текст в речь на 31 языке и рассчитана на сценарии, где важны быстрая генерация и локальное выполнение: озвучивание аудиокниг, новостей, диалогов и телефонных обращений, в том числе на мобильных и периферийных устройствах. Поддерживаются фиксированные предустановленные голосовые стили; README также описывает демонстрацию пользовательских стилей по референсному аудио и теги выразительности. По сравнению с Supertonic 2 заявлены более стабильное чтение с меньшим числом повторов и пропусков, а также улучшенное сходство голосов на общих языках. Лицензия — OpenRAIL. README не приводит независимой оценки качества для всех языков; пользовательские стили по референсному аудио связаны с отдельным Voice Builder.
Talha/URDU-ASR — дообученная модель распознавания речи на базе facebook/wav2vec2-large-xlsr-53. Она использует архитектуру Wav2Vec2ForCTC и предназначена для преобразования аудиозаписей на урду в текст. В README приведены результаты оценки на отложенной выборке: WER 0,2423, CER 0,0842 и loss 0,2822; автор сообщает о разбиении данных на обучающую и оценочную части в пропорции 80:20. Модель содержит около 402,7 млн параметров, распространяется в формате PyTorch и опубликована по лицензии Apache-2.0. README не называет использованный датасет и не описывает дополнительные сценарии применения; результаты оценки относятся к указанному автором разбиению данных.
VARCO-VISION-14B — мультимодальная модель NC Research, разработанная командой Multimodal Generation Team. Это англо-корейская модель для работы с изображениями и текстом, построенная по архитектуре LLaVA-OneVision на основе Qwen/Qwen2.5-14B-Instruct и визуального энкодера google/siglip-so400m-patch14-384. Модель содержит 14 млрд параметров, принимает одно изображение вместе с текстовым запросом и генерирует текстовый ответ. Контекст — до 32 768 токенов. Модель предназначена для диалога по изображениям, распознавания текста на изображениях (OCR), локализации объектов и ответов на вопросы об объектах с учётом их расположения. Для задач grounding и referring можно задавать специальные маркеры, связанные с объектами и ограничивающими рамками. README сообщает о четырёх этапах обучения: предварительном выравнивании признаков, базовом и расширенном supervised fine-tuning и оптимизации предпочтений. Модель поддерживает английский и корейский языки. README указывает, что версия 2.0 выпущена и рекомендует использовать её вместо этой версии; демо больше недоступно. Лицензия CC BY-NC 4.0 запрещает коммерческое использование. Разработчики обозначают модель как предназначенную для исследований.
Карточка модели gsarch/ViGoRL-MCTS-SFT-3b-Spatial на Hugging Face совпадает с карточкой gsarch/ViGoRL-3b-Spatial, поэтому описание составлено по ней. gsarch/ViGoRL-3b-Spatial — мультимодальная модель для визуального рассуждения, разработанная авторами проекта ViGoRL. Это дообученная с помощью SFT и обучения с подкреплением модель Qwen2.5-VL-3B-Instruct с архитектурой Qwen2.5-VL и 3,1 млрд параметров. Она связывает шаги текстового рассуждения с координатами на изображении и предназначена для пространственных задач, требующих локализации объектов и анализа областей изображения. В обучении использовались трассы рассуждений, созданные методом MCTS, и GRPO; семейство ViGoRL также описывает многошаговое увеличение выбранных областей, но наличие этого режима у данной версии отдельно не подтверждено. Модель принимает изображения и текстовые запросы и выдаёт текстовые ответы; базовая модель поддерживает контекст до 128 000 токенов. Применима для визуального поиска, пространственного анализа и задач локализации на скриншотах. Условия лицензии в предоставленных данных не описаны.
VoxCPM2 — модель синтеза речи, представленная в карточке Tha456. Это авторегрессионная диффузионная модель без токенизатора с архитектурой LocEnc → TSLM → RALM → LocDiT, основанной на MiniCPM-4. Размер модели — 2 млрд параметров; она использует AudioVAE V2 и генерирует речь с частотой 48 кГц. Модель предназначена для многоязычного преобразования текста в речь, создания голоса по текстовому описанию и клонирования голоса по короткому аудиофрагменту, в том числе с управлением стилем. По README поддерживает 30 языков, включая русский, и заявляет потоковую генерацию в реальном времени. Репозиторий использует формат safetensors и библиотеку voxcpm. Лицензия Apache-2.0 разрешает коммерческое использование. Качество Voice Design и управления стилем может меняться между запусками; результаты зависят от языка, а очень длинный или выразительный ввод иногда вызывает нестабильность. README запрещает использовать модель для имитации личности, мошенничества и дезинформации и рекомендует маркировать сгенерированную речь.
VoXtream2-RU — русскоязычный файнтюн VoXtream2, разработанный автором, указанным в карточке как @decent_researcher; базовая модель создана KTH Royal Institute of Technology. Это потоковая zero-shot модель синтеза речи по тексту, способная клонировать голос по аудиозаписи длительностью 3–10 секунд. Она использует аудиокодек Mimi с частотой 12,5 Гц и поддерживает динамическое управление темпом речи. Модель предназначена для синтеза русской речи с заданным голосом, в том числе для работы с бытовыми записями незнакомых дикторов. В README для версии v10-DPO приведены метрики на таких записях: CER около 0,01, переключения голоса 0–2%, темп 5,1–5,2 слога в секунду и медианная длительность пауз 0,4–0,5 секунды. Для инференса нужны модифицированный пакет voxtream и русский стек нормализации и фонемизации, включённый в папку demo; заявлена потребность примерно в 4 ГБ видеопамяти. Лицензия — OpenRAIL.
ayymen/w2v-bert-2.0-waxal_lin_sna-1epoch — дообученная модель распознавания речи на основе facebook/w2v-bert-2.0. Она обучена на наборе WAXAL_LIN_SNA - NA и предназначена для преобразования речи в текст. В архитектуре используется Wav2Vec2BertForCTC; модель содержит 402,8 млн параметров и принимает аудио. На оценочном наборе указаны WER 0,3383, CER 0,1054 и loss 0,3524. Модель распространяется по лицензии MIT.
Модель CLEAR-Global — дообученная на наборе Yoruba NaijaVoices объёмом 500 часов версия facebook/w2v-bert-2.0 для автоматического распознавания речи. Она использует архитектуру Wav2Vec2-BERT с классом Wav2Vec2BertForCTC и содержит около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст на йоруба; библиотека для работы с ней — Transformers. В карточке приведены результаты оценки: WER 0,2869, CER 0,1773 и loss 0,3063. Лицензия модели — MIT. Подробности о составе обучающих данных, условиях записи и ограничениях применения в карточке не раскрыты.