I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиЭто мультиязычная модель синтеза речи Qwen3-TTS 12Hz 0.6B, подготовленная loom-ai-org для запуска в loom.cpp. Репозиторий содержит экспорт GGUF исходных весов Qwen/Qwen3-TTS-12Hz-0.6B-Base; README указывает, что параметры не изменены. Модель принимает текст и аудиопример голоса и выдаёт токены нейрокодека, которые нужно преобразовать в звуковую волну с помощью совместимого qwen3-tts-tokenizer-12hz-loom. Модель предназначена для синтеза речи с клонированием голоса по образцу. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, русский, португальский, испанский и итальянский языки. Для клонирования можно использовать аудиопример, а в режиме ICL также передать его расшифровку. Лицензия — Apache-2.0. Модель сама не формирует аудиоволну: её выход — шестнадцать потоков кодек-токенов, требующих отдельного декодера. Для клонирования необходим аудиопример, поскольку таблицы встроенных голосов нет; режим ICL требует расшифровку образца. По умолчанию генерация стохастическая, а скорость ниже ожидаемой для размера модели из-за особенностей экспорта и предсказания кодов.
RLAIF-V-7B — мультимодальная модель OpenBMB, дообученная на основе LLaVA 1.5 7B с использованием фреймворка RLAIF-V и датасета RLAIF-V-Dataset. Она предназначена для диалога и ответов на вопросы по изображениям, с акцентом на снижение галлюцинаций и повышение достоверности визуальных ответов за счёт обучения на обратной связи от другой ИИ-модели. В карточке заявлено, что модель сохраняет хорошие общие способности и может использоваться как модель вознаграждения для отбора лучших ответов по стратегии best-of-N. Архитектура — плотная LlavaLlamaForCausalLM, около 6,6 млрд параметров; веса опубликованы в safetensors. Модель принимает текст и изображения и генерирует текст. Контекст составляет 4096 токенов; в метаданных указан английский язык. Репозиторий использует лицензию Apache-2.0. Заявления о превосходстве в достоверности исходят из карточки модели и сами по себе не гарантируют качество на других данных или сценариях.
S1-mini — компактная модель Superwhisper для нормализации результатов автоматического распознавания речи. Данная версия mlboydaisuke/S1-mini-CoreAI является портом модели superwhisper/s1-mini в формат Apple Core AI и предназначена для работы полностью на устройстве, включая iPhone и Mac. Модель принимает необработанный текстовый транскрипт на английском языке и преобразует его в связный письменный текст: удаляет слова-паразиты, исправляет фальстарты и самокоррекции, добавляет пунктуацию и заглавные буквы, а также записывает словами произнесённые числа, даты, время, валютные значения и адреса электронной почты в стандартном текстовом формате. Это специализированный постпроцессор для диктовки и speech-to-text, а не диалоговая или универсальная chat-модель. Размер модели составляет около 0,6 млрд параметров. Она основана на superwhisper/s1-mini и имеет quantized-связь с базовой моделью; в поставке используется decode-бандл размером около 759 МБ с int8-квантизацией по блокам для основной части и fp16 для связанной с embedding выходной головы. Поддерживается только английский язык. Модель рассчитана на локальное выполнение на GPU или Neural Engine через Apple Core AI, что обеспечивает сохранение транскриптов на устройстве и подходит для приватных сценариев диктовки. Ограничением является узкая специализация и необходимость обрабатывать длинные тексты частями: на iPhone суммарный объём prompt и генерации ограничен примерно 1024 токенами. Лицензия указана как s1-mini-license; согласно README, она основана на Apache-2.0 и требует сохранять идентификацию модели как «S1-mini» от «Superwhisper» при использовании, распространении или интеграции в продукт.
rodrigomt/s2-pro-gguf — это GGUF-квантизированная версия модели Fish Audio S2 Pro, подготовленная сообществом rodrigomt для локального запуска через ранний экспериментальный движок s2.cpp. Модель предназначена для многоязычного синтеза речи по тексту и клонирования голоса по короткой записи-образцу. Она подходит для исследовательских и некоммерческих сценариев локального TTS, когда требуется работа без зависимости от Python. S2 Pro использует архитектуру Dual-AR примерно на 4,56 млрд параметров: 36-слойный Slow-AR на базе Qwen3 с GQA, RoPE и постоянным KV-кэшем, а также 4-слойный Fast-AR, генерирующий 10 акустических токенов на каждый семантический шаг. В состав также входит аудиокодек с 10 кодовыми книгами по 4096 элементов. Репозиторий содержит варианты с разной степенью квантования — от F16 размером 9,3 ГБ до Q2_K размером 2,4 ГБ; все GGUF-файлы включают веса трансформера и аудиокодек. Поддерживаются GPU с Vulkan и запуск на CPU при наличии достаточного объёма оперативной памяти, однако более сильное квантование снижает качество, а CPU-режим работает медленно. Для клонирования голоса рекомендуется чистая запись длительностью 5–30 секунд в формате WAV или MP3 вместе с её расшифровкой. Основные ограничения связаны с экспериментальным статусом s2.cpp: движок находится на ранней стадии, возможны несовместимые изменения, и он не рекомендован для промышленной эксплуатации. Веса распространяются по Fish Audio Research License: бесплатное использование разрешено для исследований и некоммерческих целей, а коммерческое применение требует отдельной лицензии Fish Audio.
SenseNova-U1.5-8B-MoT-8bit — SenseTime разработала базовую мультимодальную модель SenseNova-U1.5-8B-MoT, а mlx-community подготовило её артефакт для Apple Silicon с библиотекой MLX. Это архитектура NEO-unify Mixture-of-Transformers с двумя потоками трансформера, квантированными до 8 бит с группой 64; эмбеддинги, lm_head, нормализации и компоненты обработки изображений оставлены в высокой точности. Модель предназначена для генерации изображений по тексту, редактирования изображений и ответов на вопросы о визуальном содержимом. В основе генерации лежит pixel-space rectified flow без VAE. Карточка сообщает о режиме рассуждений, включаемом параметром --think, и о высокой близости результатов к эталонной реализации PyTorch. Лицензия — Apache-2.0. Модель представлена как артефакт для Apple Silicon и MLX; сведения о языках и длине контекста в предоставленных данных отсутствуют.
Shieldstral-1.0-3B-GGUF — набор GGUF-квантизаций модели Shieldstral-1.0-3B, разработанной Mistral AI. По указанной карточке модель относится к классу image-text-to-text и предназначена для сценариев, в которых требуется обрабатывать изображения вместе с текстовыми запросами и генерировать текстовый ответ. Базовая модель имеет размер 3B параметров. Конкретные варианты квантизации, поддерживаемые языки, максимальная длина контекста и перечень модальностей в карточке не указаны. Для совместимости обновлён компонент mmproj, исправляющий проблемы загрузки в предыдущей версии; квантизации рассчитаны с использованием калибровочного набора text_eur_large. Ключевое преимущество этой версии — возможность локального запуска в формате GGUF с различными уровнями квантизации, что может снизить требования к памяти по сравнению с полноразмерной моделью. Ограничения, точные характеристики вариантов квантизации, требования к оборудованию и результаты тестирования не приведены. Лицензия в предоставленных данных не указана.
Модель speecht5_tts-pld-hil — версия SpeechT5, дообученная автором репозитория sapinsapin на наборе данных sapinsapin/pld. Она предназначена для синтеза речи на основе текста на языке Hiligaynon (код hil). Обучение включало 1000 шагов на 1832 аудиофрагментах; для синтеза в примерах использовались голосовые эмбеддинги x-vector из SpeechBrain и вокодер microsoft/speecht5_hifigan. Модель построена на архитектуре SpeechT5ForTextToSpeech и распространяется в формате safetensors через Transformers. Репозиторий указывает лицензию MIT. Карточка сообщает значение eval_loss 0,3908, но не приводит сравнительной оценки качества или длину контекста. Модель рассчитана на преобразование текста в аудио, а указанные обучающие данные и название репозитория ориентируют её на Hiligaynon.
GELab-Zero-4B-preview-GGUF — это GGUF-квантизированная версия мультимодальной модели GELab-Zero-4B-preview, разработанной stepfun-ai и подготовленной bartowski с использованием llama.cpp. Модель предназначена для задач GUI-, phone-use- и computer-use-агентов, включая взаимодействие с Android-устройствами и работу с визуально-текстовыми данными. Заявлены поддерживаемые языки English и Chinese. Модель имеет размер около 4 млрд параметров и относится к мультимодальным моделям image-text-to-text. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Для запуска рекомендуются llama.cpp, LM Studio и другие совместимые приложения. Формат prompt использует шаблон ChatML с ролями system, user и assistant. Важные ограничения README не раскрывает точную архитектуру, размер контекста, требования к видеопамяти, результаты тестирования и подробности поддержки конкретных операций в GUI. Качество и скорость зависят от выбранного варианта квантизации и аппаратной конфигурации; версии с более низкой точностью могут давать худшие результаты. Распространение указано по лицензии Apache-2.0.
Карточка модели r3lax/sys1mlx на Hugging Face совпадает с карточкой ardanila/sys1mlx, поэтому описание составлено по ней. Sys1MLX — локальная мультимодальная модель принятия решений для компьютеров Apple Silicon, созданная на основе Qwen3.5-4B-Base и адаптера. Она принимает текст, необязательное изображение и заданные пользователем варианты, после чего возвращает выбранный ответ и вероятности; также поддерживает типы вопросов `noul` и `score`. Модель использует архитектуру Qwen3.5 с восстановленной башней зрения: языковые веса квантованы в MLX affine 4-bit, визуальный энкодер хранится в BF16, отдельная голова указателя — в FP32. Размер базовой модели — 4 млрд параметров. Модель предназначена для локального выбора из вариантов по тексту и изображениям, например для распознавания содержимого снимка или ответа на вопрос о расположении объектов. Для запуска требуется Mac с Apple Silicon и рабочей поддержкой MLX Metal; автор проверял запуск на M4 с 16 ГБ общей памяти. Это не генератор текста и не поддерживается стандартными интерфейсами генерации MLX или Transformers: нужен включённый в репозиторий Python runtime. Качество визуальных решений экспериментальное; приведённые проверки малы и не являются обобщающим бенчмарком. Модель распространяется по лицензии Apache-2.0.
TADA-1B — модель синтеза речи и генерации текста с речью, разработанная HumeAI на базе Llama 3.2 1B. Она объединяет текст и акустические представления в синхронизированный поток с соответствием 1:1 между текстовыми токенами и речевыми векторами. Архитектура авторегрессионная; модель содержит 1,2 млрд параметров и имеет контекст длиной 131 072 токена. Модель предназначена для преобразования текста в речь, продолжения речи и совместной генерации текста и аудио. При синтезе каждый шаг обрабатывает один текстовый токен, а длительность речевого фрагмента определяется динамически. В README заявлены выразительная, естественная речь, снижение вычислительных затрат по сравнению с обработкой аудио фиксированной частоты кадров и уменьшение галлюцинаций в транскрипте. Указан общий энкодер HumeAI/tada-codec для моделей семейства. Карточка сообщает об английском языке; данные не подтверждают поддержку других языков. Модель распространяется по лицензии Llama 3.2. Для её использования могут потребоваться совместимый код и энкодер TADA, а заявленные качества и эффективность в доступной карточке не сопровождаются подробностями оценки.
ad019el/tamasheq-99-2 — модель распознавания речи на базе архитектуры wav2vec2 с CTC-декодированием, дообученная разработчиком ad019el. Она принимает аудио и предназначена для преобразования речи в текст. В карточке приведены результаты оценки: loss 1,1325 и WER 0,8412; сведений о наборе данных и подробных сценариях обучения нет. Модель опубликована в формате PyTorch и насчитывает около 402,7 млн параметров. Лицензия и ограничения использования в предоставленных материалах не описаны.
ThinkMorph-7B — мультимодальная модель, созданная дообучением BAGEL-7B-MoT от ByteDance Seed на примерно 24 тысячах высококачественных последовательностей рассуждений с чередованием текста и изображений. Модель предназначена для мультимодального рассуждения: она строит последовательные текстовые и визуальные шаги, манипулируя визуальным содержимым и сохраняя связность рассуждений. В карточке заявлены результаты на бенчмарках для визуального рассуждения и обобщения на новые данные, а также способности к визуальным преобразованиям. Модель принимает визуальный контекст и выдаёт текстовые и визуальные результаты; базовая BAGEL описана как модель для понимания изображений и видео, генерации изображений и редактирования по текстовым инструкциям. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0.
WindyTranslate/translate-ase-sv — модель машинного перевода, опубликованная Windstorm Labs и дообученная на параллельных корпусах на основе Helsinki-NLP/opus-mt-ase-sv. Это модель архитектуры MarianMT с 50,1 млн параметров; LoRA-дообучение объединено с базовыми весами. Репозиторий содержит сборку Transformers в формате safetensors, а нативный контекст составляет 512 токенов. Модель предназначена для перевода с ase (американского жестового языка) на шведский. Она поддерживает одно направление перевода и может использоваться в сценариях, где нужно преобразовать текстовое представление ase в текст на шведском. Лицензия — Apache-2.0. Качество модели пока не оценивалось бенчмарками. Изменение весов подтверждает происхождение производной модели, но само по себе не свидетельствует о качестве перевода; пригодность результата следует проверять на целевых данных.
Модель SpeechBrain для синтеза речи Tacotron2, обученная на англоязычном наборе LJSpeech. Она принимает короткий текст и генерирует мел-спектрограмму; чтобы получить звуковую волну, требуется отдельно применить вокодер, например HiFi-GAN. Модель распространяется в формате PyTorch и предназначена для запуска через SpeechBrain. Подходит для преобразования английского текста в речь и экспериментов с конвейером синтеза речи. Карточка не гарантирует качество при использовании на данных, отличающихся от LJSpeech. Лицензия — Apache-2.0.
UniAR-RL — мультимодальная авторегрессионная модель ShareLab-SII для понимания и генерации изображений. Этот чекпойнт дообучен методом обучения с подкреплением GRPO поверх UniAR-SFT и улучшает качество генерации и следование инструкциям, включая рендеринг текста на изображениях. Модель объединяет обработку визуальных токенов и текста в одном Transformer. В её составе — Qwen3-8B, визуальный токенизатор на основе BSQ-квантированного SigLIP2-So400M ViT и визуальный декодер SD3.5-Medium DiT. Чекпойнт включает компоненты для понимания и генерации изображений; заявленная задача карточки Hugging Face — image-to-text. Лицензия — Apache-2.0.
VieNeu-TTS — вьетнамская модель синтеза речи с возможностью мгновенного клонирования голоса по образцу длительностью 3–5 секунд. Модель разработал Phạm Nguyễn Ngọc Bảo; версия VieNeu-TTS примерно на 0,5 млрд параметров дообучена на архитектуре NeuTTS Air. В репозитории указаны архитектура Qwen2 и веса в формате safetensors. Модель предназначена для локального синтеза речи на устройствах с CPU или GPU, а также для приложений, которым нужен синтез с заданным голосом. В карточке также описана отдельная версия VieNeu-TTS-0.3B, обученная с нуля и рассчитанная на более быстрое выполнение; её характеристики не следует переносить на эту версию. Для модели указана лицензия Apache-2.0.
VisualThinker-R1-Zero — мультимодальная модель TurningPoint AI для рассуждений по изображениям. Она дообучена методом обучения с подкреплением на наборе SAT на базе Qwen2-VL-2B; в метаданных указаны архитектура Qwen2-VL, около 1,5 млрд параметров и контекст 32 768 токенов. Модель принимает изображения и текстовые запросы и формирует текстовые ответы. Модель предназначена для визуальных задач, требующих пространственного понимания и рассуждений. Авторы сообщают о 59,47% точности на CVBench и улучшении примерно на 30 процентных пунктов относительно базовой модели; эти результаты относятся к оценке авторов. В README описано появление более длинных рассуждений и поведения самопроверки в ходе обучения с подкреплением. Модель выпущена под лицензией MIT. В карточке указан английский язык. Результаты описаны для визуально ориентированных задач; README не приводит подробных ограничений по использованию или оценке на других задачах.
VLM-R1-Qwen2.5VL-3B-OVD-0321 — дообученная omlab модель семейства Qwen2.5-VL, созданная на базе Qwen/Qwen2.5-VL-3B-Instruct с применением обучения с подкреплением в стиле VLM-R1. Это компактная мультимодальная модель с 3,1 млрд параметров, принимающая изображения и текст и выдающая ответы на естественном языке; заявленная длина контекста — 128 000 токенов. Модель предназначена для обнаружения объектов по текстовым описаниям в изображениях: она связывает запрос на естественном языке с соответствующими объектами и формирует ответ в диалоговом формате. Разработчик сообщает о результатах уровня state of the art на наборе OVDEval. В README также описаны обобщение на данные вне обучающего домена для связанных задач локализации по выражению, однако эта карточка относится именно к версии OVD. Модель опубликована в формате safetensors и рассчитана на использование через Transformers. Лицензия — Apache-2.0. Заявленные результаты относятся к оценке разработчика на OVDEval; качество на других наборах данных из этих сведений не следует.
VoxCPM1.5 — модель синтеза речи от OpenBMB, созданная на основе MiniCPM4-0.5B. Она преобразует текст в речь и поддерживает клонирование голоса по короткому аудиофрагменту без отдельного обучения. Архитектура объединяет авторегрессионное моделирование и диффузию, генерируя непрерывные речевые представления без дискретного аудиотокенизатора. Версия 1.5 использует аудиокодек с частотой 44,1 кГц и снижает частоту токенов языковой модели до 6,25 Гц. Модель предназначена для выразительной озвучки текста, адаптации интонации к содержанию и создания речи с тембром и особенностями референсного голоса. Поддерживает потоковую генерацию; в README указано время реального времени 0,17 на NVIDIA RTX 4090. Для настройки под конкретный голос доступны полное дообучение и LoRA. В первую очередь модель обучена на китайском и английском языках; качество для других языков не гарантируется. На длинных или выразительных фрагментах возможна нестабильность, а точное управление эмоциями и стилем ограничено. Результат клонирования зависит от качества входного аудио. Лицензия — Apache-2.0; разработчики позиционируют модель для исследований и разработок и рекомендуют тщательно проверять её перед коммерческим применением.
VoxCPM2 LiteRT — это экспериментальный порт модели openbmb/VoxCPM2 в формате LiteRT/TensorFlow Lite, подготовленный soniqo.audio для использования в on-device speech toolkit и Android SDK speech-android. Модель предназначена для синтеза речи из текста, zero-shot генерации, клонирования голоса по одному референсному аудиофрагменту, а также управляемого дизайна голоса с помощью текстовых инструкций. Поддерживается также режим Ultimate cloning с референсным аудио и его транскрипцией для сохранения просодии. В основе лежит мультиязычная diffusion-autoregressive TTS-модель примерно на 2 млрд параметров с выходом студийного качества 48 кГц. Заявлена поддержка 30 языков, включая английский, китайский, индонезийский, японский и корейский. Комплект состоит из четырёх LiteRT-графов: текстового prefill, авторегрессионного token step, аудиоэнкодера для референсного PCM-аудио 16 кГц и аудиодекодера, формирующего PCM 48 кГц. Текстовый контекст ограничен 512 токенами, максимальное число генерируемых токенов по умолчанию — 2048. Веса основных LM-графов представлены в FP16 при вычислениях FP32, а чувствительные аудио-компоненты и LocDiT diffusion estimator работают в FP32. Сильные стороны модели — многоязычный синтез, высокое выходное разрешение, клонирование голоса и управление характеристиками голоса естественным языком. При этом порт имеет экспериментальный статус: для token-step используется статическое понижение K/V-cache через litert_torch, поэтому требуется проверка численного соответствия полной цепочки перед использованием в production. Из-за размера около 8,7 ГБ модель требовательна к памяти, а качество зависит от корректной оркестрации графов и управления кэшем. Распространяется по лицензии Apache 2.0, унаследованной от openbmb/VoxCPM2; при клонировании необходимо получать согласие владельцев голоса и не использовать модель для несанкционированной имитации, дезинформации или мошенничества.
Это японская модель распознавания речи на основе WavLM-Base-Plus, разработанная автором репозитория TylorShine. В ней используется энкодер WavLM и две CTC-головы: одна выводит хирагану, другая — фонемы. Модель содержит 113,3 млн параметров и рассчитана на аудио с частотой 16 кГц. Модель предназначена для преобразования японской речи в последовательности хираганы и фонем, включая студийную запись, речь разных дикторов и шёпот. По описанию автора, отсутствие авторегрессионного декодера помогает избежать повторяющихся галлюцинаций, а вывод ограничен хираганой и фонемами. В тестах на JSUT-BASIC5000 и наборах JVS сообщаются ошибки KER от 3,97% до 11,6% и PER от 3,33% до 7,51% в зависимости от условий записи. Репозиторий использует пользовательскую архитектуру DualCTCModel и библиотеку Transformers; для загрузки требуется разрешить выполнение кода из репозитория через trust_remote_code=True. Модель распространяется по лицензии CC BY-SA 3.0.
Это репозиторий с весами трансформера Zyphra Zonos-v0.1, подготовленными для запуска через RLX. Он предназначен для синтеза речи по тексту в среде RLX; в репозитории размещены веса в форматах Safetensors и GGUF F16 размером около 3 ГиБ каждый, а также конфигурация модели. Репозиторий представляет собой промежуточную копию исходного чекпойнта, созданную как стабильная точка загрузки для рецептов RLX. Указана лицензия Apache-2.0. Карточка не сообщает поддерживаемые языки и подробные характеристики синтеза.
Zonos v0.1 Transformer — GGUF — это конверсия модели Zyphra/Zonos-v0.1-transformer, подготовленная для работы с CrispASR и CrisperWeaver. Модель предназначена для синтеза речи по тексту, клонирования голоса по нескольким секундам эталонной записи и генерации выразительной речи с управлением эмоциями, темпом, вариативностью высоты тона и максимальной частотой аудио. Она обучена на более чем 200 тысячах часов многоязычной речи и поддерживает английский, немецкий, французский, испанский, японский, китайский, корейский, португальский, итальянский, русский и другие языки, перечисленные в карточке модели. Это авторегрессионный GPT-подобный трансформер примерно на 500 млн параметров: 26 слоёв, размерность 2048, GQA, SwiGLU, LayerNorm и RoPE. Текст преобразуется в фонемы через eSpeak, после чего модель генерирует девять потоков кодов DAC. Выходной звук — моно PCM с частотой 44,1 кГц; для декодирования требуется отдельный файл dac-44khz.gguf. Доступны варианты F16 размером около 3,1 ГБ с эталонным качеством и Q4_K размером около 872 МБ с меньшим размером и хорошим качеством. К сильным сторонам относятся многоязычность, клонирование голоса, детальный контроль эмоциональной окраски, скорости речи, высоты тона и качества аудио. Ограничения включают необходимость совместимого DAC-декодера и программной инфраструктуры CrispASR или CrisperWeaver; сведения о производительности, требованиях к оборудованию и качестве по отдельным языкам в карточке не приведены. Модель распространяется по лицензии Apache 2.0.
Модель lilitket/20220412-203254 — дообученная версия facebook/wav2vec2-xls-r-300m для автоматического распознавания речи. Она основана на архитектуре Wav2Vec2ForCTC и обучена на Common Voice; размер составляет 402,7 млн параметров. Модель принимает аудио и выдаёт текстовую транскрипцию. В карточке приведён результат оценки на тестовой выборке: WER 1,0019 и loss 5,0428. Такой WER указывает на очень низкое качество распознавания в указанной оценке. Модель распространяется под лицензией Apache-2.0.
Orpheus 3B Hi Pretrained — базовая модель синтеза речи от CanopyAI, построенная на Llama и дообученная на базе meta-llama/Llama-3.2-3B-Instruct. Она предназначена для генерации естественной речи с интонацией, эмоциональной окраской и ритмом, а также для клонирования голоса по образцу без предварительного дообучения и последующей адаптации под пользовательские сценарии. Модель принимает текст и генерирует речь; в карточке заявлена поддержка испанского и итальянского языков. Репозиторий использует Transformers и формат Safetensors; лицензия — Llama 3.2. Карточка позиционирует модель как основу для дальнейшей настройки, в том числе для синтеза речи и клонирования голоса. Количественные результаты и подробные условия клонирования в карточке не приведены. Не следует использовать модель для имитации голоса без согласия, дезинформации или мошенничества.
Это модель распознавания речи на базе Wav2Vec2ForCTC с 113,3 млн параметров, опубликованная пользователем gary109. Согласно карточке, она дообучена на наборе GARY109/AI_LIGHT_DANCE — ONSET-IDMT-2. На оценочной выборке указаны loss 0,2794 и WER 0,2733. Модель предназначена для преобразования аудиосигнала в текст. README не раскрывает целевую лексику, язык распознавания или конкретные сценарии применения, поэтому область использования сверх распознавания речи по этим данным определить нельзя. Репозиторий содержит веса PyTorch; условия лицензии в доступных сведениях не приведены.
BlueMagpie-TTS — модель синтеза речи, разработанная OpenFormosa. Она преобразует текст на мандаринском китайском и смешанный китайско-английский текст в речь. Доступны два взаимоисключающих режима: управление голосом через центроид диктора или через аудиозапись-образец; для образца рекомендуется запись длительностью не менее трёх секунд. Репозиторий содержит веса модели и AudioVAE, токенизатор, конфигурацию и документацию для инференса. Модель предназначена для оценки синтеза речи и экспериментов с голосовым управлением, включая синтез длинных текстов с разбиением на фрагменты. В README приведены внутренние метрики CER и WER, но они не являются публичным бенчмарком. Лицензия указана как other; перед распространением чекпойнта или синтезированной речи необходимо проверить права и получить согласие на использование голоса. К ограничениям относятся зависимость сходства голоса от качества образца или центроида, недостаточная калибровка поведения остановки генерации и риск дрейфа просодии на очень длинных фрагментах. Генерируемую речь следует проверять; продолжение речи с использованием контекста аудио экспериментальное и по умолчанию отключено.
Dia2-2B — потоковая модель синтеза диалоговой речи, разработанная Nari Labs. Она начинает генерировать аудио после получения первых слов, поэтому подходит для сценариев с низкой задержкой. Выход можно обусловить аудио, чтобы создавать естественные диалоги; модель поддерживает генерацию на английском языке длительностью до двух минут. Модель поставляется в варианте с 2 млрд параметров согласно названию репозитория; карточка указывает формат safetensors и библиотеку dia2. Для запуска README приводит пример с CUDA 12.8 или новее и точностью bfloat16. Результат включает аудиотокены, waveform и временные метки слов. Модель рассчитана на исследовательское и образовательное применение. README запрещает имитировать реальных людей без разрешения, создавать вводящий в заблуждение контент и использовать модель для незаконных или вредоносных целей. Лицензия — Apache-2.0; она не отменяет ограничений использования, установленных авторами.
Карточка модели elevenlabs-ai/elevenlabs-speech на Hugging Face совпадает с карточкой Anthropic-ai/aivoice, поэтому описание составлено по ней. Anthropic-ai/aivoice — набор локальных компонентов ViiTorVoice-NAR, модели генерации речи, предназначенной для клонирования голоса, локального редактирования речи и управления эмоциями и паралингвистическими характеристиками. README описывает компоненты: LLM генерирует речевые токены с учётом текста, токенов речи-примера, масок редактирования, длительности и меток эмоций; DualCodec кодирует и декодирует аудио, а W2V-BERT 2.0 извлекает семантические признаки речи. Модель поддерживает синтез речи по тексту, сохранение характеристик говорящего по аудиопримеру, замену отдельных фрагментов высказывания и управление эмоциональными или невербальными вокальными событиями. Метаданные указывают архитектуру Qwen3-TTS, дообучение Qwen/Qwen3-0.6B, форматы ONNX и safetensors и языки китайский, английский, японский и корейский. Лицензия указана как Apache-2.0.
MLX-модель mlx-community/gemma-4-E2B-it-qat-mobile предназначена для задач преобразования изображений и текста в текст. По доступным данным, она относится к семейству Gemma и распространяется в формате, совместимом с библиотекой MLX, однако разработчик исходной модели, архитектура, точный размер, поддерживаемые модальности, языки и длина контекста в README не указаны. Модель, вероятно, ориентирована на сценарии, где требуется обработка визуального и текстового ввода с генерацией текстового ответа, включая мультимодальные приложения на устройствах, совместимых с MLX. Суффикс mobile в идентификаторе указывает на возможную оптимизацию для мобильного использования, но конкретные требования к аппаратному обеспечению и преимущества не описаны. Сильные стороны и ограничения модели, а также условия лицензирования по представленным данным определить невозможно.