I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиFabioSarracino/VibeVoice-Large-Q8 — это модель преобразования текста в речь на базе VibeVoice-Large, разработанной Microsoft Research, с селективной 8-битной квантизацией. В данной версии квантизирована языковая модель, тогда как аудиокритичные компоненты, включая diffusion head, VAE и коннекторы, сохранены в полной точности. Размер модели составляет 11,6 ГБ против 18,7 ГБ у исходной версии, а около 52% параметров квантизировано. Модель предназначена для генерации аудио из текста и может использоваться через Transformers или ComfyUI. Она поддерживает английский и заявлена как multilingual; частота дискретизации выходного аудио составляет 24 кГц. По данным README, селективная квантизация сохраняет качество аудио на уровне исходной модели и снижает требования к видеопамяти примерно до 12 ГБ, что делает модель подходящей для GPU с 12–16 ГБ VRAM. Для работы требуется NVIDIA GPU с CUDA; CPU, Apple Silicon и AMD GPU не поддерживаются. Модель предназначена для инференса и не рекомендуется для дообучения. Указаны зависимости transformers версии 4.51.3 или новее и bitsandbytes 0.43.0 или новее. Для запуска рекомендуется минимум 12 ГБ VRAM, 16 ГБ RAM и около 11 ГБ свободного места, а для комфортной работы — 16 ГБ или больше VRAM. Модель распространяется по лицензии MIT.
Карточка модели reaksmeydev/VoxCPM2 на Hugging Face совпадает с карточкой Tha456/VoxCPM2, поэтому описание составлено по ней. VoxCPM2 — модель синтеза речи, представленная в карточке Tha456. Это авторегрессионная диффузионная модель без токенизатора с архитектурой LocEnc → TSLM → RALM → LocDiT, основанной на MiniCPM-4. Размер модели — 2 млрд параметров; она использует AudioVAE V2 и генерирует речь с частотой 48 кГц. Модель предназначена для многоязычного преобразования текста в речь, создания голоса по текстовому описанию и клонирования голоса по короткому аудиофрагменту, в том числе с управлением стилем. По README поддерживает 30 языков, включая русский, и заявляет потоковую генерацию в реальном времени. Репозиторий использует формат safetensors и библиотеку voxcpm. Лицензия Apache-2.0 разрешает коммерческое использование. Качество Voice Design и управления стилем может меняться между запусками; результаты зависят от языка, а очень длинный или выразительный ввод иногда вызывает нестабильность. README запрещает использовать модель для имитации личности, мошенничества и дезинформации и рекомендует маркировать сгенерированную речь.
Это модель автоматического распознавания речи, разработанная Kiran Pantha и дообученная на базе kiranpantha/w2v-bert-2.0-nepali на датасете OpenSLR54. Она преобразует аудиозаписи на непальском языке в текст и предназначена для транскрибации речи. Архитектура основана на Wav2Vec2-BERT, класс модели — Wav2Vec2BertForCTC; размер составляет 402,7 млн параметров. В README указаны результаты оценки на тестовом наборе: loss 0,4058 и WER 0,4307. Модель распространяется по лицензии MIT. Подробные сведения о сценариях применения и ограничениях в карточке не приведены.
Wav2Vec2-Large-XLSR-53-EU — модель автоматического распознавания речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 командой enterprise-explorers на баскском языке. Она принимает аудиозаписи речи с частотой дискретизации 16 кГц и преобразует их в текст; обучение проводилось на данных Common Voice. Модель построена на архитектуре Wav2Vec2ForCTC и содержит около 402,7 млн параметров. В README приведён результат оценки 15,34% на тестовой части Common Voice для баскского языка, но метрика не названа. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0.
Wav2Vec2-Large-XLSR-Indonesian — модель распознавания индонезийской речи, созданная дообучением facebook/wav2vec2-large-xlsr-53 на датасете Common Voice, включая синтетические голосовые данные. Модель использует архитектуру Wav2Vec2ForCTC и содержит около 402,7 млн параметров. Она преобразует аудиозаписи на индонезийском языке в текст и рассчитана на распознавание речи с частотой дискретизации 16 кГц. В README для тестовой части Common Voice указана оценка 14,29%, но метрика не названа, поэтому результат нельзя напрямую интерпретировать или сравнивать. Модель распространяется по лицензии Apache-2.0. Ее применение ориентировано на индонезийскую речь; результаты на других языках и аудио с иными характеристиками в предоставленных данных не описаны.
jimregan/wav2vec2-large-xlsr-latvian-cv — модель автоматического распознавания латышской речи, созданная Джимом Риганом дообучением facebook/wav2vec2-large-xlsr-53 на латышской части набора Common Voice. Она предназначена для преобразования аудиозаписей речи в текст, например для расшифровки записей и оценки распознавания на тестовых данных Common Voice. Модель использует архитектуру wav2vec 2.0 с головой Wav2Vec2ForCTC и содержит 402,7 млн параметров. Для входной речи требуется частота дискретизации 16 кГц; веса представлены в форматах PyTorch, Flax и safetensors. Модель рассчитана на латышский язык, принимает аудио и выдаёт текст. В README приведён результат оценки 29,95% на тестовых данных Common Voice, но метрика не уточнена, поэтому это число нельзя напрямую трактовать как точность или ошибку распознавания. Лицензия модели — Apache-2.0.
asini/wav2vec2-timit-demo — дообученная модель распознавания речи на базе facebook/wav2vec2-base, созданная сообществом Hugging Face. Это модель архитектуры Wav2Vec2ForCTC с 113,3 млн параметров, принимающая аудио и выдающая распознанный текст. В карточке приведены результаты оценки: loss 0,4847 и WER 0,3462; подробности о наборе данных и сценариях обучения не описаны. Модель опубликована в формате PyTorch под лицензией Apache-2.0.
anuragshas/wav2vec2-xls-r-300m-lv-cv8-with-lm — модель автоматического распознавания латышской речи, созданная дообучением facebook/wav2vec2-xls-r-300m на датасете Mozilla Common Voice 8.0 для латышского языка. Архитектура основана на Wav2Vec2 с CTC-декодированием; в репозитории указано около 402,7 млн параметров. Модель принимает аудио и выдаёт распознанный текст. На тестовой части Common Voice 8.0 в карточке приведены WER 0,1705 и результат WER 9,633 при оценке с языковой моделью; без языковой модели — 16,997. Она подходит для распознавания латышской речи в аудиозаписях и оценки качества ASR. Лицензия — Apache-2.0. Карточка содержит мало сведений о рекомендуемых условиях применения и ограничениях; приведённые метрики относятся к конкретному набору данных и не гарантируют качество на других источниках аудио.
quinnb/whisper-Large-v3-hindi — дообученная модель семейства Whisper Large v3 для автоматического распознавания речи на хинди. Она принимает аудио и выдаёт распознанный текст. Модель содержит около 905,2 млн параметров и использует архитектуру WhisperForConditionalGeneration; в репозитории представлены веса safetensors. Для дообучения использован набор Common Voice 17.0. Модель предназначена для транскрибирования речи на хинди, в том числе записей, похожих на материал Common Voice. Она распространяется по лицензии Apache-2.0. README не содержит сведений о точности или оценке качества, поэтому нельзя судить о её надёжности на других типах аудио.
Это дообученная модель распознавания речи на базе openai/whisper-large-v3-turbo, созданная для транскрибирования аудио на мальтийском языке в Мальте. Она использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров. Модель обучена на наборе данных FLEURS и распространяется в формате safetensors через библиотеку Transformers. Модель подходит для получения текстовых расшифровок мальтийской речи из аудиозаписей. В README приведены результаты оценки на тестовой выборке: WER 14,5151 и WER Ortho 39,1346. Лицензия — MIT. Подробные ограничения и рекомендуемые условия применения в карточке не описаны.
KOYA Dhivehi Whisper Medium — дообученная модель распознавания речи, созданная на основе openai/whisper-medium. Разработчик указал, что использовал данные Common Voice 13 и набор Shaafiu; модель содержит 455,8 млн параметров и предназначена для преобразования аудиозаписей на дивехи в текст. В карточке приведены результаты оценки: WER 8,3095 и WER по орфографической метрике 48,9192. Эти показатели зависят от набора и метода оценки и не гарантируют такое же качество на других записях. Модель распространяется в формате safetensors по лицензии Apache-2.0.
Это дообученная модель распознавания речи на базе openai/whisper-medium, разработанная автором репозитория dianavdavidson. Она предназначена для преобразования аудио в текст; в названии указана специализация на хинди и набор Vaani, однако README сообщает, что модель обучалась на датасете None, поэтому точный состав обучающих данных не подтверждён. Модель содержит 455,8 млн параметров, использует архитектуру Whisper и формат safetensors; библиотека для работы — Transformers. В README приведены результаты оценки: loss 0,4456 и Global WER 23,25. Описание сценариев применения, подробности обучающих данных и ограничения автором не раскрыты. Лицензия — Apache-2.0.
Модель dianavdavidson/whisper-medium_mucs_62901_ratio_alldata_lr_1e-4_lgid_hi_hinglish_mixed_scripts_FT — дообученная версия Whisper-medium от OpenAI с архитектурой WhisperForConditionalGeneration и 455,8 млн параметров. Она принимает аудио и предназначена для автоматического распознавания речи с выводом текстовой расшифровки. Название модели указывает на настройку для хинглишской речи и смешанного письма, однако README не раскрывает обучающие данные и не описывает конкретные сценарии применения. На оценочном наборе указаны Loss 0,4527 и Global WER 29,0941; результаты относятся только к этому набору. Модель распространяется под лицензией Apache-2.0.
Модель dianavdavidson/whisper-medium_mucs_63022_ratio_25_45_lr_1e-4_lgid_hi_hinglish_mixed_scripts_FT — дообученная версия OpenAI Whisper medium для автоматического распознавания речи и преобразования аудио в текст. Архитектура WhisperForConditionalGeneration содержит 455,8 млн параметров; модель использует библиотеку Transformers и опубликована в формате safetensors. Название указывает на настройку для хинди и хинглиша со смешанными системами письма, однако README не раскрывает датасет или подробные языковые настройки. На оценочной выборке указаны loss 0,4777 и Global WER 28,2969. Модель распространяется по лицензии Apache-2.0.
Canopy Labs выпустила Orpheus 3B Hi Finetuned — модель синтеза речи на основе Llama, дообученную для генерации выразительной речи на хинди из текста. Она предназначена для озвучивания текста с естественной интонацией, эмоциями и ритмом, в том числе в потоковых приложениях. В карточке заявлены клонирование голоса без предварительного дообучения, управление эмоциями и интонацией с помощью тегов и потоковая задержка около 200 мс, потенциально около 100 мс при потоковой подаче текста. Модель использует Transformers и хранится в формате safetensors. В метаданных указаны связи merge с canopylabs/orpheus-3b-0.1-pretrained и meta-llama/Llama-3.2-3B-Instruct; размер модели не указан. Лицензия — Apache-2.0. Карточка предостерегает от клонирования голоса без согласия, обмана и незаконного или вредоносного использования.
Audio Flamingo 3 (AF3) — большая аудиоязыковая модель NVIDIA для понимания и анализа речи, звуков и музыки. Она принимает аудио и текстовые инструкции, отвечает на вопросы об аудиозаписях, выполняет рассуждения по их содержанию и поддерживает диалог в несколько ходов. Модель доступна через Transformers; заявлена поддержка аудио длительностью до 10 минут и текстового контекста до 16 000 токенов. Архитектура объединяет аудиоэнкодер AF-Whisper, MLP-адаптер и декодерную языковую модель Qwen2.5-7B; в варианте AF3-Chat также предусмотрен потоковый синтез речи. Модель обучалась на наборах данных для общих звуков, музыки и речи. В карточке указана поддержка английского языка. AF3 предназначена для исследований и разработок в области аудиоответов на вопросы, анализа длинных записей и голосовых диалогов. Она оптимизирована для NVIDIA GPU, а использование на CPU может быть медленнее. Лицензия обозначена как other; README ограничивает модель некоммерческими исследовательскими целями.
AuK-Flash — официальная дистиллированная версия модели AuK от Tencent для генерации и редактирования речи. Это диффузионная модель, которая использует единый интерфейс инструкций на естественном языке; для обработки текста и речи задействуется отдельный мультимодальный энкодер Qwen2.5-Omni-3B. Вариант Flash выполняет синтез за 4 шага инференса, что ускоряет генерацию по сравнению с базовой версией. Модель предназначена для синтеза речи по тексту, в том числе zero-shot TTS и генерации с инструкциями. Семейство AuK также поддерживает редактирование содержимого и акустических характеристик речи, изменение паралингвистических свойств, улучшение речи и разделение источников. Карточка AuK-Flash описывает её как дистиллированный вариант для быстрого инференса; подробности о качестве именно этой версии в предоставленных данных не приводятся. Для работы требуются веса энкодера и VAE, загружаемые отдельно. Модель распространяется по лицензии MIT.
EvoAwaken-Workshop/Breeze-TTS-2-gguf — это GGUF-конверсия модели Breeze-TTS-2, разработанной BreezeBlue, адаптированная для нативного Rust-инференса через rust-model-inference. Модель предназначена для синтеза речи на английском и китайском языках и поддерживает обычный Text-to-Speech, управление характеристиками голоса по текстовой инструкции и клонирование тембра по референсной записи с транскрипцией. Это мультимодульная TTS-система примерно на 3,5 млрд параметров: backbone Qwen3 на 1,4 млрд параметров, текстовый энкодер T5Gemma2 на 1 млрд, depth decoder на 0,4 млрд и аудиокодек Mimi примерно на 0,1 млрд параметров. Аудиотокенизатор основан на Qwen3-TTS. Для клонирования требуется моно WAV PCM16 с частотой 24 кГц и соответствующий текст; многоканальные записи и другие частоты дискретизации обрабатываются автоматически. Доступны варианты BF16, F16, F32, Q8_0 и Q4_0. Q8_0 рекомендован для развёртывания благодаря меньшему размеру и более высокой скорости, тогда как Q4_0 обеспечивает максимальное сжатие, но заметно ухудшает качество речи и не рекомендуется для production. Модель не совместима со стандартным llama.cpp: необходим runtime rust-model-inference с поддержкой архитектур breeze и breeze_audio, а также отдельный codec projection-файл. Лицензия указана как breezeblue-research-and-non-commercial-license, поэтому коммерческое использование может быть ограничено условиями лицензии; перед применением следует ознакомиться с её полным текстом.
Это CPU-ориентированная версия модели CohereLabs cohere-transcribe-arabic-07-2026, разработанная автором репозитория sayedM. В основе — Conformer encoder–decoder для распознавания речи с примерно 2,07 млрд параметров; все 515 линейных слоёв динамически квантованы до int8. Модель принимает аудио и выдаёт текстовую транскрипцию. В README указана лицензия Apache-2.0. Сборка предназначена для транскрибации арабской речи, включая диалектную, и английской речи на процессоре без GPU. Дополнительная арабская CTC-голова на 57,5 млн параметров предлагает черновые токены для спекулятивного декодирования: по замерам автора, это ускоряет короткие клипы примерно в 1,42 раза при небольшом изменении WER относительно fp32. Язык декодирования следует задавать явно как «ar» или «en». Ограничения: квантование int8 снижает точность относительно fp32; модель предназначена только для CPU и не работает на CUDA. CTC-голова рассчитана только на арабский язык, поддерживает спекулятивное декодирование лишь при batch size 1 и применима к одночастным аудиозаписям; качество её черновиков зависит от близости аудио к диалектному составу обучающей выборки.
Confucius4-TTS — мультиязычная система синтеза речи от разработчика netease-youdao. Она использует архитектуру «кодировщик речи + большая языковая модель»: модуль Text2Semantic строит последовательность семантических токенов по тексту и голосовым характеристикам, а Semantic2Acoustic преобразует её в мел-спектрограмму. Модель предназначена для генерации естественной речи, переноса голоса и эмоций, а также синтеза на другом языке с сохранением идентичности говорящего. Поддерживаются китайский, английский, японский, корейский, немецкий, французский, испанский, индонезийский, итальянский, тайский, португальский, русский, малайский и вьетнамский языки. Для клонирования голоса не требуется транскрипт образца или дополнительное обучение. README сообщает о конкурентных результатах на тестах разборчивости и сходства голоса, но не приводит полные таблицы всех метрик. Веса опубликованы в форматах PyTorch и Safetensors по лицензии Apache-2.0. Для запуска указаны Python 3.10 и CUDA 12.6; скорость, аппаратные требования и ограничения по длине входного текста в карточке не описаны.
OPPOer/CuteTTS — компактная модель синтеза речи, представленная в карточке как CuteTTS. Это авторегрессионная модель примерно на 230 млн параметров, которая генерирует речь, моделируя непрерывные латентные представления. Она предназначена для преобразования текста в речь и клонирования голоса по образцу без дополнительного обучения. Модель поддерживает английский, китайский, французский, немецкий и испанский языки. По данным карточки, она запускается на GPU, CPU и Apple silicon; заявлены задержка около 40 мс до первого аудиофрагмента и скорость примерно в девять раз выше реального времени на NVIDIA RTX 4090. Для использования доступны веб-демо, Python API и CLI. Результаты в README описывают качество синтеза и клонирования голоса на наборах LibriSpeech и Seed-TTS, но не содержат чисел для самой CuteTTS в видимой части таблицы, поэтому сравнительную оценку качества сделать нельзя. Лицензия репозитория — Apache-2.0.
Dots3-Note Preview — модель с открытыми весами от Dots Studio, построенная по архитектуре mixture-of-experts. В ней 280 млрд параметров всего, из которых 16 млрд активны. Это самая компактная модель семейства Dots 3. Модель предназначена для преобразования изображений и текста в текст, согласно задаче, указанной в метаданных каталога. Доступный фрагмент README не раскрывает конкретные сценарии применения, языки, длину контекста или условия лицензии, поэтому эти характеристики не описываются.
dots.tts-mf — модель синтеза речи от dots-studio, созданная дистилляцией dots.tts-soar. Это авторегрессионная система с 2 млрд параметров: семантический энкодер и LLM формируют условия для акустической головы на основе flow matching, которая генерирует непрерывные аудиолатенты; дискретные аудиокодек-токены не используются. LLM инициализирована из Qwen2.5-1.5B-Base, а аудиотракт использует AudioVAE для монофонической речи с частотой 48 кГц. Модель предназначена для низколатентного синтеза речи и клонирования голоса по образцу. Дистилляция MeanFlow позволяет получать результат за 2–4 вычисления модели на шаг; автор рекомендует 4 шага как компромисс между скоростью и качеством. На бенчмарке CV3-Eval для hard-en указана WER 4,37 при четырёх шагах. Модель принимает текст и референсный голосовой образец, выдаёт аудио; текст подаётся напрямую через BPE без фонемной транскрипции. Качество распознавания слов ниже для малоресурсных и недостаточно представленных языков, включая арабский, хинди, турецкий и вьетнамский; на 2–3 шагах отмечается ухудшение WER и сходства голоса. Настройка guidance_scale при генерации не действует, поскольку classifier-free guidance встроен при дистилляции. Обучение на преимущественно речевых данных не покрывает пение и совместную генерацию речи со звуками. Лицензия — Apache-2.0.
dots.tts-mf-1step — самостоятельный артефакт модели dots.tts, предназначенный для синтеза речи из текста. Он настроен для фиксированного вывода за один шаг; параметры семплирования сохранены в config.json и выбираются автоматически. Репозиторий содержит веса в формате safetensors, для запуска используется библиотека dots_tts. Модель также помечена как поддерживающая клонирование голоса. Модель ориентирована на одношаговый сценарий инференса; качество многошаговой генерации для неё не заявлено, а свежая публичная оценка по бенчмаркам не приводится. Лицензия — Apache-2.0. Для высокоточного клонирования голоса требуется разрешение и согласие человека, чей голос используется.
Карточка модели suliniacats/dots.tts-soar на Hugging Face совпадает с карточкой dots-studio/dots.tts-soar, поэтому описание составлено по ней. dots.tts-soar — модель синтеза речи от dots-studio, представляющая собой дообученную версию dots.tts-base с этапом Self-corrective Alignment. Это авторегрессионная система на 2 млрд параметров, которая напрямую обрабатывает текст в BPE-токенах и генерирует непрерывные аудиолатенты с помощью flow-matching-головы, затем декодируемые в монозвук с частотой 48 кГц. В архитектуре используются семантический энкодер, LLM на базе Qwen2.5-1.5B-Base и CAM++ speaker x-vector для сохранения характеристик голоса. Модель предназначена для многоязычного синтеза речи и клонирования голоса по образцу, в том числе в производственных сценариях с авторизованным использованием. SCA улучшает соответствие текста и тембра, а в карточке заявлены высокие результаты сходства голосов на приведённых бенчмарках. Поддерживаются zero-shot-сценарии без отдельного дообучения под голос. На малоресурсных и отличающихся письменностью языках, включая арабский, хинди, турецкий и вьетнамский, точность распознавания текста в речи ниже, чем для более обеспеченных данными языков. Модель не предназначена для пения или совместной генерации речи и звуковых эффектов. Высокая реалистичность клонирования голоса создаёт риск злоупотреблений; README рекомендует использовать только авторизованные образцы и помечать синтетическое аудио. Лицензия — Apache-2.0.
SWivid/E2-TTS — чекпойнт модели синтеза речи E2 TTS, связанный с проектом F5-TTS. Репозиторий содержит веса PyTorch в формате safetensors; в README указана версия E2TTS_Base с шагом обучения 1 200 000. Название исследовательской работы описывает подход как полностью неавторегрессионный zero-shot TTS. Модель предназначена для преобразования текста в речь, в том числе для zero-shot-сценариев. Метаданные указывают датасет Emilia, но карточка не сообщает поддерживаемые языки, размер модели, длину контекста или подробные условия запуска. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией и ограничивает коммерческое применение.
EVE-7B-HD-v1.0 — мультимодальная модель семейства EVE, разработанная исследователями из Dalian University of Technology, Beijing Academy of Artificial Intelligence и Peking University. Это плотная авторегрессионная модель с архитектурой EVELlamaForCausalLM и примерно 6,6 млрд параметров; в отличие от VLM с отдельным визуальным энкодером, она обрабатывает визуальные и языковые входы в едином декодере. В карточке семейства EVE описан подход к обучению на 35 млн открытых примеров и сравнение с VLM сопоставимого размера. Модель предназначена для генерации текста по текстовым и визуальным запросам, включая задачи понимания изображений и диалога о них. Контекст составляет 4096 токенов. Доступна в формате PyTorch, лицензия — Apache-2.0. В README указано, что EVE выпускается в вариантах с предварительным обучением и настройкой инструкциями, но точный статус настройки именно версии HD-v1.0 не уточнён.
Это мультимодальная модель Google DeepMind Gemma 4 26B A4B IT, преобразованная сообществом mlx-community в формат MLX для запуска на оборудовании Apple с библиотекой MLX. Она предназначена для диалогов и генерации текста по текстовым и визуальным запросам; пример из карточки показывает описание изображения. Архитектура указана как Gemma4ForConditionalGeneration, файлы представлены в формате safetensors с точностью bf16. Модель подходит для ответов на вопросы по изображениям, их описания и обычного диалога. Она унаследовала возможности базовой Gemma 4 26B A4B IT; в карточке MLX-community отдельно не приведены длина контекста и список языков. Репозиторий содержит преобразованную версию базовой модели, а не самостоятельное дообучение. Лицензия — Apache 2.0.
Это конверсия Gemma 4 26B A4B IT в формат GGUF с квантованием весов Mixture of Experts в MXFP4. Базовая модель разработана Google DeepMind и предназначена для диалогов с изображениями и текстом; каталог указывает поддержку чата и зрения. Репозиторий предлагает варианты GGUF BF16, F16 и F32, а README также описывает варианты MXFP4 MoE с разными настройками остальных тензоров. Модель подходит для вопросов по изображениям и текстовым диалогам в среде llama.cpp. Для обработки изображений рекомендуется использовать файл mmproj в F32; доступные варианты различаются качеством, скоростью и требованиями к памяти. Для использования нужны llama.cpp и соответствующий файл проектора изображений. Лицензия в предоставленных сведениях не указана.
MLX-версия модели Gemma 4 31B IT, разработанной Google и преобразованной сообществом mlx-community из исходной модели google/gemma-4-31B-it. Модель предназначена для мультимодальных сценариев image-text-to-text: принимает текст и изображения и генерирует текстовые ответы, включая описание изображений и диалоговое взаимодействие. Модель содержит 31 млрд параметров и представлена в 8-битном формате, что снижает требования к памяти по сравнению с полноточными вариантами. Она сохранена в формате MLX и предназначена для запуска с помощью mlx-vlm на совместимом оборудовании. README не содержит сведений о точной архитектуре, максимальном размере контекста, поддерживаемых языках, конкретных ограничениях качества или требованиях к аппаратному обеспечению. Модель распространяется по лицензии Apache 2.0; условия лицензии доступны по ссылке, указанной в карточке модели. Для использования требуется программный стек mlx-vlm.