I.15Доступность и ассистивные технологии
В разделе собраны самостоятельные задачи, где AI помогает делать цифровую и физическую среду доступнее для людей с различными ограничениями. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
8 953 моделиWav2Vec2-base-VoxPopuli-V2 — акустический чекпойнт Facebook AI на архитектуре Wav2Vec2 с 113,3 млн параметров, предварительно обученный на немецкой речи из VoxPopuli V2. Обучение проводилось на 23,2 тыс. часов неразмеченных аудиоданных; модель принимает речь с частотой дискретизации 16 кГц. Модель предназначена для дальнейшей адаптации к распознаванию немецкой речи: для этого требуется создать токенизатор и дообучить её на размеченных аудиотекстовых данных. В текущем виде у неё нет токенизатора, поэтому она не готова выдавать текст транскрипции. Распространяется под лицензией CC BY-NC 4.0, которая ограничивает коммерческое использование.
LeBenchmark/wav2vec2-FR-7K-base — предобученная модель wav2vec 2.0, выпущенная командой LeBenchmark для получения речевых представлений на французском языке. Модель Base с 113,3 млн параметров обучена на 7,6 тыс. часов французской речи, включая спонтанную, чтение и вещательные записи. Она предназначена прежде всего для извлечения признаков из аудио и последующего обучения или настройки речевых систем. Полученные представления можно использовать в системах распознавания речи, распознавания и верификации говорящего, а также разделения источников звука. Для распознавания речи модель можно дообучить с CTC, в частности с помощью Fairseq или SpeechBrain. Готовой транскрипцией модель сама по себе не является. Репозиторий содержит веса PyTorch и safetensors; лицензия — Apache-2.0.
ARC-Qwen-Video-7B — мультимодальная модель TencentARC для понимания коротких видео из реального мира. Она дообучена на базе Qwen/Qwen2.5-VL-7B-Instruct и сочетает архитектуру Qwen2.5-VL с аудиоэнкодером. Модель принимает видео с аудио и формирует текстовые ответы; для кадров используется фиксированное разрешение 392 × 292 пикселя. Модель предназначена для вопросов о содержании видео, рассуждений о событиях и временной привязки действий. В README приведены результаты оценки на наборах Video-MMMU, MMVU, Temp-Compass, Video-Holmes, Video-MME, VCR-Bench, MV-Bench, ShortVid-Bench и Charades-STA; большинство оценок, кроме VideoMMMU и Charades-STA, рассчитано на вопросах с выбором ответа. Размер модели — 7,1 млрд параметров, контекст — до 128 000 токенов. Выпущена под лицензией Apache-2.0. README также описывает отдельную модель ARC-Qwen-Video-7B-Narrator, которая выводит описания с временными метками, идентификаторы говорящих и текст распознавания речи. Эти функции нельзя автоматически приписывать рассматриваемой модели. Для инференса указаны проверенные окружения NVIDIA H20 с CUDA 12.4 и A100 с CUDA 12.1; использование требует настройки зависимостей и поддерживаемой среды.
DuplexJev-B — вариант модели DuplexJev от adventists-ai для извлечения текстовых ответов и закрытых решений непосредственно из речи. Она соединяет замороженный аудиоэнкодер adventists-ai/Qwen3-ASR-0.6B-Encoder с замороженной Qwen/Qwen3-32B через обученный коннектор в формате Ultravox. Вариант B передаёт выход последнего слоя энкодера через объединение кадров и SwiGLU-проектор; обучено 17,8 млн параметров коннектора. Модель предназначена для ответов на вопросы по аудиозаписи и классификации речевых событий, например определения конца реплики, подходящего заполнителя паузы или говорящего. Решение читается как распределение по одному токену без этапа генерации, что позволяет задавать несколько вопросов за один проход. Поддерживаются китайский и английский языки; запросы следует формулировать на языке аудиозаписи с вариантами ответа в стиле обучающих примеров. Лицензия — Apache-2.0. В опубликованных оценках приведены результаты на небольших наборах QA и определения состояния очереди речи; результаты зависят от формулировки запроса. Модель проверяли на прочитанной или сыгранной речи, а не на потоковом аудио. Классификация эмоций обучена на корпусах с актёрской речью, поэтому её не следует использовать для принятия решений о людях. Для работы необходимы указанные аудиоэнкодер и языковая модель.
E.T. Chat Phi-3 Mini Stage 2-3 — мультимодальная модель Ye Liu для диалога по видео и временной привязки событий. Архитектура включает визуальный энкодер, компрессор кадров и языковую модель; в этом чекпойнте используется плотная архитектура ETChatPhi3ForCausalLM на 3,7 млрд параметров с контекстом 4096 токенов. Модель принимает видео и текстовые запросы и формирует текстовые ответы; специальный токен запускает сопоставление эмбеддингов кадров для предсказания временных отметок. Чекпойнт обучен на смеси данных этапов 2 и 3, включая ET-Instruct-164K, VideoChatGPT и LLaVA-1.5-Instruct. Смешанное обучение улучшает общие диалоговые способности, но может несколько ухудшать точность временной привязки по сравнению с вариантами, оптимизированными для grounding. Основной язык — английский. Лицензия — BSD-3-Clause.
alien79/F5-TTS-italian — дообученная на итальянской речи версия F5-TTS от автора alien79. Модель предназначена для синтеза итальянской речи по тексту; для обучения использовано более 73 часов обучающей части набора ylacombe/cml-tts. В репозитории есть веса PyTorch в формате Safetensors, включая чекпойнт примерно после 290 эпох обучения. Модель рассчитана на итальянский язык и плохо справляется с английским после дообучения. Автор отмечает, что произношение не всегда точное, числа перед синтезом нужно записывать словами, а ограниченное разнообразие голосов в обучающем наборе сказывается на клонировании голоса. Распространяется по лицензии CC BY 4.0.
Higgs Audio v3 — дообученная модель синтеза речи с одним голосом на телугу, созданная B. Narayana Reddy на базе Higgs Audio v3 с 4 млрд параметров. Она преобразует текст в выразительную речь голосом одного диктора без референсной аудиозаписи и поддерживает переключение между телугу и английским. Для текста на телугу требуется предварительная запись в ISO-15919 латиницей с тем же frontend.py, который использовался при обучении; README указывает, что без этого токенизация распадается на байтовые фрагменты. Это первый запуск адаптации голоса, предназначенный для исследовательского использования. Лицензия обозначена в метаданных как other.
LLaVA-Gemma-7B — мультимодальная чат-модель, разработанная Intel на основе фреймворка LLaVA v1.5. Она сочетает языковую модель Gemma 7B IT с визуальным энкодером на основе CLIP; в метаданных указано 8,2 млрд параметров и контекст до 8192 токенов. Модель принимает изображения и текст и генерирует текстовые ответы на вопросы по изображениям, а также поддерживает диалог. Модель предназначена для оценки на мультимодальных бенчмарках и использования в качестве чат-бота с поддержкой изображений. Она обучалась на смеси данных LLaVA v1.5, включающей пары изображение–текст, инструкции и наборы вопросов и ответов по изображениям. Основной заявленный язык — английский. Для использования требуется модифицированный препроцессор. В карточке отмечено, что на момент её публикации веса ещё не были преобразованы в формат Hugging Face LLaVA, что может усложнять запуск. Модель не предназначена для медицинских и других высокорисковых решений, а также для ситуаций, где критична фактическая точность. Лицензия в предоставленных данных не указана.
Matcha-TTS (LJSpeech) — модель синтеза речи, основанная на контрольной точке Matcha-TTS для датасета LJSpeech и экспортированная командой loom-ai-org в формат GGUF для loom.cpp. Веса не изменялись при экспорте; модель принимает идентификаторы фонем, а не обычный текст, и создаёт аудио на английском языке. Модель предназначена для преобразования фонемной последовательности в речь. Запустить её можно через библиотеку loom-py-rt, которая предоставляет высокоуровневый интерфейс для синтеза. В карточке указана лицензия MIT. Поскольку входом служат идентификаторы фонем, приложению потребуется отдельно подготовить текст в нужное фонемное представление.
facebook/mms-tts-biv — модель синтеза речи на южном бирифорском языке, разработанная Meta в рамках проекта Massively Multilingual Speech. Это отдельный чекпойнт для языка biv на архитектуре VITS, энд-ту-энд модели, которая преобразует текст в речевую аудиоволну. Вариативный предсказатель длительности позволяет получать разные ритмические варианты произнесения одного текста; генерация недетерминирована, поэтому для повторяемого результата нужен фиксированный seed. Модель предназначена для озвучивания текста на южном бирифорском. Она содержит около 3,5 млн параметров и доступна для работы через Transformers версии 4.33 и выше. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает о поддержке других языков или о параметрах аудио на выходе.
facebook/mms-tts-hak — модель синтеза речи на языке хакка, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст в речевую аудиоволну и предназначена для озвучивания текста на хакка. Модель использует архитектуру VITS и содержит около 3,5 млн параметров; для каждого языка MMS обучается отдельный чекпойнт. VITS объединяет текстовый энкодер, вероятностные компоненты и декодер, формирующий аудиоволну. Модель доступна через библиотеку Transformers версии 4.33 и новее. Генерация стохастическая: для повторения того же результата требуется фиксировать seed. Модель рассчитана на хакка, поэтому её не следует считать универсальным многоязычным синтезатором. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое применение.
facebook/mms-tts-nuz — модель синтеза речи на науатльском языке варианта Тламакатсапа (код nuz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует входной текст в речевую аудиозапись и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, Transformer-энкодера текста, flow-модуля и декодера в стиле HiFi-GAN. Веса доступны в форматах PyTorch и Safetensors; размер модели — около 3,5 млн параметров. Для языка обучен отдельный чекпойнт. Генерация стохастическая: для повторения того же результата нужно фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка предлагает использовать её через Transformers версии 4.33 или новее.
facebook/mms-tts-yuz — модель синтеза речи на языке юракаре (Yuracare, код yuz), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания фраз и создания речевого вывода для приложений. Модель построена на архитектуре VITS и обучена отдельно для юракаре; в репозитории указаны веса PyTorch и Safetensors, а размер составляет около 3,5 млн параметров. Для использования поддерживается библиотека Transformers версии 4.33 и выше. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Генерация стохастическая: чтобы повторить тот же результат, нужно зафиксировать seed.
NeuTTS Nano (English) — модель синтеза речи, разработанная Neuphonic для локального запуска на CPU и устройствах с ограниченными ресурсами. Она преобразует текст в речь, используя короткий аудиозапись и её расшифровку как образец голоса, чтобы клонировать его тембр и манеру. Модель предназначена для голосовых помощников, встроенных голосовых агентов и приложений, которым важно обрабатывать текст и аудио на устройстве. В основе — компактная языковая модель для генерации токенов речи и аудиокодек NeuCodec с одной кодовой книгой. В README указано около 116,8 млн активных параметров у языковой основы и около 228,7 млн параметров с учётом связанных эмбеддингов и выходной головы. Репозиторий предлагает версии GGUF с квантованием Q4 и Q8; метаданные также указывают формат safetensors. Модель рассчитана на генерацию в реальном времени или быстрее на процессорах и поддерживает только английский язык. Для работы нужны текст, референсное аудио и его текстовая расшифровка; результат — синтезированная речь с водяным знаком. Качество клонирования зависит от чистоты и непрерывности референсной записи. Для фонемизации требуется espeak-ng. В метаданных лицензия обозначена как other, но её условия в предоставленной карточке не раскрыты.
OmniCoT-R1 — мультимодальная модель на архитектуре Qwen2.5-VL, дообученная на данных с рассуждениями OmniCoT для панорамных изображений. Она предназначена для диалогового анализа визуальных данных и генерации текстовых ответов по изображениям. Модель содержит 7,1 млрд параметров, принимает текст и изображения и поддерживает контекст до 128 000 токенов. Модель создана дообучением Qwen/Qwen2.5-VL-7B-Instruct. В карточке не описаны конкретные результаты оценки или дополнительные сценарии применения. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории модели и у правообладателей.
ModelsLab/omnivoice-singing — это дообученная модель преобразования текста в речь на базе k2-fsa/OmniVoice. Она добавляет к многоязычному синтезу речи пение и управление эмоциями с помощью текстовых тегов, например [singing], [happy], [sad], [angry], [excited], [calm], [nervous] и [whisper]. Разработчик указывает архитектуру Qwen3-0.6B LM с аудиотокенизатором HiggsAudioV2 и частотой вывода 24 кГц; модель совместима с кодом и API исходной OmniVoice. Модель предназначена для синтеза выразительной речи и мелодичного вокала, а также сохраняет клонирование голоса по образцу аудио, настройку характеристик голоса и управление произношением, скоростью и длительностью. Карточка заявляет поддержку более 600 языков; среди перечисленных — английский, китайский, японский, корейский, испанский, французский, немецкий, итальянский, русский, хинди и гуджарати. Модель опубликована под лицензией Apache-2.0. Ограничения: поведение тегов [calm] и [excited] слабее из-за малого числа обучающих примеров, а качество пения на других языках может различаться. Токенизатор настроен на речь и не предназначен для генерации музыки или ударных партий.
Карточка модели Stilesterk2598/omnivoice-singing на Hugging Face совпадает с карточкой ModelsLab/omnivoice-singing, поэтому описание составлено по ней. ModelsLab/omnivoice-singing — это дообученная модель преобразования текста в речь на базе k2-fsa/OmniVoice. Она добавляет к многоязычному синтезу речи пение и управление эмоциями с помощью текстовых тегов, например [singing], [happy], [sad], [angry], [excited], [calm], [nervous] и [whisper]. Разработчик указывает архитектуру Qwen3-0.6B LM с аудиотокенизатором HiggsAudioV2 и частотой вывода 24 кГц; модель совместима с кодом и API исходной OmniVoice. Модель предназначена для синтеза выразительной речи и мелодичного вокала, а также сохраняет клонирование голоса по образцу аудио, настройку характеристик голоса и управление произношением, скоростью и длительностью. Карточка заявляет поддержку более 600 языков; среди перечисленных — английский, китайский, японский, корейский, испанский, французский, немецкий, итальянский, русский, хинди и гуджарати. Модель опубликована под лицензией Apache-2.0. Ограничения: поведение тегов [calm] и [excited] слабее из-за малого числа обучающих примеров, а качество пения на других языках может различаться. Токенизатор настроен на речь и не предназначен для генерации музыки или ударных партий.
PyroDash-4B-GRPO-Lambda-0.05 — экспериментальный чекпойнт команды PyroMind, созданный дообучением Qwen/Qwen3.5-4B через PyroDash-4B-SFT с применением GRPO. Модель предназначена для визуально-текстового диалога и рассуждений с динамической передачей сложных запросов большой модели через внешний совместимый с OpenAI API сервис. Вариант λ=0,05 ориентирован на качество ответов и использует штраф за обращения к большой модели для балансировки точности и вычислительных затрат. Архитектура — плотная мультимодальная Qwen3.5 на 4 млрд параметров; модель принимает текст и изображения и выдаёт текст. В карточке указаны английский и китайский языки. В приведённой оценке точность составила 64,04%, однако результат относится к описанной авторами оценке и не гарантирует качество на других задачах. Для сценария передачи запросов необходимы настроенный API большой модели, совместимая инфраструктура запуска и токенизатор со специальным токеном. Лицензия — Apache-2.0.
DraconicDragon/ToriiGate-0.5-GGUF — это набор GGUF-квантизированных версий мультимодальной модели Minthy/ToriiGate-0.5, подготовленный для запуска с помощью llama.cpp. Исходная модель разработана Minthy, а данный репозиторий содержит её квантизованные варианты и использует релиз llama.cpp b8720. Модель предназначена для задач image-text-to-text, то есть для обработки изображений и генерации текстовых ответов на их основе. В README указано, что модель поддерживает английский язык и мультимодальный ввод с использованием изображения и текста. Конкретные сведения об архитектуре, количестве параметров, длине контекста и точных доступных вариантах квантования не приведены; упоминается протестированный вариант Q4KM с vision encoder в формате Q8. Сильной стороной модели является возможность локального запуска в GGUF через llama.cpp при сниженных требованиях к ресурсам по сравнению с полной версией. Ограничения включают зависимость качества и скорости от выбранного уровня квантования, а также отсутствие подробных характеристик и результатов тестирования в представленном README. Модель распространяется по лицензии MIT. Для использования рекомендуется учитывать совместимость с llama.cpp и корректным chat template, включённым в обновлённые GGUF-файлы.
VibeVoice-Hindi-7B — дообученная командой автора карточки модель синтеза речи на основе vibevoice/VibeVoice-7B, предназначенная для озвучивания текста на хинди. В README заявлены архитектура VibeVoice-7B с языковой основой Qwen2.5-7B, акустическим и семантическим токенизаторами σ-VAE и диффузионным блоком примерно на 600 млн параметров. Контекст составляет 32 тысячи токенов, что, по карточке, соответствует примерно 45 минутам аудио. Модель генерирует выразительную речь, поддерживает длинные аудиофрагменты, диалоги с несколькими говорящими и клонирование голоса по предоставленным образцам. README описывает потоковую генерацию и демонстрацию через Gradio. Указанный метод адаптации включает LoRA для языковой модели и полное дообучение диффузионного блока. Карточка противоречива в отношении языков: название и разделы о возможностях заявляют поддержку хинди, а ограничения базовой модели говорят, что обучение велось только на английском и китайском и другие языки не поддерживаются. Поэтому пригодность для качественного синтеза хинди требует проверки. Также качество клонирования зависит от образца голоса; модель не предназначена для музыки, фоновых звуков или перекрывающейся речи. Лицензия репозитория — MIT; README указывает исследовательское назначение и предостерегает от клонирования голоса без согласия и от вводящего в заблуждение использования аудио.
Модель vitouphy/wav2vec2-xls-r-300m-timit-phoneme разработана на основе facebook/wav2vec2-xls-r-300m и дообучена на корпусе DARPA TIMIT для распознавания речи. Она принимает аудио и с помощью архитектуры Wav2Vec2ForCTC преобразует его в текст; в карточке Hugging Face задача указана как automatic-speech-recognition. В тестовом разбиении TIMIT автор сообщает результат 7,996%. Модель содержит около 402,7 млн параметров и распространяется в форматах PyTorch и Safetensors. Модель подходит для экспериментов и распознавания речи на данных, близких к TIMIT. В README не уточняется, является ли текстовый результат обычной транскрипцией или фонетической последовательностью, поэтому это следует проверить перед использованием в конкретном конвейере. Лицензия — Apache-2.0.
wavlm-vindata-demo-dist — дообученная модель распознавания речи на базе microsoft/wavlm-base, разработанная автором репозитория phongdtd. Модель использует архитектуру WavLMForCTC и содержит 113,3 млн параметров. Модель предназначена для преобразования аудио в текст и дообучена на наборе PHONGDTD/VINDATAVLSP — NA. В опубликованной оценке на тестовом наборе указаны Loss 3,4439 и WER 1,0; такое значение WER указывает на крайне низкое качество распознавания в этой оценке. Репозиторий содержит веса PyTorch. Условия лицензирования в предоставленных данных не описаны.
Whisper large-v3-ar-eg-timestamps — модель распознавания речи на базе Whisper large-v3 от OpenAI, дообученная Мохамедом Котбом под патронатом профессора Али Гомаа. Она предназначена для транскрибации чтения Корана и хадисов, а также египетской арабской речи в формальном регистре. Модель сохраняет предсказание временных меток Whisper: при запросе пословных меток каждому слову сопоставляется временной интервал с разрешением 20 мс. Размер модели — 905,2 млн параметров; она принимает аудио и выдаёт текст с временными метками. Обучение включало датасеты с Кораном, хадисами и египетской речью, а также данные с временной разметкой. Модель показывает низкие WER и CER на указанных в карточке тестовых наборах Корана, хадисов и египетской речи; результаты получены на конкретных наборах и не гарантируют такую же точность на других записях. Текст выдаётся в имляйской орфографии без огласовок, числа записываются арабскими словами. Пословные метки подходят для навигации по записи, тогда как границы сегментов могут быть грубыми, а иногда временная метка отдельного слова отсутствует. Модель не предназначена для общего египетского диалекта и не является источником канонического религиозного текста — результат следует сверять с авторитетными письменными источниками. Лицензия — Apache-2.0.
Модель thunderboltc/whisper_sanlish_mnx_lr2e5 — дообученная thunderboltc модель Whisper-small для распознавания речи на сантали с выводом транскрипции латиницей в орфографии Sanlish. Она использует архитектуру Transformer encoder-decoder Whisper и предназначена для исследований и разработки речевых технологий для сантали, низкоресурсного языка. Обучение проводилось на 1 489 аудиозаписях с транскрипциями; для проверки использовались 192 примера, для тестирования — 194. На тестовой выборке указаны WER 37,50% и CER 8,27%. Модель принимает аудио и генерирует текст. Репозиторий распространяется по лицензии Apache-2.0.
Noobbbbb/whisper-tiny-bn-custom-spm — модель распознавания речи на основе архитектуры Whisper, разработанная автором репозитория и дообученная на неизвестном наборе данных. Она предназначена для преобразования аудио в текст; метаданные связывают модель с бенгальским языком. Модель загружается через библиотеку Transformers, веса опубликованы в формате safetensors, лицензия — Apache-2.0. В README приведены результаты оценки: loss 1,4220, WER 72,73 и CER 46,62. Высокие значения ошибок указывают на заметные ограничения распознавания, поэтому качество следует проверить на целевых аудиозаписях перед применением. Сведения о размере модели, контексте, обучающих данных и конкретных условиях записи не приведены.
Wren-TTS-0.5B-multi-expressive — мультиязычная модель синтеза речи серии Wren от shangeth, дообученная на базе shangeth/Wren-TTS-0.5B-multi. Она преобразует текст в токены нейрокодека Kyutai Mimi с помощью языковой модели на базе Qwen2.5-0.5B, после чего декодер Mimi формирует аудио с частотой 24 кГц. Архитектура использует восемь кодовых книг Mimi, схему предсказания с задержкой и conditioning по аудиозаписи голоса. Модель рассчитана на синтез речи с клонированием голоса по обязательному референсному аудиоклипу и управлением стилем с помощью 23 тегов эмоций и манеры речи. Поддерживаются английский, немецкий, французский, испанский, нидерландский, итальянский, польский и португальский языки. Теги стиля обучались только на английском тексте, поэтому их поведение с другими языками не определено. Стиль передаётся не всегда точно; качество зависит от тега и языка, а по качеству модель уступает ведущим выразительным системам синтеза речи. Унаследованные ограничения включают возможные галлюцинированные продолжения и склонность к аудиокнижной интонации в нетегированном английском. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Модель ivrit-ai/yi-whisper-large-v3 разработана командой ivrit-ai и представляет собой дообученную версию Whisper Large v3 от OpenAI для распознавания речи на идише. Это плотная модель архитектуры Whisper с 905,2 млн параметров, опубликованная в формате safetensors для Transformers под лицензией Apache-2.0. Модель предназначена прежде всего для транскрибации аудио на идише. При обучении использовались краудсорсинговые записи чтения фрагментов статей и голосовые сообщения с заранее заданными фразами; в части примеров учитывались временные метки и предыдущий текст. Для распознавания следует явно задавать языковой токен идиша. В README отмечено, что обучение ухудшило автоматическое определение языка, поэтому модель рассчитана преимущественно на аудио на иврите. Перевод аудио не обучался и работает ненадёжно. Модель не следует выбирать для перевода речи или распознавания других языков без проверки.
zen3-vl-i1-GGUF — это набор GGUF-квантизаций мультимодальной vision-модели zen3-vl, разработанной zenlm и квантизированной mradermacher. Модель предназначена для задач image-text-to-text, то есть обработки изображений вместе с текстовыми запросами и генерации текстовых ответов. В README указана поддержка английского языка и библиотека Transformers. Архитектура, количество параметров, максимальный контекст и точный перечень поддерживаемых форматов изображений не указаны. Репозиторий содержит варианты квантизации от i1-IQ1_S до i1-Q6_K размером примерно от 2,2 до 6,8 ГБ, а также файл imatrix для создания собственных квантизаций. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать в качестве; среди доступных вариантов README рекомендует i1-Q4_K_M как быстрый вариант и i1-Q4_K_S как компромисс между размером, скоростью и качеством. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Модель распространяется по лицензии Apache-2.0. README не содержит результатов тестирования, поэтому фактическое качество, производительность и ограничения в конкретных сценариях не определены.
Bunny-v1_0-3B-zh — мультимодальная модель семейства Bunny от BAAI. Она сочетает языковую модель MiniCPM-2B с визуальным энкодером SigLIP и предназначена для диалога и ответов на вопросы по изображениям, с особым акцентом на китайский язык. По данным карточки, модель набрала 64,9 на тестовой части MMBench-CN. Модель содержит 2,7 млрд параметров, принимает изображения и текстовые запросы и генерирует текст. Длина контекста составляет 2048 токенов. В карточке описаны предварительное обучение на LAION-2M и дообучение на Bunny-695K. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для диалоговых сценариев, требующих интерпретации изображений на китайском языке. Её оценка приведена для MMBench-CN; карточка не сообщает сопоставимых результатов для других языков и сценариев, поэтому переносить эту оценку на них не следует.
CompoDistill-2B — мультимодальная модель для диалогов и композиционного рассуждения по изображениям и тексту. Она описана как финальная студенческая модель семейства CompoDistill, разработанная в рамках работы CompoDistill: Attention Distillation for Compositional Reasoning in Multimodal LLMs. Модель сочетает языковую основу Qwen1.5-1.8B и визуальный энкодер SigLIP-so400m. Её обучали в три этапа: DPT, DFT и SFT, включая дистилляцию визуального внимания от мультимодального учителя на базе Qwen1.5-4B. Подходит для ответов на вопросы об изображениях и задач, требующих связывать несколько визуальных деталей с текстовым запросом. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Карточка не сообщает длину контекста и список поддерживаемых языков; заявленное назначение сосредоточено на визуальном композиционном рассуждении.