I.15Доступность и ассистивные технологии

facebook/mms-tts-xte — модель синтеза речи на кетенгбанском языке (код xte), созданная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст в речевую аудиоволну и предназначена для озвучивания фраз на этом языке. Для разных языков проекта обучены отдельные чекпойнты. Модель использует архитектуру VITS: текстовый энкодер на основе Transformer, flow-модуль и декодер, формирующий аудиосигнал. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы с ним подходит Transformers версии 4.33 и выше. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение. Предсказатель длительности работает стохастически, поэтому одинаковый текст может получать разный ритм и звучание; для повторяемого результата нужен фиксированный seed. Модель предназначена только для кетенгбанского и не заявлена как универсальная многоязычная система.

facebook/mms-tts-zyb — модель синтеза речи на языке чжуан, диалект юнбэй, разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых приложений для языка с ограниченными ресурсами. Модель использует архитектуру VITS: это сквозная система синтеза речи с вариационным автоэнкодером, поточным модулем и декодером на основе транспонированных свёрток, подобным HiFi-GAN. Предсказатель длительности позволяет синтезировать текст с различным ритмом; из-за его стохастичности для повторяемого результата требуется фиксировать seed. Веса доступны в форматах PyTorch и Safetensors, размер модели — 3,5 млн параметров. Для использования доступна библиотека Transformers версии 4.33 и новее. Модель предназначена для генерации речи только на языке чжуан, диалект юнбэй. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Tanuki-8B-vision — визуально-языковая модель проекта GENIAC Matsuo Lab, построенная на основе LLaVA 1.5. В качестве языковой модели используется Tanuki-8B phase1, а для кодирования изображений — google/siglip-so400m-patch14-384. Модель насчитывает 7,2 млрд параметров, имеет контекст 8192 токена и распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для диалога и генерации текста по изображениям, включая ответы на вопросы о визуальном содержимом. Проект ориентирован на японский язык; разработчики создавали её экспериментально, используя синтетические данные для расширения доступного набора японских данных для коммерчески применимых VLM. Карточка упоминает оценку на лидерборде Heron VLM с помощью GPT-4, но не приводит численных результатов. Ожидаемое ограничение — качество может зависеть от японского языка и сценариев, представленных в обучающих данных; разработка проводилась как эксперимент участниками проекта, а не как основная цель проекта GENIAC.

theworld-spatial-channel-justprojection-fixed-mlp — дообученная модель на базе Google Gemma 3 4B IT с архитектурой Gemma3ForConditionalGeneration. Метаданные относят её к мультимодальным моделям vision и указывают задачу image-text-to-text: модель принимает изображения и текст и формирует текстовые ответы. README не описывает конкретные сценарии применения, обучающие данные или результаты оценки. Модель может использоваться для экспериментов с ответами на запросы по изображениям; её точность и пригодность для конкретных задач по доступным сведениям оценить нельзя. Указанная лицензия — gemma; перед использованием следует учитывать условия лицензии Gemma.

theworld-spatial-from-cc3m-lm-actually-unfrozen — мультимодальная модель на базе Gemma 3 4B IT, дообученная для задачи image-text-to-text. Архитектура — плотная Gemma3ForConditionalGeneration; модель принимает изображения и текст и формирует текстовые ответы. В карточке указано, что она дообучена на неизвестном наборе данных, но назначение с уточнением пространственных возможностей не описано. Модель может подойти для экспериментов с ответами на вопросы по изображениям и другими сценариями преобразования изображений и текста в текст. Репозиторий содержит веса в формате safetensors и использует лицензию Gemma. Карточка не сообщает о качестве, длине контекста и конкретных ограничениях; условия лицензии Gemma следует учитывать при использовании.

Sahithinethi/whisper-marathi-HSBC — дообученная модель распознавания речи на основе Whisper Tiny от OpenAI. Она предназначена для преобразования аудиозаписей в текст; название указывает на ориентацию на язык маратхи, однако README не уточняет данные обучения и сценарии применения. Модель использует архитектуру WhisperForConditionalGeneration и опубликована в формате safetensors. Лицензия — Apache-2.0. В README приведены результаты оценки: loss 0,8263 и WER 114,79; столь высокий WER указывает на серьёзные ограничения качества транскрибации в оценённом наборе. Детали набора данных и дополнительные ограничения не описаны.

Модель yujuyeon/internvl3_5-1b-korean-347k — мультимодальная версия InternVL3.5-1B, дообученная автором карточки на 347 тысячах примеров корейского SFT-датасета из 18 подмножеств. Использует архитектуру InternVLChatModel и библиотеку Transformers; веса доступны в формате safetensors. Модель предназначена для диалоговых ответов на корейском языке по текстовым запросам и изображениям. Примеры обучающих данных включают визуальные вопросы и ответы, описание изображений и пересказ. Базовая модель — OpenGVLab/InternVL3_5-1B; указан метод полного дообучения. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить с карточкой модели и базовой модели. Обучение на специализированном корейском наборе может ограничивать качество ответов на других языках и задачах, а сведения о контексте и сравнительной оценке качества в карточке отсутствуют.

Карточка модели liuhaotian/LLaVA-13b-delta-v0 на Hugging Face совпадает с карточкой liuhaotian/LLaVA-7b-delta-v0, поэтому описание составлено по ней. LLaVA-7b-delta-v0 — файл разницы весов модели LLaVA, разработанной авторами LLaVA. Это не самостоятельная модель: delta нужно применить к исходным весам LLaMA, чтобы получить рабочие веса LLaVA. Полученная модель представляет собой авторегрессионный чат-бот на основе трансформера, дообученный на LLaMA/Vicuna с использованием данных для мультимодального следования инструкциям. В карточке Hugging Face указаны архитектура LLaMA, 6,6 млрд параметров и формат PyTorch. Модель предназначена для исследовательских и экспериментальных сценариев общения с изображениями: ответы на вопросы о визуальном содержимом, подробные описания и визуальные рассуждения. При обучении использовались 595 тысяч пар изображение–текст из CC3M и 150 тысяч инструкций, созданных GPT. README сообщает о предварительной оценке на вопросах по изображениям COCO и датасете ScienceQA. Для использования сначала требуется применить delta к исходным весам LLaMA; сама delta не принимает запросы и не генерирует ответы. Лицензия — Apache License 2.0. Указанные результаты оценки предварительные и не гарантируют качество на других данных или задачах.

facebook/mms-tts-xtd — модель синтеза речи на языке Mixtec, диалект Diuxi-Tilantongo (код xtd), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на этом языке в речевую аудиоволну и предназначена для озвучивания текста и создания речевых данных для приложений на языке Mixtec. Модель использует архитектуру VITS и содержит 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; модель доступна через библиотеку Transformers версии 4.33 и новее. Стохастический предиктор длительности позволяет варьировать ритм речи, поэтому для повторения результата требуется фиксировать seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Она рассчитана на синтез речи на указанном языке; сведений о поддержке других языков в карточке нет.

TaiVisionLM-base-v1 — мультимодальная модель benchang1110 с 1,2 млрд параметров, разработанная для ответов на инструкции на традиционном китайском языке с учётом входного изображения. Она объединяет визуальный энкодер SigLIP, языковую модель семейства TinyLlama и проектор признаков; по архитектурной идее близка к PaliGemma. Модель использует архитектуру TaiVisionForCausalLM и доступна в формате safetensors. Модель предназначена для диалога по изображениям и визуальных вопросов и ответов. В карточке описаны предварительное обучение на парах изображение—текст и выравнивание визуальных и текстовых признаков с помощью LoRA; обучение для подписей к изображениям и простого визуального вопросно-ответного режима обозначено как будущий этап. Для загрузки требуется Transformers с trust_remote_code=True, поскольку модель не интегрирована в библиотеку нативно. Лицензия в предоставленных данных не указана.

facebook/mms-tts-hto — модель синтеза речи на языке Minika (Witoto), разработанная Meta в рамках проекта Massively Multilingual Speech (MMS). Она преобразует входной текст на Minika в речевую аудиоволну и предназначена для озвучивания текста на этом языке. Модель построена на архитектуре VITS и содержит около 3,5 млн параметров. Это отдельный языковой чекпойнт MMS-TTS; синтез выполняется сквозным способом, а стохастический предиктор длительности позволяет получать разные ритмические варианты произнесения. Для воспроизводимого результата требуется фиксировать seed. Модель доступна через Transformers версии 4.33 и выше. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка описывает синтез речи для Minika; сведения о качестве и иных языках применения не заявлены.

facebook/mms-tts-rng — модель синтеза речи на языке ронга (rng), разработанная Meta в рамках проекта Massively Multilingual Speech. Она преобразует текст на ронга в речевую аудиоволну и подходит для озвучивания фраз и создания синтезированной речи для этого языка. Модель построена на архитектуре VITS: она объединяет вариационный автоэнкодер, Transformer-энкодер текста, flow-модуль, стохастический предсказатель длительности и HiFi-GAN-подобный декодер. Чекпойнт содержит 3,5 млн параметров и распространяется в форматах PyTorch и Safetensors; для работы доступен через Transformers версии 4.33 и новее. Предсказатель длительности позволяет варьировать ритм речи, поэтому результат может меняться между запусками; для повторяемого синтеза требуется фиксировать seed. Модель предназначена для ронга и не заявлена как многоязычная универсальная система. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

WindyTranslate/translate-es-ase — модель машинного перевода, опубликованная Windstorm Labs. Она переводит текст с испанского языка на американский язык жестов (ASL), используя архитектуру MarianMT с 52,6 млн параметров и контекстом до 512 токенов. Модель основана на Helsinki-NLP/opus-mt-es-ase. Её веса изменены: LoRA-дообучение на параллельном корпусе объединено с базовыми весами. Репозиторий содержит сборку Transformers в формате safetensors. Лицензия — Apache-2.0. Модель предназначена для перевода в одном направлении — с испанского на ASL. Качество перевода не оценивалось, поэтому пригодность результатов для практического использования не подтверждена; сам факт изменения весов не свидетельствует об улучшении качества.

arbml/whisper-tiny-ar — модель распознавания речи на архитектуре Whisper, дообученная на датасете Common Voice 11.0. Она предназначена для преобразования аудиозаписей в текст; в метаданных для неё указан язык хинди. Модель содержит 29,4 млн параметров и распространяется в формате PyTorch по лицензии Apache-2.0. В README приведены результаты оценки на тестовой выборке: loss 1,5989 и WER 83,4696. Это указывает на ограниченное качество распознавания в описанной оценке; дополнительных сведений о сценариях применения и ограничениях автор не предоставил.

Anthonyg5005/gemma-3n-e4b-mmproj-gguf — конверсия компонента mmproj в формате FP16 для Gemma 3n E4B IT, опубликованная автором репозитория. Компонент предназначен для совместной работы с базовой моделью при обработке изображений и генерации текстовых ответов; метаданные указывают поддержку задачи image-text-to-text и библиотеки llama.cpp. Репозиторий использует формат GGUF и лицензию Gemma. В README автор отмечает, что сборка работает, но результаты кажутся ненадёжными; причина может быть как в настройке окружения, так и в самой модели. Это компонент мультимодальной модели, а не самостоятельная универсальная модель.

thealper2/git-vqav2-medium — дообученная модель на базе microsoft/git-base-vqav2 для ответов на вопросы по изображениям. Она использует архитектуру GIT: визуальный энкодер CLIP ViT-B/16 принимает изображение 480×480, а 6-слойный причинный Transformer-декодер генерирует текстовый ответ. Модель содержит 80,1 млн параметров и рассчитана на контекст до 1024 токенов. Модель обучена на 50 000 вопросов из VQAv2, связанных с изображениями COCO, и предназначена для англоязычного визуального вопросно-ответного поиска: пользователь задаёт вопрос вместе с изображением и получает короткий ответ. В описанной проверке на подмножестве из 500 вопросов точность VQA составила 82,54%; этот результат не является оценкой на официальном тестовом сервере. Модель поддерживает только английский язык и изображения домена COCO; пакетная генерация требует группировать запросы одинаковой длины. Проверка на валидации может завышать качество, поскольку базовая модель, вероятно, уже обучалась на этих данных. Лицензия — MIT.

Thytu/phi-2-audio-super — экспериментальная разговорная модель семейства Phi-2, дообученная на базе abacaj/phi-2-super для автоматического распознавания речи на датасете LibriSpeech ASR. В карточке указана базовая модель microsoft/phi-2; архитектура — плотная авторегрессионная языковая модель PhiForCausalLM с 3,5 млрд параметров и контекстом 2048 токенов. Репозиторий содержит веса в формате safetensors, а метаданные отмечают поддержку чата и английский язык. Модель предназначена для экспериментов с преобразованием речи в текст на английском языке. Карточка помечает проект как находящийся в разработке, а инструкция по запуску ASR оставлена как TODO, поэтому готовность и качество распознавания не подтверждены. Лицензия — MIT.

Это 8-битная MLX-версия мультимодальной модели SmolVLM2-500M-Video-Instruct, подготовленная сообществом mlx-community на основе HuggingFaceTB/SmolVLM2-500M-Video-Instruct. Архитектура SmolVLM предназначена для обработки видео по текстовым запросам и генерации текстовых ответов; модель поддерживает диалоговый сценарий. Карточка указывает преобразование в формат MLX с помощью mlx-vlm 0.1.13 и пропуск vision-компонента; в метаданных также указано семейство SmolVLM и класс SmolVLMForConditionalGeneration. Модель подходит для вопросов о содержимом видео и кратких текстовых описаний видеоматериалов. В метаданных указан английский язык, а также датасеты The Cauldron и Docmatix. Репозиторий опубликован по лицензии Apache-2.0. Конкретный размер контекста и точное число параметров этой версии в предоставленных данных не приведены.

SenseNova-SI-1.1-InternVL3-2B — мультимодальная модель SenseNova, представленная в работе «Scaling Spatial Intelligence with Multimodal Foundation Models». Она дообучена на базе OpenGVLab/InternVL3-2B и предназначена прежде всего для пространственного понимания и рассуждений по изображениям и текстовым вопросам. Модель работает с диалоговым форматом и распространяется в формате safetensors для Transformers. В README заявлены результаты на пространственных бенчмарках VSI, MMSI, MindCube, ViewSpatial и SITE, а также сохранение сильных возможностей общего визуально-языкового понимания. Модель подходит для ответов на вопросы о расположении объектов, их взаимном положении и пространственных преобразованиях. Проект описан как продолжающееся исследовательское направление; результаты на бенчмарках не гарантируют качество во всех прикладных сценариях. Лицензия — Apache-2.0.

teowu/llava_v1.5_7b_qinstruct_preview_v0.1 — предварительная версия мультимодальной модели LLaVA, связанной с проектом Q-Instruct и авторами исследования «Q-Instruct: Improving Low-level Visual Abilities for Multi-modality Foundation Models». Это незавершённые веса, предназначенные для изучения и оценки возможностей визуальных языковых моделей в задачах восприятия изображений низкого уровня. Модель имеет плотную архитектуру LlavaLlamaForCausalLM на базе LLaVA и содержит 6,6 млрд параметров. Она принимает изображения и текстовые инструкции и генерирует текстовые ответы; заявленный контекст — 4096 токенов. В карточке указаны датасеты Q-Instruct и LLaVA-Instruct-150K, формат PyTorch и лицензия Apache-2.0. Английский указан среди языков карточки. Поскольку это preview с незавершёнными весами, качество и стабильность результатов могут быть ограничены; для ответственных прикладных сценариев модель следует предварительно оценить.

nanoVLM — компактная модель «изображение—текст» для экспериментов и эффективного обучения, опубликованная Asio123. Она построена на PyTorch и объединяет визуальный энкодер ViT на основе SigLIP-B/16-224-85M с лёгкой авторегрессионной языковой моделью SmolLM2-135M; общий размер составляет 222 млн параметров. Модель принимает изображение и текстовый запрос, а в ответ генерирует текст, что подходит для экспериментов с визуально-языковыми задачами. Архитектура и логика обучения описаны как минималистичные и помещаются примерно в 750 строк кода. Репозиторий распространяет веса в формате Safetensors; лицензия — MIT. Карточка позиционирует nanoVLM как средство для обучения и экспериментов, а не сообщает о проверенных характеристиках качества или производственной готовности.

gokaygokay/PaliGemma-PixelProse — дообученная модель семейства PaliGemma для генерации текста по изображению. Она принимает изображение и текстовый запрос и формирует текстовый ответ; модель обучена на 7500 случайных примерах из набора PixelProse. Архитектура — PaliGemmaForConditionalGeneration, формат весов — safetensors, запуск предусмотрен через Transformers. Модель подходит для экспериментов с описанием и интерпретацией изображений в стиле данных PixelProse. README указывает разрешение PaliGemma 224×224. Репозиторий распространяется по лицензии Apache-2.0. Небольшой случайный поднабор обучения может ограничивать качество и охват сценариев.

xmzhu/whisper-tiny-zh — дообученная модель распознавания речи на основе openai/whisper-tiny, созданная для китайского языка. Она преобразует аудио в текст и обучалась на китайской части датасета Common Voice 11.0 (zh-CN). Модель содержит 29,4 млн параметров и доступна в формате PyTorch. На оценочном наборе указаны loss 0,6121 и WER 91,0934; последнее значение указывает на очень высокий уровень ошибок распознавания. Модель может подойти для экспериментов с распознаванием китайской речи, однако её качество следует проверить на целевых аудиозаписях. Лицензия — Apache-2.0.

EvoVLM-JP-v1-7B — экспериментальная универсальная визуально-языковая модель, разработанная Sakana AI методом эволюционного слияния Shisa Gamma 7B v1 и LLaVA-1.6-Mistral-7B. Это авторегрессионная модель семейства LLaVA с 7B в названии и архитектурой LlavaForConditionalGeneration; репозиторий содержит веса в формате safetensors. Модель предназначена для ответов на вопросы о японских изображениях и других сценариев понимания изображений на японском языке. Для оптимизации использовалась часть японского датасета Visual Genome VQA. Карточка называет модель экспериментальным прототипом для исследований и разработок, не предназначенным для коммерческого применения или критически важных сред. Лицензия — Apache License 2.0.

SALT-NLP/LLaVAR_delta — дельта-веса мультимодальной модели LLaVAR от команды SALT-NLP. Репозиторий содержит не самостоятельную модель: дельту необходимо объединить с контрольной точкой LLaMA-13B, после чего модель предназначена для генерации текста по запросам и изображениям. В метаданных указаны архитектура LlavaLlamaForCausalLM, 12,9 млрд параметров, контекст 2048 токенов, поддержка английского языка и формат PyTorch. Модель относится к семейству LLaVA и рассчитана на сценарии визуальных вопросов и ответов и описания изображений после объединения весов с базовой моделью. Лицензия репозитория — Apache-2.0. Саму дельту нельзя запускать отдельно; README не содержит дополнительных сведений о качестве и ограничениях полученной модели.

LLaVA-7b-delta-v0 — файл разницы весов модели LLaVA, разработанной авторами LLaVA. Это не самостоятельная модель: delta нужно применить к исходным весам LLaMA, чтобы получить рабочие веса LLaVA. Полученная модель представляет собой авторегрессионный чат-бот на основе трансформера, дообученный на LLaMA/Vicuna с использованием данных для мультимодального следования инструкциям. В карточке Hugging Face указаны архитектура LLaMA, 6,6 млрд параметров и формат PyTorch. Модель предназначена для исследовательских и экспериментальных сценариев общения с изображениями: ответы на вопросы о визуальном содержимом, подробные описания и визуальные рассуждения. При обучении использовались 595 тысяч пар изображение–текст из CC3M и 150 тысяч инструкций, созданных GPT. README сообщает о предварительной оценке на вопросах по изображениям COCO и датасете ScienceQA. Для использования сначала требуется применить delta к исходным весам LLaMA; сама delta не принимает запросы и не генерирует ответы. Лицензия — Apache License 2.0. Указанные результаты оценки предварительные и не гарантируют качество на других данных или задачах.

Onyx-Kokoro-82M — производная модель синтеза речи на основе hexgrad/Kokoro-82M, подготовленная для приложения Onyx на iOS. Она предназначена для озвучивания ответов ассистента естественным нейросетевым голосом непосредственно на устройстве; движок OnyxTTS использует веса модели, а AVSpeechSynthesizer служит резервным вариантом. Модель основана на StyleTTS2 и поставляется в формате safetensors с разрядностью 4 бита для линейных слоёв текстового энкодера PL-BERT; путь вокодера оставлен в fp16. Вес модели занимает около 148 МБ, также доступны 54 голосовых пакета. README подтверждает синтез аудио с частотой 24 кГц и работу на Apple Silicon. Метаданные указывают английский язык; описания поддержки других языков голосовыми пакетами недостаточно, чтобы включить их в список языков. Модель предназначена для локального синтеза речи в OnyxTTS и требует совместимого движка MLX. Лицензия — Apache-2.0, как у базовой модели. Ограничение: применение описано для экосистемы Onyx на устройствах Apple, а другие среды запуска не подтверждены.

Atul8827/vilt_finetuned_200 — дообученная модель визуальных вопросов и ответов на основе dandelin/vilt-b32-mlm. Она принимает изображение вместе с текстовым вопросом и предназначена для ответа на вопросы о содержимом изображения. Модель использует архитектуру ViLT и содержит 136,7 млн параметров; для репозитория указаны веса safetensors и контекст длиной 40 токенов. Карточка сообщает о дообучении на наборе данных, обозначенном как None, и приводит результаты оценки: loss 9,2119, accuracy 0,0 и F1 0,0. Эти показатели не подтверждают практическую точность модели. Лицензия — Apache-2.0.

Vision-OPD-Qwen3.5-4B-RandomDrop5-Step30 — экспериментальный контрольный чекпойнт на базе Qwen/Qwen3.5-4B, обученный методом Vision-OPD. При обучении ученик использовал случайно сохраняемые 5% визуальных токенов, а учитель — полный набор визуальных токенов; для обучения указан набор Vision-OPD-6K. Это ранний proof-of-concept после 30 шагов, предназначенный для проверки подхода к сокращению визуальных токенов при обработке изображений. Модель принимает изображения и текст и генерирует текстовые ответы в диалоге. Чекпойнт работает с полным набором визуальных токенов через стандартный Transformers; для инференса с сохранением 5% токенов требуется код обслуживания с поддержкой pruning из prune-opd. Доступны веса в формате safetensors. Сведения о лицензии и контекстном окне в предоставленных источниках отсутствуют.

ChayanM/SwinV2-GPT2_Mimic — дообученная модель архитектуры vision-encoder-decoder, опубликованная в формате safetensors. Она принимает изображение и генерирует текст; название указывает на сочетание SwinV2 и GPT-2, однако карточка не подтверждает состав архитектуры, базовую модель или назначение генерируемого текста. В README приведены результаты оценки: Loss 0,1623, Rouge-1 30,2654, Rouge-2 21,4825, Rouge-L 30,2471 и средняя длина генерации 9 токенов. Модель может подходить для экспериментов с генерацией текста по изображениям, но датасет и конкретный сценарий применения не описаны. Лицензия в предоставленных данных не указана.