I.15Доступность и ассистивные технологии

wav2vec2-large-xlsr-53-faroese-100h — акустическая модель для автоматического распознавания речи на фарерском языке. Её дообучил Carlos Daniel Hernández Mena в Language and Voice Lab Университета Рейкьявика на 100 часах фарерской речи из набора Ravnursson Faroese Speech and Transcripts, выпущенного проектом Ravnur. Модель построена на архитектуре wav2vec2 и использует CTC для преобразования аудио в текст. Она предназначена для транскрибирования фарерской речи; в README приведён результат оценки 0,076, но метрика не названа. Модель опубликована в формате PyTorch и содержит около 402,7 млн параметров. Лицензия — CC BY 4.0.

Это модель автоматического распознавания речи на архитектуре Wav2Vec2 с CTC-декодированием, дообученная на основе KasuleTrevor/wav2vec2-xls-r-300m-nyn_filtered-yogera-v3. В репозитории указано 402,7 млн параметров и формат safetensors. Название модели указывает на многоязычную фильтрацию для Yogera, однако README не описывает языки и обучающие данные, поэтому языковую поддержку по этим сведениям установить нельзя. Модель предназначена для преобразования речи в текст. В карточке приведены результаты оценки: WER 0,6815 и CER 0,2155; они указывают на заметные ошибки распознавания и требуют осторожности при практическом применении. Условия лицензии в предоставленных данных не приведены.

Whispeer — дообученная модель семейства Whisper от автора HariprasathSB, основанная на vasista22/whisper-tamil-medium. Она предназначена для автоматического распознавания речи: принимает аудио и преобразует его в текст. Модель содержит около 455,8 млн параметров и опубликована в формате safetensors. Модель ориентирована на распознавание тамильской речи. Базовая карточка указывает Apache License 2.0. В README не приведены сведения о датасете обучения и результатах оценки, поэтому качество на конкретных записях и сценариях по имеющимся данным оценить нельзя.

Модель Whisper Large, дообученная Карлосом Даниэлем Эрнандесом Меной в Лаборатории языка и голоса Университета Рейкьявика для автоматического распознавания исландской речи. Для обучения использовано около 1000 часов данных, включая речь детей, парламентские выступления и речь изучающих исландский; часть материалов не опубликована. Модель содержит около 905,2 млн параметров, использует архитектуру Whisper и доступна в формате PyTorch. Она принимает аудио и генерирует текстовую расшифровку на исландском языке. Лицензия — CC BY 4.0. В README приведён результат оценки 12,325, но метрика и условия тестирования не уточнены.

kpriyanshu256/whisper-large-v2-br-1000-32-1e-05 — дообученная модель автоматического распознавания речи на архитектуре Whisper large-v2, разработанная на основе openai/whisper-large-v2. Она обучена на Common Voice 11.0 для распознавания бретонской речи; на тестовой выборке указана ошибка WER 39,9271 и loss 0,7162. Модель содержит 905,2 млн параметров и опубликована в формате PyTorch. Модель подходит для преобразования аудиозаписей на бретонском языке в текст. Лицензия — Apache-2.0. Указанный WER свидетельствует, что распознанный текст может содержать существенные ошибки; перед применением в ответственных сценариях нужна проверка качества на целевых аудиоданных.

Модель oddadmix/whisper-large-v3-arabic-dialectal-v2 разработана автором oddadmix на базе Whisper large-v3 от OpenAI и дообучена для распознавания разговорного арабского языка в разных диалектах. Она принимает аудио и преобразует речь в текст; в карточке описано дообучение на сбалансированном по диалектам наборе lahgtna-v3-small: 52 тысячи обучающих и 2,6 тысячи тестовых фрагментов. Размер базовой модели — 1,54 млрд параметров, архитектура — WhisperForConditionalGeneration, веса опубликованы в формате safetensors. На сбалансированной тестовой выборке модель показала WER 0,3199 и CER 0,1203 при оценке нормализованного текста без диакритических знаков. В приведённых результатах лучше распознаются саудовский и другие заливные варианты, сложнее — магрибские диалекты, включая тунисский, алжирский и марокканский. Модель рассчитана на транскрибацию арабской речи, а не на генерацию текста по произвольным запросам. Модель распространяется по лицензии Apache-2.0. Она унаследовала мультиязычные возможности Whisper large-v3, однако дообучение и заявленная специализация ориентированы на арабские диалекты; показатели зависят от диалекта, качества аудио и принятой нормализации транскрипта.

Elizabeth Mwangi разработала эту модель на базе Whisper Large V3 для распознавания кенийской суахилийской речи с нестандартным произношением. Это второй этап дообучения: исходная модель Whisper Large V3 была адаптирована на образовательной речи AfriVoice, а затем чекпойнт дообучили на датасете CDLI Kenyan Swahili Nonstandard Speech. Модель содержит 905,2 млн параметров и распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для автоматической транскрипции кенийской суахилийской речи, в том числе речи с выраженными отклонениями от стандартного произношения. На тестовом наборе Kenyan Swahili Nonstandard Speech авторы сообщают WER 0,307 и CER 0,146; результат зависит от выраженности отклонений, причём для тяжёлых случаев WER выше, чем для лёгких. Оценка приведена для конкретного тестового набора и не гарантирует аналогичного качества на других разновидностях речи или в иных условиях записи.

Это дообученная версия Whisper Medium, созданная автором репозитория на основе openai/whisper-medium и обученная 500 шагов на испанской версии датасета Common Voice 17.0. Данные были приведены к частоте 16 кГц; текст не проходил дополнительную обработку. Модель предназначена для автоматической расшифровки испанской речи в текст. В README приведены результаты на оценочной выборке: WER 6,159 и WER Ortho 10,8189. Архитектура Whisper содержит 455,8 млн параметров; модель работает с аудиовходом и текстовым выводом. Используется библиотека Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает ограничения и дополнительные сценарии использования; качество за пределами указанного оценочного набора не установлено.

Shagufta/whisper-medium-km-indomain15-withac — модель распознавания речи, созданная дообучением OpenAI Whisper Medium на аудио на креольском языке Маврикия (Kreol Morisien, mfe). Это плотная encoder-decoder модель класса WhisperForConditionalGeneration примерно с 769 млн параметров, предназначенная для преобразования речи на этом языке в текст. В обучении использовались около 15 часов внутридоменной речи, разделённые на обучающую и проверочную выборки; аудио было в формате WAV, 16 кГц, моно. В названии README заявлено кондиционирование по акценту. Модель ориентирована на расшифровку речи на креольском Маврикия в тематически близких к обучающим данным сценариях. Она построена на мультиязычной базовой модели Whisper Medium, однако сведения о контекстном окне и измеренных показателях качества этой версии не приведены. Модель распространяется под лицензией Apache-2.0.

Модель dianavdavidson/whisper-medium_mucs_63022_ratio_25_45_lr_1e-4_lgid_None_hinglish_mixed_scripts_FT — дообученная версия Whisper Medium от OpenAI для автоматической расшифровки речи. Она содержит 455,8 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате Safetensors. По названию модели она ориентирована на речь хинглиш с использованием смешанных систем письма; в README указан результат оценки Global WER 28,9546 и loss 0,4427, но состав набора и методика оценки не описаны. Модель принимает аудио и выдаёт текстовую транскрипцию. Базовая Whisper Medium также поддерживает многоязычную расшифровку и перевод речи, однако для этой дообученной версии подтверждена только задача распознавания речи. Лицензия — Apache-2.0. Оценка WER и отсутствие сведений о данных обучения затрудняют выводы о качестве на других наборах и языковых вариантах.

MAdel121/whisper-small-egyptian-arabic — модель распознавания речи, созданная дообучением openai/whisper-small автором репозитория на наборе MAdel121/arabic-egy-cleaned с использованием SpeechBrain. Она предназначена для транскрибации речи на египетском диалекте арабского языка и доступна для запуска через pipeline автоматического распознавания речи в Transformers. Модель имеет плотную архитектуру Whisper и содержит 153,1 млн параметров; репозиторий хранит веса в формате safetensors. Для тестовой части обучающего набора указаны WER 22,69% и CER 16,70%. Лицензия — MIT. Модель рассчитана прежде всего на египетскую арабскую речь. Точность может снижаться на других арабских диалектах, шумных записях, а также на специализированной тематике, недостаточно представленной в обучающих данных.

Это модель автоматического распознавания речи, созданная дообучением openai/whisper-small на корпусе Uyghur Common Voice. Она предназначена для транскрибации аудио на уйгурском языке. Модель содержит 153,1 млн параметров, использует архитектуру Whisper и загружает аудио на входе, выдавая текст. При обучении использованы объединённые обучающая и валидационная части Common Voice 15.0: 11 215 записей продолжительностью около 20 часов. Оценка проведена на тестовой части THUYG20; в карточке указаны WER 28,30%, орфографический WER 42,97% и CER 10,90%. Модель распространяется по лицензии Apache 2.0.

Whisper Tiny GRPO — компактная модель распознавания речи, созданная wrice дообучением openai/whisper-tiny методом GRPO с наградой на основе ошибок слов и символов. Она преобразует аудиозаписи в текст и предназначена для транскрибации речи; обучение проводилось на данных Common Voice для 49 языковых локалей с фиксацией языка по локали аудиоклипа. На отложенной выборке Common Voice после нормализации текста лучшая общая оценка составила WER 0,472 и CER 0,175. Модель использует архитектуру Whisper и формат safetensors; для запуска доступен pipeline Transformers. Репозиторий распространяется по лицензии MIT. Это экспериментальный proof of concept, а не настроенная для промышленного применения система. Результаты на реальных записях зависят от предметной области, акцента, языка и качества аудио; метрики README получены на срезе Common Voice.

nezamisafa/whisper-v3-turbo-persian-v1.0 — дообученная nezamisafa модель распознавания речи на основе openai/whisper-large-v3-turbo. Она преобразует аудио в текст и ориентирована на распознавание персидской речи. Модель содержит 905,2 млн параметров, использует архитектуру Whisper и формат safetensors; для запуска доступна библиотека Transformers. Базовая мультиязычная модель также поддерживает перевод аудио в текст. Модель дообучена на Common Voice 17.0; в метаданных указан набор nezamisafa/ASR_fa_v1. В README приведены результаты на оценочной выборке: loss 0,3078 и WER 29,9382. Лицензия — MIT. Показатель WER указывает на заметные ошибки распознавания; карточка не уточняет условия оценки и не описывает дополнительные сценарии применения.

Or4kool/wolof_asr-lm — модель распознавания речи на волоф, подготовленная на основе Or4kool/wolof_asr и дополненная KenLM n-граммной языковой моделью для декодирования с поиском по лучу. Она предназначена для преобразования аудиозаписей на волоф в текст; декодер использует параметры alpha=0.9 и beta=0.0 и рассчитан на подключение в сервис Wolof ASR. Базовая архитектура — Wav2Vec2ForCTC; в репозитории используются веса Safetensors, размер модели составляет около 402,7 млн параметров. Лицензия в предоставленных данных не указана.

Audio8 TTS Preview 0.6B — компактная многоязычная модель синтеза речи с клонированием голоса по образцу, опубликованная под именем Audio8. Основная модель содержит около 601 млн параметров и использует архитектуру DualAR: медленный авторегрессионный трансформер предсказывает семантические токены аудиокадров, а быстрый — кодовые книги аудиокодека. В репозитории также находятся кодек 44,1 кГц, токенизатор и процессор. Модель предназначена для генерации речи по тексту, в том числе с голосом, заданным референсным аудио, и поддерживает кантонский и китайский, нидерландский, английский, французский, немецкий, итальянский, японский, корейский, польский и испанский языки. Для клонирования транскрипт референсного аудио должен совпадать с произнесённым содержанием. Авторы сообщают о сильных результатах на тестах Seed-TTS и CV3, однако эти сравнения являются ориентировочными из-за различий в нормализации и методах оценки. Это Preview-релиз с ограниченным охватом языков и диалектов. Длинные, шумные или неточно транскрибированные референсы могут ухудшать стабильность генерации и сходство голоса. Для работы рекомендуется CUDA-совместимый GPU; доступны также отдельные варианты развёртывания на CPU через ONNX INT4 и высокопроизводительной подачи через SGLang Omni. Лицензия — Apache-2.0. При клонировании голосов следует получать согласие и раскрывать факт синтетической генерации там, где это уместно.

Belle-whisper-large-v2-zh — модель распознавания китайской речи, созданная командой BELLE-2 путём полного дообучения Whisper large-v2 от OpenAI. Она предназначена для транскрибации китайской речи и показывает улучшение относительно исходной модели на тестах AISHELL-1, AISHELL-2, WenetSpeech и HKUST. Модель принимает аудио с частотой дискретизации 16 кГц и выдаёт текст; в метаданных указаны архитектура Whisper, 905,2 млн параметров и форматы PyTorch и Safetensors. Лицензия — Apache-2.0. Результаты в README показывают снижение CER на перечисленных китайских тестовых наборах. Эти показатели относятся к конкретным бенчмаркам и не гарантируют такого же качества на других условиях записи, диалектах или типах аудио.

BELLE-2/Belle-whisper-large-v3-zh-punct — дообученная командой BELLE-2 модель распознавания речи на архитектуре Whisper large-v3, предназначенная для транскрибации китайской речи с расстановкой знаков пунктуации. Модель содержит 905,2 млн параметров, принимает аудио с частотой дискретизации 16 кГц и выдаёт текст. Опубликована в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Модель обучена с использованием LoRA на наборах AISHELL-1, AISHELL-2, WenetSpeech и HKUST. По результатам карточки, её качество близко к Belle-whisper-large-v3-zh на китайских ASR-бенчмарках; отмечено сопоставимое распознавание встреч и небольшое улучшение на WenetSpeech meeting. CER в таблице рассчитан после удаления пунктуации, поэтому эти результаты отдельно не оценивают точность расстановки знаков препинания.

Canary-Qwen-2.5B GGUF — это преобразованные в формат GGUF варианты модели NVIDIA Canary-Qwen-2.5B, подготовленные проектом handy-computer для работы с transcribe.cpp. Модель предназначена для автономного распознавания английской речи и преобразования её в текст с пунктуацией и капитализацией. Она принимает монофонические WAV-файлы с частотой 16 кГц и выполняет транскрибирование офлайн с помощью жадного декодирования. Архитектура NeMo SALM объединяет аудиоэнкодер FastConformer из 32 слоёв с параметром d_model=1024 и авторегрессионную языковую модель Qwen3-1.7B из 28 слоёв с hidden_size=2048; аудиоэмбеддинги подаются в языковую модель через специальную позицию в промпте. Общий размер модели составляет около 2,5 млрд параметров. Доступны варианты BF16, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M размером от 1,74 до 5,08 ГБ. Для LibriSpeech test-clean все варианты показывают WER 1,63%. Сильные стороны модели — высокая точность английского распознавания, офлайн-работа, несколько вариантов квантизации и интеграция с transcribe.cpp. Ограничения: поддерживается только английский язык, потоковая обработка, перевод, автоматическое определение языка и временные метки не поддерживаются; модель принимает именно 16 кГц моно WAV. В данной конверсии она работает в режиме распознавания, без LLM-функций постобработки исходной модели. Лицензия — CC-BY-4.0, унаследованная от базовой модели NVIDIA.

Dolphin CN-Dialect Small — модель автоматического распознавания речи от DataoceanAI, переупакованная проектом OpenASR в формат .oasr. Она предназначена для преобразования китайской речи в текст, особенно региональных вариантов китайского языка и речи с выраженным акцентом. Модель ориентирована на сценарии локальной транскрипции на CPU и GPU без Python во время инференса, включая работу с диалектной речью и смешанной речью с китайским языком. Модель построена по рецепту Dolphin и WeNet: использует энкодер E-Branchformer, Transformer-декодер и совместную objective CTC и attention с последующим attention rescoring. Это компактный checkpoint small.cn с посимвольным китайским словарём. Поддерживаются 22 китайских диалекта, включая сычуаньский, уский, кантонский, миньнаньский и шанхайский; заявлена также сохранённая эффективность для стандартного мандаринского языка. Доступны сборки fp16, q8_0 и q4_k размером примерно от 298 МБ до 860 МБ; fp16 рекомендована для максимального соответствия исходным результатам, а q4_k уменьшает размер ценой некоторого ухудшения CER. Контекстная длина и точные абсолютные метрики качества в карточке не указаны. Ограничением является отсутствие пунктуации: модель выдаёт обычный непунктуированный текст, поскольку обучающий корпус не содержал знаков препинания. Лицензия Apache-2.0 унаследована от исходной модели DataoceanAI1/dolphi-cn-dialect-small; OpenASR выполняет только конвертацию формата и квантование.

Карточка модели BAAI/EVE-7B-Pretrain-v1.0 на Hugging Face совпадает с карточкой BAAI/EVE-7B-HD-v1.0, поэтому описание составлено по ней. EVE-7B-HD-v1.0 — мультимодальная модель семейства EVE, разработанная исследователями из Dalian University of Technology, Beijing Academy of Artificial Intelligence и Peking University. Это плотная авторегрессионная модель с архитектурой EVELlamaForCausalLM и примерно 6,6 млрд параметров; в отличие от VLM с отдельным визуальным энкодером, она обрабатывает визуальные и языковые входы в едином декодере. В карточке семейства EVE описан подход к обучению на 35 млн открытых примеров и сравнение с VLM сопоставимого размера. Модель предназначена для генерации текста по текстовым и визуальным запросам, включая задачи понимания изображений и диалога о них. Контекст составляет 4096 токенов. Доступна в формате PyTorch, лицензия — Apache-2.0. В README указано, что EVE выпускается в вариантах с предварительным обучением и настройкой инструкциями, но точный статус настройки именно версии HD-v1.0 не уточнён.

KhyontekAI дообучила Gemma 4 E4B Instruct от Unsloth для диалогового взаимодействия. Модель основана на плотной архитектуре Gemma 4 и поддерживает обработку текста и изображений, а также интерфейс вызова инструментов. В репозитории веса представлены в формате safetensors. Модель подходит для диалогов и задач, где нужно отвечать на текстовые запросы с учётом изображения. README сообщает, что обучение проводилось с использованием Unsloth и библиотеки TRL. Модель распространяется по лицензии Apache-2.0.

Gliese-Qwen3.5-0.8B-Abliterated-Caption — мультимодальная vision-language модель от prithivMLmods, построенная на базе Qwen/Qwen3.5-0.8B. Она предназначена прежде всего для обобщённого и нефильтрованного описания изображений: генерации подробных подписей, анализа сцен, объектов, людей и окружения. Модель ориентирована на создание наборов данных и аннотаций, мультимодальные исследования, локальные inference-пайплайны, развёртывание на периферийных устройствах и разработку приложений с анализом изображений. Модель содержит 0,8 млрд параметров и поддерживает обработку текста и изображений. В README заявлена оптимизация визуального понимания, контекстных и семантически подробных описаний, а также поддержка английского и китайского языков. Доступны варианты в форматах BF16, F16, F32 и Q8_0, включая мультимодальные проекционные компоненты для GGUF. Указанный pipeline — image-text-to-text; поддерживаются Transformers и vLLM. К сильным сторонам относятся компактность, эффективность развёртывания, высокая детализация подписей и сниженное количество встроенных отказов благодаря abliterated-тренировке и анализу направлений отказа. Ограничения включают отсутствие в README точных данных о размере контекста, качестве на стандартных бенчмарках и полной архитектуре. Снижение отказов может повысить риск генерации небезопасного или нежелательного контента, поэтому авторы рекомендуют использовать модель только в исследовательских и учебных целях и возлагают ответственность за её применение на пользователя. Модель распространяется по лицензии Apache-2.0.

GPT-OSS-20B-Vision Preview — экспериментальная vision-language модель, созданная Vincent Kaufmann как proof of concept на базе GPT-OSS. Она добавляет анализ изображений к архитектуре GPT-OSS с помощью замороженного энкодера SigLIP-SO400M и метода PseudoDeepStack, объединяющего признаки нескольких уровней энкодера; визуальные токены проецируются двухслойным MLP. Модель дообучена с помощью QLoRA примерно на 2% параметров и принимает изображения размером 384×384, а также текст. По карточке, обучение достигло 22% запланированного объёма; модель распознаёт объекты и сцены и составляет описания изображений. Контекст составляет 131072 токена, основной язык карточки — английский. Модель предназначена для ответов на вопросы об изображениях и их описания в диалоге. Среди ограничений — галлюцинации, слабое распознавание мелкого текста, неточный подсчёт и пространственные оценки; поддерживаются только одиночные изображения без видео, с фиксированным разрешением 384×384. Для полной BF16-модели требуется около 40 ГБ видеопамяти. Лицензия — Apache-2.0.

HoVLE-HD — монолитная визуально-языковая модель, представленная OpenGVLab, с 2,6 млрд параметров. Она построена на базе internlm2-chat-1_8b и объединяет модуль целостных эмбеддингов с языковой моделью: модуль кодирует изображения и текст в общем пространстве представлений, после чего языковая модель обрабатывает их совместно. Репозиторий использует архитектуру InternVLChat и формат safetensors; для запуска предусмотрена библиотека Transformers. Модель принимает изображения и текст и генерирует текстовые ответы. Версия HD рассчитана на работу с изображениями высокого разрешения и показывает сильные результаты, в частности, в визуальных вопросно-ответных задачах. Её можно применять для ответов на вопросы об изображениях и других сценариев диалога с визуальным контекстом. README описывает обучение в два этапа: дистилляция визуальных и текстовых представлений, затем авторегрессионное выравнивание модальностей. В карточке указана поддержка многоязычного режима, но конкретные языки и длина контекста не приведены. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы. Лицензия — MIT.

ICM-Qwen2-VL-7B — дообученная модель zhaoyuzhi на основе Qwen/Qwen2-VL-7B-Instruct, созданная с использованием набора данных qwen_sexy_after. Это мультимодальная модель с архитектурой Qwen2-VL и 7,1 млрд параметров, предназначенная для диалога и генерации текстовых ответов по изображениям. Она принимает текст и изображения, а выдаёт текст; поддерживает контекст до 32 768 токенов. В карточке приведено значение loss 0,1821 на оценочном наборе, но подробности оценки не раскрыты. Модель опубликована в формате safetensors; лицензия обозначена как other.

InternVL3.5-4B-HF — мультимодальная модель семейства InternVL от OpenGVLab, представленная в формате Hugging Face Transformers. Это дообученная версия OpenGVLab/InternVL3_5-4B-MPO; архитектура — плотная модель InternVLForConditionalGeneration с поддержкой изображений и диалогового взаимодействия. Модель принимает изображения и текстовые запросы, а отвечает текстом на нескольких языках. Модель предназначена для диалогов по изображениям, визуального рассуждения и ответов на вопросы о содержимом изображений. В карточке семейства также заявлены распознавание текста на изображениях, анализ диаграмм и визуальных сцен, а для семейства в целом — взаимодействие с GUI и агентные сценарии. Эти сведения не подтверждают отдельные гарантии качества для версии на 4B параметров. В описании InternVL3.5 заявлены улучшения рассуждений с помощью двухэтапного Cascade RL и ускорение инференса семейства благодаря Visual Resolution Router и раздельному развертыванию визуальной и языковой частей. Чекпойнт распространяется в safetensors и работает через Transformers. Лицензия — Apache-2.0. Для обработки изображений требуются вычислительные ресурсы; детализация и качество ответов могут зависеть от разрешения изображения и сложности задачи.

Kasapa-V1 — модель распознавания речи, разработанная Willie999 на основе openai/whisper-small и дообученная для транскрибации аудио на языке тви (Twi). Она принимает аудио и выдаёт текст; модель предназначена для приложений, где общение ведётся на тви, в том числе в сельском хозяйстве, здравоохранении и образовании. Архитектура — Whisper с плотными весами в формате safetensors. Модель распространяется по лицензии Apache-2.0. Дообучение адаптирует мультиязычную Whisper-small к фонетическим особенностям тви. Качество может меняться в зависимости от диалекта, включая асанте-тви и фанте, а также от уровня фонового шума в записи.

Kiel-2-Omni — мультимодальная авторегрессионная модель на архитектуре Janus, дообученная на базе deepseek-ai/Janus-Pro-1B. Модель разработана автором репозитория kiel2 и объединяет генерацию текста, понимание изображений и создание изображений по текстовому описанию в единой модели MultiModalityCausalLM. Модель предназначена для диалоговых ответов, визуального вопросно-ответного взаимодействия, описания сцен и мультимодального анализа, а также для генерации творческих изображений по запросу. Веса доступны в формате safetensors для использования с Transformers. Лицензия — MIT. В карточке не приведены данные о размере модели и длине контекста, поэтому эти характеристики не описываются.

LaViT-3B — мультимодальная модель зрения и языка, основанная на Qwen2.5-VL-3B-Instruct и разработанная авторами исследования LaViT. Она дообучена с помощью supervision траекторий визуальных мыслей: перед генерацией текста модель реконструирует визуальную семантику и траектории внимания, чтобы лучше связывать ответы с содержимым изображения. Модель предназначена для диалога об изображениях, визуального заземления и решения задач, требующих визуального рассуждения. В README заявлены улучшения на бенчмарках MMVP и BLINK и прирост до 16,9% на сложных задачах рассуждения; эти результаты приведены авторами модели. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2.5-VL и принимает изображения и текст, выдавая текстовые ответы. Контекст составляет до 128 000 токенов. Поддерживаемые языки карточкой не перечислены. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.