I.15Доступность и ассистивные технологии

BauyrjanQ/whisper-kk — модель распознавания речи на базе Whisper-small от OpenAI, дообученная для автоматического преобразования речи в текст. Она подходит для транскрибирования аудио; в README приведена оценка WER 24,8145 на тестовом наборе, однако датасет и условия оценки не описаны. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и формат PyTorch. Репозиторий создан 7 июля 2023 года. Лицензия — Apache-2.0.

Trendency/whisper-large-v3-hu — дообученная Trendency на открытых речевых данных версия Whisper large-v3 от OpenAI, ориентированная прежде всего на распознавание венгерской речи. Это мультиязычная модель автоматического распознавания речи с архитектурой WhisperForConditionalGeneration и примерно 905,2 млн параметров; она принимает аудио и выдаёт текст. Для длинных записей требуется обработка фрагментами, поскольку рецептивное поле модели составляет 30 секунд; для запуска автор рекомендует faster-whisper. Модель предназначена для транскрибации венгерской речи, включая записи из Common Voice, VoxPopuli и других речевых наборов. В README сообщается о среднем WER 11,26 на указанных срезах Common Voice и об улучшении относительно базовой модели на венгерских данных, но также о возможном снижении качества на других языках. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Как и другие версии Whisper, модель может ошибочно добавлять текст, которого нет в аудио, повторять фрагменты и показывать неодинаковую точность для разных языков, акцентов и диалектов. README указывает, что при обучении использовались также обучающие, тестовые и валидационные части наборов данных, поэтому приведённые оценки следует интерпретировать с учётом этого обстоятельства.

JackyHoCL/whisper-large-v3-turbo-cantonese-yue-english — дообученная модель Jacky Ho на базе Whisper Large v3 Turbo от OpenAI для автоматического распознавания речи. Она предназначена прежде всего для транскрибации кантонской речи, в том числе в сочетании с английским; автор приводит примеры потокового распознавания и сообщает об оценках CER на тестовых наборах Common Voice и очищенной смешанной кантонско-английской речи. Модель построена на архитектуре WhisperForConditionalGeneration, содержит около 905,2 млн параметров и доступна в формате safetensors для Transformers. Для кантонского с английским README рекомендует языковой код yue; код zh указан для сценария с кантонским, мандаринским и английским. Карточка описывает обучение на Common Voice 16.1, Common Voice 17.0 и наборе очищенной смешанной кантонско-английской речи. Результаты CER в README различаются между датами и наборами данных, поэтому приведённые оценки не гарантируют качество на других записях. Автор отмечает необходимость улучшить распознавание китайского и работу с фоновой шумовой средой; упоминается отдельная версия с обнаружением шума. Лицензия — MIT.

Это модель ivrit.ai для автоматического распознавания речи на иврите. Она основана на Whisper large-v3-turbo, дообучена на 295 часах речи с волонтёрскими транскрипциями из ivrit-ai/crowd-transcribe-v5 и 93 часах профессионально расшифрованной речи, а веса представлены в формате CTranslate2 для использования через faster-whisper. Модель принимает аудио и преобразует речь в текст; пример использования в карточке задаёт язык распознавания как иврит. Она предназначена для расшифровки аудиозаписей на иврите. Лицензия — Apache-2.0. Количественные оценки качества и ограничения в карточке не приведены.

nezamisafa/whisper-persian-v4 — модель распознавания речи на персидском языке, созданная дообучением Whisper large-v3 от OpenAI на наборе данных ASR_fa_v1. Это плотная модель архитектуры Whisper с 905,2 млн параметров, принимающая аудио и выдающая текст; для работы используется библиотека Transformers, веса опубликованы в формате safetensors. В README указана оценка WER 8,73 на наборе оценки. Модель предназначена для транскрибации персидской речи. Базовая Whisper large-v3 поддерживает многоязычную транскрибацию и перевод аудио в текст, однако карточка этой версии сообщает о дообучении для распознавания персидского языка и не подтверждает качество для других языков или задач. Модель распространяется по лицензии Apache-2.0.

burakaydinofficial/whisper-small-24lang — мультиязычная модель распознавания речи, созданная дообучением стандартной архитектуры OpenAI Whisper Small на 24 языках корпуса Whispered с лицензией CC0. Она предназначена для транскрибирования аудио и служит научным контрольным вариантом для сравнения с моделью, преобразованной из MHA в MLA. Модель содержит 153,1 млн параметров, использует архитектуру WhisperForConditionalGeneration и доступна в формате safetensors; она загружается через Transformers без trust_remote_code. Модель обучена для распознавания чтённой речи; в README приведены результаты оценки на CommonVoice-17, включая WER для английского, немецкого и испанского. Стандартную архитектуру Whisper можно конвертировать стандартными инструментами для faster-whisper, CTranslate2 и whisper.cpp. Для использования весов применяется лицензия Apache-2.0; обучающий корпус Whispered указан как CC0.

TalTechNLP/xls-r-300m-et — модель распознавания эстонской речи, разработанная в Лаборатории языковых технологий TalTech. Это модель семейства wav2vec 2.0 с архитектурой Wav2Vec2ForCTC, дообученная на основе facebook/wav2vec2-xls-r-300m примерно на 800 часах эстонских аудиоданных. В репозитории указано 402,9 млн параметров; модель принимает аудио и преобразует речь в текст. Модель предназначена для распознавания эстонской речи в передачах, интервью, выступлениях и других общих сценариях. Она включает CTC-модель без отдельной языковой модели. В README приведены результаты WER: 7,9 на jutusaated.devset, 6,1 на jutusaated.testset и 12,5 на Common Voice 6.1. Качество может быть ниже при распознавании технической и узкоспециальной лексики, детской или неродной речи, сильном шуме, удалённом микрофоне, спонтанной и перекрывающейся речи. Лицензия — CC BY 4.0.

patrickvonplaten/xls-r-300m-sv-cv8 — модель распознавания речи на базе wav2vec 2.0 XLS-R, дообученная на шведской части набора Mozilla Common Voice 8.0 (sv-SE). Она принимает аудио и преобразует речь в текст; архитектура использует CTC. На оценочной выборке карточка сообщает WER 0,2525 и loss 0,2779. Модель рассчитана на автоматическую транскрипцию шведской речи. Распространяется по лицензии Apache-2.0.

Карточка модели Edge0/Audio8-ASR-0.1B-onnx-runtime на Hugging Face совпадает с карточкой Audio8/Audio8-ASR-0.1B-onnx-runtime, поэтому описание составлено по ней. Audio8-ASR-0.1B ONNX Runtime — локальный пакет распознавания речи, связанный с основной моделью Audio8-ASR-0.1B. Он включает ONNX-графы и средства инференса через ONNX Runtime, а также веб-интерфейс, локальный HTTP API и CLI для транскрибирования аудиофайлов. Модель автоматически определяет язык речи; заявлена поддержка английского, китайского, кантонского, французского, японского, немецкого и корейского языков. Пакет содержит варианты графов декодера fp32, int8 и int4, а аудиобашни — fp32 и int8. По умолчанию используются int8 для декодера и аудиобашни; есть опциональное усиление заданных ключевых слов при декодировании. Репозиторий предназначен для локального инференса на CPU через ONNX Runtime; для GPU требуется совместимый пакет ONNX Runtime GPU и доступный провайдер. Для работы аудио преобразуется в моно и передискретизируется до 16 кГц. Runtime обрезает аудио длиннее 30 секунд, а контекст декодера ограничен 512 токенами. Сильное усиление ключевых слов может приводить к ошибочным вставкам или повторам. Лицензия — CC BY-NC 4.0, допускающая использование с указанием авторства, но ограничивающая коммерческое применение.

Cadence — мультиязычная модель AI4Bharat для восстановления пунктуации в тексте, в том числе в расшифровках речи. Она основана на Gemma 3 1B: модель преобразована в двунаправленный энкодер и дообучена на больших текстовых корпусах. В Hugging Face она представлена с задачей token-classification и весами Safetensors; лицензия — MIT. Модель обрабатывает английский и 22 индийских языка, учитывая особенности разных письменностей. Она предсказывает точки, запятые, вопросительные и восклицательные знаки, кавычки, скобки и другие знаки. Один экземпляр работает с разными языками без отдельного указания языка; доступны пакетная обработка и скользящее окно для длинных текстов. Cadence подходит для восстановления пунктуации в текстах и речевых транскриптах на поддерживаемых языках. Для длинных входов поведение зависит от настройки скользящего окна: без неё текст длиннее максимальной длины обрезается. Токенизатор плохо поддерживает письмо мейтей; для манипури README рекомендует транслитерацию в бенгальское письмо. Для языков вне официального списка качество может различаться.

NVIDIA NeMo Canary Flash — многоязычная модель распознавания речи и перевода речи, построенная на архитектуре Canary. Модель содержит 182 млн параметров: кодировщик FastConformer с 17 слоями и декодер Transformer с 4 слоями. Для работы используется библиотека NVIDIA NeMo. Модель распознаёт речь на английском, немецком, французском и испанском языках. Она также переводит речь с английского на немецкий, французский и испанский, а с этих языков — на английский; доступно оформление текста с пунктуацией и заглавными буквами. Экспериментальная функция добавляет временные метки слов и сегментов. Заявленная скорость превышает 1200 RTFx на наборах OpenASR Leaderboard. Модель принимает монофонические аудиофайлы WAV или FLAC с частотой 16 кГц и выдаёт текст, при выбранном режиме — с временными метками. Для длинных записей, превышающих примерно 40 секунд, NeMo предоставляет обработку по частям. В карточке также отмечено, что выходной текст может требовать обратной нормализации и что специальные символы не обрабатываются. Лицензия CC-BY-4.0 допускает коммерческое использование.

CogAgent-Chat — визуально-языковая модель с открытыми весами, разработанная командой Zhipu AI и построенная на основе CogVLM. Эта версия предназначена для диалога по изображениям в несколько ходов, работы GUI-агента и визуальной привязки объектов. Модель принимает изображения интерфейсов и текстовые запросы, понимает веб-страницы, приложения для компьютеров и мобильных устройств, а также выполняет OCR-подобные задачи. Модель может составлять план действий по снимку экрана и предлагать следующую операцию с координатами. Она поддерживает изображения размером до 1120×1120 пикселей. В README указана версия CogAgent-18B с 11 млрд визуальных и 7 млрд языковых параметров; метаданные именно этого репозитория указывают 6,6 млрд параметров, поэтому размер версии в описании следует трактовать с осторожностью. Для репозитория заявлен контекст 2048 токенов. Основной язык карточки — английский. Веса доступны для академических исследований. Для коммерческого использования требуется регистрация и соблюдение условий лицензии; метаданные указывают Apache-2.0, поэтому перед применением стоит сверить лицензионные условия конкретной версии. Карточка рекомендует вариант Chat для многошагового диалога с изображениями и GUI-задач, а для одношаговых визуальных вопросов — отдельный вариант VQA.

thwri опубликовал дообученную версию Florence-2-large от Microsoft для создания описаний изображений. Модель обучена на 40 000 изображений из поднабора Ejafa/ye-pop с подписями, сгенерированными THUDM/cogvlm2-llama3-chat-19B. Модель принимает изображение и формирует текстовое описание; в метаданных также заявлены задачи генерации текста и описания изображений. Основа Florence-2-large поддерживает описание изображений, обнаружение и локализацию объектов, сегментацию и OCR по текстовым запросам, однако README описывает дообучение именно для captioning. Карточка не сообщает размер контекста или точный размер модели. Модель распространяется по лицензии MIT.

OpenVINO/distil-whisper-large-v3-int8-ov — версия модели distil-large-v3 от Distil-whisper, преобразованная в формат OpenVINO IR и сжата до INT8 с помощью NNCF. Модель предназначена для автоматического распознавания речи по аудио; архитектура основана на Whisper и содержит около 905,2 млн параметров. Квантизация выполнена с параметрами INT8_ASYM и group_size 128. Модель совместима с OpenVINO версии 2025.2.0 и выше и Optimum Intel 1.23.0 и выше. В метаданных указан английский язык. Лицензия — MIT, как у исходной модели. Карточка отсылает к описанию исходной модели за подробностями об ограничениях. Заявленная совместимость ограничена указанными версиями OpenVINO и Optimum Intel.

Edda v0.1 — датская модель распознавания речи, разработанная Danish Foundation Models. Это полное дообучение Whisper Large v3 Turbo с 809 млн параметров и исходной архитектурой Whisper: энкодером и декодером с фиксированными аудиоокнами длиной 30 секунд. Модель обучена на 2 600 часах датской речи из шести открытых корпусов; для длинных записей поддерживается обработка окнами по 30 секунд. Модель предназначена для преобразования датской речи в текст, включая парламентские выступления, чтение вслух и разговорную речь. В описанном авторами тестировании она показала средний WER 9,20 на пяти наборах датского ASR-бенчмарка. README приводит отдельные результаты для CoRal-v3 и Common Voice; заявленная скорость измерена на AMD MI250X GCD. Выходная транскрипция следует стилю разметки обучающих корпусов: например, на парламентских записях модель может пропускать повторы и перезапуски фраз. На очень длинных записях, тишине или музыке возможны повторения фрагментов; для таких случаев авторы рекомендуют делить аудио на части по паузам. Работа с детской речью, сильными ненативными акцентами, телефонным аудио и пением не проверялась. Лицензия — Apache-2.0.

allendou/FireRedASR2-LLM-vllm — версия модели распознавания речи FireRedASR2-LLM, выпущенной командой FireRedASR2. Это система ASR на основе архитектуры Encoder-Adapter-LLM: аудиокодировщик и адаптер передают представление речи языковой модели Qwen2. Размер модели — 7,1 млрд параметров, контекст — 32 768 токенов. Репозиторий содержит веса в формате safetensors и ориентирован на запуск через vLLM. Модель преобразует речь в текст на китайском языке, включая мандаринский диалект и более 20 региональных акцентов, и на английском; поддерживает смешение китайского и английского языков, а также распознавание текста песен. В описанных авторами тестах средняя ошибка распознавания составила 2,89% CER для мандаринского китайского и 11,55% CER для китайских диалектов. Эти показатели относятся к указанным тестовым наборам и не гарантируют такое же качество на произвольной записи. Лицензия Apache-2.0 допускает коммерческое использование с соблюдением её условий.

Gemma 4 31B IT BF16 — мультимодальная инструкционно-настроенная модель Google DeepMind, преобразованная сообществом mlx-community в формат MLX из google/gemma-4-31B-it. Она предназначена для диалогов, генерации текста и анализа изображений; запускать её можно с помощью mlx-vlm. Модель использует плотную архитектуру Gemma 4 и принимает текст и изображения, выдавая текст. В репозитории указаны веса BF16 в формате safetensors и лицензия Apache-2.0.

cstr/gigaam-v3-GGUF — это набор конвертированных и квантизированных представлений модели GigaAM-v3, разработанной ai-sage. Модель предназначена для автоматического распознавания русской речи и транскрибации аудиозаписей, в частности для использования с backend gigaam в CrispASR. Репозиторий содержит только преобразование формата и численного представления весов без обучения, дообучения или изменения архитектуры и возможностей исходной модели. GigaAM-v3 — Conformer-модель примерно на 220 млн параметров, предварительно обученная на около 700 тыс. часов русской речи с целью HuBERT-CTC. Доступны варианты с головами RNN-T и CTC, а также SentencePiece-вокабуляром или посимвольным кириллическим вокабуляром. Варианты e2e поддерживают пунктуацию, регистр и inverse text normalization; посимвольные варианты выдают строчные буквы без пунктуации. Форматы f16, q8_0 и q4_k занимают примерно 449–154 МБ. Аудио должно быть монофоническим с частотой 16 кГц, а практическое окно обработки составляет около 25 секунд. Вариант e2e-rnnt-q8_0 рекомендуется как наиболее точный и сбалансированный: он показывает средний WER 8,4%, сохраняет результаты PyTorch-эталона и обеспечивает меньший размер по сравнению с f16. CTC быстрее декодируется, а q4_k экономит память, но может немного снижать точность регистра и пунктуации. Длинные записи требуют нарезки, обычно выполняемой средствами VAD и chunking в CLI; модель использует полное внимание с квадратичной сложностью по длине последовательности. Распространение выполняется по лицензии MIT, унаследованной от исходной модели.

bipin/image-caption-generator — модель генерации подписей к изображениям, дообученная на наборе Flickr8k. Она использует архитектуру VisionEncoderDecoderModel и предназначена для создания текстового описания по входному изображению. В карточке приведены результаты оценки на тестовом наборе и пример загрузки через библиотеку Transformers. Модель подходит для автоматического составления коротких подписей к фотографиям. В README указано обучение в течение четырёх эпох; оценочная потеря составила 0,2536. Язык подписей, размер модели и условия лицензии в доступных сведениях не приведены.

InternVL2_5-1B — компактная мультимодальная модель семейства InternVL 2.5, разработанная OpenGVLab. Она объединяет визуальный энкодер InternViT-300M-448px-V2_5 и языковую модель Qwen2.5-0.5B-Instruct по схеме ViT-MLP-LLM; карточка указывает объединение этих базовых моделей. Модель поддерживает диалоговые запросы с текстом и изображениями, в том числе несколькими изображениями, а архитектура семейства также предусматривает обработку видео по кадрам. Модель предназначена для описания и анализа изображений, визуальных вопросов и ответов, а также мультимодального диалога. Динамическое разбиение изображений на тайлы 448×448 помогает работать с высоким разрешением; README также отмечает улучшения визуального восприятия и сохранения языковых возможностей относительно InternVL 2.0. Данных о размере контекстного окна в предоставленных источниках нет. Модель распространяется по лицензии MIT.

InternVL2_5-2B-MPO — мультимодальная языковая модель OpenGVLab, построенная на архитектуре ViT-MLP-LLM. Визуальная часть основана на InternViT-300M-448px-V2_5, языковая — на internlm2_5-1_8b-chat; модель дообучена с применением Mixed Preference Optimization (MPO) на базе InternVL2_5-2B. Динамическое разрешение разбивает изображения на фрагменты 448×448 пикселей, а также поддерживаются несколько изображений и видеоданные. Модель предназначена для диалоговых запросов по изображениям и видеокадрам: она может отвечать на визуальные вопросы, распознавать текст на изображениях и решать задачи на понимание диаграмм и визуальной математики. Доступна через Transformers в форматах весов safetensors; лицензия — MIT. В README приведены оценки на мультимодальных бенчмарках, включая OCRBench и MathVista.

InternVL3.5-30B-A3B-Instruct — мультимодальная модель семейства InternVL3.5, разработанная OpenGVLab и представленная в формате Transformers. Это дообученная версия InternVL3_5-30B-A3B-Pretrained с архитектурой InternVLChatModel; репозиторий содержит веса в safetensors и распространяется по лицензии Apache-2.0. Модель принимает изображения и текст и генерирует текстовые ответы. Она предназначена для диалога по изображениям, визуального рассуждения и решения задач на понимание текста в изображениях; семейство также заявляет поддержку взаимодействия с графическим интерфейсом и embodied-сценариев. README описывает Cascade RL для улучшения рассуждений и Visual Resolution Router для адаптивной обработки визуальных токенов. В названии указана конфигурация 30B-A3B; README сообщает, что модели семейства до 30B параметров могут работать на одной GPU A100. Карточка не уточняет длину контекста и языки помимо общего указания на многоязычность в метаданных. Ограничения, связанные с точностью или безопасностью, для этой конкретной версии не описаны.

InternVL3.5-38B — мультимодальная модель семейства InternVL от OpenGVLab, предназначенная для диалога и рассуждений по изображениям и тексту. Она сочетает зрительный энкодер с языковой моделью; архитектура указана как плотная InternVLChatModel. Вариант на 38 млрд параметров требует двух GPU A100 для развёртывания согласно карточке модели. Модель подходит для ответов на вопросы об изображениях, визуальных рассуждений, решения математических задач по изображениям, OCR и диалоговых сценариев с визуальным контекстом. Семейство поддерживает также взаимодействие с графическим интерфейсом и embodied-сценарии. В README описаны Cascade RL для улучшения рассуждений и Visual Resolution Router для динамической настройки разрешения визуальных токенов; также упоминается раздельное развёртывание зрительной и языковой частей. Этот репозиторий является дообученной версией OpenGVLab/InternVL3_5-38B-MPO и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. Карточка описывает семейство как мультиязычное, но конкретные языки не перечисляет.

aadel4/kid-whisper-medium-en-myst — модель автоматического распознавания речи на базе OpenAI Whisper medium-en, дообученная на наборе Myst Train длительностью 125 часов. Она преобразует аудио в текст и предназначена для транскрибирования речи; в README приведена оценка WER 8,31 на Myst Dev длительностью 20,9 часа. Модель имеет архитектуру WhisperForConditionalGeneration и около 455,8 млн параметров, распространяется в формате PyTorch и использует библиотеку Transformers. Лицензия — Apache-2.0.

Kotoba-Whisper-Bilingual v1.0 — модель распознавания и перевода речи, разработанная Асахи Усио совместно с Kotoba Technologies. Она основана на архитектуре Whisper и обучена методом дистилляции: полный энкодер взят от Whisper large-v3, а двухслойный декодер инициализирован слоями учительской модели. В репозитории указаны веса safetensors; модель также заявлена как совместимая с faster-whisper и whisper.cpp. Модель принимает аудио и умеет распознавать японскую и английскую речь, а также переводить речь с японского на английский и с английского на японский текст. Для обучения использовались ReazonSpeech и Multilingual LibriSpeech, а переводные обучающие тексты получены с помощью внешней LLM. Модель предназначена для транскрибации и сквозного речевого перевода; авторы указывают ускорение до 6,3 раза относительно Whisper large-v3. В переводных задачах авторы отмечают более высокие показатели точности у каскадного подхода, хотя он требует больше памяти и усложняет обработку. Модель содержит около 905,2 млн параметров, поддерживается библиотекой Transformers версии 4.39 и новее и распространяется по лицензии Apache-2.0.

kyrgyz-whisper-small — мультиязычная модель распознавания речи, дообученная на архитектуре Whisper Small компании OpenAI. Модель содержит 153,1 млн параметров и принимает аудио для транскрибации на кыргызском, английском и русском языках. Она рассчитана на работу с шумными записями, смешением языков и дальнейшую адаптацию с помощью LoRA. В карточке сообщается об обучении примерно на 2 000 часах кыргызского аудио и дополнительном аудио на английском и русском языках. На бенчмарке FLEURS кыргызская WER достигает примерно 0,2–0,4; добавление кыргызского языка сопровождается некоторым снижением точности для английского и русского. Для кыргызского требуется пользовательский токенизатор. Модель распространяется по лицензии Apache-2.0.

Llama 4 Scout — мультимодальная инструкционная модель Meta на архитектуре Mixture of Experts с ранним объединением текстовой и визуальной информации. Репозиторий Unsloth содержит вариант, описанный как исходная модель Llama 4 Scout без изменений, подготовленный для дообучения средствами Unsloth; метаданные указывают базовую модель meta-llama/Llama-4-Scout-17B-16E-Instruct. В README Scout описана как модель с 17 млрд параметров и 16 экспертами. Модель предназначена для диалогов с ассистентом, понимания изображений и визуальных рассуждений: она может описывать изображения, распознавать визуальное содержимое и отвечать на вопросы о нём. Заявлена поддержка арабского, английского, французского, немецкого, хинди, индонезийского, итальянского, португальского, испанского, тагальского, тайского и вьетнамского языков. README сообщает, что модель тестировалась на входах до пяти изображений. Модель доступна по пользовательской лицензии Llama 4 Community License Agreement с условиями коммерческого и исследовательского использования и соблюдением Acceptable Use Policy. К ограничениям относятся статичный обучающий набор, отсутствие гарантии будущих обновлений и необходимость дополнительного тестирования при подаче более пяти изображений или использовании за пределами явно поддерживаемых языков и возможностей.

LLaVA-Llama-3-8B-v1.1 — разработанная XTuner мультимодальная модель для диалога по изображениям. Она дообучена на основе meta-llama/Meta-Llama-3-8B-Instruct с визуальным энкодером CLIP-ViT-Large-patch14-336; использует проектор MLP и обучалась на ShareGPT4V-PT и InternVL-SFT. Модель содержит 7,5 млрд параметров, принимает изображения и текстовые запросы и генерирует текстовые ответы. Контекст составляет 8192 токена. Модель предназначена для описания изображений, ответов на вопросы о визуальном содержимом и диалоговых сценариев, сочетающих текст и изображение. В README приведены результаты на наборах оценки визуально-языковых моделей, включая MMBench, AI2D, TextVQA и MMMU. Репозиторий содержит веса в формате safetensors и использует формат XTuner LLaVA. Условия лицензии в предоставленных материалах не описаны.

llava-llama-3-8b-v1_1-hf — мультимодальная модель XTuner на архитектуре LLaVA-Llama-3, дообученная на основе Meta-Llama-3-8B-Instruct и визуального энкодера CLIP-ViT-Large-patch14-336. В модели около 7,5 млрд параметров; она принимает изображения и текст и формирует текстовые ответы в диалоговом режиме. Контекст составляет до 8192 токенов. Модель предназначена для вопросов об изображениях, визуального анализа и ответов по содержимому картинок. В README приведены результаты на бенчмарках для понимания изображений, диаграмм, научных задач и распознавания текста на изображениях. Для версии v1.1 использованы ShareGPT4V-PT и InternVL-SFT; модель опубликована в официальном формате LLaVA и хранится в safetensors. Лицензия в предоставленных данных не указана.

LLaVA-Llama-3-8B-v1.1 — мультимодальная модель XTuner для диалога по изображениям. Она дообучена на Meta-Llama-3-8B-Instruct и использует визуальный энкодер CLIP ViT-Large/14 с разрешением 336 пикселей и MLP-проектором. Для обучения использовались ShareGPT4V-PT и InternVL-SFT; модель доступна в формате Hugging Face LLaVA и сохранена в safetensors. Модель принимает изображение вместе с текстовым запросом и генерирует текстовый ответ. Она подходит для описания изображений, ответов на вопросы о визуальном содержимом и анализа диаграмм или учебных изображений. В README приведены результаты на мультимодальных тестах, включая MMBench, AI2D и TextVQA. Лицензия в предоставленных данных не указана.