I.15Доступность и ассистивные технологии

LLaVA-OneVision Qwen2 7B OV Chat — мультимодальная чат-модель, разработанная командой LLaVA-OneVision в LMMS-Lab. Она построена на архитектуре SO400M + Qwen2 и основана на LLaVA-OneVision 7B OV; для улучшения диалоговых ответов и сохранения следования инструкциям модель прошла три раунда итеративного обучения DPO на предпочтениях людей. Размер модели — 7,1 млрд параметров, контекст — 32 768 токенов. Модель предназначена для общения по изображениям, нескольким изображениям и видео, а также для обычных чат-сценариев. В обучении использовались наборы данных для одиночных и множественных изображений и видео; карточка указывает английский и китайский языки. Модель может применяться для вопросов и ответов по визуальному содержимому, описания изображений и обсуждения видео. Модель распространяется в формате safetensors для Transformers под лицензией Apache 2.0. В README результаты бенчмарков не приведены; качество на конкретных задачах может различаться, поэтому ответы следует проверять.

MERaLiON-3-10B — мультимодальная речевая языковая модель, разработанная I2R при A*STAR в Сингапуре для многоязычной среды Юго-Восточной Азии. Модель объединяет архитектуры Gemma 2 9B IT и Whisper large-v3 и дообучена на 150 000 часах аудио и речи для шести задач: распознавания речи, ответов на вопросы по аудио, суммаризации диалогов, описания аудио, вопросов об аудиосценах и контекстного анализа паралингвистических признаков. В репозитории 8,1 млрд параметров, веса сохранены в формате safetensors; модель рассчитана на монофоническое аудио 16 кГц длительностью до 300 секунд и текстовые запросы. Модель предназначена для мультиязычной транскрибации, анализа речи и звукового окружения, ответов на вопросы о содержании аудио, а также распознавания возрастных и гендерных характеристик говорящего. Поддерживаемые языки включают английский, китайский, малайский, тамильский, индонезийский, тайский и вьетнамский; основное внимание уделено английскому и китайскому в региональном контексте. Авторы сообщают о конкурентных результатах в собственных бенчмарках, однако эти оценки получены с использованием LLM-as-a-Judge и не гарантируют качество для каждого сценария. Лицензия — MERaLiON Public License; модель не предназначена для вызова инструментов, математики и программирования.

Nemotron Czech 0.6B v1 — независимая адаптация twobe3 модели NVIDIA Nemotron 3.5 ASR Streaming 0.6B для распознавания чешской речи. Это полный чекпойнт NeMo с токенизатором, предназначенный для локальной транскрипции и потокового распознавания; он не является чекпойнтом для Transformers. В репозитории также приведена конверсия GGUF Q8_0 для запуска в NeMo-Speech.cpp. Модель дообучена на 30 039 проверенных аудиотекстовых парах Common Voice Czech 27.0. В исторической оценке на тестовом наборе Common Voice сообщается нормализованный WER 9,18% против 16,22% у исходной модели при одинаковых настройках потокового распознавания и размере аудиофрагмента 320 мс. Эти результаты не гарантируют точность на других записях: оценка не была новым слепым тестом, а качество на звонках, шумной речи, спонтанных разговорах и других языках отдельно не проверялось. Указанные 320 мс — размер аудиофрагмента, а не измеренная сквозная задержка. Модель принимает аудио и выдаёт текстовую транскрипцию. Для GGUF Q8_0 не следует предполагать те же показатели WER, что и для исходного чекпойнта NeMo. Веса и материалы выпуска распространяются по лицензии OpenMDW-1.1.

Parakeet-RNNT 0.6B — английская модель распознавания речи NVIDIA NeMo, опубликованная организацией loom-ai-org в формате GGUF для запуска в loom.cpp через loom-py-rt. Она преобразует аудио с английской речью в текстовую расшифровку и предназначена для сценариев автоматического распознавания речи. В репозитории указано, что веса не изменены относительно nvidia/parakeet-rnnt-0.6b: это конверсия модели в самодостаточный формат GGUF, содержащий необходимые для запуска компоненты. Модель поддерживается библиотекой loom-py-rt и распространяется по лицензии CC BY 4.0. README описывает автоматические оконную обработку, семплирование и сборку результата в высокоуровневом интерфейсе запуска. Модель рассчитана на английский язык; сведений о поддержке других языков или длине контекста в предоставленных данных нет.

Это неофициальная конверсия англоязычной модели NVIDIA Parakeet-TDT 0.6B v2 в формат Hugging Face Transformers. Веса идентичны исходной модели nvidia/parakeet-tdt-0.6b-v2; изменена только упаковка. Архитектура — ParakeetForTDT на основе FastConformer с декодированием Token-and-Duration Transducer (TDT), размер — 0,6 млрд параметров. Модель предназначена для автоматического распознавания английской речи и её транскрибации в текст. Для загрузки карточка указывает Transformers версии 5.8.dev или новее и классы AutoModelForTDT и AutoProcessor. Репозиторий распространяется по лицензии CC BY 4.0. Это конверсия для совместимости с Transformers; она не добавляет новых возможностей по сравнению с исходной моделью.

Это дообученная версия Qwen3-ASR-1.7B, разработанная для распознавания речи на центральнокурдском языке, также известном как сорани (ckb). Модель принимает аудио и преобразует речь в текст; она создана для языка с ограниченными ресурсами и распространяется в формате safetensors. Модель хорошо справляется с формальной и стандартной речью: новостями, аудиокнигами и выступлениями, выдавая корректное написание, грамматику и пунктуацию. В региональных диалектах, включая диалект Эрбиля, и быстрой разговорной речи точность может снижаться, хотя модель стремится передать услышанное подходящей курдской орфографией. Чекпойнт также можно использовать как основу для дальнейшей настройки под специализированную лексику или региональные варианты речи. Модель выпущена под лицензией Apache-2.0. Карточка не приводит количественных оценок качества или подробностей обучающих данных.

AXERA-TECH 提供的 Qwen3-VL-2B-Instruct-GPTQ-Int4 是面向 AXera AX650 NPU 的视觉но-языковая модель, конвертированная с квантизацией w4a16. Она принимает изображения и видео для анализа с текстовым ответом; карточка приводит результаты обработки одного изображения и восьми видеокадров на AX650, а также требования к памяти и скорость генерации. Репозиторий заявляет совместимость с Pulsar2 5.0 и запуск через axllm, в том числе с OpenAI-совместимым интерфейсом. Модель основана на Qwen3-VL и рассчитана на локальный запуск на поддерживаемых устройствах AXera. Лицензия — MIT.

Qwen3-VL-30B-A3B-Instruct-4bit — мультимодальная инструкционно настроенная модель для задач понимания и генерации текста на основе изображений и текстовых запросов. Модель разработана сообществом mlx-community и преобразована в формат MLX из Qwen/Qwen3-VL-30B-A3B-Instruct с использованием mlx-vlm версии 0.3.3. Модель предназначена для сценариев image-text-to-text, включая описание изображений и ответы на текстовые инструкции с учётом визуального содержимого. В названии указаны конфигурация 30B-A3B и 4-битное квантование, однако README не раскрывает подробности архитектуры, поддерживаемые языки и размер контекстного окна. Формат MLX ориентирован на запуск в экосистеме MLX; для использования рекомендуется пакет mlx-vlm. К сильным сторонам относятся мультимодальность и уменьшенный объём представления благодаря 4-битному квантованию, что может быть полезно при локальном запуске в совместимой среде. Ограничения и точные требования к оборудованию в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-30B-A3B-Instruct-MLX-4bit — мультимодальная модель для обработки изображений и текста, разработанная Qwen. Представленная версия основана на Qwen3-VL-30B-A3B-Instruct и предназначена для сценариев image-text-to-text, включая анализ визуального содержимого и генерацию текстовых ответов по изображениям и запросам. Модель имеет 4-битное квантование в формате MLX и оптимизирована для работы на устройствах с Apple Silicon. В названии указаны конфигурация 30B-A3B и инструкционная настройка, однако README не содержит дополнительных сведений о точной архитектуре, размере контекста, поддерживаемых языках или конкретных показателях качества. К сильным сторонам относятся мультимодальность, уменьшенный объём хранения и вычислительные требования благодаря квантованию, а также адаптация к экосистеме Apple Silicon. К ограничениям относятся возможная потеря качества из-за 4-битного квантования и отсутствие в предоставленных данных подробных характеристик производительности, языковой поддержки и совместимости за пределами Apple Silicon. Версия распространяется по лицензии Apache-2.0. Квантование MLX предоставлено командой LM Studio с использованием mlx_vlm; создателем исходной модели является Qwen.

Qwen3-VL-8B-VQA-SFT-RL-v3 — дообученная модель QiLong26 на базе QiLong26/Qwen3-VL-8B-VQA-SFT, обученная с использованием TRL. Это плотная мультимодальная модель семейства Qwen3-VL с архитектурой Qwen3VLForConditionalGeneration; она предназначена для визуального диалога и ответов на вопросы по изображениям. Метаданные указывают задачу image-text-to-text и поддержку чата и зрения. В README приведён пример текстовой генерации в формате диалога, но он не раскрывает дополнительных характеристик модели. Лицензия и размер параметров в предоставленных данных не указаны.

facebook/s2t-small-mustc-en-fr-st — модель Speech to Text Transformer, разработанная Facebook для сквозного перевода английской речи в текст на французском языке. Она обучена на англо-французской части корпуса MuST-C, содержащей записи выступлений TED Talks с транскрипциями и переводами. Модель построена на архитектуре Transformer encoder-decoder с последовательным авторегрессионным декодированием. Свёрточный модуль уменьшает длину речевых признаков перед подачей в энкодер; используются 80-канальные log-Mel фильтры и SentencePiece с словарём из 8 000 токенов. Размер модели — 14,6 млн параметров. На тестовой части MuST-C для направления en-fr указана оценка BLEU 32,9. Модель предназначена для преобразования английской речи во французский текст и может применяться для перевода выступлений и записей. Обучение энкодера предварительно выполнялось для распознавания английской речи, но основное назначение этой версии — речевой перевод. Репозиторий содержит веса PyTorch и TensorFlow; лицензия — MIT.

gokaygokay/sd3-long-captioner-v2 — дообученная модель на основе PaliGemma с входным разрешением изображений 224×224. Автор дообучил её на наборах данных google/docci и google/imageinwords для создания подробных текстовых описаний изображений. Модель принимает изображение и формирует текстовое описание. В метаданных указаны архитектура PaliGemma, библиотека Transformers, формат весов safetensors и поддержка английского языка. Лицензия — Apache 2.0. Карточка сообщает о дообучении, но не приводит результаты оценки качества и не уточняет максимальную длину описания; пригодность для конкретных изображений стоит проверять на примерах.

Sophea-Canary-ASR-mlx — конвертированная в формат MLX модель распознавания речи для Apple Silicon, опубликованная KIEFERSA. Это дообученная двуязычная версия NVIDIA Canary-1B-v2: около 978 млн параметров, FastConformer-энкодер и Transformer-декодер с механизмом attention. Веса представлены в bfloat16 и занимают около 1,9 ГБ; для работы используется библиотека mlx-audio. Модель распознаёт греческую и английскую речь, а также переводит речь с греческого на английский. Принимает монофонический звук с частотой 16 кГц; README сообщает об автоматическом приведении входного аудио к этой частоте. В тестах на FLEURS указаны WER 9,4% для греческого и 7,3% для английского. При распознавании греческого текста конечная сигма может выводиться как обычная σ; README предлагает детерминированную постобработку для восстановления ς. Лицензия — CC BY 4.0.

SoulX-Podcast-1.7B — модель Soul-AILab для синтеза речи в формате подкастов: она создаёт длинные диалоги с несколькими участниками и также поддерживает синтез монологов. В основе лежит плотная языковая архитектура Qwen3ForCausalLM с 1,7 млрд параметров; модель принимает текст и выдаёт речь. Контекст составляет до 40 960 токенов. Модель рассчитана на естественную многорепликовую речь с паралингвистическими элементами, например смехом и вздохами. Поддерживаются английский и китайский, включая диалекты сычуаньский, хэнаньский и кантонский; также заявлено клонирование голоса без предварительного обучения на образце, в том числе между китайскими диалектами. Репозиторий содержит форматы ONNX и Safetensors и распространяется по лицензии Apache-2.0. Авторы описывают применение для синтеза подкастов, персонализированной речи, вспомогательных технологий и лингвистических исследований. Потоковый вывод пока обозначен как планируемая функция; в README также указано, что модель предназначена для академических, образовательных и иных легитимных применений.

SpeakerKit Pro — модель для распознавания речи и определения говорящих, опубликованная Argmax. Репозиторий содержит формат Core ML и предназначен для использования с библиотекой WhisperKit; по карточке Hugging Face основная задача модели — автоматическое распознавание речи. Модель принимает аудио и может применяться в сценариях, где нужно преобразовать запись в текст. Теги репозитория указывают на связь с Whisper и diarization, однако README не описывает точные возможности разделения речи по говорящим, архитектуру, размер, языки или длину контекста. В карточке указана лицензия other, поэтому условия использования следует сверить с сопровождающей документацией. README содержит ссылки на блог, TestFlight и исследовательскую статью, но не приводит сведений о качестве распознавания или известных ограничениях.

Модель HiTZ/stt_eu_conformer_transducer_large_v2 разработана HiTZ Basque Center for Language Technology и лабораторией Aholab Signal Processing Laboratory Университета Страны Басков. Это система автоматического распознавания речи на основе архитектуры Conformer-Transducer с примерно 119 млн параметров, дообученная от испанской модели stt_es_conformer_transducer_large с использованием NVIDIA NeMo. Модель принимает монофонические WAV-записи с частотой дискретизации 16 кГц и возвращает распознанную речь в виде текста. Она предназначена для транскрибации баскской речи; обучение проводилось на составном корпусе объёмом 771,73 часа, включающем Common Voice 18.0, записи парламента Басков, OpenSLR и программы EITB. Текст выдаётся строчными буквами. В тестах с жадным декодированием указаны значения WER от 2,50% на тестовой части Common Voice 18.0 до 11,87% на OpenSLR. Точность может снижаться на технической лексике, непривычной разговорной речи и речи с акцентом. Лицензия — Apache 2.0.

TEA-ASR-1.1 — модель распознавания речи, разработанная участниками проекта TEA-ASR для тайваньского варианта мандаринского китайского. Она преобразует повседневную речь в текст на традиционном китайском с лексикой, характерной для Тайваня, и рассчитана на переключение между китайским и английским в одной записи. Модель дообучена на основе Qwen3-ASR и выпущена как единый чекпойнт, совместимый по загрузке и запуску с Qwen3-ASR; в метаданных указан класс архитектуры Qwen3ASRForConditionalGeneration и размер базовой модели 1,7 млрд параметров. Модель предназначена для транскрибации разговоров, лекций и других аудиозаписей, в том числе с частым смешением китайского и английского. Авторы сообщают об улучшении результатов относительно предыдущей версии на публичных тестах, включая наборы для переключения языков. В README также упоминаются более крупная флагманская версия и отдельный вариант с управляемым форматированием чисел. Модель распространяется по лицензии MIT.

TowerVideo-9B — мультимодальная видеоязыковая модель семейства TowerVision, разработанная командой utter-project. Она принимает текст, изображения и видео и генерирует текст; модель предназначена для анализа видеоматериалов и других визуально-языковых задач, включая описание и обобщение, ответы на вопросы по визуальному содержимому и мультиязычный перевод с учётом культурного контекста. Модель содержит 9 млрд параметров и использует архитектуру LlavaOnevision: языковую основу TowerVision-9B с визуальным энкодером SigLIP2-patch14-384, соединённым мультимодальным адаптером. Контекст — 8192 токена. В карточке перечислены языки, включая английский, немецкий, русский, китайский, японский и хинди. Указаны сильные результаты на мультиязычных и культурно-ориентированных визуальных задачах; конкретные численные результаты для этой версии в карточке не приведены. Это дообучение utter-project/TowerVision-9B на видеотекстовой части датасета VisionBlocks. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия CC-BY-NC-SA-4.0 допускает использование с указанием авторства и на условиях лицензии, но запрещает коммерческое применение.

Это модель автоматического распознавания речи на базе wav2vec 2.0, дообученная Diana V. Davidson на неизвестном наборе данных. Она принимает аудио и преобразует речь в текст; архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров. Модель создана на основе facebook/wav2vec2-large-xlsr-53 и распространяется в формате Safetensors по лицензии Apache-2.0. В карточке приведён результат оценки: Global WER 53,1980 и loss 0,7691. Описание не раскрывает языки, состав обучающих данных и предполагаемые условия использования, поэтому качество для конкретного языка или типа записи оценить нельзя.

handy-computer/whisper-base.en-gguf — это конвертация англоязычной модели OpenAI Whisper base.en в формат GGUF для работы с transcribe.cpp. Модель предназначена для автоматического распознавания речи и преобразования английской речи в текст. Это encoder-decoder Transformer, обрабатывающий аудио окнами по 30 секунд и поддерживающий пакетированное декодирование длинных записей. Модель ориентирована на сценарии локальной транскрибации английской речи, включая обработку WAV-файлов с частотой 16 кГц и монофоническим каналом. Доступны варианты F32, F16 и квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M; их размер составляет от 59 до 292 МБ. Для LibriSpeech test-clean заявленная ошибка распознавания WER составляет от 4,13% до 4,30% в зависимости от варианта. Модель не поддерживает потоковую обработку, перевод речи, автоматическое определение языка и выдаёт сегментные временные метки. Преимуществами являются компактные квантизованные варианты, возможность использования через transcribe.cpp и близкое к исходной модели качество распознавания при существенно меньшем размере. Основные ограничения — поддержка только английского языка, отсутствие потокового режима и функций перевода, а также зависимость качества и скорости от выбранного уровня квантизации и оборудования. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели OpenAI.

whispercharsplitnewround20061 — дообученная на неизвестном наборе данных модель распознавания речи на базе OpenAI Whisper Tiny. Она принимает аудио и преобразует речь в текст; размер модели — 29,4 млн параметров. В README приведены результаты обучения и валидации после 60 эпох: Validation Loss 0,5606 и Validation Wermet 7,0558. Модель предназначена для автоматической транскрибации аудиозаписей. Язык данных обучения и качество распознавания для отдельных языков не описаны. Модель распространяется по лицензии Apache-2.0; результаты на неизвестном наборе данных не позволяют оценить качество для конкретных сценариев.

servinosmanov/whisper-large-v3-crh — дообученная Servin Osmanov модель OpenAI Whisper large-v3 для автоматического распознавания крымскотатарской речи. Модель содержит 905,2 млн параметров и принимает аудио, выдавая текст; поддерживает крымскотатарский язык в кириллической и латинской письменности. Для обучения использован датасет servinosmanov/tts-crh-sevil-fixed. В карточке указана лучшая доля ошибок слов (WER) 13,67% с параметрами repetition_penalty=1.2 и no_repeat_ngram_size=3; это на 48,4% лучше приведённого результата дообученного whisper-medium. Модель предназначена для транскрибации крымскотатарской речи. Лицензия — Apache-2.0.

Это модель автоматического распознавания речи, созданная Мохаммедом Али тонкой настройкой openai/whisper-large-v3-turbo на наборе MohamedRashad/arabic-english-code-switching. Она преобразует аудио с египетской арабской речью в текст и при переключении на английский старается записывать английские слова латиницей, а не арабским письмом. Модель основана на архитектуре Whisper и содержит 809 млн параметров. Модель предназначена для расшифровки речи с переключением между египетским арабским и английским, например разговоров с распространёнными английскими терминами. Лицензия — MIT. Для лучшего распознавания рекомендуется монофоническое аудио с частотой 16 кГц; максимальная длина сегмента — 30 секунд.

whisper-small-arabic-letters-pod — дообученная модель семейства Whisper, созданная на основе openai/whisper-small. Она предназначена для автоматического распознавания речи и преобразования аудио в текст. В README приведены результаты оценки: loss 0,0493 и WER 6,3830. Модель принимает аудио и выдаёт текст. Базовая Whisper small — мультиязычная модель для транскрибирования речи и перевода аудио на английский язык; карточка этой версии не уточняет языки и специальные сценарии дообучения. Модель распространяется в формате safetensors через Transformers по лицензии Apache-2.0.

ranjan-prabhat/whisper-small-hi — дообученная модель распознавания речи на хинди, созданная на основе Whisper small от OpenAI. Это encoder-decoder Transformer с 153,1 млн параметров; модель принимает аудио и преобразует речь в текст. Обучение проводилось на хинди-разделе Common Voice 17.0. Модель предназначена для черновой расшифровки чёткой речи одного говорящего: например, голосовых заметок, начитки и повествования. Её также можно использовать как основу для дальнейшего дообучения под конкретный акцент, диалект или акустические условия. Проверялась на монофоническом аудио с частотой 16 кГц. На тестовой части Common Voice указана доля ошибок слов около 32%, поэтому для ответственных задач потребуется проверка человеком или дополнительное дообучение. Качество может снижаться на спонтанной речи, сильном шуме, одновременной речи нескольких людей и недостаточно представленных региональных акцентах. Модель распространяется по лицензии Apache-2.0.

whisper-small-Kurdish-Sorani — модель распознавания речи, созданная дообучением openai/whisper-small для транскрибирования речи на курдском языке сорани. Она основана на архитектуре Whisper и содержит 153,1 млн параметров; для работы принимает аудио и выдаёт текст. В карточке приведены результаты оценки: WER 24,1171 и WER Ortho 26,7340, однако описание набора данных и методики оценки не раскрыто. Модель распространяется по лицензии Apache-2.0.

Модель masapasa/xls-r-300m-it-cv8 — версия wav2vec 2.0 XLS-R, дообученная на базе facebook/wav2vec2-xls-r-300m для автоматического распознавания итальянской речи. Она принимает аудио и выдаёт распознанный текст; модель содержит около 402,8 млн параметров и опубликована в формате PyTorch. Дообучение выполнено на итальянской части набора MOZILLA-FOUNDATION/COMMON_VOICE_8_0 (SV-SE); на оценочной выборке указаны loss 1,0278 и WER 1,0286. Модель подходит для транскрибации италоязычной речи и интеграции в системы распознавания аудио. Репозиторий распространяется по лицензии Apache-2.0. Применимость показателей качества за пределами указанной оценочной выборки не подтверждена.

XTTS-v1 — модель синтеза речи и клонирования голоса, разработанная Coqui на основе Tortoise. Она создаёт речь на разных языках по тексту и может воспроизводить голос по короткому аудиофрагменту длительностью около 6 секунд, в том числе переносить голос между языками. Модель поддерживает 14 языков: английский, испанский, французский, немецкий, итальянский, португальский, польский, турецкий, русский, нидерландский, чешский, арабский, китайский и японский. XTTS-v1 поддерживает перенос эмоций и стиля по голосовому образцу, а также потоковый вывод. Частота дискретизации синтезированной речи составляет 24 кГц. Репозиторий содержит модель в формате PyTorch; карточка отмечает лицензию как other, но не приводит её конкретные условия.

ArmorOCR-GGUF — GGUF-версия мультимодальной модели ArmorOCR, разработанной командой inclusionAI (Ant Group) на базе Qwen3-VL-8B-Instruct. Модель предназначена для распознавания текста на изображениях, включая adversarial OCR и degraded visual conditions, когда изображение содержит искажения или подвергается атакам. Она поддерживает grounded OCR и vision-language сценарии, выполняя инференс непосредственно по исходному изображению без обязательного кадрирования, увеличения, шумоподавления или внешних инструментов. Заявленный язык — английский. ArmorOCR использует двухэтапный подход с observation-transferred self-distillation и формирует структурированный ответ: рассуждение помещается в теги <analyze></analyze>, а распознанный текст — в <answer></answer>. Публикация содержит варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры основных файлов составляют примерно от 3,28 до 16,4 ГБ. Для обработки изображений предусмотрены отдельные multimodal-проекции mmproj в форматах BF16, F16 и Q8_0, что позволяет использовать модель через llama.cpp. Сильной стороной модели является устойчивость к неблагоприятным визуальным условиям и возможность однопроходного распознавания исходного изображения. Ограничения включают ориентацию заявленного языка на английский, значительные требования к дисковому пространству и памяти для высокоточных вариантов, а также зависимость качества от выбранного уровня квантования и совместимости используемого inference-стека. Модель распространяется по лицензии Apache 2.0; использование также регулируется лицензией и политикой допустимого использования базовой Qwen3-VL-8B-Instruct.

Карточка модели baichuan-inc/Baichuan-Omni-1d5-Base на Hugging Face совпадает с карточкой baichuan-inc/Baichuan-Omni-1d5, поэтому описание составлено по ней. Baichuan-Omni-1.5 — открытая мультимодальная модель команды Baichuan, представленная в карточке репозитория baichuan-inc/Baichuan-Omni-1d5. Это плотная модель с 7,1 млрд параметров и контекстом 65 536 токенов, предназначенная для диалогов и взаимодействия с текстом, изображениями, видео и аудио. Модель принимает эти четыре типа входных данных и формирует текстовые и аудиовыходы; заявлены потоковая обработка аудио и видео и голосовое общение в реальном времени. Модель рассчитана на понимание изображений и видео, распознавание и понимание речи, генерацию речи, а также мультимодальные диалоги. В README отдельно отмечены двуязычные голосовые сценарии на китайском и английском, управление стилем голоса и понимание медицинских изображений. Заявления о сравнительных результатах приведены разработчиками и здесь не подтверждены независимой проверкой. Репозиторий содержит веса в формате safetensors; метаданные указывают Apache-2.0. Для развёртывания и оценки медицинских выводов необходима отдельная проверка качества в целевом сценарии; README также предостерегает от использования в интернет-сервисах без соответствующих проверок и согласований.