I.15Доступность и ассистивные технологии

Это конверсия модели распознавания речи Whisper large-v2 от OpenAI в формат CTranslate2, подготовленная для запуска в CTranslate2 и проектах на его основе, включая faster-whisper. Она принимает аудио и предназначена для распознавания речи; веса сохранены в FP16, а при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает много языков, включая русский, английский, китайский, немецкий, испанский и французский. Репозиторий распространяется по лицензии MIT.

Florence-2-base-ft — конвертированный для Transformers чекпойнт модели Florence от Microsoft, дообученный на наборе задач компьютерного зрения. Это плотная encoder-decoder модель семейства Florence-2 с архитектурой последовательность-в-последовательность и размером 0,23 млрд параметров. Она принимает изображения и текстовые запросы, позволяя одной моделью выполнять описание изображений, обнаружение объектов, генерацию описаний областей, локализацию фраз, OCR и визуальные вопросы и ответы. Модель предназначена для универсального анализа изображений через prompt-запросы, включая сценарии, где нужно получить текстовое описание, распознать надписи или найти и описать объекты и области. В карточке для этого чекпойнта указано продолжение предобучения Florence-2-large с контекстом 4K, но также отмечено, что использовалось лишь 0,1 млрд примеров и модель могла быть обучена недостаточно хорошо; для OCR изменён разделитель строк. Эти сведения расходятся с таблицей README, где Florence-2-base-ft указан как дообученный вариант размером 0,23 млрд параметров, поэтому характеристики обучения именно этого репозитория описаны в карточке неоднозначно. Файлы доступны в формате safetensors, библиотека — Transformers; лицензия MIT.

Florence-2-large-ft — преобразованный для Transformers чекпойнт модели Florence от Microsoft, дообученный для набора задач компьютерного зрения. Модель использует плотную архитектуру Florence-2 с генерацией последовательностей по текстовым запросам; размер исходной Florence-2-large составляет 0,77 млрд параметров. Она принимает изображение и текстовый запрос, а в ответ может создавать подписи и описания, распознавать текст, находить объекты и области изображения, связывать фразы с областями и предлагать регионы. Модель предназначена для универсального анализа изображений, включая создание подписей, OCR и визуальные вопросы и ответы. В карточке указано, что этот вариант продолжает предобучение Florence-2-large на 0,1 млрд примеров; автор предупреждает, что такое обучение могло оказаться недостаточным. Для OCR в этой версии используется символ перевода строки между строками. Контекст — 4 тысячи токенов. Репозиторий содержит веса Safetensors и распространяется по лицензии MIT.

GOT-OCR 2.0 — модель оптического распознавания текста, разработанная авторами работы «General OCR Theory: Towards OCR-2.0 via a Unified End-to-end Model» и представленная здесь в реализации для Transformers. Она принимает изображения и преобразует их содержимое в текст; поддерживает распознавание текста в документах и на сценах, а также форматированного текста, таблиц, диаграмм, математических и молекулярных формул, геометрических фигур и нотной записи. Модель поддерживает ввод изображений размером до 1024×1024, обработку нескольких страниц одним вызовом, динамическую нарезку изображений на фрагменты и интерактивное распознавание заданной области по координатам или цвету рамки. Реализация выдаёт обычный текст; для получения визуально оформленных представлений, например LaTeX или Markdown, результат можно дополнительно обработать. Модель доступна в формате safetensors для библиотеки Transformers. Репозиторий распространяется по лицензии Apache-2.0. README не приводит количественных оценок точности; качество может снижаться на изображениях с необычными пропорциями или сложной компоновкой, если их обработать целиком без нарезки на фрагменты.

LightOnOCR-2-1B — компактная модель распознавания документов от LightOn: плотная vision-language архитектура на 1 млрд параметров, семейство Mistral3. Она преобразует PDF-страницы, сканы и изображения документов в чистый текст с сохранением естественного порядка чтения; также подходит для распознавания таблиц и форм. Модель обучена с RLVR и рассчитана на высокую точность OCR. В README заявлены результаты уровня state of the art на OlmOCR-Bench и высокая скорость обработки. LightOnOCR-2-1B поддерживает английский, французский, немецкий, испанский, итальянский, нидерландский, португальский, шведский, датский, китайский и японский языки. Для запуска авторы рекомендуют Transformers версии 5 и рендеринг PDF в изображения с разрешением 200 DPI и максимальной стороной около 1540 пикселей. Модель распространяется по лицензии Apache-2.0.

Nanonets-OCR2-3B-GGUF — это квантизированная GGUF-версия мультимодальной модели Nanonets-OCR2-3B, разработанной nanonets. Квантизацию выполнил mradermacher. Модель предназначена для задач оптического распознавания символов, преобразования изображений в текст, конвертации PDF в Markdown и визуального ответа на вопросы (VQA). Модель поддерживает мультимодальный ввод: для работы используются файл модели GGUF и дополнительный multimodal supplement mmproj. Доступны варианты с разными уровнями квантизации — от Q2_K до Q8_0, а также f16; размеры файлов составляют примерно от 1,4 до 6,3 ГБ, без учета или с учетом дополнительного multimodal-компонента в зависимости от конфигурации. Заявлена поддержка многоязычных сценариев, однако конкретный перечень языков и размер контекстного окна в README не указаны. Основные преимущества — возможность локального запуска, широкий выбор компромиссов между размером, скоростью и качеством, а также наличие специализированных OCR- и image-to-text-сценариев. Более легкие варианты подходят для экономии ресурсов, тогда как Q6_K и Q8_0 ориентированы на более высокое качество; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые. Сведения о лицензии базовой модели и квантизированной версии в README отсутствуют, поэтому условия использования необходимо уточнять отдельно.

NB-Whisper Large — модель распознавания речи и перевода аудио, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper. Вариант Large содержит 905,2 млн параметров и предназначен прежде всего для транскрибации норвежской речи, включая букмол и нюнорск, а также английской речи. Для обучения серии использовались 8 млн выровненных аудиофрагментов общей длительностью около 66 тысяч часов; карточка указывает базовую модель openai/whisper-large-v3. Модель принимает аудио и выдаёт текстовую транскрипцию; поддерживает распознавание речи и перевод речи. Для длинных записей README рекомендует обработку фрагментами примерно по 28 секунд; увеличение beam size может повысить точность ценой скорости и памяти. Для эффективной работы версии Large рекомендуется GPU. Модель распространяется по лицензии Apache 2.0. Результаты могут содержать ошибки, повторы и искажения, а качество зависит от записи и языка. Разработчики отмечают возможные смещения и возлагают на пользователей ответственность за оценку рисков и корректное применение модели.

NB-Whisper Medium — модель распознавания речи, разработанная NB AI-Lab Национальной библиотекой Норвегии на основе OpenAI Whisper Medium. Это плотная encoder-decoder модель семейства Whisper с 455,8 млн параметров, предназначенная для преобразования речи в текст и перевода речи. Она обучалась на корпусах норвежской речи; карточка также указывает поддержку норвежского букмола, норвежского нюношка и английского языка. Модель подходит для расшифровки аудиозаписей, включая длинные файлы, и может формировать временные метки для предложений и слов. Для более длинных записей README рекомендует обработку фрагментами около 28 секунд; увеличение beam size может повысить точность ценой скорости и памяти. Для эффективной локальной работы с версией Medium рекомендуется GPU. Лицензия — Apache 2.0.

olmOCR-2-7B-1025-bf16 — преобразованная в формат MLX модель сообщества mlx-community на основе allenai/olmOCR-2-7B-1025. Это визуально-языковая модель с архитектурой Qwen2.5-VL и 7,1 млрд параметров, предназначенная для обработки изображений с выдачей текста. Карточка этой копии отсылает за подробностями к исходной модели. Модель подходит для OCR и извлечения текстовой информации из изображений и документов. Она принимает изображения и текстовые инструкции, а результат выдаёт в виде текста; заявленный родительский чекпойнт поддерживает контекст до 128 000 токенов. По метаданным, исходная модель дообучена на Qwen/Qwen2.5-VL-7B-Instruct, а данная копия преобразована в формат MLX. Лицензия — Apache-2.0.

Qwen3-VL-235B-A22B-Instruct — мультимодальная модель семейства Qwen3-VL от Qwen, представленная в варианте Mixture-of-Experts с инструктивной настройкой. Она принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для визуальных вопросов и ответов, распознавания текста на изображениях, понимания видео, пространственных рассуждений и взаимодействия с графическими интерфейсами. В карточке заявлены контекст длиной 256 тысяч токенов с возможностью расширения до 1 миллиона, понимание длинных документов и видео, а также OCR на 32 языках. Среди описанных возможностей — локализация событий по временным меткам, анализ объектов и их взаимного расположения, решение задач STEM и генерация кода интерфейсов по изображениям или видео. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Модель распространяется по лицензии Apache-2.0. Практическое качество может зависеть от языка, сложности изображения или видео и характера задачи; приведённый README не содержит конкретных численных результатов бенчмарков.

OpenASR/whisper-large-v3 — это версия мультиязычной модели Whisper Large v3, разработанной OpenAI и адаптированной проектом OpenASR для нативного запуска в формате .oasr. Модель предназначена для автоматического распознавания речи и перевода речи на английский язык, включая сценарии локальной транскрипции аудиозаписей на CPU и GPU без использования Python во время инференса. Модель построена на стандартной encoder-decoder архитектуре Whisper и содержит 1,55 млрд параметров. Версия v3 обучена на более крупном и разнообразном размеченном корпусе и использует 128 mel-частотных каналов, что повышает устойчивость распознавания в разных языках и акустических условиях. Доступны сборки fp16, q8_0 и q4_k с различными требованиями к размеру файлов и оперативной памяти; q8_0 рекомендуется как вариант, близкий по качеству к fp16, но более компактный. Сильными сторонами модели являются высокая точность среди моделей семейства Whisper, поддержка множества языков, возможность speech-to-text и speech translation, а также оптимизация OpenASR для локального запуска и сниженного потребления памяти. Ограничения включают значительный размер полной модели и повышенные требования к ресурсам по сравнению с дистиллированными или меньшими вариантами; для q4_k в README не приведены показатели скорости и изменения качества. Пакеты распространяются по лицензии Apache-2.0, унаследованной от исходной модели OpenAI; OpenASR выполняет преобразование формата и квантование весов.

Это конверсия модели openai/whisper-large-v3-turbo в формат CTranslate2, опубликованная пользователем lukas-jkl. Она предназначена для распознавания речи и может использоваться в CTranslate2 и проектах на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать через параметр compute_type. Модель поддерживает распознавание речи на многих языках, включая русский и английский. Репозиторий распространяется по лицензии MIT.

Это совместимая с новыми версиями библиотеки transformers редакция модели Florence-2-base-ft от Microsoft. В репозитории изменён код modeling_florence2.py, чтобы исправить загрузку модели и генерацию текста при работе с версиями transformers от 4.42.0 до 4.57.x; веса и базовая архитектура принадлежат Microsoft. Модель предназначена для задач анализа изображений, включая создание описаний, распознавание текста и обнаружение объектов по текстовым запросам. Архитектура Florence-2 принимает изображения и текстовые запросы и выдаёт текстовые ответы или результаты визуального анализа. В метаданных указана лицензия Apache-2.0; README отсылает к исходной карточке Microsoft за условиями использования.

Idefics2-8b — мультимодальная модель компании Hugging Face, объединяющая зрительный энкодер SigLIP и языковую модель Mistral-7B. Модель содержит 8 млрд параметров, принимает текстовые запросы и одно или несколько изображений, в том числе в произвольном чередовании с текстом, и генерирует текстовые ответы. Основной язык карточки — английский. Лицензия — Apache 2.0. Модель предназначена для ответов на вопросы об изображениях, создания подписей, чтения текста на изображениях и документах, а также анализа диаграмм и графиков. Архитектура обрабатывает изображения с сохранением их исходного разрешения и соотношения сторон; поддерживается разрешение до 980 × 980 пикселей и разбиение на подизображения. Генерация изображений не поддерживается. Версия Idefics2-8b дообучена следовать инструкциям и подходит для использования без дополнительной настройки или как основа для дообучения под конкретные задачи. Обычно модель отвечает кратко; для длинных ответов авторы рекомендуют вариант idefics2-8b-chatty. Модель может выдавать фактически неверные ответы и вредные стереотипы, поэтому она не предназначена для принятия решений с серьёзными последствиями. Для работы с Transformers следует учитывать несовместимость версий 4.41.0–4.43.3 включительно.

Mungert/Nanonets-OCR2-3B-GGUF — это GGUF-версия мультимодальной модели Nanonets-OCR2-3B, разработанной компанией Nanonets. Модель предназначена для OCR и преобразования документов в структурированный Markdown, а также для image-to-text и visual question answering (VQA). Указано, что базовой моделью является Qwen/Qwen2.5-VL-3B-Instruct, а конвертация выполнена с использованием llama.cpp. Точный размер контекста в карточке не указан. Модель ориентирована на обработку сложных документов: распознаёт печатный и рукописный текст, извлекает таблицы в Markdown и HTML, распознаёт математические формулы в LaTeX, описывает изображения, а также выделяет подписи, водяные знаки и элементы форм, включая чекбоксы. Блок-схемы и организационные диаграммы может представлять в виде кода Mermaid. Для VQA модель должна отвечать по содержимому документа, а при отсутствии ответа — возвращать «Not mentioned». Заявлена поддержка множества языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский и корейский; полный перечень не приведён. GGUF-квантизация предназначена для локального запуска, а автор карточки описывает повышение точности отдельных важных слоёв за счёт их хранения в более высокой точности, что увеличивает размер файла. Лицензия в предоставленных данных не указана.

NB-Whisper Small — модель распознавания речи семейства Whisper, разработанная NB AI-Lab при Национальной библиотеке Норвегии и дообученная на основе openai/whisper-small. Она предназначена для транскрибирования речи и перевода аудио, в частности для норвежского букмола, норвежского нюнорска и английского. Модель содержит 153,1 млн параметров по метаданным; README указывает 244 млн параметров для версии Small. Архитектура — WhisperForConditionalGeneration, запуск возможен через Transformers; доступны форматы PyTorch, Safetensors, ONNX и Flax. Модель обучалась 250 тысяч шагов на наборе из 8 млн аудиофрагментов длительностью до 30 секунд, суммарно около 66 тысяч часов речи. Для обработки длинных записей README рекомендует разбиение на фрагменты примерно по 28 секунд; увеличение beam size может повысить точность, но требует больше времени и памяти. Лицензия — Apache 2.0. Разработчики предупреждают о возможных смещениях и искажениях и возлагают ответственность за оценку рисков при применении на пользователей.

olmOCR-2-7B-1025 — мультимодальная модель AllenAI с 7,1 млрд параметров, дообученная на основе Qwen2.5-VL-7B-Instruct на наборе olmOCR-mix-1025. Дополнительное обучение с подкреплением GRPO направлено на повышение качества распознавания математических формул, таблиц и других сложных случаев OCR. Модель предназначена для извлечения текста и структуры из изображений документов. Она принимает изображение страницы документа; для штатного использования рекомендуется подавать изображение, у которого наибольшая сторона составляет 1288 пикселей. Инструментарий olmOCR автоматизирует подготовку страниц PDF, поворот и повторные попытки распознавания, а масштабный инференс поддерживается через vLLM. Архитектура основана на Qwen2.5-VL, контекст — до 128 000 токенов; в этой карточке опубликована версия BF16. Модель подходит для OCR документов, в том числе таблиц и математических выражений. В README рекомендуется версия FP8 для практического применения, кроме дальнейшего дообучения; результаты бенчмарка приведены для работы через olmOCR toolkit. Распространяется по лицензии Apache-2.0.

Soulfate24/OvisOCR2-ASHQ1-Remix-GGUF — GGUF-квантованная версия модели OvisOCR2, созданная на основе ATH-MaaS/OvisOCR2. Она предназначена для извлечения текста и структуры документов со страниц изображений, включая таблицы и формулы, с выдачей результата в Markdown. Модель поддерживает диалоговый режим и обработку изображений; в метаданных для неё указан pipeline image-text-to-text. Репозиторий содержит GGUF-квантизацию с подходом ASHQ1-Remix, описанным автором как activation-aware. Модель распространяется по лицензии Apache-2.0. Данных о размере модели и длине контекста в предоставленных источниках нет.

Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen. Репозиторий основан на Qwen/Qwen2.5-VL-7B-Instruct и содержит 7B-версию модели в формате GGUF. Указана лицензия Apache-2.0; заявленный язык — английский, задача — преобразование изображений и текста в текст. Модель предназначена для анализа изображений, документов, диаграмм, таблиц, графики и макетов, распознавания текста, визуального вопросно-ответного взаимодействия, структурированного извлечения данных из счетов и форм, визуальной локализации объектов с помощью координат или точек, а также анализа видео. Она может обрабатывать длинные видео длительностью более часа и выделять релевантные моменты. Также заявлены сценарии визуального агента, включая взаимодействие с компьютером и мобильными устройствами. Архитектура включает языковую модель Qwen2.5, vision encoder ViT с window attention, SwiGLU и RMSNorm, динамическое разрешение изображений и динамическую частоту выборки кадров видео. Для временного измерения используется mRoPE с идентификаторами и абсолютным выравниванием времени. Ключевые сильные стороны — распознавание документов и текста, понимание диаграмм и видео, генерация структурированных результатов и визуальная локализация. Ограничения: README не содержит точных требований к ресурсам, максимального контекста, полного списка поддерживаемых языков и подробностей качества GGUF-квантизации; приведённые результаты зависят от конкретных бенчмарков и настроек.

unsloth/Qwen3-VL-32B-Thinking — репозиторий весов плотной мультимодальной модели Qwen3-VL, подготовленный Unsloth на основе Qwen/Qwen3-VL-32B-Thinking. Это версия Thinking для диалогов и рассуждений по тексту и визуальным данным; модель предназначена для вопросов об изображениях и видео, OCR, визуального анализа и выполнения задач через интерфейс агента с инструментами. Модель принимает текст, изображения и видео, а выдаёт текст. В README заявлены контекст 256K токенов с возможностью расширения до 1M, понимание пространственных отношений, временных меток и событий в видео, разбор структуры длинных документов и OCR на 32 языках. Архитектура относится к семейству Qwen3-VL и реализована как Qwen3VLForConditionalGeneration; файлы представлены в safetensors. Репозиторий включает исправления chat template от Unsloth. Модель подходит для визуального анализа, распознавания текста и рассуждений по изображениям и видео, а также для взаимодействия с графическими интерфейсами и инструментами. Указана лицензия Apache-2.0. README описывает возможности семейства Qwen3-VL; отдельные результаты бенчмарков для этого репозитория не приведены.

Qwen3-VL-4B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также предназначена для понимания видео и временных событий; в ответ генерирует текст. Модель доступна как репозиторий весов в формате safetensors и рассчитана на диалоговое использование через Transformers. Модель подходит для визуальных вопросов и ответов, распознавания и разбора текста на изображениях, анализа видео, пространственного рассуждения, мультимодальных STEM-задач и управления интерфейсами с вызовом инструментов. В README заявлены контекст 256 тысяч токенов с возможностью расширения до миллиона и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных данных и объединение многоуровневых визуальных признаков DeepStack. Лицензия Apache-2.0. Это вариант Instruct, предназначенный для применения в мультимодальных диалоговых сценариях; качество зависит от задачи и входных данных, а заявленные возможности не сопровождаются в карточке результатами бенчмарков.

supreme-vision-3b — мультимодальная модель для понимания изображений, разработанная SupremeAI для SupremeAI 2.0. Она дообучена на базе Qwen2-VL-3B-Instruct и предназначена для распознавания текста на изображениях, разбора снимков интерфейсов и анализа визуальных документов. Модель построена на архитектуре Qwen2.5-VL, содержит 3,1 млрд параметров, принимает изображения и текстовые запросы и формирует текстовые ответы. Нативный контекст — до 128 000 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

shubh1608/donut_pdf_ocr — модель архитектуры VisionEncoderDecoder, предназначенная для преобразования изображений документов в текст. В карточке указано обучение с нуля на наборе данных imagefolder; при этом метаданные каталога связывают модель с дообучением bn22/Mistral-7B-Instruct-v0.1-sharded, поэтому её происхождение описывается как дообучение. Автор приводит значение loss 0,0443 на оценочном наборе, но не уточняет методику оценки. Модель подходит для извлечения текста из изображений страниц PDF и других документов. Для неё указан формат PyTorch и задача image-text-to-text. Сведения о поддерживаемых языках и длине контекста в доступных данных отсутствуют. Лицензия не указана.

Microsoft Florence-2-large — универсальная модель компьютерного зрения и языка с архитектурой Florence-2 и последовательной схемой преобразования входа в выход. В этой карточке размещена продолженная версия предварительно обученной Florence-2-large: в README указано, что для продолжения обучения использовано 0,1 млрд примеров и контекст увеличен до 4 тыс. токенов; авторы предупреждают, что модель могла быть обучена недостаточно хорошо. Размер исходной Florence-2-large указан как 0,77 млрд параметров. Модель принимает изображение и текстовую задачу в виде промпта. Она предназначена для создания подписей к изображениям, обнаружения объектов, локализации областей по тексту, предложений регионов, сегментации и распознавания текста на изображениях, в том числе с привязкой OCR-результатов к областям. Florence-2 обучалась на датасете FLD-5B с 5,4 млрд аннотаций для 126 млн изображений; README приводит результаты оценки для описания изображений и обнаружения объектов, но отдельно отмечает возможное ухудшение качества именно этой продолженно обученной версии. Репозиторий содержит реализацию для Transformers, веса представлены в PyTorch и Safetensors. Лицензия — MIT. Описание не задаёт конкретный набор естественных языков; качество OCR и визуальных предсказаний может зависеть от изображения и задачи.

Gemma 3n E4B IT — мультимодальная инструктивная модель Google из семейства Gemma, рассчитанная на эффективный запуск на устройствах с ограниченными ресурсами. Она принимает текст, изображения, видео и аудио, а выдаёт текст; доступна для использования через библиотеку Transformers. В модели около 8 млрд параметров, но выборочная активация параметров и перенос редко используемых матриц позволяют запускать её с затратами памяти, сопоставимыми с обычной моделью на 4 млрд параметров. Архитектура MatFormer включает вложенную подмодель E2B и поддерживает создание вариантов разных размеров методом Mix-and-Match. Модель подходит для диалога, генерации и суммаризации текста, описания визуальных материалов, транскрибирования речи и перевода аудио в текст. Обучающие данные охватывают более 140 устных языков, но в карточке не перечислены языки, поддерживаемые в конкретных задачах. Модель может ошибаться в фактах, упускать языковые нюансы и отражать предвзятости обучающих данных; сложные задачи и неоднозначные инструкции могут снижать качество ответов. Лицензия — Gemma License.

GLM-4.5V — мультимодальная модель зрения и языка семейства GLM-V, разработанная ZhipuAI. Она основана на GLM-4.5-Air — текстовой модели с 106 млрд параметров и 12 млрд активных параметров — и дообучена для работы с визуальными данными. Модель предназначена для понимания изображений, видео и документов, визуальных рассуждений и взаимодействия с графическими интерфейсами. Модель анализирует сцены и несколько изображений, распознаёт события в длинных видео, разбирает графики и документы, читает экран и помогает выполнять операции в GUI. Также поддерживается локализация визуальных объектов с выдачей ограничивающих рамок. Режим Thinking позволяет выбирать между быстрым ответом и более глубоким рассуждением. Карточка заявляет высокие результаты на 42 публичных бенчмарках VLM; контекст, число параметров самой GLM-4.5V и поддерживаемые разрешения для этой версии в предоставленных данных не указаны. Модель принимает визуальные данные и текстовые запросы, а отвечает текстом, в том числе координатами рамок. Лицензия — MIT.

MiniCPM-V 4.5 int4 — мультимодальная vision-language модель, разработанная OpenBMB. Она предназначена для анализа одиночных и нескольких изображений, видео, документов и текстовых запросов, включая распознавание текста, разбор PDF, визуальные вопросы и ответы, а также понимание коротких и длинных видеоматериалов. Модель поддерживает более 30 языков и ориентирована в том числе на локальный запуск на мобильных устройствах и компьютерах. В основе лежат языковая модель Qwen3-8B и визуальный энкодер SigLIP2-400M; общий размер составляет около 8 млрд параметров. Архитектура включает unified 3D-Resampler для совместной обработки изображений и видео: до шести кадров 448×448 могут сжиматься в 64 видеотокена, что снижает вычислительную стоимость и позволяет анализировать видео с частотой до 10 кадров в секунду. Для изображений поддерживаются произвольные пропорции и разрешение до 1,8 млн пикселей. Модель также использует подходы LLaVA-UHD для работы с изображениями высокого разрешения и отличается сильными заявленными результатами в OCR, понимании документов и мультимодальном рассуждении. К сильным сторонам относятся высокая эффективность для модели такого размера, поддержка изображений, нескольких изображений и видео, развитое распознавание текста, режимы быстрого и глубокого рассуждения, а также варианты запуска через llama.cpp, Ollama, vLLM и SGLang. Представленная версия использует квантование int4, поэтому может требовать меньше памяти, но потенциально уступает полноразмерным вариантам по точности. README не указывает максимальную длину текстового контекста и не приводит подробный перечень ограничений; фактическая скорость и качество зависят от оборудования, формата инференса и сложности входных данных. Модель распространяется по лицензии Apache 2.0.

Pix2Struct Large — предварительно обученная модель Google для визуального понимания языка. Это архитектура «визуальный энкодер — текстовый декодер», обученная преобразовывать изображения в текст. Для обучения модель разбирала замаскированные снимки веб-страниц в упрощённый HTML; такой подход объединяет сигналы распознавания текста, языкового моделирования и описания изображений. Модель предназначена для дообучения под задачи, где текст связан с визуальным содержимым: например, для создания подписей к изображениям и ответов на вопросы по изображению. В статье описаны сценарии работы с документами, иллюстрациями, пользовательскими интерфейсами и обычными фотографиями; вход может иметь переменное разрешение, а текстовый запрос можно наложить на изображение. В метаданных указана поддержка английского, французского, румынского и немецкого языков. Модель опубликована в форматах PyTorch и Safetensors. Это базовый предобученный чекпойнт, который README рекомендует использовать для дообучения, поэтому готовое качество на конкретной прикладной задаче зависит от дополнительной настройки. Лицензия — Apache-2.0.

Карточка модели gonghao1234/Qwen3-VL-4B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-4B-Instruct, поэтому описание составлено по ней. Qwen3-VL-4B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также предназначена для понимания видео и временных событий; в ответ генерирует текст. Модель доступна как репозиторий весов в формате safetensors и рассчитана на диалоговое использование через Transformers. Модель подходит для визуальных вопросов и ответов, распознавания и разбора текста на изображениях, анализа видео, пространственного рассуждения, мультимодальных STEM-задач и управления интерфейсами с вызовом инструментов. В README заявлены контекст 256 тысяч токенов с возможностью расширения до миллиона и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных данных и объединение многоуровневых визуальных признаков DeepStack. Лицензия Apache-2.0. Это вариант Instruct, предназначенный для применения в мультимодальных диалоговых сценариях; качество зависит от задачи и входных данных, а заявленные возможности не сопровождаются в карточке результатами бенчмарков.

Карточка модели KevinCha/Qwen3-VL-4B-Instruct-BoxSpecialToken на Hugging Face совпадает с карточкой Qwen/Qwen3-VL-4B-Instruct, поэтому описание составлено по ней. Qwen3-VL-4B-Instruct — плотная мультимодальная модель семейства Qwen3-VL, разработанная командой Qwen. Она принимает текст и изображения, а также предназначена для понимания видео и временных событий; в ответ генерирует текст. Модель доступна как репозиторий весов в формате safetensors и рассчитана на диалоговое использование через Transformers. Модель подходит для визуальных вопросов и ответов, распознавания и разбора текста на изображениях, анализа видео, пространственного рассуждения, мультимодальных STEM-задач и управления интерфейсами с вызовом инструментов. В README заявлены контекст 256 тысяч токенов с возможностью расширения до миллиона и OCR на 32 языках. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных данных и объединение многоуровневых визуальных признаков DeepStack. Лицензия Apache-2.0. Это вариант Instruct, предназначенный для применения в мультимодальных диалоговых сценариях; качество зависит от задачи и входных данных, а заявленные возможности не сопровождаются в карточке результатами бенчмарков.