I.15Доступность и ассистивные технологии

Модель oliverguhr/wav2vec2-base-german-cv9 — акустическая модель распознавания немецкой речи, разработанная на основе facebook/wav2vec2-base и дообученная на немецкой части набора Mozilla Common Voice 9.0. Это архитектура Wav2Vec2 с CTC-декодированием, содержащая 113,3 млн параметров; веса доступны в форматах PyTorch и Safetensors. Модель предназначена для преобразования аудиозаписей немецкой речи в текст. На оценочной выборке указаны loss 0,1742 и WER 0,1209. Лицензия — MIT. Карточка не описывает условия записи аудио и возможные различия качества для акцентов, шумных записей и других условий, поэтому результаты могут отличаться на данных вне обучающего набора.

Lguyogiro/wav2vec2-large-mms-1b-azz-adapter-ilv-all_data — дообученная на наборе audiofolder модель распознавания речи, созданная на основе facebook/mms-1b-all. Она использует архитектуру wav2vec2 с классификационной головой CTC и содержит 1,3 млрд параметров. Модель принимает аудио и преобразует речь в текст; базовая модель поддерживает более тысячи языков, но язык или языки, на которых рассчитан этот конкретный чекпойнт, в доступных данных не определены. На тестовом наборе указаны WER 0,2867 и CER 0,0886. Эти значения описывают результаты только на данном наборе и не гарантируют качество на других аудиозаписях. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.

Andrew McDowell дообучил модель facebook/wav2vec2-xls-r-300m для автоматического распознавания немецкой речи на датасете Mozilla Common Voice 7.0 (немецкая конфигурация). Это модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC; в метаданных указано около 402,8 млн параметров. Она принимает аудио и выдаёт распознанный текст на немецком языке. На оценочной выборке автор сообщает значение WER 0,2016 и loss 0,1768. Модель распространяется по лицензии Apache-2.0.

istupakov/whisper-base-onnx — это версия модели Whisper base, разработанной OpenAI и преобразованной в формат ONNX для использования с библиотекой onnx-asr. Модель предназначена для автоматического распознавания речи в аудиофайлах, включая транскрибацию WAV, с возможностью автоматического определения языка или его явного указания. Ключевые характеристики включают архитектуру Whisper base в формате ONNX, поддержку обработки аудио и генерацию текстовой расшифровки. В карточке модели указаны английский и русский языки. Экспорт выполнен с использованием beam search, forced decoder input IDs, оптимизации ONNX и точности FP32. Количество параметров и максимальная длина контекста не указаны. Формат ONNX ориентирован на запуск через onnx-asr и ONNX Runtime, в том числе на CPU. Автоматическое определение языка может работать медленнее, чем распознавание с заранее заданным языком. Данные о точности, производительности, устойчивости к шуму и других ограничениях отсутствуют, поэтому оценить сильные стороны модели по сравнению с альтернативами нельзя. Модель распространяется по лицензии Apache-2.0.

bofenghuang/whisper-large-v2-french — дообученная версия Whisper large-v2 для распознавания французской речи. Модель разработана bofenghuang на основе openai/whisper-large-v2 и обучена на составном наборе из более чем 2200 часов аудио, включавшем Common Voice 11.0, Multilingual LibriSpeech, VoxPopuli, Fleurs, Multilingual TEDx, MediaSpeech и African Accented French. В метаданных указаны архитектура WhisperForConditionalGeneration, 905,2 млн параметров и библиотека Transformers. Модель преобразует французскую речь в текст и подходит для транскрибации записей и аудио из разных источников, в том числе речи с африканскими акцентами. Для распознавания входное аудио следует подавать с частотой дискретизации 16 кГц. Модель не предсказывает регистр букв и пунктуацию; приведённые в карточке показатели WER относятся к отфильтрованным и предобработанным тестовым наборам и не описывают все условия использования. Распространяется по лицензии Apache-2.0.

Apel-sin/whisper-large-v3-russian-ties-podlodka-v1.2 — русскоязычная модель распознавания речи на архитектуре Whisper large-v3. Она объединяет методом TIES модели antony66/whisper-large-v3-russian и bond005/whisper-large-v3-ru-podlodka; размер составляет 905,2 млн параметров. Модель предназначена для преобразования аудиозаписей в текст, в том числе телефонных разговоров. В карточке указано, что для обработки звонков рекомендуется предварительно подготовить записи и отрегулировать громкость. Модель помечена как незавершённая работа: автор планирует дополнительно адаптировать её для распознавания телефонной речи. Обучение связано с наборами Common Voice 17.0, Taiga Speech v2, Podlodka Speech и ruLibriSpeech. Использование совместимого с OpenAI API сервера описано как возможный способ запуска. Сведения о лицензии в предоставленных данных отсутствуют.

French Medium Whisper — дообученная модель распознавания речи из семейства Whisper, созданная на основе openai/whisper-medium и обученная на наборе данных Common Voice 11.0. Она преобразует французскую речь в текст и подходит для транскрибации аудио и оценки систем распознавания французской речи. В карточке приведены результаты на тестовой выборке: WER 15,8969 без нормализации и 11,1406 с нормализацией. Модель содержит 455,8 млн параметров, использует архитектуру WhisperForConditionalGeneration и распространяется в формате PyTorch. Лицензия — Apache-2.0. Результаты сравнения с Whisper Medium приведены для тестовых наборов разных версий Common Voice, поэтому они не гарантируют превосходство на других аудио и сценариях.

Whisper-Small-CV11 — мультиязычная модель распознавания речи, созданная Burak Aydın путём дообучения стандартной архитектуры OpenAI Whisper Small на корпусе Whispered. Она содержит 153,1 млн параметров и предназначена для транскрибирования аудиозаписей на 11 языках. Модель работает в Transformers и совместима с обычными инструментами для Whisper; для загрузки не требуется доверять дополнительному коду репозитория. При оценке на CommonVoice 17 модель показала более низкий WER, чем исходная Whisper Small, на 10 из 11 языков; README приводит результаты для английского, немецкого и испанского. Обучение сохраняло замороженным энкодер и использовало 15 000 шагов. Модель подходит для расшифровки записанной речи с бытовых микрофонов, в том числе при фоновом шуме. Модель рассчитана на английский, немецкий, испанский, французский, русский, турецкий, арабский, грузинский, тайский, китайский и валлийский языки. Лицензия — Apache 2.0. По заявлению авторов, дообучение снижает качество для других языков Whisper; грузинский вариант на уровне Whisper Small не пригоден для использования. Качество на дальней речи, телефонном аудио 8 кГц и перекрывающейся речи не оценивалось.

Whisper-small-mlx — модель автоматического распознавания речи в формате MLX, размещённая сообществом mlx-community. Она конвертирована из версии Whisper «small» и предназначена для запуска с библиотекой MLX и примерами MLX от ML Exploration, включая транскрибацию аудиофайлов. Модель работает с аудио и решает задачи преобразования речи в текст. В README не указаны точные архитектурные характеристики, число параметров, размер контекста, поддерживаемые языки и дополнительные модальности. Сильная сторона модели — адаптация формата Whisper для экосистемы MLX; ограничением является отсутствие в предоставленных данных подробностей о производительности, качестве распознавания и совместимости с конкретными типами аудио. Лицензия в README не указана.

Это компактная модель распознавания речи OpenAI Whisper Tiny, представленная в формате CTranslate2 с точностью float32. Репозиторий подготовлен ctranslate2-4you; для запуска автор рекомендует библиотеку whisper-s2t-reborn. Модель преобразует аудиозаписи в текст и подходит для транскрибации речи. Whisper Tiny относится к многоязычной версии Whisper; в метаданных указан английский язык. Конкретные сведения о размере и длине контекста отсутствуют. Формат CTranslate2 предназначен для инференса, а веса представлены с точностью float32. Модель основана на openai/whisper-tiny и распространяется по лицензии Apache-2.0. Компактный вариант Whisper удобен для задач распознавания речи, однако карточка не приводит оценок качества или отдельных ограничений для этой сборки.

Rolv-Arild/xls-r-300m-npsc-2 — модель автоматического распознавания речи на базе архитектуры wav2vec2, разработанная пользователем Rolv-Arild и представленная на Hugging Face. Модель относится к семейству XLS-R и имеет около 402,7 млн параметров; её назначение — преобразование норвежской речи в текст, в частности для материалов Norwegian Parliamentary Speech Corpus (NPSC). Модель поддерживает pipeline automatic-speech-recognition и использует библиотеки Transformers и PyTorch. Сильная сторона модели — специализация на распознавании норвежской речи после дообучения на парламентских аудиозаписях. Она предназначена прежде всего для транскрибации норвежских выступлений и других близких по акустике и тематике записей. Точная лицензия модели и длина контекста по доступным данным не установлены; для практического применения следует учитывать возможное снижение качества на других языках, диалектах, шумных записях и аудио, отличающемся от обучающего домена.

Afrispeech-Whisper-Medium-All — модель распознавания речи на базе Whisper Medium, дообученная Intron Health на датасете AfriSpeech-200 для лучшей работы с африканскими акцентами. Модель принимает аудио и преобразует речь в текст; пример в карточке описывает автоматическое определение языка вывода и транскрибирование на английском языке. Архитектура — WhisperForConditionalGeneration, плотная модель на 455,8 млн параметров. Для длинных записей README рекомендует сегментировать аудио на фрагменты по 30 секунд с помощью Transformers pipeline; поддерживаются временные метки на уровне последовательности. Модель опубликована в формате safetensors под лицензией Apache-2.0.

olmOCR-7B-0225-preview-GGUF — это квантизированная версия мультимодальной модели olmOCR-7B-0225-preview, разработанной AllenAI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для обработки изображений и текста, прежде всего для задач оптического распознавания символов и извлечения текстовой информации из визуальных документов. Заявленная языковая поддержка — английский язык. Модель содержит около 7 миллиардов параметров и доступна в нескольких вариантах квантизации от Q8_0 до Q2_K_L, что позволяет выбирать между качеством распознавания, размером файла и требованиями к оперативной памяти. Размер файлов составляет примерно от 3,49 до 8,10 ГБ. Варианты GGUF можно запускать локально через llama.cpp, LM Studio и другие совместимые проекты. Для взаимодействия используется шаблон промпта с ролями system, user и assistant. Сильными сторонами являются поддержка изображений, широкий выбор уровней квантизации и возможность локального запуска без обращения к облачным сервисам. При этом снижение точности по сравнению с исходной моделью зависит от выбранного варианта квантизации, а сведения о точной архитектуре, максимальной длине контекста и поддержке языков, кроме английского, в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

OpenMOSS-Team/AnyGPT-chat — чат-модель AnyGPT от команды OpenMOSS, построенная на плотной архитектуре LLaMA и содержащая 6,7 млрд параметров. Она представляет речь, текст, изображения и музыку дискретными токенами, чтобы обрабатывать их в общей последовательности и выполнять преобразования между модальностями. Для обработки речи, изображений и музыки используются отдельные токенизаторы и модули восстановления. Модель предназначена для мультимодального диалога и генерации: она может создавать изображения по тексту, описывать изображения и музыку, распознавать речь, синтезировать речь, в том числе с голосовым образцом, и создавать музыку по текстовому описанию. Веса доступны в формате PyTorch; базовая конфигурация имеет контекст 2048 токенов. В README не указаны языки, на которые специально рассчитаны мультимодальные возможности. Авторы предупреждают, что из-за ограничений данных и вычислительных ресурсов генерация может быть нестабильной; результаты могут потребовать повторных запусков или настройки декодирования. README указывает лицензию исходной LLaMA 2, а метаданные Hugging Face — Apache-2.0; это расхождение не позволяет однозначно установить условия использования по доступным сведениям.

Модель maherghanem86/arabic_speech_to_text разработана и обучена инженером Махером Бассамом Ганемом для автоматического распознавания арабской речи. Это плотная модель семейства wav2vec2 с архитектурой Wav2Vec2ForCTC и примерно 402,7 млн параметров; репозиторий содержит веса PyTorch и SafeTensors. Модель предназначена для преобразования аудиозаписей на арабском языке в текст; карточка сообщает о тестировании на Common Voice 8.0 и показателе WER 22,26%.

ARK-ASR-0.6B INT8 ONNX — пакет для локального распознавания речи, подготовленный разработчиками ARK-ASR на основе модели AutoArk-AI/ARK-ASR-0.6B. Он предназначен для запуска ASR через ONNX Runtime на локальных компьютерах и периферийных устройствах, когда важен компактный формат инференса. Модель имеет плотную архитектуру ArkasrForConditionalGeneration, содержит около 504,7 млн параметров и использует 32 768 токенов контекста. Пакет включает INT8 ONNX-компоненты декодера, аудиоэнкодера и аудиоадаптера, а также FP32-эмбеддинги и необходимые файлы токенизатора и процессора. Входное аудио обрабатывается с частотой 16 кГц; модель распознаёт китайскую, английскую, немецкую, японскую, французскую, корейскую, испанскую, польскую, итальянскую, румынскую, венгерскую, чешскую, нидерландскую, финскую, хорватскую, словацкую, словенскую, эстонскую и литовскую речь и выдаёт текст. Квантованный ONNX-пакет рассчитан на компактный локальный инференс; лицензия — Apache-2.0.

istupakov/canary-1b-v2-onnx — это конвертированная в формат ONNX версия модели NVIDIA Canary 1B v2, подготовленная для использования с библиотекой onnx-asr. Модель разработана на базе NVIDIA Canary 1B v2 и предназначена для автоматического распознавания речи, а также автоматического перевода речи между языками. Модель принимает аудиофайлы, например WAV, и поддерживает распознавание на болгарском, хорватском, чешском, датском, нидерландском, английском, эстонском, финском, французском, немецком, греческом, венгерском, итальянском, латышском, литовском, мальтийском, польском, португальском, румынском, словацком, словенском, испанском, шведском, русском и украинском языках. Для некоторых сценариев доступен перевод распознанной речи на целевой язык, например с английского на французский. Ключевая характеристика модели — формат ONNX, позволяющий использовать её через onnx-asr, в том числе в окружении с CPU. В названии и идентификаторе базовой модели указано обозначение 1B, однако точные сведения об архитектуре, размере файлов, максимальной длительности аудио и размере контекста в README не приведены. Ограничения производительности и качества зависят от аудиозаписи, языка и аппаратной конфигурации. Модель распространяется по лицензии CC BY 4.0. Для загрузки и использования рекомендуется установить пакет onnx-asr с поддержкой CPU и Hugging Face Hub.

Cohere Transcribe — специализированная модель автоматического распознавания речи, разработанная Cohere и Cohere Labs. Это open source-модель формата audio-in, text-out для транскрибации речи и поддерживает 14 языков: английский, немецкий, французский, итальянский, испанский, португальский, греческий, нидерландский, польский, арабский, вьетнамский, китайский (мандарин), японский и корейский. Представленная версия ONNX предназначена для использования, в частности, через Transformers.js. Модель содержит около 2 млрд параметров и построена на базе Conformer: аудиосигнал преобразуется в mel-спектрограмму, после чего обрабатывается оптимизированным для речи Conformer-энкодером и лёгким Transformer-декодером, генерирующим текст. На вход подаётся аудиоволна; при предварительной обработке она автоматически преобразуется к частоте 16 кГц, а многоканальный звук сводится к одному каналу. Модель обучалась с нуля методом supervised cross-entropy. К сильным сторонам относятся высокая точность транскрибации на поддерживаемых языках и эффективность: заявлен real-time factor до трёх раз выше, чем у других специализированных ASR-моделей сопоставимого размера. Модель рассчитана на работу с одним заранее указанным языком и не поддерживает явное автоматическое определение языка; на смешанной речи её результаты могут быть нестабильными. Она также не предоставляет временные метки и диаризацию говорящих, а фоновые шумы и тишина могут приводить к нежелательной транскрибации, поэтому рекомендуется использовать VAD или noise gate. Модель распространяется по лицензии Apache 2.0 без дополнительных условий.

Eagle2-9B — мультимодальная модель семейства Eagle2, выпущенная NVIDIA для понимания изображений и видео в диалоге. Она объединяет языковую основу Qwen2.5-7B-Instruct с визуальными компонентами SigLIP и ConvNeXt и поддерживает работу с текстом, одним или несколькими изображениями и видео. В README заявлена максимальная длина контекста 16 тыс. токенов; метаданные указывают архитектуру Eagle2ChatModel и библиотеку Transformers. Модель предназначена для описания визуального содержимого, ответов на вопросы по изображениям и видео, а также диалоговых задач с текстом и визуальными входами. В опубликованной таблице приведён результат на DocVQA, но полный набор результатов в доступном тексте README отсутствует. Модель весит около 8,9 млрд параметров по таблице README. Веса доступны по лицензии CC BY-NC 4.0 для некоммерческого использования; README также указывает лицензионные условия базовых моделей Qwen2.5 и PaliGemma. Для запуска README рекомендует transformers 4.37.2 и предупреждает, что более новые версии несовместимы. Поддержка vLLM и готовые скрипты дообучения в карточке обозначены как TODO.

Florence-2-SD3-Captioner — модель на архитектуре Florence-2, опубликованная gokaygokay. Она предназначена для создания текстовых описаний изображений и подходит для автоматического аннотирования изображений и подготовки подписей к визуальному контенту. Метаданные указывают задачи image-text-to-text и text-generation, а также обучение на наборах данных Docci, ImageInWords и синтетических высококачественных подписях DALL·E 3. Модель принимает изображения и выдаёт текст; в карточке указан английский язык. Репозиторий содержит веса в формате safetensors и использует Transformers. Лицензия — Apache-2.0.

Fun-ASR-Nano-2512 — модель автоматического распознавания речи, разработанная командой FunAudioLLM в Tongyi Lab. Репозиторий bezzam/Fun-ASR-Nano-2512-hf содержит вариант модели для Transformers; исходная модель построена как система ASR на основе аудиоэнкодера и языковой модели-декодера, включает около 800 млн параметров и распространяется под лицензией Apache-2.0. Модель преобразует речь в текст, поддерживает китайский, английский и японский языки, китайские диалекты и региональные акценты, а также распознавание пения и рэпа. Разработчик указывает сценарии распознавания в шумной обстановке и потоковой транскрипции с низкой задержкой. Карточка HF отмечает ограничение текущего HF-чекпойнта: для транскрипции он пригоден, но путь CTC отключён, поэтому временные метки и диаризация могут быть недоступны или ненадёжны.

GigaAM Multilingual — семейство моделей распознавания речи, разработанное ai-sage. В него входят модели на базе Conformer размером 220 млн и 600 млн параметров: варианты ssl и large_ssl представляют собой самоконтролируемые энкодеры, а ctc и large_ctc дополнены символьными CTC-декодерами для автоматического распознавания речи. Предварительное обучение выполнено на 2 млн часов речи более чем на 70 языках, а варианты для распознавания речи дообучены на 50 тыс. часов аудио. Модель предназначена для преобразования речи в текст. README сообщает о высоком качестве среди открытых моделей для русского, казахского, кыргызского и узбекского языков и умеренном качестве для английского. В приведённых сравнениях качество различается по языку и набору данных: например, на английском Whisper large v3 и Seamless M4T large v2 показывают меньшую долю ошибок на некоторых тестах. Варианты ssl можно адаптировать к новым языкам. Модели распространяются по лицензии MIT.

GIT-large-R-COCO — модель Microsoft для генерации описаний изображений. Это декодерный Transformer семейства GIT (GenerativeImage2Text), который получает визуальные токены изображения от CLIP и текстовые токены; размер модели — 80,1 млн параметров, длина контекста — 1024 токена. Чекпойнт дообучен на COCO; суффикс R означает повторное обучение с удалением части оскорбительных подписей из набора CC12M. Модель предназначена прежде всего для автоматического создания текстовых подписей к изображениям. Архитектура также позволяет задавать вопросы об изображении или получать текстовую метку класса, но эти сценарии не обозначены как основная настройка данного чекпойнта. Карточка описывает обучение на парах изображение—текст и приводит сведения о предварительной обработке изображений; результаты оценки отсылаются к статье. Модель принимает изображения и выдаёт текст на английском языке. Распространяется под лицензией MIT. Как и другие генераторы подписей, может ошибаться в деталях сцены или формулировать неподтверждённые изображением сведения; для результатов оценки следует обратиться к публикации.

Huihui-Qwen3-VL-30B-A3B-Instruct-abliterated — мультимодальная диалоговая модель Huihui AI на базе Qwen3-VL-30B-A3B-Instruct от Qwen. Это дообученная версия с ослабленными отказами: abliteration применена к текстовой части, а обработка изображений не изменялась. Модель принимает текст и изображения и предназначена для диалога, анализа изображений и видео, распознавания текста на изображениях и пространственных рассуждений; также поддерживает интерфейс вызова инструментов. Архитектура относится к семейству Qwen3 VL MoE, веса доступны в формате safetensors для Transformers. Ослабление защитных отказов может приводить к чувствительным, спорным или неподходящим ответам, поэтому результаты следует проверять. Лицензия — Apache-2.0.

InternVL2-1B — мультимодальная модель с инструкционной настройкой от команды OpenGVLab. Она объединяет визуальный энкодер InternViT-300M-448px, MLP-проектор и языковую модель Qwen2-0.5B-Instruct; размер модели в таблице README указан как 0,9 млрд параметров. Модель принимает изображения и текстовые запросы, а ответы формирует текстом. В README заявлено контекстное окно 8 тыс. токенов и обучение на длинных текстах, нескольких изображениях и видео. Модель предназначена для диалога по изображениям и видео, понимания документов, графиков и инфографики, распознавания текста в сценах и решения визуальных научных и математических задач. Среди описанных сценариев — ответы на вопросы по изображению, OCR и понимание видеокадров. Репозиторий распространяется по лицензии MIT. Результаты в README основаны на перечисленных бенчмарках; они не гарантируют точность на любых данных. В предоставленной карточке не описаны специальные ограничения применения.

InternVL2_5-4B-MPO — мультимодальная чат-модель OpenGVLab, дообученная на основе OpenGVLab/InternVL2_5-4B с применением Mixed Preference Optimization. Она предназначена для диалога и генерации текстовых ответов на запросы об изображениях, нескольких изображениях и видеокадрах, включая распознавание текста и визуальные вопросы. Модель построена по схеме ViT-MLP-LLM: визуальная часть InternViT-300M-448px-V2_5 связана через MLP-проектор с языковой частью Qwen2.5-3B-Instruct; изображения обрабатываются с динамическим разрешением и разбиением на тайлы 448×448 пикселей. Модель подходит для визуальных помощников, анализа изображений и видео, ответов по содержимому диаграмм и документов. Для запуска в README приведён пример использования Transformers с весами bf16 или fp16; также описаны инференс с несколькими изображениями, потоковая генерация и развёртывание через LMDeploy. Репозиторий использует формат safetensors и распространяется по лицензии MIT. Модель может ошибаться при интерпретации изображений и видео; обработка нескольких изображений увеличивает расход входных токенов. README не приводит размер контекста и перечень поддерживаемых языков, поэтому эти характеристики здесь не уточняются.

InternVL3.5-2B-Instruct — мультимодальная модель OpenGVLab из семейства InternVL3.5, дообученная на базе OpenGVLab/InternVL3_5-2B-Pretrained. Она принимает изображения вместе с текстовыми запросами и формирует текстовые ответы; подходит для диалога по изображениям, визуальных вопросов и задач на мультимодальное рассуждение. В README описаны возможности семейства InternVL3.5, включая распознавание текста на изображениях и взаимодействие с графическим интерфейсом, но отдельные характеристики версии 2B в предоставленном фрагменте не уточняются. Модель поддерживает мультиязычные сценарии, использует архитектуру InternVLChatModel и распространяется в формате safetensors для Transformers. Лицензия — Apache-2.0. В метаданных также заявлен интерфейс вызова инструментов; его фактическая поддержка зависит от используемого шаблона и системы запуска.

Карточка модели anas89ji/Ming-flash-omni-Preview на Hugging Face совпадает с карточкой inclusionAI/Ming-flash-omni-Preview, поэтому описание составлено по ней. Ming-flash-omni Preview — предварительная мультимодальная модель компании inclusionAI, дообученная на основе Ling-flash-2.0. Это разреженная MoE-модель с 100 млрд параметров, из которых активны 6 млрд на токен; архитектура указана как BailingMM2NativeForConditionalGeneration. Модель принимает текст, изображения, аудио и видео и может выдавать текст, изображения и аудио. Модель предназначена для мультимодального диалога: понимания изображений и видео, распознавания речи с учётом контекста и китайских диалектов, синтеза речи, генерации и редактирования изображений. Среди заявленных возможностей — генеративная сегментация, улучшенное сохранение сцены и идентичности при редактировании, а также отрисовка текста внутри изображений. Разработчик сообщает о сильных результатах на мультимодальных тестах, включая контекстное распознавание речи и распознавание 15 китайских диалектов. Модель опубликована под лицензией MIT. Это Preview-версия; карточка не приводит длину контекста и подробные требования к оборудованию. Для практического применения следует учитывать большой общий размер модели и проверять качество на целевых задачах.

Moondream2-streaming — компактная плотная визуально-языковая модель семейства Moondream, опубликованная ThomasSimonini. Она предназначена для эффективного запуска на периферийных устройствах и отвечает на текстовые вопросы по изображениям, в том числе помогает читать документы и считать объекты. В карточке приведены результаты на VQAv2, GQA, TextVQA, DocVQA, TallyQA и POPE; репозиторий содержит варианты safetensors и GGUF F16. Модель принимает изображение вместе с текстовым запросом и выдаёт текстовый ответ. Для использования указан стек Transformers и einops. Версия модели обновляется, поэтому для воспроизводимости README рекомендует закреплять конкретный релиз. Лицензия — Apache-2.0.

Muse-Glimmer-30B-Abliterated-MM-bf16 — мультимодальная модель на 30 млрд параметров от Matt Macosko, созданная на базе mlx-community/Muse-Glimmer-30B-bf16. Это дообученная версия Meta Muse-Glimmer-30B с удалённым стандартным поведением отказа; она предназначена для диалога и анализа изображений на устройствах Apple Silicon с использованием MLX и mlx-vlm. Модель принимает изображения и текстовые запросы и может описывать изображения, распознавать объекты и достопримечательности, читать текст на изображениях и извлекать данные из диаграмм. Визуальная часть включает 50-слойный ViT в стиле Qwen2.5-VL, адаптер GELU и проекцию признаков изображения в текстовый поток. Веса поставляются в формате safetensors с точностью bf16; README указывает потребление около 60 ГБ памяти. Модель рассчитана на локальный запуск на компьютерах Apple Silicon с достаточным объёмом памяти. Поведение отказа удалено, поэтому следует учитывать её unconstrained-режим. Лицензия указана как other; README требует соблюдать лицензию базовой модели, но конкретные условия этой лицензии в доступных данных не приведены.