I.15Доступность и ассистивные технологии

Parakeet CTC 1.1B — модель автоматического распознавания речи, совместно разработанная командами NVIDIA NeMo и Suno.ai. Она преобразует аудиозаписи в текст на английском языке, выдавая результат строчными буквами, и предназначена для транскрибации речи, локального вывода и последующего дообучения на других наборах данных. Модель построена на архитектуре FastConformer CTC и содержит около 1,1 млрд параметров. Поддерживается английский язык; основная модальность — аудио с речью, выход — текстовая транскрипция. Модель доступна для использования через NVIDIA NeMo, Transformers и лёгкий нативный C++ runtime NeMo-Speech.cpp. В README приведены результаты оценки на различных англоязычных наборах данных: WER составляет от 1,83% на LibriSpeech clean до 15,62% на AMI Meetings. Сильной стороной модели являются крупный размер и хорошие показатели распознавания на ряде стандартных тестов, а также возможность инференса и fine-tuning. Ограничения включают поддержку только английского языка и отсутствие в предоставленных данных сведений о максимальной длине контекста, устойчивости к шуму и требованиях к вычислительным ресурсам. Лицензия — CC BY 4.0.

Perception Language Model (PLM) — семейство мультимодальных моделей Meta для понимания изображений и видео; эта карточка относится к варианту PLM8B. Модель сочетает визуальный энкодер с языковым декодером менее чем на 8 млрд параметров и доступна в формате Safetensors для работы с библиотекой Transformers. В README описаны обучение и оценка модели, а также результаты на наборах тестов для визуальных вопросов, OCR, понимания графиков и пространственно-временных аспектов видео. PLM предназначена для диалога по изображениям и видео, ответов на вопросы о визуальном содержимом и детального анализа сцен и событий. Разработчики сообщают, что при обучении исследовали масштабирование синтетических данных и создали набор из 2,8 млн примеров с разметкой людей; в описанном стандартном обучении не использовалась дистилляция закрытых моделей. Карточка не приводит отдельные численные оценки ограничений модели или длину контекста. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория.

QARI-OCR v0.3 — специализированная мультимодальная модель NAMAA-Space для распознавания арабского текста на изображениях документов и сохранения их структуры. Она дообучена на основе Qwen2-VL-2B-Instruct; архитектура — Qwen2-VL, размер — 1,5 млрд параметров. Модель принимает изображения и текстовые запросы, а распознанный текст может сохранять структуру документа с помощью тегов HTML или Markdown. Модель предназначена для OCR документов с заголовками, основным текстом и сложной версткой. В карточке отмечены поддержка огласовок и работа с 12 арабскими шрифтами, а также начальные возможности распознавания рукописного текста и устойчивость к изображениям низкого разрешения и ухудшенного качества. По данным README, CER составляет 0,300, WER — 0,485, BLEU — 0,545; для версии v0.2 указана более высокая точность распознавания обычного текста. Модель обрабатывает арабский язык, использует библиотеку Transformers и имеет контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

QTuneVL1.5-2B — компактная мультимодальная языковая модель Reconova AI Lab для диалога с изображениями и анализа визуального содержимого. Модель использует архитектуру InternVLChat и объединяет компоненты Qwen2.5-1.5B и InternViT-300M-v2.5; в README также описана настройка на InternVL3-2B и стратегии обрезки и дополнения изображений, применяемые в Mini-Monkey, UReader и InternVL. Модель предназначена для ответов на вопросы по изображениям, визуальных рассуждений и распознавания текста на изображениях. В README приведено сравнение с предшественником QTuneVL1-2B по восьми тестам, включая OCRBench, MMStar и MMMU, с оговоркой, что конфигурация оценщика GPT в VLMEvalKit может отличаться от официальной. Репозиторий использует Transformers и формат safetensors; лицензия — MIT.

Qwen3.7-Plus — экономичная мультимодальная модель из серии Qwen3.7 компании Alibaba. Она принимает текст и изображения и формирует текстовые ответы, поэтому подходит для диалога и задач, где нужно интерпретировать визуальное содержимое вместе с текстовым запросом.

Модель gbull25/qwen3-vl-russian-handwriting — дообученная gbull25 мультимодальная модель семейства Qwen3-VL для работы с изображениями и текстом. Она основана на unsloth/qwen3-vl-4b-instruct-unsloth-bnb-4bit и предназначена для распознавания и интерпретации рукописного текста на изображениях с ответом в текстовом формате. Архитектура — Qwen3VLForConditionalGeneration; модель использует формат safetensors и поддерживает диалоговый интерфейс и обработку изображений. Модель обучали с помощью Unsloth и библиотеки TRL от Hugging Face. Лицензия — Apache-2.0. В карточке не приведены результаты оценивания качества, поэтому точность распознавания рукописей нельзя определить по доступным сведениям.

Карточка модели Syninlab/Synin-1.0-Omni-Inquisitive на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

MusaNyaks/trocr-barbados-fold2 — дообученная модель Microsoft TrOCR base handwritten для преобразования изображений рукописного текста в текст. Она построена на архитектуре vision-encoder-decoder и предназначена для распознавания рукописных строк; в README указано значение loss 0,9111 на наборе оценки. Данные обучения, целевой язык и подробные сценарии применения в карточке не описаны. Модель распространяется в формате safetensors по лицензии MIT.

TR-OCR Large AR/EN Handwritten — модель распознавания рукописного текста на изображениях, созданная David Magdy и Ahmed Wahdan на основе Microsoft TrOCR Large. Она дообучена на наборах Khatt и IAM для чтения арабского и английского текста в документах и преобразования его в текст. Модель использует архитектуру vision-encoder-decoder и предназначена для распознавания рукописного текста, а не для анализа изображений общего назначения. Репозиторий содержит веса в формате safetensors; для загрузки указана библиотека Transformers. Лицензия — Apache-2.0.

team-lucid/trocr-small-korean — корейская модель распознавания текста на изображениях семейства TrOCR, разработанная на архитектуре VisionEncoderDecoder. Она состоит из визуального трансформерного энкодера, инициализированного весами DeiT, и текстового трансформерного декодера с собственными весами RoBERTa. Модель обучалась на 6 млн синтетических изображений, созданных с помощью SynthTiger, при поддержке Google TPU Research Cloud. Модель предназначена для извлечения текста из изображений, прежде всего для распознавания корейского текста. Может применяться для оцифровки изображений с текстом и распознавания строк. Репозиторий содержит веса PyTorch, Flax и Safetensors. Лицензия — Apache 2.0.

Ultravox v0.4.1 — мультимодальная речевая языковая модель от Fixie.ai на базе Llama 3.1 8B Instruct и Whisper Large V3 Turbo. Она принимает аудио вместе с текстовым контекстом и генерирует текстовые ответы, поэтому подходит для голосовых агентов, анализа речи и перевода устной речи. Модель обучалась на смеси наборов данных для распознавания речи и перевода, включая LibriSpeech, Common Voice, GigaSpeech, Peoples Speech, Wenetspeech и CoVoST2. Модель поддерживает арабский, немецкий, английский, испанский, французский, хинди, итальянский, японский, нидерландский, португальский, русский, шведский, турецкий, украинский и китайский языки. В README указаны задержка до первого токена около 150 мс и скорость генерации примерно 50–100 токенов в секунду на GPU A100 40 ГБ при использовании аудио. Модель выдаёт текст, а не синтезированную речь; в этой версии также не применялась настройка предпочтений. Лицензия — MIT.

Карточка модели aoiandroid/ultravox-v0_5-llama-3_1-8b на Hugging Face совпадает с карточкой fixie-ai/ultravox-v0_5-llama-3_1-8b, поэтому описание составлено по ней. Ultravox v0.5 — мультимодальная речевая языковая модель от Fixie.ai, построенная на Llama 3.1 8B Instruct и Whisper Large-v3-Turbo. Она принимает речь вместе с текстом, например текстовую системную инструкцию и голосовое сообщение, и формирует текстовый ответ. Модель предназначена для голосовых агентов, распознавания и анализа речи, а также перевода устной речи. В README заявлена скорость около 150 мс до первого токена и 50–100 токенов в секунду на GPU A100 40 ГБ при обработке аудио. Для версии 0.5 приведены результаты оценки перевода речи на наборе CoVoST 2. Для этой версии не проводилась настройка предпочтений; генерация аудио не поддерживается. Модель распространяется по лицензии MIT.

Карточка модели fixie-ai/ultravox-v0_6-gemma-3-27b на Hugging Face совпадает с карточкой fixie-ai/ultravox-v0_6-llama-3_3-70b, поэтому описание составлено по ней. Ultravox v0.6 Llama 3.3 70B — мультимодальная речевая языковая модель от Fixie.ai. Она принимает текст и речь: аудио кодируется речевым энкодером Whisper large-v3-turbo и объединяется с текстовым запросом, после чего модель формирует текстовый ответ. В основе этой версии — Llama 3.3 70B. Модель предназначена для распознавания и анализа речи, речевого перевода и создания голосовых агентов. Версия v0.6 получила расширенные данные обучения на хинди, что улучшило понимание хинди, а также обучение на зашумлённых аудиоданных. При слишком шумном аудио или отсутствии разборчивой речи модель может выдать маркер ((noise)). Поддерживаются разные языки; в карточке перечислены, в частности, английский, хинди, японский, русский и китайский. Генерация аудио не поддерживается: ответ формируется текстом. Модель распространяется по лицензии MIT.

Unlimited-OCR BF16 MLX — конвертированная для MLX версия модели Baidu Unlimited-OCR, опубликованная emee-ai. Она предназначена для распознавания текста и разбора документов по изображениям; пример в карточке показывает обработку изображения с запросом на разбор документа. Модель использует архитектуру DeepSeekOCR с компонентами SAM, CLIP-L и DeepSeekV2 OCR; объём параметров — 559,7 млн, контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors, размещённые в MLX-layout, и использует реализацию deepseekocr из mlx-vlm. Модель принимает изображение и текстовый запрос, выдаёт текст. В метаданных указан мультиязычный режим, но конкретные языки не перечислены. Лицензия — MIT.

Карточка модели Jinstudio/Voxtral-Small-24B-2507 на Hugging Face совпадает с карточкой Mistral: Voxtral Small 24B 2507, поэтому описание составлено по ней. Voxtral Small 1.0 (24B) 2507 — мультимодальная модель Mistral, дообученная на базе mistralai/Mistral-Small-24B-Base-2501 для работы с аудио и сохранения возможностей текстовой языковой модели. Она принимает аудио и текстовые инструкции и генерирует текст: распознаёт речь, переводит её, отвечает на вопросы по аудиозаписям и составляет их краткие структурированные сводки. Модель поддерживает автоматическое определение языка речи и восемь языков: английский, французский, немецкий, испанский, итальянский, португальский, нидерландский и хинди. Контекст модели составляет 32 тыс. токенов; согласно карточке, она обрабатывает аудио до 30 минут при транскрибации и до 40 минут при анализе. Также заявлена экспериментальная поддержка вызова функций по голосовым инструкциям. Для запуска рекомендуются vLLM или Transformers; обработка на GPU требует около 55 ГБ видеопамяти в bf16 или fp16. Модель распространяется по лицензии Apache-2.0.

Это модель распознавания речи на португальском языке, разработанная Yuriy Vnv на основе openai/whisper-large-v3 и дообученная на Common Voice 17.0 и синтетических данных CAPES, отфильтрованных методом WAVe. Она принимает аудио и преобразует речь в текст; рассчитана на транскрибацию португальской речи, в том числе для длинных высказываний и аудио из новых предметных областей. Модель содержит 905,2 млн параметров и использует архитектуру Whisper large-v3. В карточке сообщается о WER 7,95% на тесте Common Voice и 6,89% на MLS, а также о меньшем объёме синтетических данных и числе шагов обучения по сравнению с вариантом фильтрации на уровне предложений. Модель оптимизирована для обычной португальской речи; качество на технической лексике, шумном аудио и разных региональных вариантах португальского может отличаться. Распространяется по лицензии Apache-2.0.

Карточка модели bybb138/whisper-large-v3-turbo-korean на Hugging Face совпадает с карточкой ghost613/whisper-large-v3-turbo-korean, поэтому описание составлено по ней. ghost613/whisper-large-v3-turbo-korean — дообученная модель Whisper Large V3 Turbo для автоматического распознавания корейской речи и преобразования её в текст. Она создана на основе openai/whisper-large-v3-turbo и обучена на корейском наборе данных Zeroth; в обучающей выборке было около 206 часов 43 минут аудио. Модель содержит около 905,2 млн параметров и принимает аудио, выдавая текст. В README указаны итоговые показатели WER 4,90% на валидации и 4,89% на тесте, а CER — 1,78% и 2,06% соответственно. Автор отмечает, что обучение не сошлось и дальнейшее улучшение результатов возможно. Модель опубликована в формате safetensors; условия лицензии в предоставленных данных не описаны.

Модель oddadmix/whisper-medium-arabic-dialectal-v2 — дообученная версия OpenAI Whisper Medium для распознавания разговорной арабской речи разных диалектов. Она принимает аудио и генерирует текстовую расшифровку без диакритических знаков. Обучение проведено на диалектно-сбалансированном наборе oddadmix/lahgtna-v3-small; архитектура — WhisperForConditionalGeneration, веса хранятся в формате safetensors. В README указано 769 млн параметров; тестирование на сбалансированной выборке примерно из 2 600 аудиофрагментов дало WER 0,3415 и CER 0,128.

Whisper Small PL — дообученная модель распознавания речи на основе openai/whisper-small, созданная для транскрибирования польской речи. Она использует архитектуру Whisper и содержит 153,1 млн параметров. Обучение проводилось на наборах Common Voice 11.0 и FLEURS; в README для оценочной выборки указана WER 14,8004. Модель принимает аудио и выдаёт текстовую транскрипцию. Она подходит для преобразования записей польской речи в текст. Репозиторий распространяется в формате PyTorch по лицензии Apache-2.0.

ATH-MaaS_OvisOCR2-GGUF — это квантизированная GGUF-версия мультимодальной модели OvisOCR2, разработанной ATH-MaaS. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для оптического распознавания символов и разбора документов по изображениям, включая преобразование содержимого в Markdown, обработку таблиц и формул. Она относится к классу image-text-to-text и может применяться в сценариях автоматического извлечения текста и структуры из документов. Модель поддерживает мультимодальный ввод, однако README не указывает её точную архитектуру, число параметров, поддерживаемые языки и размер контекстного окна. Доступны варианты от BF16 до различных уровней квантизации, примерно от 0,48 до 1,52 ГБ. Более качественными считаются варианты Q5–Q8, тогда как Q2–Q3 экономят память ценой снижения качества. Файлы рассчитаны на запуск через llama.cpp и совместимые инструменты, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. К сильным сторонам относятся специализация на OCR и разборе документов, поддержка таблиц и формул, а также широкий выбор квантизаций для устройств с разным объёмом памяти. Ограничения связаны с возможной потерей качества в низкобитных вариантах и отсутствием в README подробных сведений о языках, производительности и рекомендуемых аппаратных требованиях. Модель распространяется по лицензии Apache-2.0.

hezarai/crnn-base-fa-v2 — модель оптического распознавания персидского текста, разработанная Hezarai. Она основана на архитектуре CRNN: сверточная нейросеть извлекает признаки изображения, а LSTM обрабатывает последовательность символов. Модель предназначена для распознавания печатного текста на сканированных документах и изображениях; для полного OCR-конвейера её следует применять после детектора текстовых областей. По сравнению с предыдущей версией использует датасет в пять раз больше, принимает изображения размером 32×384 и поддерживает вывод длиной до 96 символов. Обрабатывает цифры и специальные символы, а также автоматически учитывает символы слева направо, например цифры внутри персидского текста. Лучше всего работает с фрагментами текста длиной примерно до 50 символов. Модель можно дообучать для других областей, включая номера автомобилей и рукописный текст. Опубликована под лицензией Apache-2.0.

neuralabs/deepseek_ocr_de — дообученная компанией neuralabs модель DeepSeek OCR для распознавания немецкого текста на изображениях. Она предназначена для извлечения текста из отсканированных документов, печатных материалов, фотографий, форм и чеков; обучена на синтетическом наборе из 200 тысяч изображений с немецкими текстами и поддерживает особенности немецкой орфографии, включая ä, ö, ü и ß. Модель построена на плотной архитектуре DeepseekOCRForCausalLM, содержит 559,7 млн параметров и имеет контекст 8192 токена. В метаданных указаны задачи text-generation и feature-extraction; для основного сценария распознавания текста по изображению подходящим поисковым тегом является image-text-to-text. Модель принимает изображения с текстом и выдаёт текст. Лучше всего работает с чёткими изображениями печатного немецкого текста, похожего на обучающие данные. Качество может снижаться на рукописном тексте, размытых или низкоконтрастных изображениях и материалах, сильно отличающихся от обучающего распределения. Распространяется по лицензии Apache 2.0.

Distil-Whisper distil-large-v2 — англоязычная модель распознавания речи, разработанная командой Distil-Whisper как дистиллированная версия Whisper large-v2. Она использует архитектуру encoder-decoder Whisper: энкодер скопирован из исходной модели, а декодер сокращён до двух слоёв. В метаданных указано 905,2 млн параметров. Модель предназначена для транскрибации английской речи в коротких и длинных аудиозаписях и может использоваться как ускоренная замена Whisper large-v2. По данным карточки, она примерно в шесть раз быстрее и на 49% меньше исходной модели, сохраняя близкое качество распознавания; также её можно применять как вспомогательную модель для speculative decoding с Whisper. Поддерживаются форматы PyTorch, safetensors, ONNX и Flax. Модель принимает аудио и выдаёт текст. Она рассчитана только на распознавание английской речи; авторы рекомендуют вместо неё более новую distil-large-v3 для лучшей поддержки последовательной генерации на длинных записях. Лицензия — MIT.

Это веса Distil-Large-v3.5, преобразованные в формат CTranslate2 для быстрого инференса через Faster-Whisper. Репозиторий подготовлен для использования с бэкендом CTranslate2; модель предназначена для автоматического распознавания речи по аудио. Карточка описывает конверсию весов, а не отдельное дообучение. Указана лицензия MIT. Подробности об архитектуре, размере, контексте и ограничениях исходной модели в этой карточке не приведены.

guillaumekln опубликовал конверсию модели распознавания речи Whisper tiny.en от OpenAI в формат CTranslate2. Модель предназначена для транскрибирования английской речи и может использоваться через CTranslate2 и библиотеки на его основе, включая faster-whisper. Веса сохранены в FP16; при загрузке тип вычислений можно выбрать параметром compute_type в CTranslate2. Репозиторий содержит конвертированную модель, а не новое дообучение. Лицензия — MIT.

InternVL2-26B — мультимодальная диалоговая модель с настройкой по инструкциям, разработанная командой OpenGVLab. Она объединяет визуальный энкодер InternViT-6B-448px-V1-5, MLP-проектор и языковую модель internlm2-chat-20b; заявленный размер — около 25,5 млрд параметров. Модель предназначена для диалога по изображениям и видео, а также для анализа документов, диаграмм, инфографики и текста на изображениях, решения научных и математических задач. Модель принимает текст и изображения; видео может обрабатываться через кадры. Она обучена на контекстном окне 8k и данных с длинными текстами, несколькими изображениями и видео. README заявляет конкурентные результаты на мультимодальных бенчмарках, включая задачи OCR и понимания документов. Метаданные отмечают поддержку многоязычного режима, но конкретные языки не перечислены. Репозиторий распространяется по лицензии MIT.

nileq/kazakh-omni-asr-ctc — модель автоматического распознавания казахской речи, разработанная Nileq на базе OmniASR wav2vec2.5 large и дообученная с функцией потерь CTC. Она использует архитектуру Wav2Vec2ForCTC с 24 слоями энкодера, размером скрытого состояния 1024 и 16 головами внимания; словарь SentencePiece содержит 9812 токенов. Модель принимает монофоническое аудио с частотой дискретизации 16 кГц и преобразует речь в текст. Вес модели составляет 412,7 млн параметров; файлы опубликованы в формате safetensors. Модель предназначена для транскрибации казахской речи и интеграции в системы распознавания аудио. Указанная лицензия — Apache-2.0. Карточка сообщает о 20 000 шагах обучения; качество на реальных записях и устойчивость к шуму отдельно не охарактеризованы.

alpindale/Llama-3.2-11B-Vision-Instruct — мультимодальная инструктивная модель, опубликованная alpindale на основе модели Meta Llama 3.2-Vision. Это плотная авторегрессионная трансформерная модель семейства mllama с 11 млрд параметров: она обрабатывает текст и изображения и генерирует текст. Визуальный адаптер с перекрёстным вниманием передаёт представления изображения в языковую модель; для запуска используется библиотека Transformers. Модель подходит для визуального распознавания и рассуждений по изображениям, создания подписей, ответов на вопросы об изображениях и диалога с визуальным контекстом. Среди заявленных сценариев также ответы по изображениям документов, поиск соответствий между изображениями и текстом и визуальная привязка описаний к областям изображения. Контекст составляет до 128 тыс. токенов. Для задач с изображениями заявлена поддержка английского; для текстовых задач поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель рассчитана на коммерческое и исследовательское применение. В README указана лицензия Llama 3.2 Community License — специальное лицензионное соглашение с условиями использования и Acceptable Use Policy; перед внедрением следует ознакомиться с ними. Модель статична, обучена на офлайн-данных; заявленная дата отсечения знаний — декабрь 2023 года. README описывает семейство моделей Meta и не подтверждает конкретные изменения, внесённые alpindale в эту копию.

Карточка модели servantofares/Ming-flash-omni-2.0 на Hugging Face совпадает с карточкой inclusionAI/Ming-flash-omni-2.0, поэтому описание составлено по ней. Ming-flash-omni 2.0 — мультимодальная модель от inclusionAI на архитектуре Ling-2.0 с Mixture-of-Experts: 100 млрд параметров всего, 6 млрд активных. Она принимает изображения, текст, видео и аудио, а выдаёт текст, изображения и аудио. Модель предназначена для мультимодального понимания и генерации, включая анализ визуальных сцен и знаний об объектах, потоковый диалог по видео, распознавание речи, синтез речи и музыки, а также создание и редактирование изображений. Среди заявленных возможностей — распознавание растений, животных, культурных объектов и достопримечательностей, управление характеристиками генерируемого аудио и клонирование голоса с нулевым примером. Для изображений заявлены генерация, сегментация и редактирование, в том числе удаление объектов и композиция сцен. Карточка описывает версии 2.0 как официальную открытую модель; лицензия репозитория — MIT. README не приводит подробностей о поддерживаемых языках, длине контекста, аппаратных требованиях или результатах независимой оценки; архитектура и заявленные способности не гарантируют качество на каждом сценарии. Метаданные указывают форматные варианты PyTorch, ONNX, Flax и TensorFlow.

Карточка модели andrewheins55/Ming-flash-omni-2.1 на Hugging Face совпадает с карточкой inclusionAI/Ming-flash-omni-2.0, поэтому описание составлено по ней. Ming-flash-omni 2.0 — мультимодальная модель от inclusionAI на архитектуре Ling-2.0 с Mixture-of-Experts: 100 млрд параметров всего, 6 млрд активных. Она принимает изображения, текст, видео и аудио, а выдаёт текст, изображения и аудио. Модель предназначена для мультимодального понимания и генерации, включая анализ визуальных сцен и знаний об объектах, потоковый диалог по видео, распознавание речи, синтез речи и музыки, а также создание и редактирование изображений. Среди заявленных возможностей — распознавание растений, животных, культурных объектов и достопримечательностей, управление характеристиками генерируемого аудио и клонирование голоса с нулевым примером. Для изображений заявлены генерация, сегментация и редактирование, в том числе удаление объектов и композиция сцен. Карточка описывает версии 2.0 как официальную открытую модель; лицензия репозитория — MIT. README не приводит подробностей о поддерживаемых языках, длине контекста, аппаратных требованиях или результатах независимой оценки; архитектура и заявленные способности не гарантируют качество на каждом сценарии. Метаданные указывают форматные варианты PyTorch, ONNX, Flax и TensorFlow.