I.8Изображения и компьютерное зрение
В разделе собраны самостоятельные задачи, где AI помогает извлекать визуальные признаки, изменять изображения и создавать новые визуальные материалы. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
6 331 модельInstruction-tuning-sd/cartoonizer — модель преобразования изображений на основе Stable Diffusion v1.5, дообученная авторами репозитория от чекпойнтов InstructPix2Pix. Она принимает исходное изображение и текстовую инструкцию, чтобы преобразовать изображение, в частности стилизовать его под мультфильм. Модель рассчитана на сценарии редактирования изображений по запросу и распространяется в формате Diffusers/PyTorch; для работы используется StableDiffusionInstructPix2PixPipeline. Модель может быть полезна для мультяшной стилизации фотографий и других преобразований изображений, заданных текстом. README не приводит размер модели, длину контекста или сведения о поддерживаемых естественных языках. Репозиторий распространяется по лицензии MIT.
CLIP-GmP-ViT-L-14 — дообученная модель сопоставления изображений и текста на основе OpenAI CLIP ViT-L/14, разработанная zer0int. Она предназначена для классификации изображений по текстовым описаниям без дополнительного обучения: пользователь задаёт категории словами, а модель оценивает соответствие изображения каждой категории. В карточке указано дообучение с геометрической параметризацией (GmP); в метаданных также указан датасет SPRIGHT-T2I/spright_coco. Модель использует архитектуру CLIPModel и опубликована в формате safetensors. Автор сообщает об улучшении точности на ImageNet и ObjectNet примерно до 0,90 относительно примерно 0,85 у исходной модели, однако эти результаты зависят от протокола оценки. В README исходная версия GmP названа устаревшей и уступающей более поздним вариантам автора, поэтому для использования как текстового энкодера генеративных моделей автор рекомендует другие версии. Лицензия — MIT.
Это точная копия CLIP ViT-B/32 от OpenAI, опубликованная ANEForge для прямого запуска модели на Apple Neural Engine через библиотеку ANEForge. Веса побайтно совпадают с исходным репозиторием openai/clip-vit-base-patch32; архитектура — CLIP с визуальным энкодером ViT-B/32, формат весов — safetensors. Модель сопоставляет изображение с текстовыми метками и подходит для классификации изображений без дообучения: пользователь задаёт варианты описаний, а модель возвращает метку и оценку вероятности. Она принимает изображение и текстовые метки. Сведения о языках и размере контекста в предоставленных данных отсутствуют. Лицензионные условия следует смотреть в исходном репозитории OpenAI. Карточка ANEForge описывает способ загрузки и выполнения модели на Apple Neural Engine; качество и назначение модели соответствуют исходной CLIP ViT-B/32.
echo-clip — модель семейства CLIP, опубликованная пользователем mkaichristensen на Hugging Face и предназначенная для классификации изображений без примеров обучения. Она сопоставляет изображение с текстовыми описаниями классов и позволяет выбирать наиболее подходящие метки; репозиторий поддерживает загрузку через OpenCLIP. Конфигурация указывает на визуальный энкодер ConvNeXt-Base и размерность эмбеддингов 512. Модель принимает изображения и текстовые метки или описания, а результатом служат оценки соответствия, пригодные для ранжирования кандидатов. Карточка не сообщает размер модели в параметрах, контекст или список поддерживаемых языков. Репозиторий распространяется по лицензии MIT.
timm/eva_giant_patch14_clip_224.merged2b — веса модели EVA-CLIP, опубликованные командой timm для использования через OpenCLIP. Модель предназначена для классификации изображений по текстовым описаниям без отдельного обучения на каждом наборе классов: пользователь передаёт изображение и варианты подписей, а модель оценивает их соответствие. В названии указаны архитектура EVA с патчами 14×14 и входным размером изображения 224 пикселя. Модель сопоставляет визуальные и текстовые представления, поэтому принимает изображения и текстовые метки и выдаёт оценки соответствия. Репозиторий содержит веса PyTorch и Safetensors и предназначен для библиотеки OpenCLIP. Лицензия — MIT.
FLUX.1-Fill-dev-GGUF — квантованное представление модели FLUX.1-Fill-dev, разработанной Black Forest Labs и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации изображений по текстовому описанию и сценариев заполнения или редактирования изображений, связанных с FLUX.1-Fill-dev. Доступны варианты с квантованием Q2_K, Q3_K, Q4_0, Q4_1, Q4_K, Q5_0, Q5_1 и Q8_0 размером примерно от 4,16 до 12,8 ГБ, а также версия F16 в формате Safetensors размером 23,8 ГБ. Отдельно предоставляется компонент VAE ae.safetensors размером 335 МБ. README не содержит сведений об архитектуре, размере исходной модели, поддерживаемых разрешениях, длине контекста или полном наборе модальностей; указан язык en. Ключевое преимущество модели — широкий выбор уровней квантования для подбора компромисса между размером файлов, требованиями к ресурсам и качеством. Ограничение состоит в том, что исходный комплект не включает T5, CLIP и ae, поэтому для запуска могут потребоваться дополнительные компоненты; заявленная интеграция с LlamaEdge-StableDiffusion на момент публикации обозначена как находящаяся в разработке. Модель распространяется по лицензии flux-1-dev-non-commercial-license, то есть для некоммерческого использования.
Manusagents/FLUX.2-dev — это перепакованная версия FLUX.2 [dev] от Black Forest Labs для генерации изображений по тексту и редактирования изображений. Репозиторий использует Diffusers и формат safetensors; из него удалён дублирующий файл весов, чтобы при загрузке не выделялась память для второй копии модели. В README заявлено снижение пикового расхода видеопамяти примерно со 178 до 110 ГБ. Модель предназначена для генерации изображений по текстовым запросам, редактирования по исходному изображению и композиции с несколькими референсами. README также заявляет перенос идентичности персонажей, объектов и стилей без дополнительного обучения, а ускорение генерации связывает с дистилляцией guidance. Метаданные подтверждают задачи text-to-image и image-to-image, но относят image-to-image к основной задаче. В README указана лицензия FLUX.2 [dev] Non-Commercial License: использование ограничено её условиями и не является коммерчески свободным. Описание лицензии в README расходится с утверждением о свободном коммерческом использовании результатов. Также отмечено, что для применения модели требуются фильтры или ручная проверка входов и выходов.
FLUX.2-dev-bnb-4bit — 4-битная NF4-квантизированная версия модели FLUX.2-dev, разработанной Black Forest Labs. Модель предназначена для генерации и редактирования изображений, включая сценарии image-to-image, и интегрируется с библиотекой Diffusers. В состав входят квантизированные DiT и текстовые энкодеры, тогда как VAE не подвергался квантизации. В карточке указана поддержка английского языка. Квантизация NF4 снижает требования к памяти по сравнению с полноразмерной версией, что может упростить локальный запуск, однако README не содержит точных сведений о размере модели, максимальном контексте, поддерживаемых разрешениях, производительности и ограничениях качества. Модель распространяется по лицензии FLUX [dev] Non-Commercial License; для использования требуется согласие с этой лицензией и Acceptable Use Policy.
mlx-community/FLUX.2-Klein-4B-3bit — 3-битная квантизированная версия FLUX.2 [klein] 4B от Black Forest Labs, подготовленная сообществом mlx-community. Это компактный rectified flow transformer с 4 млрд параметров для генерации и редактирования изображений. Модель принимает текстовые описания и изображения, включая несколько референсов для редактирования, и выдаёт изображения. Модель предназначена для быстрого создания изображений, локальной разработки, развёртывания на периферийных устройствах и производственных приложений. В README заявлены высокая скорость, возможность работы на потребительских GPU и потребление от 13 ГБ видеопамяти; эти показатели относятся к семейству FLUX.2 [klein] и могут зависеть от оборудования и реализации. Репозиторий распространяется по лицензии Apache 2.0.
Карточка модели kayraharika/HiDream-O1-Image-Dev на Hugging Face совпадает с карточкой HiDream-ai/HiDream-O1-Image, поэтому описание составлено по ней. HiDream-O1-Image — модель генерации и редактирования изображений от HiDream, построенная на Pixel-level Unified Transformer (UiT). Она обрабатывает текст и пиксели в общем пространстве токенов, без внешнего VAE и отдельного текстового энкодера. В карточке семейства указана версия на 8 млрд параметров; модель создаёт изображения напрямую с разрешением до 2048 × 2048. Модель предназначена для генерации изображений по текстовому описанию, редактирования изображения по инструкции, персонализации с сохранением заданного персонажа или объекта, управления композицией и создания раскадровок. Встроенный агент рассуждений помогает уточнять требования к композиции и надписям; заявлена поддержка длинного текста и многоязычных надписей на изображениях. Метаданные классифицируют модель как image-text-to-image. В README описаны полная и дистиллированная Dev-версии; результаты и характеристики могут различаться между ними. Для запуска требуется GPU с поддержкой CUDA; авторы отмечают проблему с PyTorch 2.9.x и рекомендуют полную версию для редактирования. Репозиторий модели распространяется по лицензии MIT.
Jagle-VL-2.2B-Jagle-FineVision — мультимодальная модель зрения и языка, разработанная авторами проекта Jagle и обученная на наборах данных Jagle и FineVision. Она предназначена для обработки изображений в сочетании с языковыми запросами и извлечения признаков для мультимодальных сценариев. Архитектура вдохновлена InternVL3.0 и включает языковую модель Qwen3-1.7B, визуальный энкодер SigLIP2 SO400M и лёгкий двухслойный MLP-проектор; общий размер — 2,2 млрд параметров. Модель реализована для Transformers, веса опубликованы в формате safetensors. В карточке не описаны поддерживаемые языки и длина контекста. Модель подходит для экспериментов и приложений, которым нужны визуально-языковые признаки; метаданные указывают задачу feature-extraction. Лицензия в предоставленных данных не указана.
LongCat-Image-Edit-Turbo-FP8 — дистиллированная модель для редактирования изображений, разработанная командой Meituan LongCat. Она предназначена для image-to-image сценариев: изменения объектов и содержания исходного изображения по текстовому описанию, включая задачи на английском и китайском языках. Модель интегрируется с библиотекой Hugging Face Diffusers через LongCatImageEditPipeline. Ключевая особенность модели — высокая скорость вывода: для генерации требуется 8 NFEs (Number of Function Evaluations), что обеспечивает низкую задержку инференса. В README также указана специализированная посимвольная обработка текста: при редактировании изображений с текстом целевой текст необходимо заключать в одинарные или двойные кавычки, иначе качество его отображения существенно снижается. Точные сведения об архитектуре, общем размере модели, поддерживаемых модальностях и максимальной длине контекста не приведены. Для работы требуется GPU; при использовании CPU offload заявлена потребность примерно в 18 ГБ видеопамяти, однако такой режим работает медленнее. Модель опубликована по лицензии Apache-2.0. README не содержит подробных сведений о возможных ограничениях качества, наборе данных или результатах сравнительного тестирования.
MetaCLIP B/16 — модель семейства CLIP, разработанная командой MetaCLIP и обученная на 400 миллионах примеров CommonCrawl. Вариант base использует разрешение патчей 16; веса доступны в формате PyTorch. Модель сопоставляет изображения и текст в общем пространстве представлений. Её можно применять для классификации изображений по текстовым описаниям без дополнительного обучения, поиска изображений по текстовому запросу и поиска текста по изображению. Модель ориентирована на исследование связи между подбором обучающих данных и качеством CLIP. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства и запрещает коммерческое применение.
MetaCLIP ViT-B/32 — модель семейства CLIP, разработанная командой MetaCLIP и представленная в статье «Demystifying CLIP Data» авторов Xu и соавторов. Эта версия обучалась на 400 миллионах примеров Common Crawl; обозначение B/32 указывает на базовый размер модели и разрешение патчей 32. Модель сопоставляет изображения и текст в общем пространстве эмбеддингов. Она предназначена для классификации изображений без дополнительного обучения по текстовым описаниям классов, поиска изображений по тексту и поиска текста по изображению. Лицензия CC BY-NC 4.0 разрешает использование на условиях лицензии с ограничением на коммерческое применение.
NYUAD-ComNets разработала классификатор изображений на архитектуре ViT, предназначенный для определения, является ли изображение сгенерированным ИИ. Модель содержит 113,2 млн параметров и опубликована в формате Safetensors; для применения можно использовать конвейер image-classification в Transformers. В карточке приведены результаты на наборе оценки: точность 0,9736 и значение функции потерь 0,0987. Модель подходит для предварительной проверки изображений и сортировки коллекций по вероятности искусственного происхождения. Лицензия Apache-2.0.
Это 4-битная MLX-квантизация Qwen/Qwen-Image-2.1, подготовленная toxicdog для локального запуска на компьютерах Mac с Apple silicon. Базовая модель объединяет генерацию и редактирование изображений; визуальный генератор содержит 7 млрд параметров и 32 слоя DiT с однопоточной архитектурой, а для кодирования текста используется Qwen3-VL 8B. Модель создаёт изображения по текстовым запросам, редактирует изображения с использованием до 10 референсов, масок и нарисованных пометок, а также поддерживает прозрачный RGBA-вывод и многоязычный текст внутри изображений. Конверсия выполнена в MLX с 4-битным аффинным квантованием линейных весов; VAE сохранён в bf16. Это чекпойнт MLX, он не является готовым чекпойнтом для Diffusers или PyTorch и рассчитан на совместимый пользовательский рантайм. В README указана лицензия исходной модели как other; условия лицензии следует сверить с карточкой базовой модели.
Это версия SigLIP SoViT-400m, подготовленная zeromodels в формате Keras 3 на основе google/siglip-so400m-patch14-224. Модель использует двойной визуально-текстовый энкодер: принимает изображения и текстовые запросы, чтобы классифицировать изображения по произвольным текстовым меткам без отдельного обучения на этих метках. Поддерживает разрешение 224 × 224; реализация Keras может работать с TensorFlow, PyTorch или JAX. Модель подходит для поиска изображений по описанию и классификации изображений по пользовательским категориям. В README отмечено, что обучение SigLIP использует попарную сигмоидальную функцию потерь вместо контрастивного softmax-подхода CLIP. Репозиторий распространяется по лицензии Apache 2.0. Это преобразованная версия базовой модели, поэтому её возможности и ограничения в основном наследуются от SigLIP; качество зависит от формулировки текстовых запросов и соответствия изображений обучающим данным.
Карточка модели 004T/StableXlL на Hugging Face совпадает с карточкой kandinsky-community/kandinsky-2-1, поэтому описание составлено по ней. Kandinsky 2.1 — модель генерации изображений по тексту, разработанная Арсением Шахматовым, Антоном Разжигаевым, Александром Николичем, Игорем Павловым, Андреем Кузнецовым и Денисом Димитровым. Она предназначена для создания изображений по запросам, а также для редактирования и преобразования изображений под текстовым управлением и интерполяции между изображениями. Модель сочетает подходы unCLIP и латентной диффузии: включает трансформерный image prior, диффузионную UNet и декодер MoVQGAN. CLIP-кодировщик преобразует текст и изображения в эмбеддинги; image prior связывает эти пространства, а диффузионная часть формирует изображение. Для обучения использовались данные LAION и дополнительные высококачественные изображения с описаниями. Модель доступна в формате Diffusers и поддерживает работу через библиотеку diffusers. Репозиторий распространяется по лицензии Apache-2.0. Это генеративная модель, поэтому результат зависит от формулировки запроса и может не соответствовать ему точно; описание не приводит отдельных гарантий качества для конкретных сценариев.
Taiyi-CLIP-Roberta-large-326M-Chinese — китайская модель семейства Taiyi-CLIP, разработанная командой Fengshenbang. Это текстовый энкодер RoBERTa-large в модели CLIP, обученной сопоставлять изображения и китайские описания. Для визуальной части используется ViT-L-14; при предварительном обучении визуальный энкодер замораживали, а текстовый дообучали на 123 млн пар изображение–текст из наборов Noah-Wukong и Zero. В README указано 326 млн параметров для модели, тогда как метаданные репозитория сообщают 424,3 млн параметров. Модель предназначена для извлечения совместимых представлений изображений и текста, классификации изображений без дополнительного обучения и поиска изображений по китайскому текстовому запросу. В README приведены результаты zero-shot классификации ImageNet1k-CN и поиска текста по изображениям на Flickr30k-CNA, COCO-CN и Wukong50k. Метаданные указывают архитектуру BertForSequenceClassification, контекст до 512 токенов и pipeline feature-extraction; этот репозиторий представлен как текстовая часть мультимодальной системы CLIP. Лицензия — Apache-2.0.
chs20/tecoa4-clip — модель CLIP ViT-L/14, опубликованная пользователем chs20 и предназначенная для классификации изображений по текстовым описаниям без дообучения на каждом наборе классов. Она сопоставляет изображения и текстовые метки, позволяя задавать категории естественным языком. Модель создана дообучением с учителем и состязательным обучением на ImageNet от исходной модели OpenAI CLIP; при обучении использовалась норма L∞ с радиусом 4/255. Модель работает с изображениями и текстом и доступна в формате PyTorch через библиотеку open_clip. Состязательное дообучение направлено на устойчивость к небольшим возмущениям входного изображения, однако README не приводит метрик качества и не уточняет пределы такой устойчивости. Лицензия — MIT.
LLM-grounded Video Diffusion (LVD) — модель генерации видео, разработанная Long Lian, Baifeng Shi, Adam Yala, Trevor Darrell и Boyi Li из UC Berkeley и UCSF; работа представлена на ICLR 2024. Модель основана на ModelScope и дополнена управлением генерацией через ограничивающие рамки объектов: она использует cross-attention для привязки объектов к заданным областям кадра. Модель предназначена для генерации видео по тексту, в том числе с динамической компоновкой сцены, сформированной LLM. Её можно использовать как видеоверсию GLIGEN или самостоятельно. Для обучения GLIGEN-модели использовались веса ModelScope без временных transformer-блоков, датасет SA-1B и разрешение 256×256; затем адаптеры были объединены с ModelScope. Репозиторий содержит модель в форматах Diffusers и Safetensors.
wkcn/TinyCLIP-ViT-40M-32-Text-19M-LAION400M — компактная модель семейства CLIP, основанная на сопоставлении изображений и текста. Она разработана в рамках метода TinyCLIP, представленного на ICCV 2023: при обучении используются дистилляция межмодальных связей и наследование весов, чтобы уменьшить размер модели при сохранении полезности для задач CLIP. Вариант из репозитория сочетает визуальный энкодер ViT примерно на 40 млн параметров с текстовым энкодером примерно на 19 млн параметров; предобучение выполнено на LAION-400M. Модель предназначена для классификации изображений по произвольным текстовым описаниям без отдельного обучения на каждом наборе классов. Её можно применять для поиска изображений по текстовым запросам и сопоставления изображения с набором подписей. Компактная архитектура рассчитана на более быстрый и экономный инференс по сравнению с крупными CLIP-моделями, хотя конкретные показатели качества и скорости именно этого варианта в карточке не приведены. Репозиторий содержит веса PyTorch и SafeTensors и предназначен для использования с Transformers. Лицензия — MIT.
Это модульный конвейер генерации видео на основе Wan2.2 VACE, опубликованный akshan-main для Diffusers. Он состоит из пяти настраиваемых блоков: кодирования текста, подготовки управляющего видео, маски и эталонных изображений, денойзинга, обрезки латентов и декодирования. В компоненты входят UMT5EncoderModel, WanVACETransformer3DModel и AutoencoderKLWan; для управления генерацией используется ClassifierFreeGuidance. Доступна настройка boundary_ratio, разделяющего этапы денойзинга с высоким и низким уровнем шума. Конвейер предназначен для управляемой генерации видео по текстовому запросу, с дополнительным видео, маской областей и эталонными изображениями. По умолчанию он рассчитан на 81 кадр и 50 шагов инференса; максимальная длина последовательности текста по умолчанию — 512 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Diffusers. Пример запуска в карточке не приведён. Лицензия в предоставленных данных не указана.
TPIPS-ActDiff-Qwen3VL-8B — модель для оценки перцептивного сходства изображений с учётом текста, разработанная на основе Qwen/Qwen3-VL-Embedding-8B. Она вычисляет многослойное расстояние между скрытыми представлениями пары изображений, а небольшая текстовая MLP-сеть задаёт веса слоёв. Чем выше попарная оценка, тем изображения похожее; на её основе также можно рассчитывать вероятности выбора отличающегося изображения и сравнивать кандидатов с эталоном. Модель дообучена с помощью channel LoRA (r=16, α=32) и отдельной текстовой MLP-головы. Репозиторий содержит checkpoint activation distance и предназначен для сценариев сравнения изображений по текстовому условию. Для работы предлагается библиотека TPIPS и Python 3.10 или новее. Лицензия указана как other, поэтому конкретные условия использования следует сверить с лицензией репозитория.
VBVR-Pro Qwen Image Edit — модель для редактирования изображений по текстовым инструкциям, разработанная авторами проекта VBVR-Pro на основе Qwen/Qwen-Image-Edit-2511. Она дообучена на наборе VBVR-Pro-SFT-Image; веса LoRA ранга 32 объединены с весами трансформера, поэтому модель загружается напрямую через Diffusers без отдельного адаптера. Модель предназначена для инструкционного редактирования изображений и визуальных задач, где требуется рассуждать через создание или изменение изображения. Проект VBVR-Pro исследует визуальное рассуждение и описывает набор из 300 процедурно созданных задач, однако карточка этой модели указывает именно на редактирование изображений. Репозиторий распространяется в форматах Diffusers и safetensors по лицензии Apache-2.0. В карточке не приведены результаты, позволяющие оценить качество модели отдельно от общего описания проекта.
VINCIE — модель ByteDance-Seed для контекстного редактирования изображений, разработанная в рамках исследования обучения на видео. Она принимает изображение и контекстную последовательность из текста и ранее созданных изображений, чтобы выполнять многошаговое редактирование и создавать связанные изображения. В основе модели — блоково-каузальный диффузионный трансформер; обучение проводилось на задачах предсказания следующего изображения и сегментационных масок. Размер модели в карточке обозначен как 3B. Модель предназначена для редактирования изображений по контексту, композиции нескольких концепций, создания последовательности кадров или иллюстраций и цепочек последовательных правок. В README заявлены сильные результаты на двух бенчмарках многошагового редактирования, а также перспективные способности к композиции и сторителлингу. Репозиторий использует библиотеку VINCIE и формат PyTorch. Лицензия — Apache-2.0.
Bingsu разработал двуязычную CLIP-модель на основе архитектуры VisionTextDualEncoder: визуальная часть использует openai/clip-vit-base-patch32, а текстовая — lassl/bert-ko-small. По карточке, веса текстовой части CLIP перенесли на корейский энкодер методом, вдохновлённым дистилляцией знаний для многоязычных эмбеддингов; при обучении использовался параллельный корейско-английский корпус переводов AIHub, а pooling оставлен стандартным для модели Hugging Face. Модель предназначена для извлечения признаков и сопоставления изображений с текстом на корейском и английском языках, например для поиска изображений по запросу. Доступны веса PyTorch и safetensors. Модель распространяется по лицензии MIT. Карточка не приводит размер модели, длину контекста или оценки качества. Описанный способ переноса весов и использование переводного корпуса могут ограничивать качество за пределами корейского и английского языков и сценариев сопоставления изображения с текстом.
Это модель MetaCLIP-2.5B с архитектурой ViT-B/32: визуальный энкодер Vision Transformer разбивает изображение на патчи размером 32 пикселя и работает с разрешением 224 пикселя. Модель разработана для использования с библиотеками open_clip и timm; в OpenCLIP она называется ViT-B-32-quickgelu. Модель сопоставляет изображения с текстовыми описаниями и подходит для классификации изображений по заданным пользователем категориям без отдельного обучения на этих категориях. Её можно применять для поиска подходящей метки среди текстовых вариантов или для первичной сортировки изображений по описанию. В репозитории указаны веса PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
timm/ViT-L-16-SigLIP2-512 — модель «зрение–язык» семейства SigLIP 2, обученная на наборе данных WebLI и преобразованная из исходных контрольных точек JAX проекта Big Vision для использования в OpenCLIP. Она сопоставляет изображения и текст и предназначена для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах: пользователь задаёт возможные категории словами, а модель оценивает соответствие изображения каждой из них. Модель использует контрастивное обучение изображений и текста с сигмоидной функцией потерь. Репозиторий содержит веса в форматах PyTorch и safetensors; лицензия — Apache 2.0. Карточка указывает многоязычную направленность семейства SigLIP 2, но не перечисляет конкретные поддерживаемые языки или размеры модели.
Youtu-VL-4B-Instruct-GGUF — мультимодальная vision-language модель, разработанная Tencent на базе Youtu-LLM с 4 млрд параметров. Представленная версия распространяется в формате GGUF и предназначена для локального или эффективного инференса с использованием совместимых инструментов, включая llama.cpp. Модель принимает изображения и текст и генерирует текстовые ответы, поддерживая широкий спектр задач компьютерного зрения и мультимодального понимания. Модель предназначена для визуального вопросно-ответного взаимодействия, мультимодального рассуждения и математики, OCR, анализа нескольких изображений, оценки галлюцинаций и задач GUI-агента. Среди vision-centric сценариев заявлены визуальное заземление, классификация изображений, обнаружение объектов, referring segmentation, семантическая сегментация, оценка глубины, подсчёт объектов и оценка позы человека. Архитектурной особенностью является подход Vision-Language Unified Autoregressive Supervision (VLUAS), при котором визуальные и текстовые токены участвуют в едином авторегрессионном обучении через визуальный кодбук. Это позволяет решать плотные задачи зрения и задачи генерации текста без специализированных task-specific модулей. Сильными сторонами модели являются сочетание компактного размера, широкого набора визуальных возможностей и универсальной стандартной VLM-архитектуры. В данной сборке применена GGUF-квантизация с ручным повышением точности отдельных важных слоёв, что может улучшать точность при заданном уровне квантизации, но увеличивает размер файла. README не указывает поддерживаемые языки, размер контекстного окна, точные требования к памяти и количественные результаты отдельных бенчмарков, поэтому эти характеристики нельзя определить по имеющимся данным. Лицензия обозначена как youtu-vl; также указано ограничение доступа для пользователей из Европейского союза.