I.8Изображения и компьютерное зрение

radames/stable-diffusion-2-1-unclip-img2img — Stable Diffusion 2.1 UnCLIP, дообученная версия Stable Diffusion 2.1, связанная с разработчиками Robin Rombach и Patrick Esser. Это латентная диффузионная модель для преобразования изображений: она принимает изображение через его CLIP-эмбеддинг, в том числе с настраиваемым уровнем шума, и текстовый запрос, чтобы создавать вариации исходного изображения. Модель также можно объединять в цепочку с текстово-графическими CLIP-приорами. Для работы предназначена библиотека Diffusers; файлы представлены в форматах Diffusers, PyTorch и safetensors. Модель подходит для художественных вариаций, дизайна и творческих инструментов. Она лучше работает с английскими запросами. Фотореализм не гарантирован, текст на изображениях обычно неразборчив, а лица, люди и сложные пространственные композиции могут получаться плохо. Обучение использовало LAION-5B и подмножества с фильтрацией NSFW; карточка отмечает риск усиления социальных стереотипов. Лицензия — CreativeML Open RAIL++-M; карточка описывает модель как предназначенную для исследований и задаёт ограничения на использование, включая запрет на вредоносное и обманное применение.

Stable Diffusion v1-3 — модель латентной диффузии для генерации и изменения изображений по текстовым запросам, разработанная Робином Ромбахом и Патриком Эссером. Она использует предварительно обученный текстовый энкодер CLIP ViT-L/14 и предназначена для творческих, дизайнерских и образовательных инструментов, а также исследований генеративных моделей. Чекпойнт основан на Stable Diffusion v1-2 и дообучен на 195 тысячах шагов при разрешении 512×512 с данными laion-improved-aesthetics; в репозитории представлены веса Diffusers, PyTorch и Safetensors. Модель лучше работает с английскими запросами. Она не всегда создаёт фотореалистичные изображения, плохо воспроизводит читаемый текст и сложные пространственные отношения; лица и люди могут выглядеть некорректно. Обучающие данные включали взрослый контент, возможны смещения и запоминание изображений, поэтому для прикладного развёртывания важны меры безопасности. Лицензия CreativeML OpenRAIL-M устанавливает ограничения на использование и распространение модели.

Карточка модели sd-research/stable-diffusion-v1-5 на Hugging Face совпадает с карточкой stable-diffusion-v1-5/stable-diffusion-v1-5, поэтому описание составлено по ней. Stable Diffusion v1.5 — модель генерации и редактирования изображений по текстовому описанию, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с предварительно обученным текстовым энкодером CLIP ViT-L/14. Репозиторий содержит веса в форматах Diffusers, PyTorch и Safetensors; модель можно запускать через Diffusers и совместимые интерфейсы, например ComfyUI и AUTOMATIC1111. Модель подходит для создания иллюстраций и концептов, художественных и дизайнерских материалов, а также для изучения генеративных моделей. Она лучше работает с английскими запросами. Модель может ошибаться в фотореализме, композиции, изображении лиц и людей, а также обычно не создаёт разборчивый текст внутри изображений. Обучающие данные содержали взрослый контент, поэтому для безопасного применения важны фильтрация и дополнительные меры защиты; возможны смещения и запоминание дублированных изображений. Лицензия — CreativeML OpenRAIL-M. Карточка ограничивает применение исследованиями и описывает недопустимые сценарии использования, включая создание вредоносных или дискриминационных изображений. Репозиторий является зеркалом устаревшей карточки RunwayML и не связан с RunwayML.

Stable Diffusion 1.5 Alchemist — модель генерации изображений по текстовому описанию, разработанная Яндексом и дообученная на датасете Alchemist. Она основана на Stable Diffusion v1.5 и предназначена для создания изображений с улучшенной эстетикой и большей сложностью композиции. Модель распространяется в формате Diffusers с весами Safetensors и рассчитана на работу через библиотеку Diffusers. Модель подходит для генерации изображений по текстовым запросам. В карточке указана лицензия Apache-2.0. Из доступных сведений не следуют размер модели, длина контекста или перечень поддерживаемых языков; метаданные отмечают английский язык.

Карточка модели mutexre/stable-diffusion-xl-base-1.0 на Hugging Face совпадает с карточкой stabilityai/stable-diffusion-xl-base-1.0, поэтому описание составлено по ней. Stable Diffusion XL Base 1.0 — модель генерации и редактирования изображений по текстовому описанию, разработанная Stability AI. Она использует латентную диффузию и два предварительно обученных текстовых энкодера: OpenCLIP-ViT/G и CLIP-ViT/L. Базовую модель можно применять самостоятельно либо вместе с отдельной моделью-рефайнером для финальной обработки изображения; также описан двухэтапный вариант с повышением разрешения через img2img. Модель предназначена для создания иллюстраций и художественных изображений, а также для творческих и образовательных инструментов и исследований генеративных моделей. Она поддерживает генерацию изображений по текстовым запросам; репозиторий предлагает варианты запуска через Diffusers, ONNX и OpenVINO. Лицензия — CreativeML Open RAIL++-M (в метаданных указана openrail++).

Карточка модели Slugger101/stable-diffusion-xl-base-1.0 на Hugging Face совпадает с карточкой stabilityai/stable-diffusion-xl-base-1.0, поэтому описание составлено по ней. Stable Diffusion XL Base 1.0 — модель генерации и редактирования изображений по текстовому описанию, разработанная Stability AI. Она использует латентную диффузию и два предварительно обученных текстовых энкодера: OpenCLIP-ViT/G и CLIP-ViT/L. Базовую модель можно применять самостоятельно либо вместе с отдельной моделью-рефайнером для финальной обработки изображения; также описан двухэтапный вариант с повышением разрешения через img2img. Модель предназначена для создания иллюстраций и художественных изображений, а также для творческих и образовательных инструментов и исследований генеративных моделей. Она поддерживает генерацию изображений по текстовым запросам; репозиторий предлагает варианты запуска через Diffusers, ONNX и OpenVINO. Лицензия — CreativeML Open RAIL++-M (в метаданных указана openrail++).

QuickHawk/trocr-indic — модель распознавания текста на изображениях по подходу TrOCR, разработанная Aarya Devarla для индийских языков. Она принимает кадрированные изображения с текстом и генерирует распознанную строку; архитектура — VisionEncoderDecoderModel, объединяющая DeiT и IndicBART. Модель обучена на наборе IndicSTR12 и рассчитана на распознавание ассамского, бенгальского, гуджарати, хинди, каннада, малаялам, маратхи, одиа, панджаби, тамильского и телугу. Несмотря на перечень языков обучения, README предупреждает, что из-за ограничений IndicBART обучение использовало только деванагари. Поэтому качество для языков с другими письменностями может быть ограниченным. Приведённые CER и WER также заметно различаются между языками. Модель распространяется по лицензии MIT.

V-JEPA 2 ViT-L 256 — модель для классификации видео, разработанная FAIR при Meta. Это вариант V-JEPA 2 с головой классификации видео, дообученный на наборе Something-Something-V2; модель содержит 402,7 млн параметров и доступна в формате safetensors для библиотеки Transformers. Модель предназначена для присвоения видео меток классов и анализа действий, показанных в ролике. Она может использоваться для распознавания действий в коротких видео и построения систем понимания видеосодержимого. В метаданных указан базовый чекпойнт facebook/vjepa2-vitl-fpc64-256; репозиторий лицензирован по MIT.

Карточка модели ai-forever/Wan2.1-T2V-14B-NABLA-0.6-STA-11-3-3 на Hugging Face совпадает с карточкой ai-forever/Wan2.1-T2V-14B-NABLA-0.7, поэтому описание составлено по ней. Wan2.1-T2V-14B-NABLA-0.7 — дообученная версия модели Wan2.1 T2V-14B, представленная командой ai-forever. Она предназначена для генерации видео по текстовым описаниям. Модель использует механизм разреженного внимания NABLA (Neighborhood Adaptive Block-Level Attention), который адаптивно формирует маски внимания для ускорения вычислений в видеодиффузионном трансформере. NABLA с порогом 0,7 рассчитана на генерацию видео высокого разрешения; в карточке описана поддержка разрешения 720p и выше. Метод реализован через Flex Attention в PyTorch и не требует собственного CUDA-кода. Авторы сообщают об ускорении обучения и генерации до 2,7 раза в зависимости от размера видео и настроек, при сохранении сопоставимого качества в их оценках. Модель принимает текст и выдаёт видео; в языковых тегах указан английский. Репозиторий распространяется по лицензии Apache-2.0. Для использования Flex Attention требуется PyTorch версии 2.7 или новее. Фактическое ускорение зависит от конфигурации, а в README результаты приведены для нескольких порогов и вариантов NABLA, поэтому они не гарантируют такие же показатели для порога 0,7 во всех сценариях.

zeroscope_v2_576w — модель генерации видео из текстовых запросов, опубликованная cerspense и основанная на ModelScope. Она предназначена для создания предварительных видеоклипов с композициями 16:9 и плавным движением, которые можно использовать для быстрого подбора результата перед повышением разрешения с zeroscope_v2_XL. Модель обучена на 9 923 видеоклипах и 29 769 размеченных кадрах; целевое разрешение — 576×320 при 24 кадрах. Для генерации 30 кадров README указывает потребление около 7,9 ГБ видеопамяти. Модель работает с текстовым вводом и выдаёт видео. Доступна в форматах Diffusers и PyTorch; лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение. README рекомендует повышать разрешение через vid2vid с zeroscope_v2_XL, сохраняя исходный запрос.

AltDiffusion-m9 — модель генерации изображений по тексту, разработанная командой FlagAI на основе Stable Diffusion с мультиязычным текстовым кодировщиком AltCLIP-m9. Она предназначена для создания изображений по запросам на девяти языках: английском, китайском, испанском, французском, русском, японском, корейском, арабском и итальянском. В состав модели входят U-Net на 865 млн параметров, текстовый кодировщик AltCLIP-m9 на 859 млн параметров и автоэнкодер на 83,7 млн параметров; модель распространяется в форматах Diffusers и PyTorch. Модель обучалась на данных WuDao и LAION и рассчитана на многоязычную привязку текстового запроса к изображению, сохраняя основные возможности исходной Stable Diffusion. Лицензия — CreativeML OpenRAIL-M. Результаты могут различаться в зависимости от языка запроса; README также отмечает, что одинаковые запросы на разных языках могут приводить к разным изображениям.

Salesforce BLIP image-captioning-base — модель семейства BLIP для создания подписей к изображениям. Она основана на базовой архитектуре BLIP с визуальным энкодером ViT Base и обучена на наборе COCO. Модель принимает изображение и генерирует текстовое описание; поддерживает условную генерацию по изображению и безусловную генерацию подписей. Модель предназначена для автоматического описания изображений и экспериментов с задачами компьютерного зрения и языка. В исследовательской работе BLIP также показала переносимость на поиск по изображениям и текстам, ответы на вопросы по изображениям и задачи с видео, однако карточка этого чекпойнта указывает именно генерацию подписей. В репозитории доступны веса PyTorch и TensorFlow. Лицензия — BSD-3-Clause. Авторы рекомендуют оценивать точность, безопасность и справедливость перед внедрением: модель не проверена для всех прикладных сценариев, а описания могут содержать ошибки или пропускать важные детали.

CogView4-6B — модель генерации изображений по текстовому описанию, представленная zai-org и предназначенная для использования через Diffusers. Она дообучена на базе THUDM/glm-4-9b и распространяется в форматах Diffusers и safetensors по лицензии Apache-2.0. Модель поддерживает запросы на китайском и английском языках. Модель создаёт изображения с шириной и высотой от 512 до 2048 пикселей: размеры должны делиться на 32, а общее число пикселей не должно превышать 2²¹. Для инференса требуется BF16 или FP32; FP16 не поддерживается и может приводить к чёрным изображениям. В README приводятся результаты оценки на бенчмарках генерации изображений и отдельная оценка точности китайского текста на изображениях. Запуск требует значительного объёма памяти: в приведённых замерах для batch size 4 указано 33–35 ГБ без выгрузки модели на CPU, 20 ГБ с ней и 13 ГБ при дополнительном 4-битном текстовом энкодере. Условия лицензии — Apache-2.0.

misri/cyberrealisticXL_v22 — модель генерации изображений по текстовому описанию, опубликованная пользователем misri на Hugging Face в формате Diffusers и Safetensors. Метаданные указывают на архитектуру Stable Diffusion XL; карточка демонстрирует генерацию изображения по запросу и пример запуска через Diffusers. Модель предназначена для создания изображений по текстовым промптам. Данных о размере контекста и поддерживаемых языках нет, поэтому их характеристики здесь не уточняются. Лицензия в метаданных обозначена как неизвестная; условия использования следует проверять у автора.

FG-CLIP 2 Large — двуязычная модель компьютерного зрения и языка, разработанная Chunyu Xie, Bin Wang и коллегами. Она сопоставляет изображения с текстом и предназначена для тонкого понимания визуального содержимого на английском и китайском языках. В карточке модель загружается через Transformers как AutoModelForCausalLM с обработчиком изображений и токенизатором. Модель подходит для классификации изображений по текстовым описаниям без специального обучения, поиска изображений по запросу и поиска текста по изображению. Авторы сообщают о результатах на 29 наборах данных и 8 задачах, превосходящих SigLIP 2 и MetaCLIP 2; конкретные метрики и детали архитектуры в доступном README не приведены. Весы опубликованы в формате safetensors, лицензия — Apache-2.0.

Huiaaa/flickr30k-blip-caption — модель описания изображений на основе архитектуры BLIP, размещённая на Hugging Face и работающая через Transformers. Она принимает изображение и генерирует текстовую подпись; в названии указана связь с Flickr30k. Репозиторий содержит примерно 0,2 млрд параметров в формате safetensors с типом тензоров F32. Модель подходит для автоматического составления коротких описаний изображений и создания подписей для фотоколлекций. Карточка не сообщает разработчика, базовую модель, языки, лицензию, длину контекста или подробности обучения и оценки, поэтому эти характеристики нельзя надёжно уточнить.

FLUX.1-dev Turbo v4 GGUF — это квантизированная 12-миллиардная модель генерации изображений, опубликованная ChrisColeTech на основе black-forest-labs/FLUX.1-dev. Репозиторий содержит веса в разделённом формате GGUF и представляет собой повторно квантизированную turbo-merge-версию без дополнительного обучения. Модель предназначена для генерации изображений по текстовому описанию (text-to-image) и преобразования изображений по тексту (img2img). В README приведены примеры фотореалистичных сцен и портретов с разрешением 1024×1024, а также стилизации исходных фотографий и синтетических изображений под масляную живопись. Для turbo-версии рекомендуются guidance 1.0 и 20–30 шагов; 12 шагов подходят при приоритете скорости. В img2img strength 0.5 обычно сохраняет композицию исходника, а значение 0.9 существенно заменяет сцену. Повышение guidance примерно выше 1.5 может ухудшать результат и добавлять отсутствующие в исходном изображении объекты. Ключевые характеристики включают архитектуру FLUX.1-dev, размер около 12B параметров, поддержку текстового и визуального входа в сценарии img2img и формат весов GGUF. Сильными сторонами являются универсальная генерация и управляемая стилизация изображений при низком числе шагов. Ограничения включают чувствительность img2img к параметрам strength и guidance, а также отсутствие в README сведений о поддерживаемых языках, максимальном контексте, точных вариантах квантизации, требованиях к оборудованию и производительности за пределами приведённых примеров. Лицензия указана как unknown, поэтому условия использования по карточке модели определить нельзя.

Flux.1 Lite 8B — модель генерации изображений по тексту, разработанная Freepik на основе FLUX.1-dev от Black Forest Labs. Это трансформер с 8 млрд параметров, дистиллированный из базовой модели. По заявлению разработчика, он использует на 7 ГБ меньше оперативной памяти и работает на 23% быстрее исходной модели при точности bfloat16. Модель предназначена для создания изображений по текстовым описаниям. Для актуальной версии README рекомендует guidance_scale от 2,0 до 5,0 и от 20 до 32 шагов генерации; обучение охватывает более широкий диапазон этих настроек и использует более разнообразные данные и длинные промпты. Доступны файлы в формате safetensors и workflow для ComfyUI. Репозиторий распространяется по лицензии с обозначением other; конкретные условия следует сверить с лицензией модели и условиями FLUX.1-dev. Указанные разработчиком ускорение и снижение потребления памяти не сопровождаются описанием методики измерения.

FLUX.1-merged — объединённые параметры моделей FLUX.1-dev и FLUX.1-schnell, опубликованные Sayak Paul. Репозиторий предназначен для генерации изображений по текстовым описаниям и запускается через FluxPipeline из библиотеки Diffusers; пример в карточке использует точность bfloat16. Модель принимает текстовый запрос и создаёт изображение. В примере показаны разрешение 880 × 1184, длина текстовой последовательности до 512 токенов и четыре шага генерации. Для коммерческого использования необходимо учитывать лицензии обеих исходных моделей; в метаданных лицензия указана как other.

FLUX.2 [klein] 4B Base NVFP4 — Black Forest Labs әзірлеген, 4 млрд параметрлі rectified flow transformer моделінің квантизацияланған нұсқасы. Ол мәтіндік сипаттамалардан кескін жасауға және бірнеше анықтамалық кескінді пайдаланып өңдеуге арналған. Модель мәтін мен кескіндерді қабылдап, кескін шығарады. NVFP4 нұсқасы NVIDIA RTX 3090/4070 және одан жоғары карталарда шамамен 13 ГБ VRAM талап етеді. Метадеректерде ағылшын тілі көрсетілген. Жасалған кескіндегі мәтін бұрмалануы мүмкін, ал нәтижелер промптқа сай келмеуі ықтимал; модель фактілік ақпарат беруге арналмаған. Apache 2.0 лицензиясымен таратылады.

HiDream-O1-Image-Dev-mlx-bf16 — порт модели генерации изображений HiDream-O1-Image-Dev на MLX, подготовленный Mrbizarro и опубликованный сообществом mlx-community для компьютеров Apple Silicon. Это плотная модель семейства Qwen3-VL в формате safetensors с точностью BF16; в README указано, что веса занимают около 17,5 ГБ. Модель создаёт изображения по текстовым запросам, редактирует изображение по инструкции и поддерживает персонализацию по нескольким референсным изображениям. Модель предназначена для локальной генерации и редактирования изображений на Mac с Apple Silicon, в том числе через интерфейс Phosphene. Для генерации 1024 × 1024 README приводит около 67 секунд на 28 шагов и пиковое потребление памяти 16 ГБ; время растёт с разрешением. Поддерживаются только обученные разрешения: близкие к ним размеры автоматически подбираются, а несоответствующие могут давать артефакты. Для редактирования и работы с референсами требуется BF16: README сообщает, что версии Q6/Q8 могут давать вырожденный результат при редактировании, а Q4 была отвергнута из-за ухудшения качества. Автор README характеризует генерацию как production-quality, но это оценка автора карточки, а не независимый тест. Лицензия — MIT.

Это дистиллированная модель Hunyuan-DiT от Tencent, опубликованная в формате Diffusers. Она предназначена для генерации изображений по текстовым запросам и поддерживает создание изображений за 25 шагов. В README отдельно показаны сценарии с китайскими элементами и длинными текстовыми запросами. Модель относится к семейству Diffusion Transformer и использует конвейер HunyuanDiTPipeline. Репозиторий содержит веса в формате safetensors. Карточка указывает лицензию «other», поэтому конкретные условия использования следует сверять с лицензией репозитория.

Inception-v3 — модель классификации изображений, разработанная на основе реализации Inception-v3 из torchvision и подготовленная Qualcomm для оптимизированного запуска на устройствах Qualcomm. Модель обучена на датасете ImageNet и может использоваться как готовый классификатор либо как backbone для построения более сложных решений компьютерного зрения. Модель принимает изображения с разрешением 224×224, содержит около 23,9 млн параметров и имеет размер 90,9 МБ в формате float или 23,3 МБ в варианте w8a8. Доступны экспорты в ONNX, QNN_DLC и TFLITE, рассчитанные на использование с Qualcomm AI Runtime и ONNX Runtime; указанные варианты поддерживают универсальные конфигурации чипсетов Qualcomm и выполнение на NPU. Для модели приведены низкие задержки инференса на ряде Snapdragon и Qualcomm Dragonwing, особенно в квантованном формате w8a8. Сильные стороны модели — готовность к развертыванию на устройствах Qualcomm, наличие оптимизированных форматов и возможность экспорта с пользовательскими весами, формами входа и целевой конфигурацией runtime. Ограничения включают специализацию на классификации изображений, фиксированное входное разрешение в базовой конфигурации и отсутствие в предоставленных данных сведений о поддерживаемых языках, качестве на отдельных классах ImageNet и применимости за пределами задач компьютерного зрения. Репозиторий распространяется по лицензии BSD-3-Clause.

misri/juggernautXL_juggXIByRundiffusion — модель генерации изображений по текстовому описанию на основе Stable Diffusion XL, опубликованная пользователем misri. Репозиторий содержит веса в формате Safetensors и конфигурацию StableDiffusionXLPipeline для использования через Diffusers; название и источники связывают её с семейством Juggernaut XL от RunDiffusion и KandooAI. Модель предназначена для создания изображений по текстовым запросам, в том числе фотореалистичных изображений и художественных стилей. Карточка RunDiffusion описывает возможности семейства в генерации фотореалистичных сцен, а пример запуска репозитория демонстрирует текстовый запрос и получение изображения. Для этой копии Hugging Face указывает неизвестную лицензию, поэтому условия использования следует уточнять у правообладателя. Размер контекста и число параметров в доступных сведениях не приведены.

KOALA-1B — модель латентной диффузии для генерации изображений по текстовому описанию, разработанная лабораторией визуального интеллекта ETRI. Она использует текстовые энкодеры SDXL-Base-1.0 и заменяет его U-Net на более компактную архитектуру, сжатую за счёт уменьшения числа остаточных и трансформерных блоков; знания SDXL передаются модели методом дистилляции с акцентом на self-attention. U-Net содержит около 1,16 млрд параметров, размер чекпойнта — около 4,4 ГБ. Модель предназначена для создания изображений и творческих инструментов, а также для исследований генеративных моделей. KOALA рассчитана на генерацию с разрешением до 1024×1024 и ориентирована на более экономный по ресурсам вариант SDXL. Обучение проводилось на LAION-aesthetics-V2 6+. Лицензия в предоставленных данных не указана. Модель испытывает трудности с длинным разборчивым текстом внутри изображений и со сложными запросами, содержащими много атрибутов. Она не предназначена для достоверного изображения реальных людей или событий.

Карточка модели LanguageBind/LanguageBind_Audio на Hugging Face совпадает с карточкой LanguageBind/LanguageBind_Image, поэтому описание составлено по ней. LanguageBind_Image — модель для сопоставления изображений с текстовыми описаниями в рамках проекта LanguageBind, разработанного авторами исследования LanguageBind, принятого на ICLR 2024. В репозитории она представлена как PyTorch-модель на базе архитектуры CLIPModel и предназначена для классификации изображений без примеров на этапе обучения: пользователь задаёт текстовые метки или описания, а модель оценивает их соответствие изображению. Модель входит в мультимодальный подход LanguageBind, который использует язык как общий семантический ориентир для связывания представлений разных модальностей. Для этого чекпойнта подтверждён сценарий zero-shot классификации изображений; описание проекта также упоминает вычисление сходства между модальностями и текстом. README не сообщает размер этой модели, её языковой охват или длину контекста. Лицензия репозитория — MIT.

Lens-Turbo-3.8B-4bit — конверсия модели microsoft/Lens-Turbo в формат MLX для запуска на Apple Silicon. Это диффузионная модель генерации изображений по текстовому описанию с архитектурой DiT на 3,8 млрд параметров; вариант Turbo дистиллирован для генерации за 4 шага с guidance scale 1.0. Веса DiT представлены в int4 с размером группы 64, при этом входные, выходные и временные слои хранятся в bf16; объём компонента DiT составляет около 2,35 ГБ. Для работы также загружаются текстовый энкодер GPT-OSS-20B и VAE FLUX.2 из исходного репозитория. Модель подходит для создания изображений по текстовым промптам, в том числе с быстрым четырёхшаговым семплированием. Карточка указывает лицензию MIT для DiT; текстовый энкодер распространяется по Apache-2.0, а VAE загружается отдельно из исходного источника. Поддерживаемый язык промптов в карточке не указан.

Meissonic — модель для генерации изображений по текстовому описанию, разработанная авторами проекта Meissonic. Она использует безавторегрессионное маскированное моделирование изображений на основе Masked Generative Transformer и предназначена для эффективного синтеза изображений высокого разрешения, в том числе на потребительских видеокартах. Модель распространяется в формате Diffusers с весами Safetensors и поддерживает английские текстовые запросы. Лицензия — Apache-2.0. README направляет к внешним материалам проекта за инструкциями по использованию.

MetaCLIP 2 (worldwide) — мультимодальная модель семейства MetaCLIP 2, представленная Meta в работе «MetaCLIP 2: A Worldwide Scaling Recipe». Этот чекпойнт соответствует варианту ViT-bigG-14-worldwide и предназначен для классификации изображений по текстовым описаниям без предварительного обучения на заданных классах: пользователь задаёт возможные категории или подписи, а модель оценивает их соответствие изображению. Модель принимает изображения и текстовые описания и сопоставляет их в общем пространстве представлений. Карточка указывает на мультиязычную направленность; конкретные поддерживаемые языки и размер модели в предоставленных данных не уточнены. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

Модель zeromodels/metaclip2_worldwide_s16_384 — конверсия на Keras 3 модели MetaCLIP 2 Worldwide от Meta, разработанной авторами MetaCLIP 2. Это двухэнкодерная модель архитектуры CLIP для классификации изображений без примеров: она сопоставляет изображение с текстовыми описаниями классов и оценивает их соответствие. Вариант Worldwide обучен на многоязычных данных и использует словарь XLM-RoBERTa примерно на 901 тысячу токенов, поэтому запросы-классы можно задавать на разных языках без отдельного мультиязычного чекпойнта. Репозиторий содержит конверсию для Keras 3, работающую с TensorFlow, PyTorch и JAX. Модель подходит для классификации изображений по заданным текстовым меткам, в том числе с формулировками на нескольких языках. Качество зависит от описаний классов и соответствия изображения обучающим данным; это не универсальная система распознавания объектов с фиксированным перечнем классов. Лицензия CC-BY-NC-4.0 разрешает использование на некоммерческих условиях.