I.8Изображения и компьютерное зрение

VARCO-VISION-14B — мультимодальная модель NC Research, команды Multimodal Generation Team, для диалоговой работы с изображениями на английском и корейском языках. Модель построена по архитектуре LLaVA-OneVision и объединяет Qwen/Qwen2.5-14B-Instruct с визуальным энкодером google/siglip-so400m-patch14-384. Она принимает одно изображение и текстовый запрос, а выдаёт текст; поддерживает распознавание текста на изображении (OCR), поиск объектов и текста с привязкой к областям изображения и ответы на вопросы о визуальном содержимом. Модель предназначена для понимания изображений и задач визуально-языкового диалога. Для запуска README рекомендует Transformers версии 4.45.0 или новее. В карточке сообщается о выпуске версии 2.0 в июле 2025 года, поэтому эта версия 1.0 устарела относительно более новой. Лицензия CC BY-NC 4.0 запрещает коммерческое использование; разработчик указывает исследовательское назначение.

timm/ViT-B-16-SigLIP2-384 — преобразованная для OpenCLIP модель зрения и языка семейства SigLIP 2, обученная на наборе WebLI. Исходные контрольные точки выпущены в формате JAX в проекте Big Vision; веса этой версии доступны в форматах PyTorch и safetensors. Архитектура использует Vision Transformer ViT-B/16 с разрешением изображения 384 пикселя. Модель сопоставляет изображения и текстовые описания и предназначена для классификации изображений по текстовым меткам без специального дообучения. Её можно применять для поиска изображений по описанию и классификации по заданным категориям. Лицензия — Apache-2.0. Карточка не сообщает о специальных ограничениях; качество результатов зависит от формулировок текстовых меток и данных, на которых модель обучалась.

VLM2Vec-LLaVa-Next — мультимодальная модель TIGER-Lab, дообученная на базе llava-v1.6-mistral-7b-hf с помощью LoRA. Она преобразует изображение и текст в мультимодальные представления для задач поиска и сопоставления, включая оценку на наборах MMEB и Flickr30K. В метаданных указаны архитектура LLaVA-NeXT, формат safetensors и поддержка диалогового взаимодействия с изображениями. Модель рассчитана на англоязычные запросы и изображения; размер контекста и число параметров в предоставленных данных не приведены. По README, обучение использовало контрастивное обучение на MMEB-train с внутрипакетными отрицательными примерами. Лицензия — Apache-2.0. README приводит сравнительные заявления о результатах, но не содержит самих численных метрик.

WR30a-Deep-7B-0711-i1-GGUF — это квантизированная версия vision-модели WR30a-Deep-7B-0711, преобразованная в формат GGUF пользователем mradermacher. Исходную модель разработала команда или автор prithivMLmods. Модель предназначена для задач визуального понимания, генерации подписей к изображениям, оптического и интеллектуального распознавания символов, преобразования изображений в текст, а также для математических и STEM-сценариев. Модель относится к мультимодальным vision-language моделям и поддерживает английский и китайский языки. В карточке указано около 7 миллиардов параметров, однако архитектура, размер контекстного окна и точный набор поддерживаемых модальностей не раскрыты. Для обработки изображений могут потребоваться дополнительные файлы mmproj из статического репозитория исходной модели. Репозиторий содержит варианты квантизации i1 с разными компромиссами между размером, скоростью и качеством; рекомендуемыми названы Q4_K_M и Q4_K_S, тогда как наиболее компактные варианты могут заметно снижать качество. Основные преимущества — возможность локального запуска в GGUF-совместимой инфраструктуре, поддержка визуальных задач и широкий выбор уровней квантизации. Ограничения связаны с потерей качества при сильной квантизации, необходимостью совместимого программного обеспечения и, возможно, дополнительных multimodal-компонентов; конкретные показатели качества в README не приведены. Модель распространяется по лицензии Apache-2.0.

X-CLIP base-patch16 — видеоязыковая модель Microsoft для распознавания действий в видео и сопоставления видео с текстом. Она расширяет CLIP для понимания видео и обучена с учителем на наборе Kinetics-600 в контрастивном режиме на парах «видео — текст». Модель обрабатывает 16 кадров размером 224 × 224 пикселя на ролик; архитектура относится к семейству X-CLIP, веса опубликованы в формате PyTorch. Модель подходит для классификации видео с нулевым или небольшим числом примеров, обучения классификатора с учителем и поиска соответствий между видео и текстовыми описаниями. В карточке приведены результаты на задаче классификации Kinetics-600: точность top-1 85,8%, top-5 97,3%. Лицензия — MIT. Оценки относятся к указанному набору данных; карточка не описывает гарантии качества на других предметных областях и при отличающейся предобработке.

Salesforce/blip-image-captioning-large — модель семейства BLIP, разработанная Salesforce Research для описания изображений. Это базовая модель с визуальным энкодером ViT-Large, обученная на наборе COCO; архитектура поддерживает генерацию текста по изображению. Модель предназначена для создания подписей к изображениям в условном и безусловном режимах. Её можно применять для автоматического описания фотографий и визуального наполнения каталогов. Карточка не сообщает о поддержке нескольких языков, поэтому основной сценарий — генерация текстовых описаний без заявленной языковой специализации. Модель опубликована в форматах PyTorch, Safetensors и TensorFlow. Лицензия — BSD-3-Clause. Авторы отмечают, что выпуск предназначен для исследований и не проверен для всех практических сценариев; перед внедрением следует оценить точность, безопасность и справедливость результатов.

daVinci-MagiHuman — генеративная модель SII-GAIR и Sand.ai для создания коротких видео с синхронным звуком, включая ролики с выразительной человеческой мимикой, речью и движениями. Она использует 15-миллиардный 40-слойный Transformer с единой последовательностью токенов текста, видео и аудио; модель совместно обрабатывает текстовый запрос, референсное изображение и зашумлённые аудио- и видеоданные. Архитектура включает специализированные проекции в первых и последних слоях и общие параметры в промежуточных слоях. Модель предназначена для генерации видео по изображению и тексту, с упором на человеческую речь, движения и синхронизацию аудио с видео. В README указаны поддержка английского, китайского (мандаринского и кантонского), японского, корейского, немецкого и французского языков, а также скорость генерации пятиминутного по длительности? Нет: пятисекундного ролика от 2 секунд в 256p до 38 секунд в 1080p на одном H100. Для ускорения используется дистилляция DMD-2 до 8 шагов, отдельный этап повышения разрешения и ускоренный декодер. Модель распространяется под лицензией Apache-2.0. Результаты качества и скорости приведены в README и зависят от описанных авторами условий оценки и оборудования. Для запуска требуются веса полного стека и подходящая среда инференса; указанная скорость предполагает H100 и не переносится автоматически на другое оборудование.

HierarCaps CLIP-L — модель CLIP ViT-L/14, дообученная на наборе HierarCaps автором репозитория malper в рамках работы «Emergent Visual-Semantic Hierarchies in Image-Text Representations» (ECCV 2024). Она предназначена для классификации изображений по текстовым описаниям без дополнительного обучения и для сопоставления изображений с категориями, учитывая их уровень специфичности. Модель сохраняет архитектуру CLIP-L/14 и улучшает иерархическую организацию пространства эмбеддингов изображений и текста. Модель принимает изображения и текстовые метки классов, а для классификации оценивает соответствие между ними. Для работы доступны веса PyTorch и интерфейс Transformers. В карточке указана лицензия MIT. Языковая специализация и длина контекста не заявлены; текстовые метки используются как часть задачи классификации.

yijunwang2/krea2-reid — адаптер LoRA для Krea 2 Turbo, разработанный автором репозитория. Он предназначен для генерации и редактирования изображений по текстовому запросу с сохранением внешности персонажа по одному RGB-изображению-образцу. Проверены фотореалистичные, иллюстрированные и стилизованные 3D-образы, в том числе при изменении одежды, позы, кадрирования, освещения и фона. Адаптер использует Qwen3-VL для визуального кондиционирования и токены изображения через VAE; для кэширования reference K/V требуется совместимый edit pipeline. Рекомендуемый режим — 8 шагов и guidance scale 0; выходное соотношение сторон может отличаться от образца. Модель построена как LoRA для трансформера с rank/alpha 32/32 и распространяется в форматах ONNX и safetensors. Репозиторий указывает лицензию «other», но конкретные условия в предоставленных данных не раскрыты. Модель лучше сохраняет узнаваемые черты при смене сцены и композиции, однако результат зависит от запроса, seed, кадрирования и сочетания с другими LoRA. Одежда и поза могут переноситься с полноразмерного образца; при сильной смене сцены могут меняться возрастные детали лица, текстура кожи и макияж. Она не гарантирует биометрическое совпадение и не предназначена для распознавания лиц.

M-BERT Distil 40 — мультиязычная текстовая модель проекта Multilingual-CLIP, дообученная на базе distilbert-base-multilingual для согласования текстовых эмбеддингов с пространством текстового энкодера CLIP, используемого вместе с визуальным энкодером ResNet-50x4. Она извлекает признаки из текста и предназначена для мультиязычного поиска по изображениям и сопоставления текста с изображениями в сочетании с исходным CLIP-энкодером и дополнительными линейными весами. Модель дообучали на парах предложений и описаний изображений для 40 языков: предложения брали из GCC, MSCOCO и VizWiz, а переводы создавали с помощью AWS Translate. Контекст модели составляет 512 токенов. В карточке отмечены приемлемые качественные результаты для французского, немецкого, испанского, русского, шведского и греческого языков; результаты могут различаться между языками из-за неодинакового качества переводов. Для применения требуется исходный визуальный энкодер CLIP и дополнительные веса. Лицензия в предоставленных данных не указана.

Это производная версия MODA Fashion Distilled 512D от HopitAI, подготовленная для поиска похожих изображений одежды. Она сохраняет визуальный энкодер ViT-B/16 на основе SigLIP и проекцию MODA 768→512, а параметры текстовой части удалены. Модель принимает изображение размером 224 × 224 и выдаёт L2-нормированный вектор размерности 512 для поиска по косинусному сходству. Модель подходит для поиска похожих товаров в каталоге, сопоставления изображений, выявления дубликатов и визуальных рекомендаций. Её можно использовать для индексации изображений в векторной базе данных и построения API визуального поиска. Текстовые запросы, текстовые эмбеддинги и классификация по текстовым описаниям не поддерживаются. В репозитории около 93,3 млн сохранённых параметров в формате FP32 и Safetensors; модель использует библиотеку OpenCLIP. Независимые показатели качества для этой производной версии не приведены, поэтому результат следует оценивать на целевом каталоге. Качество может снижаться на нетипичных для моды изображениях, при плохом разрешении, перекрытии товара, неверной предобработке и визуальном отличии от обучающих данных. Лицензия — MIT.

RunDiffusionFXPhotorealistic_v1 — модель генерации изображений по текстовому описанию, опубликованная пользователем digiplay. В README она представлена как модель для фотореалистичной генерации, описанная автором как достаточно стабильная; карточка также содержит демонстрационные изображения первоначального автора. Модель распространяется в форматах Diffusers, PyTorch и safetensors и предназначена для создания реалистичных изображений по текстовым запросам. Репозиторий помечен как основанный на Stable Diffusion и использует StableDiffusionPipeline. Лицензия указана как other, поэтому конкретные условия использования следует проверять в файлах репозитория.

gokaygokay/sd3-long-captioner-v2 — дообученная модель на основе PaliGemma с входным разрешением изображений 224×224. Автор дообучил её на наборах данных google/docci и google/imageinwords для создания подробных текстовых описаний изображений. Модель принимает изображение и формирует текстовое описание. В метаданных указаны архитектура PaliGemma, библиотека Transformers, формат весов safetensors и поддержка английского языка. Лицензия — Apache 2.0. Карточка сообщает о дообучении, но не приводит результаты оценки качества и не уточняет максимальную длину описания; пригодность для конкретных изображений стоит проверять на примерах.

gokaygokay/SDXL-Captioner — дообученная версия PaliGemma 224×224, созданная на парах изображение—промпт. Модель принимает изображение и текстовый запрос и формирует текстовый ответ, поэтому подходит для создания подписей и описаний изображений по инструкции. Модель построена на архитектуре PaliGemma и распространяется в формате safetensors для библиотеки Transformers. Карточка указывает английский язык. Лицензия — Apache-2.0. Подробности о размере модели, длине контекста и качестве на конкретных наборах данных в предоставленных источниках не приводятся.

SigLIP SoViT-400m — мультимодальная модель сопоставления изображений и текста, разработанная Google и представленная в статье о функции потерь Sigmoid Loss for Language Image Pre-Training. Модель предварительно обучена на наборе WebLI; это shape-optimized вариант архитектуры SoViT-400m. Она принимает изображения с разрешением 384×384 и текстовые описания длиной до 64 токенов и предназначена для классификации изображений по текстовым меткам без дообучения и поиска соответствий между изображениями и текстом. SigLIP использует сигмоидную функцию потерь для пар изображение–текст, которая не требует нормализации по глобальной матрице попарного сходства. Это поддерживает масштабирование размера обучающей выборки и, согласно карточке, может улучшать результаты при меньших размерах батча. Доступные веса сохранены в формате safetensors. Модель распространяется по лицензии Apache-2.0. Модель рассчитана на задачи сопоставления визуального содержимого с текстом; карточка не указывает конкретные поддерживаемые языки. Её можно применять для поиска изображений по описаниям и классификации по заранее заданным текстовым категориям, но результаты зависят от формулировок этих категорий и данных предварительного обучения.

Карточка модели Shreyansh1409/SkyReels-V3-R2V-14B на Hugging Face совпадает с карточкой Skywork/SkyReels-V3-A2V-19B, поэтому описание составлено по ней. SkyReels-V3-A2V-19B — модель генерации видео SkyReels от команды Skywork, предназначенная для создания видеороликов по изображению и аудиодорожке. Карточка описывает семейство SkyReels V3 как мультимодальную систему на основе диффузионного Transformer с согласованием аудио и видео; обозначение A2V указывает на сценарий генерации видео с аудиосопровождением, а 19B — на размер модели в 19 млрд параметров. Модель подходит для создания говорящих аватаров и видео с синхронизацией движений губ с речью или пением. Семейство также заявляет сохранение внешности персонажа, выразительную мимику и поддержку генерации по изображениям людей, аниме-персонажей, животных и иллюстраций. В README упомянуты китайский, английский и корейский языки, однако в метаданных карточки языковые теги отсутствуют. В репозитории указаны веса PyTorch в формате safetensors и лицензия типа other; конкретные условия лицензии следует проверять в карточке модели. README заявляет высокое качество синхронизации губ и длительную генерацию, но не приводит независимой оценки именно этого чекпойнта. Практическое применение требует совместимой среды для инференса видео-диффузионных моделей.

nlightcho/stable-diffusion-2-1 — модель генерации и редактирования изображений по текстовому описанию, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель с фиксированным предварительно обученным текстовым энкодером OpenCLIP-ViT/H. Она дообучена на основе Stable Diffusion 2: сначала на 55 тысячах шагов, затем ещё на 155 тысячах шагов с другим параметром фильтрации небезопасного контента. Модель предназначена для создания иллюстраций, художественных изображений и визуальных материалов для дизайна и творческих приложений. Карточка указывает английский как основной язык; модель обучалась преимущественно на англоязычных подписях, поэтому на других языках качество ниже. Лицензия — CreativeML Open RAIL++-M. У модели есть ограничения с фотореализмом, разборчивым текстом внутри изображения, сложными пространственными отношениями и корректной генерацией лиц и людей. Обучающие данные основаны на подмножествах LAION-5B и фильтровались детектором NSFW; возможны смещения и нежелательные результаты.

Карточка модели LanguageMachines/stable-diffusion-2-1-base на Hugging Face совпадает с карточкой Manojb/stable-diffusion-2-1-base, поэтому описание составлено по ней. Manojb/stable-diffusion-2-1-base — модель генерации изображений по тексту, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель, использующая предварительно обученный текстовый энкодер OpenCLIP-ViT/H. Версия 2.1 дообучена на Stable Diffusion 2-base ещё на 220 тысячах шагов; модель распространяется в форматах Diffusers, PyTorch и Safetensors и работает с библиотекой Diffusers. Модель предназначена для создания и изменения изображений по текстовым запросам, в том числе для художественных и дизайнерских задач и творческих инструментов. В первую очередь она рассчитана на английские запросы; качество генерации по запросам на других языках ниже. Лицензия — CreativeML Open RAIL++-M. Модель не гарантирует фотореализм, плохо передаёт читаемый текст и сложные пространственные композиции, а лица и люди могут получаться некорректно. Обучающие данные содержали изображения для взрослых, насилие и сексуальный контент, частично отфильтрованные NSFW-детектором; возможны социальные предубеждения, включая смещение в сторону западных культур. Модель не предназначена для достоверного изображения реальных людей или событий.

Manojb/stable-diffusion-2-1-base — модель генерации изображений по тексту, разработанная Робином Ромбахом и Патриком Эссером. Это латентная диффузионная модель, использующая предварительно обученный текстовый энкодер OpenCLIP-ViT/H. Версия 2.1 дообучена на Stable Diffusion 2-base ещё на 220 тысячах шагов; модель распространяется в форматах Diffusers, PyTorch и Safetensors и работает с библиотекой Diffusers. Модель предназначена для создания и изменения изображений по текстовым запросам, в том числе для художественных и дизайнерских задач и творческих инструментов. В первую очередь она рассчитана на английские запросы; качество генерации по запросам на других языках ниже. Лицензия — CreativeML Open RAIL++-M. Модель не гарантирует фотореализм, плохо передаёт читаемый текст и сложные пространственные композиции, а лица и люди могут получаться некорректно. Обучающие данные содержали изображения для взрослых, насилие и сексуальный контент, частично отфильтрованные NSFW-детектором; возможны социальные предубеждения, включая смещение в сторону западных культур. Модель не предназначена для достоверного изображения реальных людей или событий.

Это перезагрузка Stable Diffusion 3.5 Large Turbo от Stability AI в формате Diffusers, заявленная автором как версия без ограничения доступа. Модель семейства MMDiT генерирует изображения по текстовым запросам; в ней применена дистилляция Adversarial Diffusion Distillation (ADD), рассчитанная на качественную генерацию за небольшое число шагов. Архитектура использует три предварительно обученных текстовых энкодера: OpenCLIP-ViT/G, CLIP-ViT/L и T5-xxl; указана длина контекста энкодеров 77 токенов для CLIP и 77/256 для T5 на разных этапах обучения. Модель подходит для создания иллюстраций, художественных изображений и материалов для дизайна, а также для творческих и образовательных инструментов. README отмечает улучшения в качестве изображений, типографике и понимании сложных запросов. Репозиторий содержит веса Diffusers в формате safetensors. Указана лицензия Stability Community License; для коммерческого лицензирования README предлагает обратиться к Stability AI и требует соблюдать Acceptable Use Policy. Модель не предназначена для получения фактически достоверных изображений людей или событий. Защитные меры не гарантируют удаления всего потенциально вредного контента; оценка безопасности проводилась преимущественно на английском языке, поэтому разработчикам следует проверять модель и применять подходящие меры безопасности.

Stable Diffusion 3.5 Medium — модель Stability AI для генерации изображений по текстовому описанию. Она использует архитектуру Multimodal Diffusion Transformer MMDiT-X с тремя предварительно обученными текстовыми энкодерами: OpenCLIP-ViT/G, CLIP-ViT/L и T5-XXL. В архитектуре применяются QK-нормализация и блоки внимания, рассчитанные на повышение связности изображений и устойчивость генерации при разных разрешениях. Модель предназначена для создания иллюстраций и художественных работ, дизайн-процессов, творческих и образовательных инструментов. Она улучшена для передачи сложных запросов и текста в изображениях; авторы также рекомендуют Skip Layer Guidance для более согласованных структуры и анатомии. В README указана длина контекста энкодеров CLIP в 77 токенов и T5 — 77 или 256 токенов на разных этапах обучения. Модель обучалась на разнообразных данных, включая синтетические и отфильтрованные общедоступные материалы. Она не предназначена для достоверного изображения реальных людей и событий; при длинных запросах свыше 256 токенов T5 на краях изображения могут появляться артефакты. Модель распространяется по Stability Community License; для коммерческого лицензирования Stability AI предлагает обращаться отдельно. Использование также должно соответствовать Acceptable Use Policy.

Stable Diffusion 3 Medium — генеративная модель Stability AI для создания изображений по текстовым описаниям. Она использует архитектуру Multimodal Diffusion Transformer (MMDiT) и три предварительно обученных текстовых энкодера: OpenCLIP-ViT/G, CLIP-ViT/L и T5-XXL. Разработчик описывает её сильные стороны как качество изображений, работу с типографикой, понимание сложных запросов и эффективность использования ресурсов. Модель подходит для создания иллюстраций и дизайна, творческих и образовательных инструментов, а также исследований генеративных моделей. В репозитории есть варианты весов с разным составом текстовых энкодеров и точностью T5-XXL; производительность и требования к ресурсам зависят от выбранной упаковки. Модель не предназначена для достоверного изображения реальных людей и событий; генерация может быть предвзятой или нежелательной, поэтому разработчикам следует проверять результаты и применять меры безопасности. Лицензия — Stability Community License; для коммерческого использования могут потребоваться условия Enterprise License, а встроенные компоненты подчиняются своим лицензиям.

UForm-Gen2-dpo — компактная генеративная модель «зрение — язык» от unum-cloud, разработанная для описания изображений и ответов на вопросы о них. Модель также подходит для мультимодального диалога с изображениями. Архитектура сочетает CLIP-подобный ViT-H/14 для обработки изображений и Qwen1.5-0.5B-Chat для генерации текста. Модель дообучена методом Direct Preference Optimization на наборах предпочтений VLFeedback и LLaVA-Human-Preference-10K. В карточке приведены результаты оценки на MME по задачам восприятия и рассуждения, включая OCR, распознавание цветов и подсчёт объектов. Для работы модель принимает изображение и текстовый запрос, а отвечает текстом. Карточка указывает английский язык. Модель распространяется по лицензии Apache-2.0.

gsarch/ViGoRL-3b-Spatial — мультимодальная модель для визуального рассуждения, разработанная авторами проекта ViGoRL. Это дообученная с помощью SFT и обучения с подкреплением модель Qwen2.5-VL-3B-Instruct с архитектурой Qwen2.5-VL и 3,1 млрд параметров. Она связывает шаги текстового рассуждения с координатами на изображении и предназначена для пространственных задач, требующих локализации объектов и анализа областей изображения. В обучении использовались трассы рассуждений, созданные методом MCTS, и GRPO; семейство ViGoRL также описывает многошаговое увеличение выбранных областей, но наличие этого режима у данной версии отдельно не подтверждено. Модель принимает изображения и текстовые запросы и выдаёт текстовые ответы; базовая модель поддерживает контекст до 128 000 токенов. Применима для визуального поиска, пространственного анализа и задач локализации на скриншотах. Условия лицензии в предоставленных данных не описаны.

Карточка модели gsarch/ViGoRL-MCTS-SFT-3b-Spatial на Hugging Face совпадает с карточкой gsarch/ViGoRL-3b-Spatial, поэтому описание составлено по ней. gsarch/ViGoRL-3b-Spatial — мультимодальная модель для визуального рассуждения, разработанная авторами проекта ViGoRL. Это дообученная с помощью SFT и обучения с подкреплением модель Qwen2.5-VL-3B-Instruct с архитектурой Qwen2.5-VL и 3,1 млрд параметров. Она связывает шаги текстового рассуждения с координатами на изображении и предназначена для пространственных задач, требующих локализации объектов и анализа областей изображения. В обучении использовались трассы рассуждений, созданные методом MCTS, и GRPO; семейство ViGoRL также описывает многошаговое увеличение выбранных областей, но наличие этого режима у данной версии отдельно не подтверждено. Модель принимает изображения и текстовые запросы и выдаёт текстовые ответы; базовая модель поддерживает контекст до 128 000 токенов. Применима для визуального поиска, пространственного анализа и задач локализации на скриншотах. Условия лицензии в предоставленных данных не описаны.

ViT-B-32.cc12m-siglip — двухбашенная модель контрастивного сопоставления изображений и текста семейства CLIP, разработанная rwightman. Это исследовательский чекпойнт архитектуры ViT-B/32, обученный на CC12M в течение 32 эпох с функцией потерь SigLIP и оптимизатором NAdaMuon. Текстовый энкодер использует классический трансформер CLIP, BPE-словарь на 49 408 токенов и контекст длиной 77 токенов. Модель подходит для классификации изображений по текстовым описаниям без дообучения, поиска изображений по запросу и поиска текста по изображению. В карточке приведены результаты нулевой классификации и двустороннего поиска по изображениям и подписям. Сравнения с другими моделями ограничены условиями эксперимента: базовые CLIP-модели обучались с другим размером пакета и оптимизатором, поэтому различия нельзя приписывать только архитектуре или функции потерь. Для загрузки и использования указана библиотека open_clip; веса доступны в форматах PyTorch и safetensors. Модель выпущена под лицензией Apache-2.0. В README она обозначена как исследовательская и не предназначенная для производственного применения; обучение на CC12M и ограниченные экспериментальные сравнения не гарантируют качество на иных данных.

X-CLIP base-sized patch16 — модель Microsoft для анализа видео и текста, основанная на расширении CLIP для понимания видео-языковых связей. Она обучена с учителем на наборе Kinetics-400 в контрастивном режиме на парах «видео — текст». Модель использует 8 кадров на видео с разрешением 224×224; веса доступны в форматах PyTorch и Safetensors. Модель подходит для классификации видео в режимах zero-shot, few-shot и с обучением на размеченных данных, а также для поиска соответствий между видео и текстом. Её можно применять для оценки того, насколько текстовое описание подходит к ролику. На Kinetics-400 указаны результаты 83,8% top-1 и 95,7% top-5. Лицензия — MIT.

Nahrawy/AIorNot — модель классификации изображений на базе Swin-Tiny-Patch4-Window7-224, дообученная разработчиком на наборе данных aiornot. Она определяет, является ли изображение настоящим или сгенерированным ИИ, и возвращает класс «Real» или «AI». Модель содержит 33 млн параметров и распространяется в формате PyTorch для использования через Transformers. Модель предназначена для проверки происхождения изображений и первичной фильтрации изображений, созданных генеративными системами. Она принимает изображения и выдаёт метку класса. В карточке указан английский язык меток. Лицензия — Apache-2.0. Результат классификации не гарантирует достоверного определения происхождения для любых генераторов, типов изображений или способов обработки.

kevinoli/clip-finetuned-csu-p14-336-e3l57-l — дообученная модель CLIP, основанная на openai/clip-vit-large-patch14-336. Она сопоставляет изображения с текстовыми описаниями и поддерживает классификацию изображений по категориям, заданным пользователем, без отдельного обучения под каждую категорию. Модель предназначена для сценариев zero-shot-классификации изображений. В карточке указан результат оценки на тестовой выборке: loss 0,4700; сведения о наборе данных и подробные характеристики обучения не приведены. Репозиторий использует библиотеку Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

clip-roberta-finetuned — дообученная модель davanstrien на датасете davanstrien/manuscript_noisy_labels_iiif. По архитектуре VisionTextDualEncoderModel она совместно кодирует изображения и текст, формируя признаки для сопоставления этих модальностей. Модель предназначена для извлечения признаков; карточка сообщает значение loss 2.5792 на оценочной выборке, но не описывает сценарии применения или подробности обучения.