IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейQwen3.5-0.8B Pure Text ZH-EN — текстовая производная Qwen3.5 от разработчика wejyy888 для генерации текста и диалогов на китайском и английском языках. Модель преобразована из Qwen3.5-0.8B: удалены модуль зрения, веса MTP и специальные токены для визуальных, аудио- и речевых задач, а словарь сокращён с 248 320 до 182 684 токенов. Дополнительного обучения не проводилось; сохранённые веса исходной модели оставлены без изменений. В README указано 685,3 млн параметров, формат BF16 safetensors и контекст 262 144 токена по метаданным. Модель принимает только текст и предназначена для текстовой генерации, включая диалоговое применение. В README приведена оценка на классификации поисковых запросов китайской электронной коммерции, однако отдельный pipeline классификации для модели не заявлен. Токенизация китайского и английского языков сохранена после переназначения ID; другим языкам доступен байтовый fallback, но они обычно требуют больше токенов. Для ранее токенизированных наборов данных нужно выполнить переназначение ID с помощью old2new.json. README рекомендует короткое дополнительное предобучение или SFT перед производственным применением. Лицензия — Apache-2.0.
RegNetY-3.2GF — свёрточная модель классификации изображений из семейства RegNetY, представленная авторами библиотеки timm. Веса предварительно обучены участниками torchvision на ImageNet-1k; модель также подходит как основа для извлечения признаков и карт признаков. Модель содержит 19,4 млн параметров и рассчитана на изображения размером 224 × 224. Вычислительная сложность составляет 3,2 GMACs. Реализация timm включает стохастическую глубину, контроль выходного шага и настраиваемые слои активации и нормализации. Лицензия репозитория — BSD-3-Clause. Модель предназначена для распознавания объектов и категорий на изображениях, а также получения визуальных признаков для последующих задач. README приводит сравнительные результаты на ImageNet, но не сообщает конкретную оценку этой версии; качество на других наборах данных может отличаться.
regnetz_d8_evos.ch_in1k — модель классификации изображений семейства RegNetZ, обученная Россом Уайтманом в библиотеке timm на ImageNet-1k. Она также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Архитектура реализована на основе BYOBNet и использует конфигурацию D8: трёхслойный ступенчатый stem без pooling, group width 8 и блоки с inverted bottleneck. Вместо BatchNorm с SiLU применяются нормализационно-активационные слои EvoNorm-S0. Модель содержит около 23,5 млн параметров; для обучения использовался размер изображения 256×256, для оценки — 320×320. Модель предназначена для распознавания объектов из 1000 классов ImageNet и построения визуальных признаков для последующих задач. Языкового ввода или вывода она не поддерживает. Распространяется по лицензии Apache-2.0.
ResNet-152 Gluon In1k — свёрточная модель классификации изображений и извлечения признаков из семейства ResNet-B, представленная в библиотеке timm. Она обучена на ImageNet-1k с использованием рецептов Bag of Tricks для классификации изображений и рассчитана на входной размер 224 × 224 пикселя. В модели около 60,2 млн параметров; архитектура использует активации ReLU, свёртку 7 × 7 с пулингом и обходные соединения с понижением размерности через свёртки 1 × 1. Модель подходит для классификации изображений по классам ImageNet, извлечения карт признаков и получения векторных представлений изображений. Её можно использовать как визуальный backbone в компьютерном зрении или как отправную точку для задач, требующих признаков изображений. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.
ResNet-18 от разработчиков timm — модель компьютерного зрения для классификации изображений и извлечения признаков. Она реализована на PyTorch и доступна в форматах PyTorch и Safetensors. Модель содержит 11,7 млн параметров и использует ReLU, начальную свёртку 7×7 с pooling и свёрточные shortcut-соединения 1×1. Её предварительно обучили на подмножестве YFCC100M методом полунадзорного обучения, затем авторы статьи дообучили её на ImageNet-1k. Рекомендуемый размер изображения — 224×224; также модель можно использовать для получения карт признаков и эмбеддингов изображений. Модель предназначена для классификации изображений общего назначения и может служить базовой сетью в компьютерном зрении. README не приводит отдельные оценки качества именно этой модели. Лицензия CC BY-NC 4.0 допускает использование с соблюдением её условий, включая ограничения на коммерческое применение.
ResNeXt-101 32x8d — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, опубликованная в библиотеке timm. Она содержит 88,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Архитектура использует остаточные связи, групповые свёртки 3 × 3 в bottleneck-блоках и свёртку 7 × 7 на входе. Модель предварительно обучена на датасете хештегов Instagram-1B методом полу-слабого обучения и затем дообучена авторами работ на ImageNet-1k. Её можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. Для загрузки и использования предусмотрена библиотека timm; веса доступны в форматах PyTorch и safetensors. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Модель предназначена для классификации изображений общего назначения; её качество зависит от соответствия изображений обучающим данным, а входной размер указан как 224 × 224 пикселя.
RT-DETR-R50 — модель обнаружения объектов на изображениях, разработанная Яном Чжао и Сангбумом Чхве и опубликованная на Hugging Face в реализации для Transformers. Это детектор на базе Transformer с гибридным энкодером для обработки многомасштабных признаков и декодером, который предсказывает классы объектов и ограничивающие рамки. Архитектура позволяет менять число слоёв декодера для настройки скорости без повторного обучения. Модель обучалась на COCO 2017; карточка сообщает о предварительном обучении RT-DETR-R50 на Objects365 и приводит результат 55,3 AP для такого варианта. Для обработки изображения применяется изменение размера до 640×640 и нормализация каналов. В таблице оценки COCO для RT-DETR-R50 указаны 42 млн параметров, 53,1 AP и 108 кадров в секунду на T4 GPU; эти показатели зависят от условий запуска. Поддерживается обнаружение объектов, а лицензия Apache-2.0 разрешает использование на её условиях.
Это модель классификации изображений семейства Swin Transformer, опубликованная авторами статьи Swin Transformer и доступная через библиотеку timm. Модель предварительно обучена на ImageNet-22k; в карточке указаны 109,3 млн параметров и размер входного изображения 384 × 384 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Она принимает изображения и выдаёт текстовые метки классов; опубликованные веса сохранены в форматах PyTorch и Safetensors. Лицензия — MIT.
Swin Base Patch4 Window12 384 — модель классификации изображений на базе иерархического Vision Transformer с механизмом сдвинутых окон (Swin Transformer). Она предварительно обучена на ImageNet-22k, а затем дообучена авторами статьи на ImageNet-1k. Веса распространяются проектом timm; модель доступна в форматах PyTorch и Safetensors под лицензией MIT. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Она обрабатывает изображения размером 384 × 384 пикселя и содержит 87,9 млн параметров. Поддерживаемый сценарий — определение категорий объектов на изображении; обучение на ImageNet-1k и ImageNet-22k даёт ей основу для задач классификации общего назначения.
Swin Large Patch4 Window7 224 — модель классификации изображений на архитектуре Swin Transformer, опубликованная авторами статьи и доступная в библиотеке timm. Она предварительно обучена на ImageNet-22k и предназначена для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов. Модель обрабатывает изображения размером 224 × 224 пикселя и содержит около 228,6 млн параметров. Иерархическая архитектура Swin Transformer использует сдвигаемые оконные механизмы внимания для анализа изображения на разных масштабах. Чекпойнт распространяется в форматах PyTorch и Safetensors. Лицензия — MIT. Карточка не приводит ограничений применения или отдельных доменных специализаций.
Swin Large Patch4 Window7 224 — модель классификации изображений на основе иерархического Vision Transformer с механизмом сдвинутых окон. Она разработана авторами статьи Swin Transformer и опубликована в библиотеке timm. Модель предварительно обучена на ImageNet-22k, затем дообучена на ImageNet-1k; содержит около 196,5 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений и может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Основной сценарий — распознавание объектов и категорий на изображениях. Репозиторий содержит веса PyTorch и safetensors, лицензия — MIT. Карточка описывает классификацию и извлечение признаков, но не приводит подробностей о поддерживаемых классах вне обучения на ImageNet-1k.
Это модель Swin Transformer для классификации изображений и извлечения визуальных признаков. Её разработали авторы статьи Swin Transformer; модель предварительно обучена на ImageNet-22k и распространяется через библиотеку timm. Веса содержат около 44,3 млн параметров, модель рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для присвоения изображениям классов, извлечения карт признаков и получения эмбеддингов изображений. Её можно использовать как визуальную основу в системах распознавания и анализа изображений. Лицензия — MIT.
swinv2_base_window12_192.ms_in22k — модель классификации изображений на основе Swin Transformer V2, опубликованная авторами статьи и доступная через библиотеку timm. Она предварительно обучена на ImageNet-22k и предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Модель содержит 109,3 млн параметров и рассчитана на изображения размером 192 × 192 пикселя; вычислительная сложность указана как 11,9 GMACs. Модель принимает изображения и выдаёт классы либо визуальные признаки и эмбеддинги при использовании соответствующих режимов. В карточке не заявлена поддержка естественного языка. Лицензия — MIT. Результаты зависят от предметной области и качества входных изображений; сведения о конкретных метриках точности в карточке не приведены.
Swin Transformer V2 Large — модель компьютерного зрения, выпущенная Microsoft и представленная в работе Liu и соавторов. Она предварительно обучена на ImageNet-21k для классификации изображений с разрешением 192×192; число параметров составляет 33 млн. Архитектура Swin V2 строит иерархические карты признаков, объединяя патчи на глубоких слоях и выполняя локальное оконное внимание, поэтому вычислительная сложность по размеру изображения растёт линейно. Модель предназначена прежде всего для классификации изображений по классам ImageNet. Её также можно использовать как основу для задач распознавания с плотной разметкой, адаптируя модель под нужную задачу. В Swin V2 применяются нормализация после остаточного блока с косинусным вниманием для стабильного обучения и непрерывное смещение позиций с логарифмической шкалой для переноса на входы высокого разрешения. Модель распространяется в формате PyTorch по лицензии Apache-2.0.
tf_efficientnet_b8.ap_in1k — сверточная модель классификации изображений из семейства EfficientNet. Её обучили авторы работ на ImageNet-1k с использованием AdvProp, метода обучения на состязательных примерах; затем Ross Wightman перенёс веса в PyTorch. Модель содержит около 87,4 млн параметров и рассчитана на изображения размером 672 × 672 пикселя. Модель предназначена для отнесения изображений к классам ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и векторных представлений изображений. По данным карточки, вычислительная нагрузка составляет 63,5 GMACs. Репозиторий распространяет веса в форматах PyTorch и safetensors; лицензия — Apache-2.0.
tf_efficientnet_es.in1k — сверточная модель EfficientNet-EdgeTPU для классификации изображений и извлечения визуальных признаков. Исходная модель обучена авторами соответствующих работ на ImageNet-1k в TensorFlow, а затем перенесена в PyTorch Россом Уайтманом и опубликована в библиотеке timm. Модель содержит около 5,4 млн параметров, требует изображения размером 224 × 224 и имеет вычислительную сложность 1,8 GMACs. Она подходит для классификации изображений по классам ImageNet-1k, получения карт признаков и визуальных эмбеддингов; архитектура EfficientNet-EdgeTPU разработана с учётом эффективности на ускорителях Edge TPU. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0.
tf_efficientnetv2_b0.in1k — модель классификации изображений семейства EfficientNetV2. Исходную версию обучили авторы статьи на ImageNet-1k в TensorFlow, затем Ross Wightman перенёс её в PyTorch; на Hugging Face модель доступна через библиотеку timm в форматах PyTorch и safetensors. В ней около 7,1 млн параметров, вычислительная сложность составляет около 0,5 GMACs. Размер изображения при обучении — 192×192 пикселя, при проверке — 224×224. Модель предназначена для классификации изображений по категориям ImageNet-1k и может использоваться как визуальная основа для извлечения карт признаков и эмбеддингов изображений. Она компактна и подходит для сценариев, где важны небольшие вычислительные затраты. Обучение проводилось на ImageNet-1k, поэтому качество на других типах изображений может отличаться; README не приводит оценки точности. Лицензия репозитория — Apache-2.0.
timm/tnt_s_legacy_patch16_224.in1k — модель классификации изображений и визуальный backbone семейства TnT (Transformer in Transformer), распространяемая в экосистеме timm. Она предварительно обучена на ImageNet-1k и предназначена для классификации изображений, извлечения карт признаков и получения визуальных эмбеддингов. Модель содержит около 23,8 млн параметров, рассчитана на изображения размером 224 × 224 и требует 5,2 GMACs на проход согласно карточке. Чекпойнт опубликован в форматах PyTorch и safetensors; библиотека для работы с ним — timm. Лицензия — Apache-2.0. В карточке приведены примеры классификации, извлечения признаков и эмбеддингов, но не указаны языковые возможности, поскольку модель обрабатывает изображения.
Trendyol LLM 7B GGUF — текстовая авторегрессионная модель, опубликованная Trendyol. Это GGUF-представление модели Trendyol LLM v1.0 на основе Mistral 7B; исходная модель дообучалась с помощью LoRA на 10 млрд токенов, а этот репозиторий предназначен для запуска через llama.cpp. Модель принимает текст и генерирует текст, включая диалоговые ответы. В метаданных указан вариант GGUF F16; карточка также описывает версии в форматах на 4 и 16 бит. Модель предназначена для генерации продолжений текста и диалогового взаимодействия на турецком и английском языках. Её можно использовать в локальных приложениях на базе llama.cpp и llama-cpp-python. Карточка указывает Apache-2.0. Длина контекста в метаданных не приведена; в описании обучения указан max_seq_length 1024. Разработчик предупреждает, что модель мало проверялась в реальных сценариях, может выдавать недостоверные сведения и смещённые или вредные ответы. Качество на сленге и языках, отличных от английского и турецкого, может быть ограниченным; результаты требуют проверки человеком.
google/vit-base-patch16-384 — модель Vision Transformer (ViT) базового размера для классификации изображений, основанная на архитектуре трансформерного энкодера. Веса были конвертированы из timm: исходные веса ViT перенесли из JAX в PyTorch, а Hugging Face подготовила карточку модели. Модель содержит 113,2 млн параметров и доступна в форматах PyTorch, TensorFlow и Flax. Модель предварительно обучена на ImageNet-21k при разрешении 224×224, затем дообучена на ImageNet 2012 для распознавания 1000 классов при разрешении 384×384. Изображение разбивается на патчи 16×16, которые преобразуются в последовательность для обработки трансформером; представление токена CLS используется для классификации. Модель подходит для распознавания объектов из классов ImageNet и для извлечения признаков при разработке собственных классификаторов. Лицензия — Apache-2.0. Классификация ограничена набором из 1000 классов ImageNet: для других категорий потребуется дообучение или отдельная классификационная голова. Качество зависит от подходящей предобработки и масштаба изображения.
1aurent/vit_giant_patch14_reg4_224.h-optimus-v0 — визуальный backbone семейства Vision Transformer, опубликованный в репозитории релизов Bioptimus. Модель содержит 1,13 млрд параметров, принимает изображения размером 224 × 224 пикселя и использует патчи 14 × 14 и четыре register-токена. Модель предназначена для извлечения признаковых представлений изображений, которые можно использовать в последующих задачах компьютерного зрения, например для поиска похожих изображений или как входные признаки для классификатора. Веса доступны в формате safetensors; заявлена лицензия Apache-2.0. Языковые возможности не относятся к назначению модели.
google/vit-large-patch16-224-in21k — большая модель Vision Transformer (ViT), впервые опубликованная в этом репозитории и основанная на работе Dosovitskiy и соавторов. Веса были преобразованы из timm в PyTorch; исходная модель обучалась с учителем на ImageNet-21k, содержащем около 14 млн изображений и 21 843 класса. Модель принимает изображения, разбивает их на патчи 16×16 и обрабатывает трансформерным энкодером. Она рассчитана на входное разрешение 224×224 и содержит около 402,7 млн параметров. Предобученные представления подходят для извлечения признаков и последующего дообучения под классификацию и другие задачи компьютерного зрения. В репозитории нет настроенной классификационной головы: веса голов были обнулены; доступен предобученный pooler. Для прикладных задач обычно требуется обучить линейный классификатор или дообучить модель на целевом наборе данных. Лицензия — Apache-2.0.
XCiT Tiny 12/16 224 — модель классификации изображений и визуальный backbone семейства Cross-Covariance Image Transformer (XCiT), опубликованный авторами работы и предварительно обученный на ImageNet-1k. Чекпойнт содержит 6,7 млн параметров, рассчитан на изображения размером 224 × 224 и требует около 1,2 GMACs на обработку изображения. Модель предназначена для отнесения изображений к классам ImageNet-1k и может использоваться как backbone для извлечения визуальных признаков и эмбеддингов. Доступны веса PyTorch и safetensors; библиотека модели — timm. Репозиторий распространяется по лицензии Apache-2.0.
Карточка модели rmaser/aloe-v2-dinov3-base на Hugging Face совпадает с карточкой rmaser/aloe-v2-dinov3-base-in1k-lp, поэтому описание составлено по ней. ALOEv2 DINOv3 Base in1k-lp — модель компьютерного зрения, разработанная командой ALOE. Это дообученная на базе DINOv3 Base модель с головой линейного классификатора ImageNet-1k; она также предоставляет визуальные признаки для извлечения и анализа. В модели около 113,2 млн параметров, веса доступны в формате Safetensors, а для загрузки через Transformers требуется включить trust_remote_code=True и использовать код ALOE-архитектуры. Модель обучали ещё 30 тысяч шагов с дистилляцией по трём слоям и выборкой разрешений 224, 384 и 480 пикселей на каждом шаге. Она предназначена для классификации изображений ImageNet-1k и извлечения признаков, в том числе для плотного сопоставления, оценки глубины и поверхностных нормалей. Архитектура B-cos сохраняет интерпретируемые объяснения; линейная точность на ImageNet-1k для версии Base составляет 83,92%. Модель принимает изображения и выдаёт классы либо векторные признаки. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных на тех же условиях и не разрешает коммерческое использование. Она не предназначена для распознавания произвольных классов без дополнительной настройки, а для загрузки используется пользовательский код.
ALOEv2 DINOv3 Base in1k-lp — модель компьютерного зрения, разработанная командой ALOE. Это дообученная на базе DINOv3 Base модель с головой линейного классификатора ImageNet-1k; она также предоставляет визуальные признаки для извлечения и анализа. В модели около 113,2 млн параметров, веса доступны в формате Safetensors, а для загрузки через Transformers требуется включить trust_remote_code=True и использовать код ALOE-архитектуры. Модель обучали ещё 30 тысяч шагов с дистилляцией по трём слоям и выборкой разрешений 224, 384 и 480 пикселей на каждом шаге. Она предназначена для классификации изображений ImageNet-1k и извлечения признаков, в том числе для плотного сопоставления, оценки глубины и поверхностных нормалей. Архитектура B-cos сохраняет интерпретируемые объяснения; линейная точность на ImageNet-1k для версии Base составляет 83,92%. Модель принимает изображения и выдаёт классы либо векторные признаки. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных на тех же условиях и не разрешает коммерческое использование. Она не предназначена для распознавания произвольных классов без дополнительной настройки, а для загрузки используется пользовательский код.
Карточка модели rmaser/aloe-v2-dinov3-large-in1k-lp на Hugging Face совпадает с карточкой rmaser/aloe-v2-dinov3-base-in1k-lp, поэтому описание составлено по ней. ALOEv2 DINOv3 Base in1k-lp — модель компьютерного зрения, разработанная командой ALOE. Это дообученная на базе DINOv3 Base модель с головой линейного классификатора ImageNet-1k; она также предоставляет визуальные признаки для извлечения и анализа. В модели около 113,2 млн параметров, веса доступны в формате Safetensors, а для загрузки через Transformers требуется включить trust_remote_code=True и использовать код ALOE-архитектуры. Модель обучали ещё 30 тысяч шагов с дистилляцией по трём слоям и выборкой разрешений 224, 384 и 480 пикселей на каждом шаге. Она предназначена для классификации изображений ImageNet-1k и извлечения признаков, в том числе для плотного сопоставления, оценки глубины и поверхностных нормалей. Архитектура B-cos сохраняет интерпретируемые объяснения; линейная точность на ImageNet-1k для версии Base составляет 83,92%. Модель принимает изображения и выдаёт классы либо векторные признаки. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных на тех же условиях и не разрешает коммерческое использование. Она не предназначена для распознавания произвольных классов без дополнительной настройки, а для загрузки используется пользовательский код.
Карточка модели rmaser/aloe-v2-dinov3-small-in1k-lp на Hugging Face совпадает с карточкой rmaser/aloe-v2-dinov3-base-in1k-lp, поэтому описание составлено по ней. ALOEv2 DINOv3 Base in1k-lp — модель компьютерного зрения, разработанная командой ALOE. Это дообученная на базе DINOv3 Base модель с головой линейного классификатора ImageNet-1k; она также предоставляет визуальные признаки для извлечения и анализа. В модели около 113,2 млн параметров, веса доступны в формате Safetensors, а для загрузки через Transformers требуется включить trust_remote_code=True и использовать код ALOE-архитектуры. Модель обучали ещё 30 тысяч шагов с дистилляцией по трём слоям и выборкой разрешений 224, 384 и 480 пикселей на каждом шаге. Она предназначена для классификации изображений ImageNet-1k и извлечения признаков, в том числе для плотного сопоставления, оценки глубины и поверхностных нормалей. Архитектура B-cos сохраняет интерпретируемые объяснения; линейная точность на ImageNet-1k для версии Base составляет 83,92%. Модель принимает изображения и выдаёт классы либо векторные признаки. Лицензия CC BY-NC-SA 4.0 требует указания авторства, распространения производных на тех же условиях и не разрешает коммерческое использование. Она не предназначена для распознавания произвольных классов без дополнительной настройки, а для загрузки используется пользовательский код.
BEiT-3 Base — модель классификации изображений и извлечения визуальных признаков, представленная в библиотеке timm. Она основана на архитектуре Vision Transformer и содержит 86,7 млн параметров. Модель принимает изображения размером 224 × 224 пикселя и выдаёт классы ImageNet-1k либо визуальные представления для дальнейшей обработки. Модель предварительно обучалась на изображениях ImageNet-22k, текстовых документах объёмом 160 ГБ и наборах пар изображение–текст LAION-400M, COYO-700M и CC15M с помощью masked data modeling. Затем её дообучили на ImageNet-22k и ImageNet-1k. В этой версии мультимодальная предобученная модель преобразована для задач классификации только по изображениям. Модель подходит для распознавания объектов на изображениях и построения визуальных признаков в системах компьютерного зрения. В карточке не приведены специфические ограничения качества. Репозиторий распространяется по лицензии Apache-2.0.
BEiT Large — модель vision transformer для классификации изображений и извлечения визуальных признаков, опубликованная в экосистеме timm. Она предварительно обучена на ImageNet-22k методом masked image modelling с визуальным токенизатором DALL-E dVAE, а затем дообучена для классификации на ImageNet-22k. Модель содержит около 325,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель подходит для присвоения изображению класса из набора категорий и получения эмбеддингов изображений как основы для downstream-задач компьютерного зрения. Она использует архитектуру BEiT на базе Vision Transformer и опубликована в форматах PyTorch и safetensors. Лицензия — Apache-2.0.
BEiT large patch16 384 — модель классификации изображений на базе Vision Transformer, разработанная Microsoft. Она предварительно обучена без учителя на ImageNet-21k, а затем дообучена с учителем на ImageNet-1k для распознавания объектов по 1000 классам. Модель содержит около 411 млн параметров; изображения разбиваются на патчи размером 16×16 пикселей, а классификация выполняется по представлениям патчей. Для обучения использовались разрешения 224×224 и 384×384 пикселя. Модель предназначена для классификации изображений и извлечения признаков, которые можно использовать для обучения классификатора на собственных размеченных данных. Она принимает изображения и выдаёт метки классов. Для собственного набора классов потребуется дополнительная настройка классификационной головы или дообучение. Репозиторий содержит веса PyTorch и Flax и распространяется по лицензии Apache-2.0.