IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейЭто модель классификации изображений на базе Vision Transformer (ViT), разработанная Alibaba MIIL и доступная через библиотеку timm. Она предварительно обучена на ImageNet-21k-P и дообучена на ImageNet-1k; модель содержит 86,5 млн параметров и рассчитана на входные изображения размером 224 × 224 пикселя. Её можно применять для отнесения изображения к классу и использовать как основу для извлечения признаков и получения эмбеддингов изображений. Модель предназначена для задач компьютерного зрения общего назначения, в частности для классификации объектов на изображениях. Карточка описывает ImageNet-1k как датасет дообучения и приводит ImageNet-21k-P как набор предварительного обучения. Лицензия — Apache-2.0.
Это модель компьютерного зрения на архитектуре Vision Transformer (ViT), предназначенная для классификации изображений и использования в качестве визуального backbone для извлечения признаков. Её обучили авторы исследований на ImageNet-21k, а затем дообучили на ImageNet-1k с дополнительной аугментацией и регуляризацией. Росс Уайтман перенёс веса из JAX в PyTorch; модель доступна через библиотеку timm. Модель содержит 86,6 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Она подходит для классификации объектов и получения эмбеддингов изображений, которые можно использовать в последующих задачах компьютерного зрения. Репозиторий содержит веса PyTorch и safetensors. Лицензия — Apache-2.0.
Это визуальный энкодер DINOv3 ViT-L/16 из библиотеки timm, созданный на основе DINOv3 ViT-7B и дистиллированный на наборе изображений LVD-1689M. Модель содержит 303,1 млн параметров и предназначена для извлечения признаков и эмбеддингов изображений; входной размер изображения в карточке — 256 × 256 пикселей. Полученные представления можно использовать как основу для классификации изображений, сегментации и других задач компьютерного зрения, включая дообучение на собственных данных. Модель работает с изображениями и возвращает векторы признаков; это не генератор изображений и не текстово-визуальная диалоговая модель. В README отмечены технические нюансы реализации в timm: смещения QKV отключены, поскольку исходные значения были нулевыми, а периоды RoPE представлены с другой точностью, что может вызывать небольшие численные расхождения с исходной реализацией. Лицензия указана как DINOv3, а в метаданных Hugging Face — как other; точные условия следует сверять с лицензией проекта DINOv3.
timm/vit_small_patch14_reg4_dinov2.lvd142m — модель извлечения признаков изображений на основе Vision Transformer (ViT), доступная через библиотеку timm. Она содержит 22,1 млн параметров и предварительно обучена на наборе LVD-142M методом самообучения DINOv2; версия использует четыре регистра. Модель рассчитана на изображения размером 518 × 518 пикселей. Полученные признаки можно использовать для построения эмбеддингов изображений и как основу для задач компьютерного зрения, включая классификацию. Карточка также приводит вычислительные характеристики: 29,6 GMACs и 57,5 млн активаций. Репозиторий содержит веса PyTorch и safetensors и распространяется по лицензии Apache-2.0.
Это модель Vision Transformer (ViT) для классификации изображений, опубликованная cs-giung. Она предварительно обучена на ImageNet-21k: 14 миллионах изображений с 21 843 классами. Модель обрабатывает изображения разрешением 224×224 пикселя; её архитектура использует патчи 16×16, а размер составляет 28,3 млн параметров. Модель подходит для определения категорий объектов на изображениях и может служить основой для последующей адаптации под другие наборы классов. Веса преобразованы из исходного файла формата NPZ и доступны в формате safetensors. Использование распространяется по лицензии Apache-2.0.
Это модель Vision Transformer (ViT) для классификации изображений и извлечения визуальных признаков. Её обучили авторы исследования How to train your ViT? на ImageNet-21k, затем дообучили на ImageNet-1k с дополнительной аугментацией и регуляризацией. Исходная версия была создана на JAX, а Ross Wightman перенёс веса в PyTorch; репозиторий распространяет их в форматах PyTorch и Safetensors и поддерживает библиотеку timm. Модель содержит 22,9 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Её можно использовать для классификации объектов и как визуальный backbone для получения признаков или эмбеддингов изображений. Лицензия — Apache-2.0. Описание посвящено классификации изображений общего назначения на основе ImageNet. Оно не указывает на поддержку текстового ввода или генерации изображений.
vit_so150m_patch16_reg4_gap_256.sbb_e250_in12k — модель классификации изображений на основе Vision Transformer (ViT), обученная Ross Wightman с использованием библиотеки timm. Она также предназначена для извлечения признаков и получения эмбеддингов изображений. Модель содержит около 143,8 млн параметров, использует патчи размером 16×16, четыре register-токена и глобальный average pooling. Она обучена на ImageNet-12k и рассчитана на изображения размером 256×256 пикселей. В метаданных указаны форматы PyTorch и Safetensors и лицензия Apache-2.0. Модель подходит для классификации изображений и как визуальный backbone для систем, которым нужны признаки или эмбеддинги. Карточка не сообщает результаты сравнения именно этой версии; таблица в README содержит метрики других вариантов.
Модель ghananlpcommunity/w2v-bert-2.0_twi_alpha_v1_farmerline — дообученная FarmerlineML/w2v-bert-2.0_twi_alpha для автоматического распознавания речи. Это плотная архитектура Wav2Vec2-BERT с CTC-выходом, содержащая около 402,7 млн параметров и сохранённая в формате safetensors. По названию базовой модели она предназначена для распознавания речи на языке тви; данных о поддержке других языков нет. В карточке приведены результаты оценки: CER 0,073 и WER 0,2584; обучающий датасет не назван. Модель принимает аудио и выдаёт распознанный текст. Лицензия в предоставленных данных не указана.
XCiT Nano 12/8 — компактная модель классификации изображений семейства Cross-Covariance Image Transformer, опубликованная авторами статьи и доступная в библиотеке timm. Модель обучена на ImageNet-1k с дистилляцией и может использоваться как классификатор или визуальный backbone для извлечения признаков и эмбеддингов. Модель содержит около 3 млн параметров, требует 2,2 GMACs и рассчитана на изображения размером 224 × 224 пикселя. Репозиторий содержит веса PyTorch и Safetensors. Лицензия — Apache-2.0.
XCiT-Small/12 с патчами 8×8 — модель классификации изображений семейства Cross-Covariance Image Transformer, созданная авторами статьи XCiT и представленная в библиотеке timm. Она предварительно обучена на ImageNet-1k и предназначена для классификации изображений, а также может использоваться как визуальный backbone для извлечения признаков и эмбеддингов. Модель содержит 26,2 млн параметров и рассчитана на входные изображения размером 224 × 224 пикселя. Веса доступны в форматах PyTorch и Safetensors. Лицензия Apache-2.0 разрешает коммерческое и иное использование на её условиях. Модель обучена на ImageNet-1k, поэтому её классификационные возможности ориентированы на классы этого набора данных; качество на других предметных областях может отличаться.
Это веса визуального энкодера AIM-v2 huge с патчами 14×14 и входным разрешением 224 пикселя, опубликованные в репозитории timm/aimv2_huge_patch14_224.apple_pt. Модель совместима с библиотекой timm и предназначена для извлечения признаков из изображений. Эти признаки можно использовать как вход для последующей классификации, поиска по сходству или других задач компьютерного зрения. В метаданных указаны форматы PyTorch и Safetensors и лицензия Apple ASCL. Сведения о конкретных ограничениях использования в карточке не приведены.
ynie/albert-xxlarge-v2-snli_mnli_fever_anli_R1_R2_R3-nli — модель ALBERT-XXLarge-v2 для классификации текстовых пар по задаче Natural Language Inference (NLI). Она разработана пользователем ynie и опубликована на Hugging Face; модель также доступна через Transformers в форматах PyTorch и TensorFlow. Обучение выполнено на комбинации SNLI, MNLI, FEVER-NLI и ANLI R1, R2, R3. Модель принимает пару текстов и определяет, является ли второй текст следствием первого, нейтральным утверждением или противоречит ему. Архитектура — AlbertForSequenceClassification: 3,3 млрд параметров, 12 скрытых слоёв, 64 головы внимания, размер скрытого представления 4096; максимальная длина входа составляет 512 токенов. Выходные классы — entailment, neutral и contradiction. Сильная сторона модели — специализация на текстовом логическом выводе и проверке отношений между утверждениями, включая устойчивость к сложным примерам из ANLI. Модель не является генеративной и не предназначена для свободного создания текста; результат зависит от качества и формата входной пары, а длинные входы ограничены контекстом в 512 токенов. Лицензионные условия в доступных данных не установлены.
BEiT-base-patch16-384 — модель классификации изображений на основе Vision Transformer, разработанная авторами BEiT и опубликованная Microsoft. Она предварительно обучена без учителя на ImageNet-21k, а затем дообучена с учителем на ImageNet-1k для распознавания объектов по 1000 классам. Модель содержит 119,5 млн параметров и принимает изображения, разбитые на патчи размером 16×16 пикселей; при дообучении использовалось разрешение 384×384. Представления модели можно применять для классификации изображений, а также использовать как основу для обучения классификаторов на размеченных наборах данных. BEiT использует архитектуру Transformer-энкодера, относительные позиционные эмбеддинги и усреднение представлений патчей для классификации. Модель предназначена для задач компьютерного зрения и не обрабатывает текстовые запросы. Веса доступны в форматах PyTorch и Flax по лицензии Apache-2.0. Классификатор настроен на классы ImageNet-1k, поэтому для других наборов классов потребуется дополнительное обучение или адаптация.
BEiT-v2 Base Patch16 224 — модель компьютерного зрения от сообщества timm для классификации изображений и извлечения признаков. Она принимает изображения размером 224 × 224 пикселя и содержит около 102,6 млн параметров. Архитектура использует Vision Transformer с патчами 16 × 16; предварительное обучение выполнялось методом masked image modeling с визуальным токенизатором VQ-KD, основанным на учителе OpenAI CLIP B/16, после чего модель дообучили на ImageNet-22k. Модель подходит для классификации изображений и получения векторных представлений изображений в задачах компьютерного зрения. Репозиторий распространяет веса в форматах PyTorch и safetensors; библиотека для работы с моделью — timm. Лицензия — Apache-2.0. Метаданные не указывают конкретный набор классов для итоговой классификации.
CoAtNet RMLP 2 RW 224 SW IN12K — модель классификации изображений из библиотеки timm, обученная Россом Уайтманом на ImageNet-12k. Она предназначена для отнесения изображений к классам и может использоваться как визуальная основа для извлечения признаков и эмбеддингов. Архитектура CoAtNet сочетает свёрточные блоки MBConv на ранних этапах с блоками self-attention на поздних. В этой конфигурации применяется MLP Log-CPB — относительное позиционное смещение, мотивированное Swin Transformer V2. Модель содержит около 85 млн параметров и рассчитана на изображения размером 224 × 224 пикселя; в репозитории доступны веса PyTorch и safetensors. Модель обучена на наборе ImageNet-12k, содержащем 11 821 класс. Это готовая модель для прикладной классификации и извлечения визуальных признаков. Лицензия репозитория — Apache-2.0.
ConvNeXt Small — сверточная модель для классификации изображений, подготовленная Ross Wightman в библиотеке timm. Модель предварительно обучена на ImageNet-12k, подмножестве ImageNet-22k из 11 821 класса, а затем дообучена на ImageNet-1k. Число параметров — около 50,2 млн; стандартный размер входного изображения — 384 × 384 пикселя. Модель предназначена для определения объектов и категорий на изображениях. Её также можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Карточка приводит результаты на ImageNet-1k и сопоставляет модель с другими вариантами ConvNeXt. Доступны веса PyTorch и Safetensors; модель использует библиотеку timm. Лицензия — Apache-2.0. Качество и скорость могут зависеть от оборудования и параметров инференса; заявленный размер изображения — 384 × 384.
Это модель компьютерного зрения семейства ConvNeXt XXLarge для классификации изображений и извлечения визуальных признаков. Её разработал Росс Уайтман в библиотеке timm: веса визуальной башни CLIP предварительно обучены в OpenCLIP на LAION-2B, затем дообучены на ImageNet-1k. Модель принимает изображения и выдаёт классы либо визуальные признаки и эмбеддинги. Для классификации используется размер изображения 256 × 256; модель содержит около 846,5 млн параметров. В таблице результатов для ImageNet-1k указана точность top-1 88,612% и top-5 98,704%. Модель подходит для классификации изображений, извлечения карт признаков и получения эмбеддингов в задачах компьютерного зрения. Веса распространяются по лицензии Apache-2.0. Её крупный размер и вычислительные затраты могут ограничивать применение на маломощном оборудовании.
facebook/deit-tiny-patch16-224 — компактная модель Data-efficient Image Transformer (DeiT), представленная авторами DeiT и опубликованная на Hugging Face; веса конвертированы из репозитория timm. Это Vision Transformer с примерно 7,1 млн параметров, дообученный для классификации изображений ImageNet-1k на разрешении 224×224 пикселя. Модель разбивает изображение на патчи 16×16 и обрабатывает их трансформерным энкодером. Модель предназначена для отнесения изображений к одному из 1 000 классов ImageNet, а также может служить визуальным энкодером для последующего обучения классификатора на размеченных данных. Для инференса изображения масштабируются, центрально обрезаются до 224×224 и нормализуются по статистикам ImageNet. В отчёте указаны точности 72,2% top-1 и 91,1% top-5 на ImageNet. Модель принимает изображения и выдаёт оценки классов. Для тонкой настройки наилучшие результаты могут требовать разрешения 384×384; увеличение размера модели обычно повышает качество. Лицензия репозитория — Apache-2.0.
badokorach выпустил дообученную модель DistilBERT для поиска ответа на вопрос в предоставленном тексте. Она основана на distilbert/distilbert-base-cased-distilled-squad и предназначена для сценариев вопросно-ответного поиска, например извлечения ответа из фрагмента документа. Модель использует плотную архитектуру DistilBERT, принимает текст и рассчитана на контекст до 512 токенов. В карточке указаны результаты обучения на неизвестном наборе данных: train loss 0,8057, validation loss 0,0 за 14 эпох. Данные о качестве на конкретных задачах и целевых языках не приведены. Модель распространяется в формате TensorFlow по лицензии Apache-2.0.
ECA-NFNet-L2.ra3_in1k — модель классификации изображений и извлечения визуальных признаков, разработанная Россом Уайтманом и обученная в библиотеке timm на ImageNet-1k. Она содержит 56,7 млн параметров и использует архитектуру NFNet без слоёв нормализации: вместо них применяются Scaled Weight Standardization и скалярные коэффициенты в остаточных блоках. Вариант Lightweight NFNet имеет уменьшенные коэффициенты расширения блоков, а механизм ECA заменяет SE-внимание; в модели также используются активации SiLU. Модель предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. Размер изображения при обучении — 320 × 320 пикселей, при тестировании — 384 × 384. Веса доступны в форматах PyTorch и SafeTensors. Лицензия — Apache-2.0. Карточка не описывает поддержку текстовых или иных входных данных.
EfficientNet-B1 — сверточная модель классификации изображений из библиотеки timm, представленная разработчиками timm и размещённая на Hugging Face. Версия efficientnet_b1_pruned.in1k получена структурным прореживанием весов методом knapsack pruning с внутренней дистилляцией и обучена для классификации объектов ImageNet-1k. Модель принимает изображения размером 240 × 240 пикселей и предсказывает один из классов ImageNet-1k. Её также можно использовать как сверточную основу для извлечения карт признаков и эмбеддингов изображений. В карточке указаны 6,3 млн параметров и вычислительная сложность около 0,4 GMAC. Модель подходит для компактной классификации изображений и извлечения визуальных признаков. Карточка не описывает многоязыковые возможности, поскольку модель работает с изображениями и выдаёт классовые предсказания. Распространяется по лицензии Apache-2.0.
EfficientNet-EdgeTPU — сверточная модель классификации изображений из семейства EfficientNet, представленная в библиотеке timm. Вариант efficientnet_el_pruned.in1k получен методом knapsack pruning из существующих весов и рассчитан на набор ImageNet-1k; в карточке указаны 10,6 млн параметров и входное изображение размером 300 × 300 пикселей. Модель предназначена для отнесения изображений к классам ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Репозиторий содержит веса в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Карточка не сообщает о поддержке языкового ввода или других задач помимо работы с изображениями.
EfficientNet-EdgeTPU — сверточная модель классификации изображений из библиотеки timm, обученная на ImageNet-1k. Модель содержит около 6,9 млн параметров, требует изображения размером 240 × 240 пикселей и предназначена для классификации объектов; её также можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений. Обучение проводилось с аугментацией RandAugment RA2, оптимизатором RMSProp и усреднением весов EMA. Модель рассчитана на компактное распознавание изображений, в том числе с учётом ограничений вычислительных ускорителей. Распространяется по лицензии Apache-2.0.
EVA02 Large Patch14 448 — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков. Её разработали авторы EVA-02; версия из библиотеки timm предварительно обучена на Merged-38M с masked image modeling под руководством EVA-CLIP, а затем дообучена на ImageNet-1k. В состав предобучающего набора входят данные ImageNet-22K, CC12M, CC3M, COCO, ADE20K, Object365 и OpenImages. Модель построена на архитектуре Vision Transformer с патчами 14×14, средним пулингом, SwiGLU, Rotary Position Embeddings и дополнительной нормализацией в MLP. Она содержит около 305,1 млн параметров и рассчитана на изображения размером 448×448. На ImageNet-1k в карточке приведён результат top-1 90,054% и top-5 99,042%. Модель может служить классификатором или визуальной основой для получения признаков изображений. Для использования доступны веса PyTorch и safetensors через timm; карточка указывает лицензию MIT. Модель принимает изображения и выдаёт метки классов либо векторы признаков. Ее назначение ограничено задачами компьютерного зрения, а качество зависит от соответствия входных изображений обучающим данным и сценариям.
EVA Giant — модель компьютерного зрения для классификации изображений и извлечения визуальных признаков, опубликованная в библиотеке timm. Она содержит около 1,014 млрд параметров и рассчитана на входные изображения размером 560 × 560 пикселей. Модель предварительно обучали на объединённом наборе Merged-30M с masked image modeling, используя OpenAI CLIP-L как учителя, а затем дообучили на ImageNet-22k и ImageNet-1k. Модель подходит для классификации изображений и получения эмбеддингов как основы для других задач компьютерного зрения. В таблице README приведена точность top-1 89,792% и top-5 98,992% на ImageNet-1k. Карточка timm распространяет веса в формате float32; в README отмечено, что исходные чекпойнты в некоторых случаях доступны в float16 или bfloat16. Лицензия — MIT.
munkhbayar-batkhuu/gemma-3-4b-mongolian — текстовая чат-модель на основе Gemma 3 от Munkhbayar Batkhuu. Она дообучена на тщательно отобранном корпусе с преобладанием академических текстов, новостей и книг на монгольском языке в кириллице; также содержит английские тексты. Модель предназначена для ответов на вопросы и диалога на монгольском, особенно в сценариях RAG, где ей передают фрагменты источников и просят отвечать по ним, приводить ссылки и воздерживаться от ответа при нехватке сведений. В карточке также упоминаются перевод, математические задачи и работа со словарём. Модель имеет плотную авторегрессионную архитектуру Gemma3ForCausalLM, около 4 млрд параметров и контекстное окно в метаданных 131 072 токена. При этом README сообщает об обучении на окне 1 280 токенов и заявляет поддержку только текстового ввода, без изображений и файлов. Лицензия — Gemma. Разработчик позиционирует её для исследовательского и образовательного использования, но не для решений с высокими ставками. По оценке автора, ответы заметно надёжнее при наличии источников, однако модель всё ещё может выдумывать факты и ссылки, ошибаться в арифметике и смешивать сведения о разных сущностях. Она обучена на монгольской кириллице, а не на традиционной монгольской письменности; качество английской технической лексики ограничено. Обучение преимущественно на одном вопросе за раз, поэтому модель не рассчитана на последовательный многоходовый диалог; целевой настройки безопасности, достаточной для работы с уязвимыми пользователями, нет.
ibrahimkettaneh/L3-MS-Astoria-8b — диалоговая языковая модель на основе Llama 3, созданная объединением нескольких предварительно обученных моделей методом Model Stock с помощью mergekit. В качестве базовой использована failspy/Meta-Llama-3-8B-Instruct-abliterated-v3; в объединение также вошли модели для медицины и психологии, Tess 2.0 и вариант Llama 3 Cat Instruct. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и доступна в формате safetensors. Предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов. Карточка не приводит результатов оценки качества или подробных рекомендаций по применению. Контекст модели составляет 8192 токена. Лицензия в предоставленных данных не указана.
LeViT-128S — модель для классификации изображений, представленная в статье «LeViT: A Vision Transformer in ConvNet’s Clothing for Faster Inference» и впервые опубликованная в этом репозитории. Это компактная архитектура семейства LeViT, сочетающая идеи vision transformer и сверточных сетей; модель предварительно обучена на ImageNet-1k для изображений разрешением 224×224 и распознаёт 1 000 классов ImageNet. Модель принимает изображение и выдаёт предсказание класса. Она подходит для классификации фотографий, в том числе по набору классов ImageNet. Репозиторий содержит веса PyTorch и Safetensors; лицензия — Apache-2.0.
MameLoshnLM — языковая модель на базе Llama 3.1 8B, разработанная для идиша и описанная в сопутствующей научной работе. Она создана продолжением предобучения meta-llama/Llama-3.1-8B на корпусе современных интернет-текстов и литературных материалов на идише; небольшая доля английских данных использовалась для снижения потери базовых навыков. Модель имеет архитектуру LlamaForCausalLM, около 7,5 млрд параметров и доступна в формате safetensors для Transformers. Контекст архитектуры — до 131 072 токенов, однако обучение проводилось на последовательностях длиной 1 024 токена. Модель предназначена для генерации текста на идише и может применяться в лингвистических задачах, ответах на вопросы, распознавании именованных сущностей и машинном переводе. В оценках на идише она показала результаты для POS-разметки, синтаксического разбора и лемматизации. Модель не проходила дообучение на инструкциях или настройку безопасности, поэтому не следует ожидать надёжного следования сложным инструкциям. Низкоресурсность идиша и OCR-источники в обучающем корпусе могут приводить к артефактам распознавания и вариативности орфографии. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но не для коммерческих целей.
MaxViT-Base-TF-224 — модель классификации изображений семейства MaxViT, обученная авторами статьи на ImageNet-1k в TensorFlow и перенесённая в PyTorch Россом Уайтманом для библиотеки timm. Она предназначена для присвоения изображению метки из набора классов ImageNet-1k и может использоваться как визуальный backbone для извлечения признаковых карт и эмбеддингов. Архитектура MaxViT сочетает блоки MBConv с оконным и grid-вниманием в каждом этапе. Модель содержит 119,5 млн параметров и рассчитана на изображения размером 224×224 пикселя. Репозиторий предоставляет веса в форматах PyTorch и safetensors. Лицензия — Apache-2.0.