IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейМодель jpcorb20/toxic-detector-distilroberta — классификатор комментариев на токсичность, дообученный автором на базе DistilRoBERTa на наборе Kaggle Toxic Comments. Архитектура RoBERTa с примерно 95,2 млн параметров; модель принимает текст и предсказывает несколько меток одновременно: toxic, severe_toxic, obscene, threat, insult и identity_hate. Для интерпретации выходных логитов следует применять сигмоиду по каждой метке, а не softmax. Модель предназначена для выявления токсичных комментариев и отдельных видов оскорбительного содержания при модерации пользовательского текста. В README приведены F1-оценки: 0,72 для toxic и obscene, 0,69 для insult, 0,60 для identity_hate, 0,52 для threat и 0,38 для severe_toxic; Macro-F1 составляет 0,61. Контекст — до 514 токенов. Лицензия в предоставленных данных не указана.
timm/twins_pcpvt_base.in1k — модель классификации изображений и визуальный backbone семейства Twins-PCPVT, обученный авторами статьи на ImageNet-1k. Архитектура основана на Vision Transformer с пространственным вниманием; модель содержит 43,8 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для классификации изображений по категориям ImageNet-1k и может использоваться как backbone для извлечения визуальных признаков и эмбеддингов. Она подходит для компьютерного зрения и построения систем, которым требуется распознавать объекты на изображениях. Репозиторий поддерживает форматы PyTorch и safetensors и библиотеку timm. Лицензия Apache-2.0 разрешает коммерческое и иное использование при соблюдении её условий.
smp-hub/upernet-swin-large — модель семантической сегментации изображений на архитектуре UPerNet с энкодером Swin Large. Карточка указывает, что модель обучена на наборе ADE20K, а для запуска инференса предлагаются библиотеки segmentation_models_pytorch и albumentations. Модель предназначена для присвоения пиксельных меток объектам и областям на изображении, например для анализа сцен и разделения их на семантические классы. Вес опубликован в формате safetensors; библиотека модели — segmentation_models_pytorch. Лицензия — MIT, допускающая использование согласно её условиям. Карточка не приводит число параметров, контекстную длину или перечень языков; для модели сегментации они не являются основными характеристиками. README не сообщает метрики качества и подробности о классах разметки, поэтому качество на данных, отличных от ADE20K, не установлено.
Perceiver IO for vision — модель классификации изображений на архитектуре Perceiver, разработанной исследователями DeepMind и представленной в работе Jaegle и соавторов. Модель предварительно обучена на ImageNet: 14 млн изображений и 1000 классов. Она обрабатывает исходные пиксели изображения и использует фиксированные двумерные позиционные Fourier embeddings; для классификации выдаёт оценки по классам. Архитектура выполняет self-attention над компактным набором латентных векторов, а входные данные связывает с ним через cross-attention. Это позволяет не привязывать стоимость self-attention к размеру входа. В описанном сценарии изображения обрезаются по центру, масштабируются до 224×224 и нормализуются по RGB-каналам. На ImageNet-1k модель достигла точности top-1 79,0%. Её можно использовать для классификации и извлечения признаков для последующих задач с размеченными изображениями. Модель распространяется по лицензии Apache-2.0. Результаты и назначение указаны для классификации изображений; для другого набора классов потребуется адаптация классификационного декодера и обучение на целевых данных.
Карточка модели hosamEl1/vit-base-violence-detection на Hugging Face совпадает с карточкой jaranohaal/vit-base-violence-detection, поэтому описание составлено по ней. jaranohaal/vit-base-violence-detection — модель Vision Transformer (ViT), дообученная на основе google/vit-base-patch16-224-in21k для классификации изображений на категории «насилие» и «без насилия». Она предназначена для автоматической проверки изображений в системах модерации контента, видеонаблюдения и родительского контроля. Модель содержит 113,2 млн параметров и распространяется в форматах PyTorch и Safetensors; в карточке указана точность 98,8% на тесте. Модель принимает изображения и выдаёт метку класса. Обучение проводилось на наборе Real Life Violence Situations. Указанная точность не гарантирует таких же результатов на других данных: карточка не описывает состав тестовой выборки и подробности оценки. Лицензия — Apache-2.0.
Модель timm/vit_relpos_small_patch16_224.sw_in1k — визуальный трансформер для классификации изображений и извлечения признаков. Это вариант архитектуры ViT с относительными позиционными эмбеддингами, без токена класса; итоговое представление формируется глобальным усреднением токенов. Модель разработана в экосистеме timm и обучена на ImageNet-1k. Модель принимает изображения размером 224 × 224 и выдаёт классы ImageNet либо признаки изображения для дальнейшего использования. Она содержит около 22 млн параметров и требует примерно 4,2 GMAC на изображение. Лицензия — Apache-2.0.
poltextlab/xlm-roberta-large-ontolisst-major-v5 — модель классификации текста, созданная командой PolTextLab на основе XLM-RoBERTa Large и предназначенная для анализа политических и общественных текстов в CAP Babel Machine — бесплатном инструменте для сравнительных исследований. Модель относит текст к одной из тематических категорий; среди указанных классов — окружающая среда и жильё, здравоохранение и социальные услуги, занятость и труд. В README приведены результаты оценки: точность 93%, macro F1 0,91 и weighted F1 0,93. Модель дообучена на FacebookAI/xlm-roberta-large и распространяется в формате safetensors. Карточка показывает поддержку английского языка. Для работы используется токенизатор SentencePiece; README указывает, что для запуска с версиями Transformers ниже 4.27 его нужно установить отдельно. Лицензия — CC BY 4.0. Результаты и тематическая применимость за пределами описанных категорий и данных оценки в карточке не раскрыты.
Albert Moderation 001 — англоязычная модель классификации текста, разработанная Oxygen (oxyapi) при участии TornadoSoftwares. Она дообучена на distilbert/distilbert-base-uncased и предназначена для быстрой модерации пользовательского текста по 11 категориям: домогательства и угрозы, сексуальный контент, ненависть и угрозы, самоповреждение, контент о несовершеннолетних, насилие и графическое насилие. Модель построена на DistilBERT, использует архитектуру классификации последовательностей и принимает текст; максимальная длина контекста — 512 токенов. Компактный размер модели рассчитан на быстрый вывод с меньшими вычислительными затратами. Она подходит для предварительной фильтрации контента и автоматической маршрутизации потенциально вредных сообщений на проверку. Модель распространяется по лицензии Apache-2.0.
Многоязычный классификатор токсичности gravitee-io на базе BERT-small, дообученный на наборе gravitee-io/textdetox-multilingual-toxicity-dataset. Модель относит текст к одному из двух классов: «токсичный» или «нетоксичный». Архитектура — BertForSequenceClassification, около 32,4 млн параметров; модель принимает последовательности длиной до 512 токенов. Доступны веса Safetensors и формат ONNX. Модель предназначена для автоматической модерации текста: например, для первичной фильтрации сообщений в онлайн-сервисах и выявления токсичных высказываний на нескольких языках. В карточке приведены оценки F1 для английского, французского и русского языков; для этих языков качество различается, а результаты на обучении выше тестовых. Поддерживаемые языки включают английский, русский, украинский, немецкий, испанский, амхарский, китайский, арабский, хинди, итальянский, французский, иврит, японский и татарский. Лицензия — OpenRAIL++.
timm/caformer_s36.sail_in1k — модель компьютерного зрения семейства CAFormer и архитектуры MetaFormer, обученная авторами статьи на ImageNet-1k. Она предназначена для классификации изображений и может использоваться как backbone для извлечения карт признаков и построения эмбеддингов изображений. Модель содержит 39,3 млн параметров, рассчитана на изображения размером 224 × 224 и требует 8,0 GMACs на проход. Доступны веса PyTorch и Safetensors; лицензия — Apache-2.0.
CAT-Translate Learner Edition 0.8b — дообученная модель семейства Llama, созданная автором репозитория на основе cyberagent/CAT-Translate-0.8b. Она переводит японские предложения на английский и возвращает результат в структурированном JSON: исходное предложение, перевод, фуригану для чтения кандзи и разбор отдельных слов с чтением и переводом. Модель рассчитана на изучающих японский язык и использует чатовый формат; размер — 661,9 млн параметров, контекст — до 8192 токенов. Для обучения применён курируемый корпус предложений с фуриганой, переводами и словарными пояснениями; также заменён токенизатор базовой модели на многосимвольный Unigram-токенизатор. Доступны веса bfloat16 в формате safetensors. Лицензия — Apache-2.0. Карточка описывает назначение и формат ответа, но не приводит количественных оценок качества перевода.
ChronoBERT v1 2006-12-31 — англоязычная модель Songrun He, Linying Lv, Asaf Manela и Jimmy Wu для анализа текста с учётом временной последовательности. Она обучена на датированных текстах, доступных до конца 2006 года, чтобы уменьшить утечку будущей информации и смещение заглядывания вперёд при работе с историческими данными. Модель построена на архитектуре ModernBERT и содержит 149 млн параметров; её контекст — до 8192 токенов. Основная задача по метаданным — предсказание замаскированных токенов. Также README показывает извлечение эмбеддингов и сообщает об оценке серии ChronoBERT на GLUE и задаче прогнозирования доходности акций. Модель подходит для исторического анализа текстов, экспериментов с финансовыми сигналами и языкового понимания, когда важно учитывать дату доступности обучающих данных. В README сообщается, что модели серии превзошли стандартный BERT на GLUE, однако эти результаты не гарантируют качество именно этой версии или её прибыльность в торговле. Лицензия — MIT.
Карточка модели manelalab/chrono-bert-v1-20101231 на Hugging Face совпадает с карточкой manelalab/chrono-bert-v1-20041231, поэтому описание составлено по ней. ChronoBERT v1 20041231 — англоязычная модель Songrun He, Linying Lv, Asaf Manela и Jimmy Wu для анализа текста с учётом хронологии. Она основана на двунаправленной архитектуре ModernBERT, содержит 149 млн параметров и принимает контекст до 8192 токенов. Модель обучена на датированных текстовых данных, чтобы снизить риск утечки будущей информации и смещения заглядывания вперёд при историческом анализе. Модель предназначена для предсказания замаскированных токенов и получения представлений текста, а также для задач понимания языка и анализа исторических и финансовых текстов. Семейство ChronoBERT оценивалось на GLUE и на прогнозировании доходности акций; приведённые результаты относятся к указанным в карточке версиям, а не обязательно к этой конкретной контрольной точке. Доступны веса в формате safetensors для Transformers. Лицензия — MIT.
CleanDIFT — метод и набор чекпойнтов от авторов исследования «CleanDIFT: Diffusion Features without Noise» для извлечения признаков изображений непосредственно из чистого входа с помощью диффузионных моделей. Он предназначен для получения признаков без шума и зависимости от шага диффузии, чтобы использовать их в последующих задачах компьютерного зрения: поиске семантических соответствий, оценке глубины, семантической сегментации и классификации. В репозитории представлены чекпойнты для Stable Diffusion 1.5 и Stable Diffusion 2.1; файлы представлены в формате safetensors. Подход устраняет необходимость добавлять шум во входное изображение и подбирать уровень шума как гиперпараметр для каждой задачи. По карточке, обучение метода занимает около 30 минут на одной GPU. Лицензия репозитория — MIT.
Vrandan/Comment-Moderation — англоязычная модель для многометочной классификации пользовательских комментариев по категориям потенциально вредного контента. Она построена на DistilBERT и дообучена на distilbert/distilbert-base-uncased; принимает текст длиной до 512 токенов и выдаёт оценки для девяти категорий модерации. Предусмотрены локальный запуск и интеграция через API, в том числе для приложений с ограниченными ресурсами. Карточка сообщает об accuracy 95,4%, однако macro F1 составляет 0,407, а macro recall — 0,349, поэтому высокая общая точность не гарантирует хорошего выявления каждой категории. Модель может пропускать контекстные нюансы и давать ложные срабатывания; результаты могут различаться с учётом культурного контекста. Лицензия репозитория — OpenRAIL.
ConvNeXt Nano — свёрточная модель классификации изображений, обученная Россом Уайтманом с использованием библиотеки timm на ImageNet-12k, подмножестве ImageNet-22k с 11 821 классом. Модель содержит около 22,5 млн параметров и рассчитана на изображения размером 224 × 224 пикселя. Модель предназначена для отнесения изображений к категориям ImageNet-12k. Её также можно использовать как основу для извлечения признаковых карт и эмбеддингов изображений в компьютерном зрении. Контрольные веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0. Это относительно компактный вариант семейства ConvNeXt с указанной в карточке вычислительной сложностью 2,5 GMACs. Классы обучения относятся к ImageNet-12k, поэтому результаты на задачах или наборах данных с другими категориями могут требовать дополнительной настройки; мультиязычная поддержка к модели не относится.
Это конверсия ConvNeXt V2 Large из чекпойнта timm, подготовленная zeromodels в формате Keras 3. Модель использует сверточную архитектуру ConvNeXt V2 с Global Response Normalization; исходный вариант прошёл предобучение FCMAE и дообучение для классификации ImageNet-22k и ImageNet-1k. Реализация работает с TensorFlow, PyTorch и JAX. Модель принимает изображения и предназначена для классификации, а также для извлечения визуальных признаков в качестве backbone. Классификационная голова выдаёт логиты классов, а вариант backbone — признаки, в том числе многоуровневые признаки стадий. Лицензия репозитория — CC BY-NC 4.0, которая ограничивает коммерческое использование.
crossvit_18_dagger_240.in1k — модель классификации изображений из библиотеки timm, обученная авторами CrossViT на ImageNet-1k. Она использует архитектуру CrossViT с перекрёстным вниманием между представлениями изображений разных масштабов и может служить классификатором или визуальным backbone для извлечения признаков. Модель содержит 44,3 млн параметров, имеет вычислительную сложность 9,5 GMACs и рассчитана на изображения размером 240 × 240 пикселей. Её можно применять для классификации изображений по классам ImageNet-1k и получения эмбеддингов изображений. Доступны веса PyTorch и safetensors; лицензия — Apache-2.0.
cs3sedarknet_x.c2ns_in1k — сверточная модель классификации изображений из библиотеки timm. Она обучена на ImageNet-1k и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов изображений. В основе архитектуры CS3-SE-DarkNet лежат частичные межэтапные связи, три свёртки и механизм внимания Squeeze-and-Excitation для каналов. Модель содержит 35,4 млн параметров и требует изображение размером 288 × 288 пикселей для тестирования; размер обучения составлял 256 × 256. В карточке описана схема обучения на основе рецептов ResNet Strikes Back с оптимизатором SGD с Nesterov, адаптивным ограничением градиентов и косинусным расписанием скорости обучения. Вариант ns обучался без stochastic depth. Модель распространяется по лицензии Apache-2.0.
MobileViT + DeepLabV3 — компактная модель семантической сегментации изображений, представленная авторами MobileViT Сачином Мехтой и Мохаммадом Растегари. Вариант XS использует лёгкий бэкбон MobileViT, сочетающий свёрточные слои в стиле MobileNetV2 с блоками Transformer, и голову DeepLabV3. В карточке для него указано 2,9 млн параметров; входные изображения обрабатываются после центральной обрезки до 512×512 и нормализации пикселей в диапазон [0, 1]. Ожидается порядок каналов BGR. Модель дообучена для сегментации на PASCAL VOC2012 после предварительного обучения на ImageNet-1k. Она предсказывает семантические классы для пикселей изображения; на PASCAL VOC указано значение mIoU 77,1. Компактная архитектура предназначена для сценариев с ограничениями по задержке и вычислительным ресурсам. Доступны файлы в форматах PyTorch, TensorFlow и Core ML. Лицензия — Apple Sample Code License.
Hate-speech-CNERG/dehatebert-mono-french — модель классификации французских текстов для выявления hate speech, опубликованная группой CNERG. Это монолингвальная версия модели из работы о многоязычном обнаружении языка ненависти; README сообщает, что модель дообучена на multilingual BERT, хотя также описывает обучение с использованием только англоязычных данных. Архитектура — BERT для классификации последовательностей, около 194,6 млн параметров; максимальная длина контекста — 512 токенов. Доступны версии в форматах PyTorch и Flax. Модель предназначена для автоматической модерации и анализа франкоязычных публикаций и сообщений. В README приведён лучший результат валидации 0,692094 при learning rate 3e-5, но метрика не названа, поэтому это число не позволяет оценить качество по конкретному критерию. Модель распространяется по лицензии Apache-2.0.
Depth Anything V2 Base — модель оценки глубины по одному изображению, представленная авторами семейства Depth Anything и опубликованная в версии, совместимой с библиотекой Transformers. Она предназначена для получения карты относительной или абсолютной глубины без отдельной настройки под конкретную сцену. Модель использует архитектуру DPT с backbone DINOv2. При обучении использовались около 600 тысяч синтетических изображений с разметкой глубины и более 62 миллионов реальных изображений без разметки. Авторы отмечают более детализированные и устойчивые предсказания по сравнению с Depth Anything V1, а также меньшие вычислительные затраты относительно подходов на основе диффузионных моделей. Модель принимает изображение и выдаёт карту глубины. Карточка описывает сценарий zero-shot оценки глубины, но не приводит подробностей о поддерживаемых языках или длине контекста. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства и ограничивает коммерческое применение.
Это модель DPT для семантической сегментации изображений, опубликованная в репозитории smp-test-models/dpt-tu-test_vit. Карточка указывает библиотеку segmentation-models-pytorch и формат весов safetensors; модель можно загружать через интерфейс smp.from_pretrained. Модель предназначена для присвоения меток областям изображения. В карточке не приведены метрики и сведения о датасете, поэтому качество и область, на которой модель обучалась, оценить нельзя. Лицензия — MIT.
EfficientViT-M1 — модель классификации изображений и извлечения визуальных признаков из семейства EfficientViT, разработанного авторами статьи из MSRA. Модель обучена на ImageNet-1k и рассчитана на изображения размером 224 × 224 пикселя. Она содержит около 3 млн параметров и требует примерно 0,2 GMAC на изображение. Модель можно применять для классификации изображений, извлечения карт признаков и получения эмбеддингов в компьютерном зрении. Компактный размер и низкие вычислительные затраты подходят для сценариев, где важны скорость и эффективность. Репозиторий предоставляет веса в форматах PyTorch и safetensors; библиотека для работы с моделью — timm. Лицензия — MIT. Модель обучалась на ImageNet-1k, поэтому её классификационные возможности ориентированы на категории этого набора данных. В карточке не приведены сведения о метриках качества или поддержке входных размеров, отличных от 224 × 224.
fastvit_t8.apple_dist_in1k — компактная модель классификации изображений семейства FastViT, опубликованная авторами статьи FastViT и представленная в библиотеке timm. Модель обучена на ImageNet-1k с дистилляцией; в ней около 4 млн параметров, вычислительная сложность составляет 0,7 GMACs, а указанное входное разрешение — 256 × 256 пикселей. FastViT сочетает свёрточные и трансформерные компоненты и использует структурную репараметризацию. Модель предназначена для присвоения изображениям классов ImageNet-1k. Её также можно использовать как основу для извлечения карт признаков и эмбеддингов изображений. Компактный размер и низкая вычислительная сложность подходят для задач классификации с ограниченными ресурсами. Лицензия указана как other; README просит соблюдать исходную лицензию. Модель обучалась на ImageNet-1k, поэтому её классы и качество могут не соответствовать изображениям из других предметных областей без дополнительной настройки.
Bofandra/fine-tuning-use-cmlm-multilingual-quran — дообученная Bofandra модель Sentence Transformer на базе sentence-transformers/use-cmlm-multilingual. Она кодирует предложения и абзацы в плотные векторы размерности 768 для поиска и сравнения текстов по смыслу. Архитектура включает BERT, усреднение токеновых представлений и нормализацию; для сравнения используется косинусное сходство. В метаданных указано 498,1 млн параметров и контекст до 512 токенов, а в карточке README — максимальная длина последовательности 256 токенов. Модель обучена на 6 235 парах текстов из Корана и подходит для семантического поиска и сравнения аятов, поиска близких по смыслу фрагментов, выявления перефразировок, кластеризации и классификации текстов. Базовая модель предназначена для многоязычных текстов на 109 языках, однако обучение этой версии описано на арабских текстах Корана. Для применения требуется библиотека Sentence Transformers. Лицензия в предоставленных данных не указана.
FocalNet Small LRF — модель компьютерного зрения для классификации изображений и извлечения признаков, опубликованная авторами статьи о Focal Modulation Networks и доступная через библиотеку timm. Она предварительно обучена на ImageNet-1k; число параметров — 50,3 млн, вычислительная сложность — 8,7 GMACs. Указанный размер входного изображения — 224 × 224 пикселя. Модель предназначена для отнесения изображений к классам ImageNet, а также может использоваться как визуальный backbone для извлечения карт признаков и эмбеддингов. Репозиторий содержит веса PyTorch и safetensors. Лицензия — MIT.
HaloNet50ts.a1h_in1k — модель классификации изображений и извлечения визуальных признаков, разработанная Россом Уайтманом и обученная в библиотеке timm на ImageNet-1k. В основе архитектуры лежит ResNet с блоками HaloNet, реализованными через BYOBNet; конфигурация настроена для умеренного времени обучения и использует меньше блоков self-attention, чем описано в соответствующей статье. Модель содержит 22,7 млн параметров, требует изображение размером 256 × 256 пикселей и предназначена для классификации изображений, извлечения карт признаков и получения эмбеддингов. Обучение выполнено по рецепту ResNet Strikes Back A1 с оптимизатором LAMB, усиленными dropout, stochastic depth и RandAugment, а также косинусным расписанием скорости обучения с разогревом. Языковой ввод и текстовый вывод не предусмотрены. Модель распространяется по лицензии Apache-2.0. Она обучена на ImageNet-1k, поэтому её классификационные возможности ориентированы на классы этого набора данных; карточка также предупреждает, что конфигурация не повторяет в точности настройки конкретной статьи.
dpshade22/hf-e5-bible-150 — дообученная модель Sentence Transformers на основе intfloat/e5-base-v2, созданная для получения плотных векторных представлений предложений и абзацев. Она использует архитектуру BERT с усреднением токенных представлений и нормализацией векторов; размерность эмбеддинга — 768. Метаданные указывают 136,7 млн параметров и контекст до 512 токенов, а карточка модели задаёт максимальную длину последовательности 256 токенов. Модель подходит для семантического поиска и сравнения текстов, поиска перефразировок, кластеризации и классификации по эмбеддингам. Примеры обучающих пар связывают запросы с фрагментами Библии и материалами о библейских понятиях, поэтому модель ориентирована на поиск смысловых соответствий в таких текстах. Для сравнения векторов рекомендуется косинусное сходство. В карточке указаны Sentence Transformers и формат safetensors; отдельная лицензия не приведена в доступных данных.
facebook/hiera-small-224-hf — модель визуального энкодера Hiera, разработанная Meta и представленная в исследовании Hiera: A Hierarchical Vision Transformer without the Bells-and-Whistles. Это компактный иерархический Vision Transformer примерно с 33 млн параметров, дообученный на ImageNet-1K и предназначенный прежде всего для извлечения признаков из изображений. Модель принимает изображение и формирует его векторное представление для последующего использования в компьютерном зрении. Hiera использует иерархическую архитектуру, постепенно уменьшающую пространственное разрешение и меняющую число признаков по слоям. Авторы описывают её как более простую и эффективную альтернативу ряду специализированных визуальных трансформеров; семейство также применяется для классификации изображений и распознавания видео, но данный чекпойнт позиционируется именно как экстрактор признаков. Для работы в Transformers указан формат safetensors. Карточка не сообщает длину контекста, что для этой модели не является типичной характеристикой. Чекпойнт подходит для построения визуальных эмбеддингов и как компонент последующих задач компьютерного зрения. Карточка не приводит подробных ограничений качества или оценки на конкретных сценариях. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.