IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейIker разработал эту модель как дообученную версию openchat/openchat-3.5-0106 на датасете NoticIA. Она предназначена для создания кратких пересказов статей по кликбейтным заголовкам на испанском языке. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; контекст — до 8192 токенов. Она поддерживает диалоговый интерфейс и работает с текстом. Модель подходит для краткого изложения новостных материалов и оценки содержания статьи, связанной с сенсационным заголовком. Лицензия CC BY-NC-SA 4.0 разрешает использование с указанием авторства и требует распространять производные работы на тех же условиях; коммерческое использование не разрешено.
Модель Ibrahim Amin — дообученная версия OpenAI Whisper Small для автоматической транскрибации аудио с переключением между египетским арабским и английским языками. Она использует архитектуру WhisperForConditionalGeneration и содержит 153,1 млн параметров; модель принимает аудио и выдаёт текстовую расшифровку. Обучение включало наборы MohamedRashad/arabic-english-code-switching и FLEURS ar_eg, а также пользовательскую подборку аудио с YouTube. Модель предназначена прежде всего для расшифровки неформальной речи, интервью и подкастов, где собеседники чередуют египетский арабский и английский. В карточке приведены результаты оценки WER на FLEURS ar_eg, ESCWA и MGB-3; на этих наборах дообученная модель показала более низкий WER, чем базовый Whisper Small. Лицензия — Apache-2.0. Точность может снижаться на речи только на одном языке и при переключении на языки, отличные от египетского арабского и английского. Результаты также зависят от качества аудио, акцента говорящего и фонового шума.
Карточка модели rtgfreuui/CogVideoX-5b на Hugging Face совпадает с карточкой zai-org/CogVideoX-5b, поэтому описание составлено по ней. CogVideoX-5B — открытая модель генерации видео от команды QingYing, представленная организацией zai-org. Она создаёт видеоролики по текстовому описанию и предназначена для генерации сцен, визуальных концепций и коротких демонстрационных клипов. Репозиторий использует конвейер CogVideoXPipeline из библиотеки Diffusers и хранит веса в формате safetensors; модель относится к варианту семейства с 5 млрд параметров. Модель принимает запросы только на английском языке. Запросы на других языках можно предварительно переводить на английский с помощью большой языковой модели. Для снижения потребления видеопамяти README описывает выгрузку частей модели в память CPU, нарезку и тайлинг VAE, а также квантизацию модулей; квантизация может замедлить генерацию. Проверки оптимизаций памяти проводились на NVIDIA A100 и H100, поэтому требования и производительность на других устройствах могут отличаться. Лицензия указана как other, конкретные условия использования следует сверять с лицензией репозитория.
CogVLM-Chat-HF — открытая визуально-языковая модель от команды Zhipu AI. Она принимает изображение вместе с текстовым запросом и ведёт диалог о содержимом изображения: описывает сцены, отвечает на вопросы и находит объекты или детали по текстовому указанию. В README описана архитектура с визуальным энкодером ViT, MLP-адаптером, языковой моделью и модулем Visual Expert; репозиторий содержит вариант для Transformers с весами Safetensors и примерно 6,6 млрд параметров. Контекст составляет 2048 токенов. Модель предназначена для визуального вопросно-ответного диалога, описания изображений и задач, требующих связать текст с визуальным содержимым. README сообщает о высоких результатах на ряде мультимодальных бенчмарков, включая локализацию объектов и визуальные вопросы, но приведённые там результаты относятся к CogVLM-17B и не гарантируют те же показатели для этой версии. Для вывода требуется около 40 ГБ видеопамяти либо распределение модели между несколькими устройствами. Лицензия — Apache-2.0; README также описывает бесплатное коммерческое использование после регистрации через анкету.
Это конверсия модели SAM 2.1 Tiny, разработанной FAIR для сегментации изображений и видео по подсказкам. Данная версия подготовлена в формате Core ML для использования с демонстрационным приложением SAM2 Studio и преобразована в точность float16. Модель предназначена для интерактивной визуальной сегментации: по визуальной подсказке она выделяет объекты на изображениях и видео. Репозиторий содержит формат Core ML и распространяется по лицензии Apache 2.0.
Crystal Clear XLv1 — модель генерации изображений по текстовому описанию, доступная через API ModelsLab и опубликованная в репозитории stablediffusionapi. Метаданные указывают на StableDiffusionXLPipeline и форматы Diffusers и PyTorch; карточка позиционирует модель для создания ультрареалистичных изображений. В API можно задавать основной и негативный промпты, размер изображения, число шагов генерации и guidance scale, а также включать улучшение промпта и дополнительные опции обработки. Модель подходит для генерации реалистичных портретов и других изображений по текстовым запросам с управлением нежелательными деталями через негативный промпт. Примеры в карточке используют англоязычные промпты, но подтверждения поддержки других языков нет. Репозиторий распространяется по лицензии CreativeML Open RAIL-M; для практического использования также описан доступ через API ModelsLab.
CuriousMerge2.5D_v40E — модель генерации изображений по текстовому описанию в формате Stable Diffusion Diffusers. В карточке модели нет сведений о разработчике, архитектуре, размере, поддерживаемых языках или контексте; метаданные подтверждают задачу text-to-image и формат safetensors. Модель предназначена для создания изображений по текстовым запросам. Лицензия указана как other, поэтому конкретные условия использования следует сверять с файлами репозитория. README не сообщает об ограничениях качества или целевых сценариях.
CyberIllustrious — модель генерации изображений по текстовому описанию от Cyberdelia, также известная как CyberRealistic. Это фотореалистичная адаптация чекпойнта Illustrious-XL, сохранённая в формате safetensors и включающая встроенный VAE. Модель предназначена для создания детализированных изображений, особенно портретов и сцен с людьми, а также модных, редакционных и кинематографических сюжетов. Для генерации достаточно текстового запроса; модель рассчитана на простые промпты и хорошо передаёт реалистичный вид. В README рекомендуются 30 и более шагов сэмплирования, сэмплеры DPM++ SDE Karras, DPM++ 2M Karras или Euler a и разрешения 896×1152 либо 832×1216. Лицензия — CreativeML Open RAIL++-M; её условия следует учитывать при использовании и распространении результатов.
CyberIllustrious CyberRealistic v6.0 — модель генерации изображений по текстовым запросам, созданная Cyberdelia. Она объединяет CyberIllustrious и Illustrious-xl-early-release-v0 и предназначена для реалистичных и фотореалистичных изображений. Модель распространяется в форматах Diffusers и Safetensors и работает через StableDiffusionXLPipeline. Карточка и метаданные указывают на английский язык и поддержку генерации изображений по тексту. Лицензия обозначена как other; конкретные условия использования следует сверять с лицензией репозитория.
emilianJR/CyberRealistic_V3 — версия модели Stable Diffusion в формате Diffusers, предназначенная для генерации изображений по текстовым запросам. Карточка предлагает загружать её через StableDiffusionPipeline из библиотеки diffusers и использовать как обычный чекпойнт Stable Diffusion. Модель принимает текстовый промпт и создаёт изображение. Репозиторий создан 24 мая 2023 года; файлы представлены в форматах Diffusers и PyTorch. Лицензия — CreativeML OpenRAIL-M, условия которой следует учитывать при использовании и распространении результатов. В карточке не приведены сведения о размере модели, длине контекста и специальных ограничениях генерации. Качество результата зависит от формулировки промпта и параметров генерации.
CyberRealistic-v3.3-Inpainting — модель генерации изображений, размещённая пользователем dhanushreddy29 на Hugging Face. Она основана на Stable Diffusion и предназначена для работы через Diffusers StableDiffusionPipeline; метаданные классифицируют её как text-to-image и указывают лицензию CreativeML OpenRAIL-M. Модель ориентирована на фотореалистичную генерацию и редактирование изображений методом inpainting, а также на outpainting: пользователь задаёт текстовое описание и может заменять или дорисовывать выбранные области изображения. Внешние описания также указывают на поддержку textual inversion и LoRA. Модель выпущена 19 сентября 2023 года. Доступные материалы не содержат надёжных сведений о числе параметров, длине контекста, точной базовой версии Stable Diffusion или официально заявленном наборе языков; текстовые подсказки зависят от возможностей базовой модели и используемого интерфейса. Для использования применяются Diffusers и совместимое вычислительное окружение. Лицензия — creativeml-openrail-m.
Карточка модели flax-community/dalle-mini на Hugging Face совпадает с карточкой apol/dalle-mini, поэтому описание составлено по ней. DALL·E mini — модель генерации изображений по текстовому описанию, созданная как упрощённая открытая попытка воспроизвести OpenAI DALL·E. Она объединяет энкодер на основе BART, преобразующий токены текста в последовательность кодов изображения, и декодер на основе VQGAN, который превращает эти коды в пиксели. Модель содержит 252,8 млн параметров, построена на Flax/JAX и распространяется в формате Flax; для работы декодера требуется отдельная модель flax-community/vqgan_f16_16384. Модель предназначена для создания изображений по текстовым запросам. По сравнению с OpenAI DALL·E качество результатов ниже, зато модель проще и может обучаться и запускаться на менее мощном оборудовании. В карточке описаны англоязычные запросы и контекст до 1024 токенов. Лицензия в предоставленных данных не указана.
DeepSeek-VL-7B-Chat — мультимодальная модель понимания изображений и текста, разработанная командой DeepSeek. Это версия с инструкционным дообучением на основе DeepSeek-VL-7B-Base; базовая модель использует языковую основу DeepSeek-LLM-7B-Base и гибридный визуальный энкодер SigLIP-L и SAM-B. Модель принимает изображения размером до 1024 × 1024 вместе с текстовыми запросами и формирует текстовые ответы. Модель предназначена для диалога по изображениям и решения задач визуально-языкового понимания: анализа логических диаграмм и веб-страниц, распознавания формул, чтения научной литературы, описания естественных изображений и понимания сложных сценариев. Веса опубликованы в формате safetensors. В метаданных указана лицензия other; конкретные условия использования следует проверять в репозитории модели.
soren127/Deliberate — модель генерации изображений по текстовому описанию, опубликованная пользователем soren127 на Hugging Face. Она предназначена для создания изображений по prompt в библиотеке Diffusers с использованием StableDiffusionPipeline. Модель содержит компоненты Stable Diffusion, включая U-Net, VAE, текстовый энкодер, токенизатор и планировщик. Её основная модальность — текст-в-изображение; пример применения в карточке модели показывает генерацию художественной сцены по текстовому запросу. Языки текстовых запросов и размер модели в доступных метаданных не указаны. Модель подходит для прототипирования генерации изображений, создания иллюстраций и визуальных концепций. Она распространяется по лицензии CreativeML OpenRAIL-M. Ограничения и специализированные области применения в карточке модели подробно не описаны.
Sachin21112004/distilbart-news-summarizer — англоязычная модель для создания кратких пересказов новостных статей, разработанная на базе DistilBART и дообученная на новостных и финансовых текстах. Она предназначена для автоматического суммирования журналистских материалов, рыночных новостей, отчетов о доходах и экономических публикаций. Модель использует архитектуру encoder-decoder BART с 252,8 млн параметров и контекстом до 1024 токенов. Карточка указывает на обучение на данных CC-News и наборах финансовых новостей; README описывает ее как ориентированную на новостной стиль и финансовую терминологию. Она формирует краткий текстовый пересказ, однако заявления README о размере обучающих данных, точности и скорости не подтверждены метаданными. Лицензия репозитория — AGPL-3.0.
fffmath/distilhubert-finetuned-gtzan — модель классификации аудио, созданная дообучением ntu-spml/distilhubert на наборе GTZAN. Она предназначена для распознавания музыкальных жанров по аудиозаписям. Модель использует архитектуру HuBERT для классификации последовательности и содержит 18,9 млн параметров; веса опубликованы в формате safetensors. В README указана точность 0,85 и значение loss 0,5595 на оценочной выборке. Модель распространяется по лицензии Apache-2.0. Подробности о поддерживаемых жанрах, длине и формате аудиовхода, а также известных ограничениях карточка не приводит.
Модель not-lain/distilhubert-finetuned-gtzan — компактная аудиомодель на архитектуре HuBERT, дообученная на GTZAN на основе ntu-spml/distilhubert. Она предназначена для классификации музыкальных аудиозаписей по жанрам; на оценочной выборке указана точность 0,88 после одной эпохи обучения. Модель содержит 18,9 млн параметров и опубликована в формате safetensors. Базовая модель NTU предназначена для извлечения представлений из аудио с частотой 16 кГц. Репозиторий выпущен под лицензией Apache-2.0. Карточка не уточняет состав классов и другие условия использования, поэтому результаты на иных аудиоданных могут отличаться.
VinayHajare/distilhubert-finetuned-gtzan — компактная модель аудиоклассификации на архитектуре HuBERT, дообученная на базе ntu-spml/distilhubert на наборе GTZAN. Модель содержит 18,9 млн параметров и предназначена для распознавания музыкальных жанров по аудиозаписям. В README указана точность 0,89 и значение функции потерь 0,5167 на оценочном наборе. Модель принимает аудио и выдаёт метку класса жанра. Базовая DistilHuBERT разработана для извлечения речевых представлений из аудио с частотой 16 кГц; применение к жанровой классификации обусловлено дообучением на GTZAN. Доступна в форматах PyTorch и safetensors. Лицензия — Apache-2.0. README не содержит подробностей о языках, допустимой длительности аудио или ограничениях оценки, поэтому результаты на GTZAN не следует считать гарантией качества на других музыкальных данных.
YCHuang2112/distilhubert-finetuned-gtzan — модель классификации аудио, созданная дообучением ntu-spml/distilhubert на наборе GTZAN. Она предназначена для отнесения аудиозаписей к музыкальным жанрам. Архитектура HuBERT с классификационной головой содержит 18,9 млн параметров; в README указана точность 0,88 на оценочной выборке и loss 0,6949. Модель опубликована в формате PyTorch под лицензией Apache-2.0.
yuval6967/distilhubert-finetuned-gtzan — дообученная на наборе GTZAN модель аудиоклассификации на основе DistilHuBERT. Она предназначена для определения музыкального жанра по аудиозаписи. В метаданных указана архитектура HuBERTForSequenceClassification и размер 18,9 млн параметров; веса представлены в формате PyTorch. На оценочной выборке модель показала точность 0,87 и значение loss 0,5647. Модель разработал пользователь Hugging Face yuval6967, дообучив ntu-spml/distilhubert. Лицензия — Apache-2.0. В карточке не приведены подробности о поддерживаемых языках, длине входного аудио или ограничениях оценки, поэтому результат следует рассматривать в контексте классификации жанров на данных GTZAN.
ClimateBERT — дообученная модель на базе RoBERTa с 95,4 млн параметров и классификационной головой для определения климатической тематики абзацев. Её разработчики дообучили языковую модель climatebert/distilroberta-base-climate-f на наборе данных climatebert/climate_detection. Модель предназначена для классификации текстовых абзацев как связанных или не связанных с климатом. Она принимает текст и выдаёт метку класса. Поддерживает английский язык, контекст — до 514 токенов. Использовать её можно, например, для отбора климатических материалов в корпусах документов и новостных текстах. Модель распространяется по лицензии Apache-2.0. Она обучалась на абзацах, поэтому может хуже работать с отдельными предложениями.
DreamDrop V1 — текстово-изображенческая модель, созданная на основе Deliberate V5 с помощью LoRA MJLora. Репозиторий содержит веса в формате safetensors для использования через Diffusers; метаданные указывают на задачу text-to-image. Модель предназначена для генерации изображений по текстовым запросам, в частности в реалистичной и художественной стилистике. В README приведены рекомендуемые параметры для Automatic1111: 20–22 шага, CFG 7–8 и сэмплеры DPM++ 2M Karras или UniPC, а также примеры положительного и отрицательного промптов. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке репозитория. README не сообщает размер модели, длину контекста или поддерживаемые языки; модель принимает текст и генерирует изображения.
parlance/dreamlike-diffusion-1.0-inpainting — модель для редактирования изображений с помощью диффузионной генерации. Согласно карточке, она создана смешиванием dreamlike-art/dreamlike-diffusion-1.0 и runwayML/stable-diffusion-v1-5-inpainting и предназначена для заполнения или изменения областей изображения по текстовому описанию. Метаданные указывают задачу image-to-image и поддержку StableDiffusionInpaintPipeline; модель поставляется в форматах Diffusers и PyTorch. Карточка не приводит подробностей о качестве, рекомендуемых настройках или лицензии смешанной модели; в метаданных указана лицензия other. Исходная карточка dreamlike-art/dreamlike-diffusion-1.0 предложена для ознакомления, но её содержание здесь не предоставлено.
Lykon/DreamShaper — модель генерации изображений по текстовому описанию, размещённая разработчиком Lykon на Hugging Face. Репозиторий содержит веса в форматах Diffusers, PyTorch и SafeTensors; метаданные связывают модель со Stable Diffusion и указывают английский язык карточки и художественную направленность. Модель подходит для создания художественных изображений и иллюстраций по текстовым запросам. Карточка упоминает сервисы Mage.space и sinkin.ai для запуска модели. В метаданных указана лицензия «other», поэтому условия использования следует проверять в самой карточке или в приложенных файлах лицензии. README не описывает ограничения качества, архитектурные детали, размер модели или длину контекста.
xyn-ai/DreamShaper — модель генерации изображений по текстовому описанию, опубликованная в формате Diffusers. Карточка рекомендует также ознакомиться с NeverEnding Dream, описанной как полуреалистичная модель, совместимая с booru-тегами и промптами; это описание относится к другой модели. Модель предназначена для создания изображений по текстовым запросам. В метаданных указаны Stable Diffusion и Diffusers, а также английский язык. Карточка содержит примеры вывода, но не сообщает размер модели, длину контекста или условия лицензии; лицензия в метаданных обозначена как other.
Карточка модели zw89/DreamShaper на Hugging Face совпадает с карточкой Lykon/DreamShaper, поэтому описание составлено по ней. Lykon/DreamShaper — модель генерации изображений по текстовому описанию, размещённая разработчиком Lykon на Hugging Face. Репозиторий содержит веса в форматах Diffusers, PyTorch и SafeTensors; метаданные связывают модель со Stable Diffusion и указывают английский язык карточки и художественную направленность. Модель подходит для создания художественных изображений и иллюстраций по текстовым запросам. Карточка упоминает сервисы Mage.space и sinkin.ai для запуска модели. В метаданных указана лицензия «other», поэтому условия использования следует проверять в самой карточке или в приложенных файлах лицензии. README не описывает ограничения качества, архитектурные детали, размер модели или длину контекста.
jzli/DreamShaper-3.3 — модель преобразования текстовых запросов в изображения в формате Diffusers/PyTorch. В метаданных она отнесена к Stable Diffusion Pipeline и задаче text-to-image. README не содержит сведений о разработчике, архитектурных деталях, размере модели, поддерживаемых языках или рекомендуемых сценариях применения. Модель можно искать для генерации изображений по текстовому описанию. Сведения о лицензии и ограничениях использования в предоставленных данных отсутствуют.
Карточка модели arshammanukyan/dreamshaper-xl на Hugging Face совпадает с карточкой Lykon/dreamshaper-xl-1-0, поэтому описание составлено по ней. Dreamshaper SDXL-1-0 — модель генерации изображений по текстовому описанию, разработанная Lykon. Это дообученная версия Stable Diffusion XL Base 1.0 от Stability AI; модель рассчитана на создание художественных изображений и поддерживает запуск через Diffusers. Репозиторий содержит веса в форматах Diffusers и safetensors. Модель подходит для генерации иллюстраций и других изображений по текстовым запросам. В карточке отмечены художественный стиль и anime. Указана лицензия OpenRAIL++; применяйте модель с учётом её условий использования.
openart-custom разместил на Hugging Face модель DucHaiten-AIart-SDXL_v3 — конвейер Diffusers для генерации изображений по текстовому описанию. В карточке приведён пример использования StableDiffusionXLPipeline: текстовый запрос преобразуется в изображение. В репозитории указаны форматы Diffusers и Safetensors; карточка сообщает размер около 3 млрд параметров и тип тензоров F16. Сведения о конкретных стилях, обучении, языках, ограничениях и лицензии в карточке не заполнены, поэтому их нельзя надёжно определить.
Карточка модели remg1997/dynabench-sdxl10 на Hugging Face совпадает с карточкой model-hub/stable-diffusion-xl-base-1.0, поэтому описание составлено по ней. SDXL Base 1.0 — модель генерации и редактирования изображений по текстовому описанию, разработанная Stability AI. Она основана на латентной диффузии и использует два предварительно обученных текстовых энкодера: OpenCLIP-ViT/G и CLIP-ViT/L. Базовую модель можно запускать отдельно или сочетать с моделью-refiner для завершающих шагов очистки изображения; также описан двухэтапный вариант с повышением разрешения через SDEdit. Модель подходит для создания иллюстраций, художественных работ и визуальных материалов для творческих и образовательных инструментов, а также для исследований генеративных моделей. В README отмечено улучшение пользовательских оценок по сравнению с предыдущими версиями Stable Diffusion. Модель не обеспечивает идеальный фотореализм, плохо воспроизводит читаемый текст и сложные пространственные отношения; лица и люди могут выглядеть некорректно, а автоэнкодер вносит потери. Генерация достоверных изображений людей и событий указана как использование вне заявленного назначения. Лицензия — CreativeML Open RAIL++-M.