IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейShuiHuZhuan-6b — китайская языковая модель проекта stylellm, дообученная на романе «Речные заводи» для переноса его литературного стиля на другой текст. Она принимает исходный текст и переписывает его, используя характерную лексику, построение фраз, риторические приёмы и диалоги произведения; подходит для стилизации и литературной обработки текста. Модель основана на Yi-6B, использует плотную архитектуру LlamaForCausalLM, содержит 5,8 млрд параметров и рассчитана на контекст до 4096 токенов. В карточке указана лицензия other; конкретные условия следует сверить с лицензией репозитория.
Smegmma-9B-v1 — слитая модель BeaverAI на архитектуре Gemma 2 с 9 млрд параметров. Она предназначена для разговорного текстового взаимодействия и ролевых сценариев, с акцентом на творческие ответы, форматирование и более свободное продолжение диалога. Модель принимает текст и генерирует текст; контекст — до 8192 токенов. Модель ориентирована на ролевые игры для взрослых и может создавать откровенный контент. Разработчик отмечает, что отказы сохраняются, а логика и форматирование могут быть слабее в начале диалога или с некоторыми персонажами; результат зависит от промпта. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое использование.
SMT (Sheet Music Transformer) — модель, дообученная на наборе данных Camera GrandStaff для транскрибирования изображений нотных систем фортепианной музыки. Она объединяет визуальный энкодер ConvNeXt и классический Transformer-декодер: энкодер преобразует изображение в последовательность эмбеддингов, а декодер авторегрессионно генерирует текстовую транскрипцию. Модель предназначена для распознавания нотной записи на изображениях фортепианных партитур. Репозиторий содержит веса в формате safetensors и код модели. Лицензия — MIT. Модель специализирована на изображениях формата GrandStaff; заявленных сведений о поддержке иных типов нотных изображений нет.
SoulX-Singer — модель синтеза поющего голоса, разработанная Soul AI Lab. Она генерирует реалистичное пение голосами ранее не встречавшихся певцов в режиме zero-shot. Управлять исполнением можно мелодией с контуром основной частоты F0 или нотами MIDI, задавая высоту тона, ритм и выразительность. Модель предназначена для синтеза вокала по тексту и музыкальным условиям, включая персонализированное создание вокальных партий и вспомогательные технологии. В README проект также заявлен для академического и образовательного применения. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. В метаданных указана поддержка английского и китайского языков. README ссылается на исследовательскую статью, но не приводит размер модели или длину контекста.
Модель firdhokk/speech-emotion-recognition-with-facebook-wav2vec2-large-xlsr-53 — дообученная разработчиком модель Wav2Vec2 Large XLSR-53 для классификации эмоций в аудиозаписях речи. Она принимает аудио и относит его к одному из семи классов: гнев, отвращение, страх, радость, нейтральное состояние, грусть или удивление. В README описано обучение на данных из RAVDESS, SAVEE, TESS и URDU; базовая архитектура извлекает многоязычные речевые представления. Модель содержит около 402,7 млн параметров и доступна в формате safetensors для Transformers. Её можно применять для анализа эмоциональной окраски речи в записях и голосовых приложениях. В README приведены метрики оценки, однако их условия и детализация тестового набора ограничены, поэтому результаты могут не переноситься на другие говорящие, языки и акустические условия. Модель распространяется по лицензии Apache-2.0.
Steampunk-Diffusion — модель генерации изображений по текстовому описанию, созданная AIArtsChannel методом DreamBooth на базе Stable Diffusion 2.1. Она предназначена для генерации персонажей в стиле стимпанк; для вызова обученной концепции в запросе используется слово «Steampunk-Character». Модель опубликована в формате Diffusers/PyTorch и распространяется по лицензии CreativeML OpenRAIL-M. Модель принимает текстовые запросы и создаёт изображения. В карточке указана версия 728px и обучение через fast-DreamBooth notebook от TheLastBen. README предлагает запуск через A1111 или Diffusers. Языки запросов и ограничения качества отдельно не описаны.
Это экспериментальная конверсия модели Stoiqo Afrodite FluxXL F1Dalpha в формате FP8, созданная ALIENHAZE на базе оригинальной модели. Она предназначена для генерации изображений по текстовым описаниям и относится к семейству Flux; репозиторий подготовлен для Diffusers и содержит веса Safetensors в формате float8_e4m3fn. Автор карточки не подтвердил корректность конверсии. Указано, что формат float8_e4m3fn не поддерживается serverless Inference API Hugging Face, поэтому через этот API модель не работает. Лицензия обозначена как other, без уточнения условий в доступных сведениях.
Linaqruf/style-enhancer-xl-lora — это компактный LoRA-адаптер, разработанный Linaqruf для Stable Diffusion XL и дообученный на базе Animagine XL 2.0. Модель предназначена для генерации и улучшения высококачественных изображений в аниме-стилистике, а также для воссоздания характерной «старой» художественной эстетики SD 1.5. Адаптер поддерживает использование тегов Danbooru, что позволяет точнее задавать содержание, композицию и визуальные характеристики изображения. Модель ориентирована на сценарии text-to-image и применяется совместно с Animagine XL 2.0 через библиотеку diffusers. В README не указаны точный размер адаптера, максимальная длина контекста, набор языков текстового кодировщика или дополнительные модальности; заявлена совместимость со Stable Diffusion XL. Сильными сторонами являются повышение детализации и качества аниме-изображений, компактность LoRA-формата и возможность управляемой генерации с помощью тегов. Результаты зависят от базовой модели и параметров генерации, а адаптер не является самостоятельной полноразмерной моделью. Распространяется по лицензии CreativeML Open RAIL++-M.
SVGDreamer — модель генерации векторной графики по текстовому описанию, представленная пользователем jree423. Она использует Stable Diffusion 2.1 для управления оптимизацией SVG с помощью DiffVG и метода multi-particle VPSD: несколько вариантов изображения создаются параллельно, чтобы исследовать разные интерпретации запроса. Модель предназначена для создания иконок, логотипов, персонажей, объектов, природных сцен и абстрактной графики; доступны стили iconography, pixel art, sketch и painting. Репозиторий содержит веса PyTorch, а для работы используются PyTorch, Diffusers и DiffVG. Можно задавать число вариантов, число итераций, силу следования промпту, размеры холста, стиль и seed. Результат включает SVG-код и его Base64-представление. Лицензия — MIT. Модель подходит для быстрого прототипирования векторных иллюстраций и получения нескольких эскизных вариантов по одному промпту. Качество зависит от числа итераций и заданных параметров; генерация с большим числом итераций занимает больше времени. README не описывает поддержку текстовых языков помимо промптов на естественном языке.
Карточка модели SYNAPSEai1/SynapseMusicV12-Turbo-Shift3 на Hugging Face совпадает с карточкой ACE-Step/acestep-5Hz-lm-0.6B, поэтому описание составлено по ней. ACE-Step v1.5 5Hz LM 0.6B — языковая модель для планирования и управления генерацией музыки в составе системы ACE-Step, разработанной проектом ACE-STEP. Она преобразует запросы пользователя в планы композиции, включая метаданные, тексты песен и описания, которые направляют отдельную диффузионную модель для создания музыки. Модель поддерживает генерацию композиций от коротких фрагментов до 10 минут, а также сценарии редактирования музыки в системе ACE-Step: создание каверов, перерисовку аудио и преобразование вокала в фоновую музыку. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 574,7 млн параметров. Она принимает текстовые запросы, а в рамках ACE-Step управляет созданием аудио; заявлена поддержка более 50 языков. Контекстное окно составляет 40 960 токенов. В карточке ACE-Step указаны возможности планирования композиции среднего уровня, понимания аудио среднего уровня и слабое копирование мелодии. Для генерации итогового музыкального аудио требуется взаимодействие с соответствующей DiT-моделью системы. Модель опубликована ACE-STEP под лицензией MIT. README заявляет коммерческую применимость сгенерированной музыки и запуск всей системы на потребительском оборудовании, однако скорость и требование менее 4 ГБ видеопамяти относятся к описанию системы ACE-Step в целом и могут зависеть от используемой DiT-модели и конфигурации.
TencentARC/t2iadapter_depth_sd15v2 — адаптер T2I-Adapter для генерации изображений на основе Stable Diffusion 1.5. Он добавляет к текстовому запросу условие по карте глубины, помогая задавать пространственную структуру и расположение объектов в результате. Разработан авторами работы T2I-Adapter: Learning Adapters to Dig out More Controllable Ability for Text-to-Image Diffusion Models. Модель предназначена для использования вместе с базовой моделью runwayml/stable-diffusion-v1-5 и принимает текстовый запрос и изображение с картой глубины, выдавая сгенерированное изображение. Репозиторий содержит веса PyTorch; лицензия — Apache 2.0. В карточке указан английский язык. Для работы требуется совместимая базовая модель Stable Diffusion 1.5 и карта глубины. Адаптер управляет генерацией через пространственное условие, но сам по себе не заменяет базовую модель.
Templar v1 — языковая модель для ролевых диалогов, созданная ChaoticNeutrals. Автор указывает, что модель получена слиянием SLERP моделей T-900 и Nymph; метаданные описывают её как плотную Llama-архитектуру с 7,5 млрд параметров. Модель предназначена для ролевых игр в чате и продолжения сцен. Она генерирует текст, поддерживает диалог и рассчитана на контекст до 8192 токенов. В карточке заявлено, что обучение включало разнообразные данные, но их состав и конкретные показатели качества не приведены. Лицензия — Apache-2.0.
Это адаптационные веса textual inversion для runwayml/stable-diffusion-v1-5, опубликованные пользователем abhipsabasu. Они предназначены для генерации изображений по текстовому запросу с использованием выученного текстового токена, связанного с человеком; для работы нужны базовая модель Stable Diffusion 1.5 и совместимый конвейер Diffusers. Репозиторий содержит веса в формате safetensors и рассчитан на текстовый ввод и генерацию изображений. Модель подходит для создания изображений человека или персонажа, которому соответствует обученный токен. В карточке нет примеров вызова, описания обучающих данных, конкретного токена и оценки качества. Лицензия — CreativeML OpenRAIL-M; ограничения на использование следует сверять с её условиями и лицензией базовой модели.
Это веса textual inversion от автора abhipsabasu для Stable Diffusion v1.4, предназначенные для генерации изображений по текстовым запросам. Они добавляют в базовую модель представление конкретного человека, чтобы включать его в изображения с помощью изученного текстового токена. Модель использует латентную диффузионную архитектуру Stable Diffusion и формат Diffusers с весами Safetensors. Она принимает текст и создаёт изображения; базовая модель преимущественно рассчитана на английские запросы. Лицензия — CreativeML OpenRAIL-M. README не содержит готового примера запуска и сведений о качестве или известных проблемах.
TheSalt-RP-L3-8b-DPO-v0.3.2-e0.14.2 — экспериментальная модель для ролевого общения, созданная на архитектуре Llama 3 и дообученная с помощью DPO. Разработчик описывает её как модель, обученную на большом количестве токенов и затем настроенную для RP; она принимает текст и генерирует текст. Для работы требуется формат ChatML с обязательными системным промптом и именами пользователя и персонажа. Размер модели — 7,5 млрд параметров, контекст — 8192 токена. Модель предназначена для ролевых диалогов и экспериментов с персонажами. Разработчик публикует её для получения отзывов и пробного использования, поэтому качество следует считать экспериментальным. Лицензия CC BY-NC 4.0 разрешает использование с атрибуцией, но запрещает коммерческое использование. Ответы языковых моделей могут быть недостоверными.
TraVisionLM-base — мультимодальная модель, разработанная ucsahin для обработки изображений по инструкциям на турецком языке и генерации текстовых ответов. Она принимает изображение и текстовый запрос, а в ответ создаёт описание изображения или отвечает на вопрос о нём. Модель подходит для краткого и подробного описания изображений, визуальных вопросов и ответов, а также простых задач на подсчёт и определение атрибутов объектов. Модель содержит 875 млн параметров и сочетает визуальный кодировщик SigLIP с языковой моделью GPT2-large; проектор связывает визуальные и текстовые представления. В README указаны базовые компоненты google/siglip-base-patch16-256-multilingual и ytu-ce-cosmos/turkish-gpt2-large, а также обучение проектора и последующее дообучение на наборах изображений и текстовых инструкций. Репозиторий совместим с Transformers, веса представлены в формате safetensors. Лицензия — Apache-2.0. Краткие описания обычно реже содержат галлюцинации, тогда как подробные описания и ответы на визуальные вопросы могут включать детали, которых нет на изображении. Модель ориентирована на турецкий язык; её применимость к видео в README описана как адаптация с выборкой кадров, а не как непосредственный видеоввод.
ilintar/trellis2-gguf — набор весов TRELLIS.2, преобразованный в формат GGUF для запуска через trellis.cpp, автономную среду C++/GGML с поддержкой CUDA и Vulkan, а также через Lemonade как медиа-бэкенд GGML. Модель предназначена для преобразования изображения в 3D-объект. Репозиторий содержит компоненты полного конвейера: DINOv3, блоки потока и декодирования разреженной структуры, формы и текстур для разрешений 512 и 1024, а также опциональный BiRefNet для удаления фона. GGUF — формат поставки весов; README указывает исходную модель TRELLIS.2, но не сообщает её идентификатор или точную лицензию, отсылая к лицензии исходной модели.
Stable-X/trellis-normal-v0-1 — модель команды Stable-X на основе TRELLIS для создания 3D-представления по входному изображению. Разработчик описывает её как улучшенную версию TRELLIS с условием на нормали; репозиторий содержит веса и конфигурации компонентов TRELLIS. Модель предназначена для преобразования изображения в 3D-объект и может использоваться в приложениях генерации 3D-контента. В карточке указаны задача image-to-3d, библиотека Trellis и лицензия MIT. Подробные сведения о размере архитектуры, поддерживаемых форматах изображения, контексте и количественных характеристиках качества в доступном описании не приведены.
Tron Legacy Diffusion — модель генерации изображений по текстовому описанию, созданная как дообучение Stable Diffusion v1.5 на скриншотах фильма «Трон: Наследие» (2010). Для вызова характерного стиля в промпт добавляют токен trnlgcy. Модель подходит для создания персонажей, городских пейзажей и других сцен в визуальной стилистике фильма. Модель обучена методом DreamBooth на 30 изображениях в течение 3000 шагов. Репозиторий содержит веса в форматах Diffusers и PyTorch; в README также описано использование файла ckpt в интерфейсах Stable Diffusion. Лицензия — CreativeML OpenRAIL-M, условия которой следует учитывать при использовании и распространении результатов.
Tsukasa Llama 3 70B QLoRA — диалоговая языковая модель от ludis, настроенная для генерации текста и ролевых диалогов. По README, обучение началось с Meta Llama 3 8B Instruct: модель обучали на PIPPA, а затем на LimaRP, по два эпохи на каждом наборе данных с контекстом 8K. Метаданные указывают архитектуру Llama с плотной моделью класса LlamaForCausalLM, 69,5 млрд параметров и контекст 8192 токена; файлы представлены в safetensors. Модель предназначена для генерации ответов в диалоге и ролевых сценариях. README рекомендует формат запросов Llama 3 Instruct и приводит несколько вариантов настроек сэмплирования; отмечается возможность повторов при основных настройках, а высокая температура может снизить правдоподобие ответов. Лицензия в предоставленных данных не указана.
John6666/unholy-desire-mix-sinister-aesthetic-illustrious-v60-sdxl — модель генерации изображений по текстовому описанию от автора John6666 на Hugging Face. Это вариант семейства Illustrious на базе OnomaAIResearch/Illustrious-xl-early-release-v0, дообученный для создания преимущественно аниме-иллюстраций с мрачной эстетикой и персонажами. Работает как Stable Diffusion XL через Diffusers; принимает текстовые промпты и выдаёт изображения. В карточке Hugging Face указана лицензия faipl-1.0-sd, а репозиторий отмечен как содержащий чувствительный контент.
Это набор предварительно обученных весов моделей face-api из репозитория vladmandic/face-api, преобразованных CognitiveOS-Labs в форматы safetensors и GGUF без потери значений. В комплект входят веса для обнаружения лиц, определения 68 лицевых ориентиров и других задач анализа лица; исходная карточка также перечисляет распознавание лиц, выражения, возраста и пола. Все тензоры представлены в float32, кроме отдельных целочисленных констант постобработки SSD MobileNet. Репозиторий содержит только веса: архитектуры описаны в исходном коде face-api, а GGUF-файлы используют пользовательскую архитектуру и пока не загружаются llama.cpp. Лицензия — MIT.
Это модель классификации изображений на базе Vision Transformer из библиотеки timm, разработанная Россом Уайтманом. Архитектура использует патчи 16×16, четыре регистра и глобальное усреднение признаков; модель содержит около 64,1 млн параметров и рассчитана на изображения размером 256×256 пикселей. Модель предварительно обучена на ImageNet-12k и дообучена на ImageNet-1k. Она предназначена для определения классов объектов на изображениях, а также может использоваться как основа для извлечения признаков и эмбеддингов изображений. В README приведены результаты ImageNet-1k: точность top-1 86,608% и top-5 97,934%. Для использования опубликована по лицензии Apache-2.0. Модель ориентирована на классификацию изображений из предметных категорий ImageNet; качество на иных наборах данных и задачах отдельно не установлено.
vkp1024pic — это LoRA-модель для генерации изображений из текстовых описаний, разработанная пользователем rocknroll0000herewego и обученная на базе black-forest-labs/FLUX.1-dev. Она предназначена для подключения к совместимым интерфейсам и инструментам генерации изображений, включая ComfyUI, AUTOMATIC1111, SD.Next, InvokeAI и Forge. Модель специализируется на воспроизведении определённого визуального стиля, вероятно ориентированного на фотореалистичные сцены. Для активации рекомендуется использовать триггерную фразу «In the style of vkp1024pic». В карточке указаны поддержка text-to-image, архитектура LoRA и формат весов Safetensors. Дополнительные сведения о размере модели, контекстном ограничении, языках, параметрах обучения и точных характеристиках стиля отсутствуют. Модель доступна по лицензии flux-1-dev-non-commercial-license, унаследованной от базовой FLUX.1-dev; перед использованием следует ознакомиться с условиями лицензии по указанной ссылке. Поскольку это адаптер LoRA, для работы требуется совместимая базовая модель и программное окружение, поддерживающее FLUX и формат Safetensors.
Nilaier/Waifu-Diffusers — конвертированная версия Waifu Diffusion v1.4 Float32 Booru 110k с VAE для библиотеки Diffusers. Модель дообучена на базе Stable Diffusion 2.1 на 110 тысячах изображений в аниме-стиле из набора Danbooru2021; при обучении применялось группирование изображений по соотношению сторон, чтобы улучшить работу с разными разрешениями. Модель предназначена для генерации изображений в аниме-стиле по текстовым запросам. В карточке приведены проверки качества и стиля, а также тесты с пейзажами, нестандартными и длинными разрешениями. Репозиторий содержит веса в формате Diffusers/PyTorch; лицензия в метаданных обозначена как unknown.
Sámi Wav2Vec2 Large — акустическая модель семейства wav2vec2, разработанная Ярославом Гетманом и Тамашем Гросом. Она предварительно обучена на 22,4 тыс. часов неразмеченной саамской речи из архива YleSámiRadio и предназначена как основа для распознавания речи и распознавания эмоций в речи после адаптации под конкретную задачу. Модель содержит 402,7 млн параметров и принимает аудио с частотой дискретизации 16 кГц. Веса опубликованы в формате safetensors; лицензия — Apache-2.0. Это этап предобучения без токенизатора: для преобразования речи в текст необходимо создать токенизатор и дообучить модель на размеченных текстовых данных. Готовая версия для распознавания речи указана в карточке как GetmanY1/wav2vec2-large-sami-22k-finetuned. Обучающие аудиофрагменты ограничивались 30 секундами, поэтому модель лучше подходит для коротких записей сопоставимой длительности. Данные радиоархива могут смещать её в сторону голосов ведущих; в обучающих материалах также могли оставаться музыка и другие неречевые звуки.
Mancer: Weaver (alpha) — модель, предназначенная для ролевых диалогов и повествовательных сценариев. Разработчики описывают её как попытку воспроизвести многословный стиль ответов Claude. Модель ориентирована на генерацию текста для ролевых игр и историй. Авторы предупреждают, что её связность и способность удерживать контекст слабее, чем у Claude. Сведений об архитектуре, размере, языках и лицензии в использованных источниках нет.
harshit345/xlsr-wav2vec-speech-emotion-recognition — модель классификации эмоций в речи на основе архитектуры Wav2Vec2; по карточке она распознаёт пять классов: гнев, отвращение, страх, радость и грусть. Модель принимает аудио и выдаёт оценки принадлежности записи к эмоциональным классам. В примере README для одной записи наибольшую оценку получил гнев. Модель содержит 402,7 млн параметров, распространяется в формате PyTorch и связана с датасетом AESDD. Она предназначена для определения эмоциональной окраски речи, например для анализа записей разговоров. Указанный в карточке язык — английский. Лицензия — Apache-2.0. Оценка качества в README приведена лишь частично: показаны метрики для трёх классов, поэтому по этим сведениям нельзя судить о качестве на всех классах и на данных вне использованного датасета.
anton-l/xtreme_s_xlsr_minds14 — модель классификации аудио на базе архитектуры wav2vec2, дообученная автором на наборе данных, обозначенном в карточке как None. Она предназначена для отнесения аудиозаписей к классам; в метаданных Hugging Face основная задача указана как audio-classification. Число параметров — около 402,7 млн, веса опубликованы в формате PyTorch. В карточке приведены результаты оценки: F1 0,946 и accuracy 0,947. Язык записей, состав классов и практические сценарии подробнее не описаны. Модель распространяется по лицензии Apache-2.0.
YuE2-3B-GGUF — набор общественных GGUF-квантизаций модели YuE2-3B от m-a-p, подготовленный пользователем ngquocvinh для запуска через audio.cpp. Модель предназначена для генерации музыки по тексту, включая lyrics-and-style-conditioned сценарии: создание песен на основе текста песни и описания музыкального стиля. Поддерживаются английский и китайский языки, а результатом является стереофоническая музыка с частотой 48 кГц. Архитектура исходной YuE2-3B объединяет symbolic planning, авторегрессионную и неавторегрессионную генерацию музыкальных токенов, а также VAE-декодер. В репозитории доступны варианты от BF16 и Q8_0 до компактных Q2_K, включая смешанные профили audio.cpp с повышенной точностью отдельных компонентов AR/NAR. Основные GGUF-файлы имеют размер примерно от 1,78 до 6,76 ГиБ; VAE поставляется отдельно в форматах F16 и F32. Сильной стороной модели является сочетание текстового управления, поддержки двух языков и нескольких профилей квантования, позволяющих выбирать баланс между качеством и требованиями к памяти. Ограничения включают зависимость от native audio.cpp loader, необходимость хранить рядом с моделью VAE и обязательные sidecar-файлы. Приведённые в README результаты WildSongBench относятся к исходной YuE2 и не являются измерением качества именно этих GGUF-файлов. Распространение указано по лицензии CC BY-NC 4.0.