IV.9Медиа, журналистика, культура, архивы и игры
В разделе собраны самостоятельные задачи, где AI помогает создавать, искать, сохранять и персонализировать медиа, культурный и игровой контент. Для каждого пункта отдельно указаны механизм, входы, результат и способ проверки.
Рекомендованные модели
14 938 моделейSongComposer_sft — дообученная модель Mar2Ding для генерации песен по инструкциям. Она основана на InternLM2 и предназначена для совместной работы с текстом и символическим представлением мелодии: умеет создавать мелодию по тексту песни, писать текст по мелодии, продолжать песню и генерировать песню по текстовому запросу. Модель содержит 7,4 млрд параметров, использует архитектуру InternLM2ForCausalLM и поддерживает контекст до 32 768 токенов. В метаданных указаны английский и китайский языки. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. Карточка не уточняет формат представления мелодии и качество на отдельных языках.
Sophos-eva-euryale-v1.0 — языковая модель на 69,5 млрд параметров, созданная автором репозитория слиянием SLERP моделей EVA-LLaMA-3.33-70B-v0.0 и L3.3-70B-Euryale-v2.3. Это плотная авторегрессионная модель семейства Llama для генерации текста и диалогов; она принимает текст и выдаёт текст. Модель предназначена прежде всего для ролевых диалогов и написания историй, а также может применяться для других задач генерации текста. Поддерживает английский язык и контекст до 131 072 токенов. Автор характеризует модель как uncensored и отмечает, что её качество в задачах за пределами ролевых диалогов и сторителлинга не проверялось. Рекомендации по настройке сэмплирования приведены в карточке модели. Модель доступна по лицензии Llama 3.3.
mayocream/speech-bubble-segmentation — преобразованная в формат SafeTensors модель YOLOv8m-seg, совместимая с библиотекой Candle. Она предназначена для поиска и сегментации речевых пузырей на страницах комиксов и манги; модель разработана на основе дообученной kitsumed/yolov8m_seg-speech-bubble. Входной размер изображения — 640 × 640 пикселей, класс обнаружения один: «речевой пузырь». Для получения масок используются 192 прототипа масок и 32 коэффициента; пороги по умолчанию: уверенность 0,25, NMS 0,45 и маска 0,5. Модель подходит для анализа макета комикса, размещения текста и рендеринга речевых пузырей. Она не предназначена для обнаружения панелей, персонажей или текста. Качество масок и пороги следует проверять на целевом стиле комиксов; артефакты обучения и оценки не входят в конверсию. Репозиторий распространяется по лицензии GPL-3.0.
Superswallow-70b-RP-v0.3 — слитая авторами модель на архитектуре Llama 2 с 68,8 млрд параметров, предназначенная для ролевых сцен и создания историй. В объединение вошли instruct- и storytelling-модели, включая Tulu 2 DPO, GOAT-70B-Storytelling и Opus, а также LoRA; использовались методы DARE TIES и SLERP. Базой слияния автор называет tokyotech-llm/Swallow-70b-instruct-hf. Модель генерирует текст на английском и японском языках, поддерживает контекст до 4096 токенов. Автор рекомендует шаблоны Tulu и Swallow/Alpaca и настройки генерации с температурой около 0,7; при высокой температуре ответы могут становиться нестабильными и хуже следовать запросу. Репозиторий использует формат safetensors. Автор указывает лицензию llama2, но предупреждает, что модель предназначена только для личного и академического использования: часть исходных моделей имеет неясные условия коммерческого использования, а параметры Tulu 2 DPO могут затрагивать лицензию AI2 ImpACT. Условия использования стоит проверять с учётом лицензий компонентов слияния.
Swallow-70b-NVE-RP — 68,7-миллиардная плотная языковая модель на архитектуре Llama, созданная nitky слиянием нескольких моделей для ролевых сценариев и написания историй. В качестве основы использована tokyotech-llm/Swallow-70b-NVE-instruct-hf; в слияние также вошли GOAT-70B-Storytelling, dreamgen/opus-v0.5-70b, lzlv-limarpv3-l2-70b и адаптер Waxwing-Storytelling-70B-LoRA. Модель работает с текстом, поддерживает японский и английский языки, а длина контекста составляет 4096 токенов. Модель предназначена прежде всего для ролевых игр и художественной генерации; автор отмечает, что она не очень хорошо подходит для многоходового чата. В README приведены рекомендуемые параметры генерации и формат инструкций Alpaca, а также отмечена экспериментальная совместимость с форматами подсказок нескольких включённых моделей. Опубликованные веса представлены в формате safetensors. README указывает на личное и академическое использование. Используется лицензия Llama 2, однако автор предупреждает, что коммерческие права на некоторые компоненты слияния неясны; перед коммерческим применением следует проверить права на все исходные модели.
Карточка модели BtForest/TRELLIS.2-4B на Hugging Face совпадает с карточкой microsoft/TRELLIS.2-4B, поэтому описание составлено по ней. TRELLIS.2-4B — модель генерации 3D-объектов по изображению, разработанная Jianfeng Xiang и соавторами. Она использует трансформер flow matching с 4 млрд параметров и разреженный 3D-VAE для представления геометрии и внешнего вида в структуре O-Voxel. На вход подаётся одно изображение, на выходе создаётся 3D-модель с PBR-материалами; заявлено разрешение воксельной сетки от 512³ до 1536³. Модель также поддерживает генерацию текстур для заданной 3D-сетки и референсного изображения. TRELLIS.2 рассчитана на создание детализированных 3D-ассетов со сложной топологией, включая открытые поверхности и полупрозрачные материалы. Карточка указывает, что модель проверялась на Linux с видеокартами NVIDIA A100 и H100 и требует не менее 24 ГБ видеопамяти. Генерируемые сетки могут содержать небольшие отверстия и топологические дефекты, поэтому для задач вроде 3D-печати может потребоваться постобработка. Модель не настраивалась под человеческие предпочтения или конкретные эстетические стандарты. Лицензия — MIT.
Карточка модели inferenceport-ai/TRELLIS.2-4B-GGUF на Hugging Face совпадает с карточкой LocalAI-io/TRELLIS.2-4B-GGUF, поэтому описание составлено по ней. LocalAI-io подготовила конверсию модели Microsoft TRELLIS.2-4B в формат GGUF F16 для запуска через C++-среду trellis2cpp. Это модель преобразования одного изображения в 3D-ассет; опубликованные файлы покрывают этапы генерации разреженной структуры и формы с каскадами разрешения 512 и 1024. Энкодер изображений DINOv3 и декодер разреженной структуры распространяются отдельно. Модель предназначена для создания 3D-объектов по изображению. Конверсия рассчитана на инференс в ggml runtime без Python, PyTorch и CUDA; веса не переобучались и не изменялись. Базовая TRELLIS.2-4B создаёт детализированные 3D-ассеты с PBR-материалами по одному изображению. Репозиторий распространяется по лицензии MIT.
TRELLIS Image Large — крупная модель генерации 3D-объектов по изображению, разработанная авторами проекта TRELLIS. Это версия TRELLIS с обусловливанием по изображению; модель представлена в статье «Structured 3D Latents for Scalable and Versatile 3D Generation». Репозиторий содержит веса в формате safetensors и использует библиотеку TRELLIS. Модель предназначена для преобразования входного изображения в 3D-представление. Карточка не сообщает подробностей об архитектуре, размере параметров, поддерживаемых языках интерфейса или ограничениях качества. Лицензия репозитория — MIT.
PiotrSty/trocr-pl-mixed-v3 — экспериментальная TrOCR-модель, разработанная PiotrSty дообучением PiotrSty/trocr-pl-base. Это модель архитектуры vision-encoder-decoder, настроенная методом QLoRA на декодере для распознавания польского печатного текста, включая строки с реальных машинописных документов EHRI. Она принимает изображения отдельных строк и выдаёт распознанный текст; обучение включало синтетические печатные строки и 349 реальных машинописных строк. В README приведены результаты оценки на небольших отложенных наборах, однако их недостаточно, чтобы считать качество обобщённым или подтверждённым на независимых полноформатных страницах. Модель предназначена для OCR отдельных строк, а не для сегментации страниц. README предупреждает о ненадёжной сегментации выцветшего машинописного текста и рекомендует провести собственную оценку перед использованием. Модель распространяется по лицензии Apache-2.0.
UnknownX — модель генерации изображений по текстовому описанию, опубликованная пользователем ddPn08 на Hugging Face и представленная в формате Diffusers. В README она названа неизвестной моделью генерации изображений; приведённые сведения указывают на использование базы Stable Diffusion 1.4 и методов DreamBooth с LoRA, LyCORIS LoRA или LoHa. По этим данным её можно отнести к дообученным моделям генерации изображений по тексту. Модель принимает текстовый запрос и выдаёт изображение. Метаданные указывают английский язык; других языков и специализированных областей применения карточка не подтверждает. Лицензия обозначена как other, поэтому условия использования следует проверять в файлах репозитория и у автора. Параметры модели, контекст и конкретные стили или предметы дообучения в карточке не описаны.
Harveenchadha/vakyansh-wav2vec2-sanskrit-sam-60 — модель распознавания санскритской речи, опубликованная в рамках проекта Vakyansh. Она преобразует входной аудиосигнал в текст и основана на архитектуре wav2vec 2.0 с выходной головой CTC; в метаданных указано 113,3 млн параметров. Карточка Hugging Face показывает пример использования через pipeline automatic-speech-recognition, но не содержит описания лицензии или подробных результатов оценки качества. Модель предназначена для автоматической транскрипции речи на санскрите. Репозиторий Vakyansh относит вариант sam_60 к санскритским моделям, обученным на 60 часах данных. В метаданных модели указана библиотека Transformers и формат весов PyTorch.
Video Depth Anything Large MLX — перенос модели Video Depth Anything в формат MLX от сообщества mlx-community на основе официального чекпойнта depth-anything/Video-Depth-Anything-Large. Это плотная модель оценки глубины по монокулярному видео: архитектура сочетает backbone DINOv2, голову DPT и временные модули движения в стиле AnimateDiff, чтобы получать согласованные карты глубины для видео произвольной длины. Модель принимает последовательности цветных кадров и выдаёт карту глубины для каждого кадра, а не текст. Модель предназначена для анализа сцен и движения в видео, когда нужна относительная глубина с согласованностью между кадрами. Она не является метрической: оценки не выражаются в абсолютных метрах. Входные размеры высоты и ширины должны быть кратны 14; веса имеют точность fp32. По README, результаты на GPU близки к PyTorch-эталону примерно в пределах 1% относительной ошибки, а на CPU — примерно до 1e-5. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
MCG-NJU/videomae-huge-finetuned-kinetics — модель VideoMAE, опубликованная MCG-NJU и дообученная для классификации видео на наборе Kinetics-400. Она принимает видео и относит их к одной из 400 категорий действий; подходит для классификации видеоклипов и извлечения признаков для последующих задач компьютерного зрения. Архитектура VideoMAE основана на Vision Transformer и расширяет подход Masked Autoencoder для видео: ролик представляется последовательностью патчей размером 16×16, а классификация выполняется с использованием представления токена CLS. Модель содержит около 838,9 млн параметров. Для Kinetics-400 указаны top-1 точность 86,6% и top-5 точность 97,1%. Модель предназначена для распознавания действий по видео; сведения о поддерживаемых естественных языках не относятся к её основной задаче. Репозиторий распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.
MaxPowerUnlimited/vit-superhero-villain — модель классификации изображений на основе Vision Transformer (ViT), дообученная на google/vit-base-patch16-224. Она предназначена для отнесения изображений к классам супергероев и злодеев. Модель содержит 113,2 млн параметров и использует библиотеку Transformers. На оценочном наборе данных указаны loss 1,2902 и accuracy 0,7363. Модель принимает изображение и выдаёт предсказание класса. Распространяется в формате safetensors по лицензии Apache-2.0.
lmg-anon/vntl-llama3-8b-v2-gguf — это QLoRA-тонкая настройка модели LLaMA 3 Youko 8B, разработанной rinna. Модель обучена на расширенной версии набора данных VNTL-v5-1k и предназначена для перевода визуальных новелл с японского языка на английский. Модель поддерживает японский и английский языки, использует стандартный формат промптов LLaMA 3 и умеет обрабатывать как однострочные, так и многострочные переводы. Вход может включать метаданные о персонажах, именах, псевдонимах и других элементах, что помогает сохранять единообразие терминологии и имён собственных. Размер базовой модели — 8B параметров; другие характеристики контекстного окна и модальностей в README не указаны. По заявлению автора, версия отличается повышенной точностью и стабильностью по сравнению с предыдущей, а также реже допускает ошибки при высоких температурах. Переводы при этом стали более буквальными. Для наилучшего качества рекомендуется температура 0 и отсутствие штрафа за повторения. Модель ориентирована именно на перевод визуальных новелл и может быть менее подходящей для универсального перевода или диалогового режима, который в этой версии не поддерживается. Лицензия указана как llama3.
Waifu Diffusion v1.4 — латентная диффузионная модель преобразования текстовых описаний в изображения, созданная дообучением на высококачественных изображениях в стиле аниме. Она предназначена для генерации аниме-иллюстраций по текстовым запросам; пример в карточке показывает описание персонажа, одежды, ракурса, окружения и художественного стиля. Модель распространяется в форматах Diffusers, PyTorch и Safetensors, а лицензия — CreativeML OpenRAIL-M. Карточка указывает развлекательное применение и использование в качестве помощника для генеративного искусства.
Waifu Diffusion v1.3 — латентная диффузионная модель для генерации изображений по текстовым описаниям. Разработчики дообучили её на качественных изображениях в стиле аниме; модель предназначена для создания генеративного искусства и развлечений. Модель использует Stable Diffusion и доступна в форматах Diffusers и PyTorch. Карточка указывает поддержку английского языка. Лицензия — CreativeML OpenRAIL-M, предусматривающая условия использования и ограничения на применение.
DFloat11/Wan2.2-I2V-A14B-2-DF11 — это lossless-сжатая квантованная версия второго компонента модели Wan2.2-I2V-A14B-Diffusers, разработанной Wan-AI и упакованной с использованием технологии DFloat11. Модель предназначена для генерации видео по изображению и текстовому описанию в составе пайплайна WanImageToVideoPipeline. DFloat11 применяет Huffman-кодирование экспонент BFloat16-весов и аппаратно-ориентированную распаковку на GPU. Согласно README, сжатие сохраняет побитово идентичные результаты исходной модели, уменьшает размер по сравнению с исходной версией BFloat16 и позволяет выполнять генерацию 5-секундного видео в разрешении 720p на одной GPU с 24 ГБ памяти; при CPU offloading пиковое потребление памяти может составлять около 20 ГБ. В приведённом сценарии используются 81 кадр, 16 кадров в секунду и 40 шагов инференса, однако это параметры примера, а не обязательные ограничения модели. Модель ориентирована на GPU-инференс и требует CUDA-совместимую видеокарту, PyTorch, пакет DFloat11 и актуальную версию diffusers. Основные ограничения — значительное время генерации: около 42 минут на A100 без CPU offloading и 44 минут с ним для указанного сценария, а также необходимость использовать её совместно с исходным пайплайном и связанными компонентами Wan2.2-I2V-A14B. Сведения о лицензии, поддерживаемых языках и точном размере архитектуры в README не указаны.
WavJEPANat-Nat Base — аудиомодель на основе Joint-Embedding Predictive Architecture, разработанная Goksenin Yuksel. Она извлекает высокоуровневые семантические представления непосредственно из звуковой волны и предназначена для использования как экстрактор признаков в последующих аудио-задачах. В архитектуру входят волновой энкодер на основе свёрточного feature encoder из Wav2Vec 2.0, контекстный и целевой энкодеры, а также предиктор на основе Vision Transformer. Модель обучена на AudioSet с добавлением шумов и реверберации, чтобы повысить устойчивость представлений в естественных акустических сценах. Извлечённые признаки можно использовать для классификации окружающих звуков, распознавания речи, подсчёта говорящих и других задач анализа аудио; для конкретного сценария может потребоваться обучить классификационную голову. Карточка сообщает о поддержке всех языков с основным акцентом на английский. Модель распространяется по лицензии MIT.
ILRDF/whisper-large-v2-formosan-all — дообученная ILRDF модель распознавания речи на основе OpenAI Whisper large-v2. Она предназначена для транскрибации аудио на тайваньских языках коренных народов; в карточке отмечено, что для выбора языка используется идентификатор индонезийского языка Whisper. Модель содержит около 905,2 млн параметров, построена на архитектуре Whisper и распространяется в формате Safetensors для Transformers. Обучение выполнено в 4146 шагов с аугментацией данных, отключённой по карточке; указаны размер пакета 2×4 и накопление градиента 64. Модель принимает аудио и выдаёт распознанный текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.
Whisper Large-V3 — модель распознавания речи, разработанная Alexander S. Mainye на основе openai/whisper-large-v3. Она дообучена на нестандартной кенийской английской речи с полным обновлением параметров и шумовыми аугментациями аудиосигнала, включая имитацию GSM-сжатия и фонового шума. По метаданным модель содержит 905,2 млн параметров и распространяется в формате safetensors. Модель предназначена для транскрибации кенийского английского в полевых условиях, в том числе при фоновом шуме и сжатии мобильной сетью. В тестировании на наборе cdli/kenyan_english_nonstandard_speech_v1.0 показатель WER составил 13,65% на чистом аудио и 18,31% на аудио с добавленным шумом. Лицензия — MIT. Модель оптимизирована для нестандартного кенийского английского и не дообучалась для стандартного американского или британского вариантов. Она не предназначена для суахили и других языков Кении; качество на реверберационных записях не оценивалось. По сравнению с Whisper Small требует существенно больше вычислительных ресурсов при запуске.
pollitoconpapass/whisper-small-cuzco-quechua — дообученная модель распознавания речи на базе openai/whisper-small, созданная для транскрибирования аудио на кечуа Куско. Она использует архитектуру WhisperForConditionalGeneration и содержит 153,1 млн параметров. Для обучения использован датасет аудио Библии на кечуа Куско; в README указана потеря 0,0002 на оценочном наборе, но метрика качества и подробности оценки не приведены. Модель принимает аудио и выдаёт текст. Распространяется по лицензии Apache-2.0.
Yiffymix_V52-XL — совместимая с Diffusers версия модели Yiffymix v52 от chilon249 для генерации изображений по текстовому описанию. Она построена на SDXL-Lightning и распространяется в формате Diffusers с весами safetensors; доступен вариант FP16. Для генерации рекомендуется использовать примерно 12–25 шагов и guidance scale 4–6; в README также рекомендован clip skip 2. Для этой версии указан метод сэмплирования DPM++ 2M Karras. Модель предназначена для творческих и художественных задач. Лицензия — OpenRAIL++; README дополнительно ограничивает использование творческими и художественными целями и запрещает применение с намерением причинить вред.
YOLO-Face-Person-Detector — дообученная модель YOLOv8x для обнаружения лиц и людей на изображениях. Разработчик обучил её на собственном наборе примерно из 150 000 изображений; модель использует архитектуру YOLOv8 и распространяется в формате safetensors. Для работы предусмотрена библиотека Ultralytics. Модель подходит для локализации лиц и людей на изображениях в сценариях компьютерного зрения. Карточка заявляет высокую точность и устойчивость в разных условиях, но не приводит результатов бенчмарков, состава обучающего набора или подробностей оценки. Лицензия — AGPL-3.0.
sudo-ai/zero123plus-v1.1 — модель генерации изображений, предназначенная для преобразования входного изображения с помощью Zero123PlusPipeline из библиотеки Diffusers. В карточке указано, что репозиторий использует форматы Diffusers и PyTorch и связан с набором данных Objaverse. Модель принимает изображение и выдаёт изображение; её можно применять в задачах преобразования изображений. README рекомендует Diffusers версии 0.20.2 и PyTorch 2. Лицензия — OpenRAIL.
Aion-3.0 Mini — система для ролевого взаимодействия и создания историй от AionLabs, построенная на моделях семейства DeepSeek. Она использует совместную генерацию с участием нескольких специализированных моделей, чтобы создавать ролевые ответы и повествовательный текст.
Это набор LoRA-адаптеров семейства Qwen3, выпущенный разработчиком Alexandria Audiobook для структурированной атрибуции реплик персонажам в английских романах. Модель получает уже разделённые строки текста и заданный список персонажей, а для каждой строки выбирает говорящего и формирует JSON-объект с индексом и именем. Это адаптеры, а не самостоятельные чат-модели: для работы нужны соответствующие базовые веса Qwen3, а при подключении следует выбрать адаптер и базовую модель, указанные в карточке. Адаптеры рассчитаны на конвейер подготовки аудиокниг, где требуется назначить говорящего каждой строке текста в структурированном запросе Alexandria Audiobook. В карточке приведены разные варианты адаптеров и результаты их оценки; показатели зависят от базовой модели, обучающих данных, формата и условий запуска. Для Qwen3-14B указаны 32 тысячи токенов контекста в проверенной конфигурации. Карточка описывает английский язык; другие языки и сценарии не проверялись. Веса адаптеров распространяются по лицензии Apache-2.0. Модель не обнаруживает персонажей самостоятельно, а выбирает только из переданного списка. Возможны ошибки индексов, пропуски, дублирование и неверная атрибуция; JSON следует проверять, а опубликованный аудиоматериал — проверять человеком. Результаты оценки зависят от конкретных наборов текстов, а часть вариантов адаптеров оценена частично или не оценена.
Amano-Diffusion — модель генерации изображений по текстовому описанию на основе Stable Diffusion, опубликованная RazzzHF. Она предназначена для создания иллюстраций с художественной манерой Ёситаки Амано: README рекомендует добавлять в запрос фразу «yoshitakaamano artstyle». Также доступна более широкая, тёмная и часто монохромная версия стиля; модификаторы «white background» и «colorful» помогают получить другие варианты оформления. Модель работает через Diffusers и PyTorch. В README приведены примеры на тему Final Fantasy и драконов, а также подсказки по настройке промптов: для слишком высветленных лиц предлагается использовать «overexposed» в негативном запросе. Репозиторий распространяется по лицензии CreativeML OpenRAIL-M.
AMIDDA 1.0 Line 4B — модель Calfa для распознавания рукописного текста на изображениях отдельных строк. Она дообучена методом LoRA на базе Qwen/Qwen3.5-VL-4B-Instruct; адаптер объединён с базовыми весами. Обучение проводилось на 53 420 строках из восьми корпусов AMIDDA. Модель предназначена для транскрибирования арабских рукописей магрибского и восточного стилей, урду в литографиях, персидского текста и современного арабского почерка. На вход подают обрезанное изображение одной строки, а на выходе получают транскрипцию. Для распознавания целой страницы требуется предварительно выделить строки. Текст сохраняется в исходном виде, без нормализации и редакторской правки; огласовки передаются согласно правилам конкретного корпуса. Модель построена на архитектуре Qwen3.5-VL-4B и распространяется в формате safetensors через Transformers. Авторы отмечают, что она не предназначена для production-применения. Для запуска требуется Transformers версии 5.9 или новее; без оптимизированных CUDA-ядер инференс может быть значительно медленнее. Лицензия — Apache-2.0.
Anima 1.0 Turbo Diffusers Conversion — конверсия модели Anima 1.0 Turbo в формат Diffusers для использования с SD.Next. Исходную модель создали CircleStone Labs и Comfy Org. Это модель генерации изображений по текстовому описанию с архитектурой CosmosTransformer3DModel на 2 млрд параметров, текстовым энкодером Qwen3-0.6B, адаптером с перекрёстным вниманием и VAE AutoencoderKLWan. Модель предназначена для создания аниме-иллюстраций, персонажей и других нереалистичных изображений. Версия Turbo дистиллирована для быстрой генерации; авторы рекомендуют её для подбора и доработки промптов. Она обучена на тегах в стиле Danbooru, подписях на естественном языке и их сочетаниях. Рекомендуемые настройки — 8–12 шагов, CFG 1 и разрешение от 512×512 до 1536×1536. Дистилляция придаёт генерациям устойчивый характерный стиль и ускоряет создание изображений, но снижает разнообразие. Модель не предназначена для фотореализма. В карточке указана лицензия other; конкретные условия использования в предоставленных данных не раскрыты.