IV.9Медиа, журналистика, культура, архивы и игры

Step1X-Edit-v1p2-preview — предварительная версия модели редактирования изображений от StepFun. Она принимает изображение и инструкцию пользователя, разбирает запрос с помощью мультимодальной языковой модели и формирует токены редактирования, которые преобразуются в изображение сетью на основе DiT. Версия v1p2 добавляет рассуждение при редактировании и reflective correction для более точного выполнения сложных инструкций. Модель предназначена для редактирования изображений по текстовым инструкциям, включая сценарии с несколькими этапами или требованиями. В README приведены результаты сравнений на KRIS-Bench и GEdit-Bench; авторы сообщают об улучшении качества редактирования и следования инструкциям относительно предыдущих версий. Репозиторий использует Diffusers и формат Safetensors, лицензия — Apache-2.0. README называет версию предварительной, а технический отчёт для неё обещан позднее.

SVOR (Stable Video Object Removal) — модель для удаления выбранных объектов из видео, разработанная авторами работы «From Ideal to Real: Stable Video Object Removal under Imperfect Conditions». Она дообучена на базе Wan-AI/Wan2.1-VACE-1.3B и предназначена для видеоредактирования при реальных дефектах масок, резком движении объектов, тенях и отражениях. Метод объединяет временное объединение масок MUSE, вспомогательную сегментационную ветвь DA-Seg и двухэтапное обучение. По описанию авторов, эти компоненты помогают сохранять стабильность кадров, находить пропущенные масками области и удалять объект вместе с его тенями и отражениями. Для работы нужны видео, маски объектов и веса базовой модели; интерактивный пример использует SAM2 для сегментации и распространения масок. Репозиторий содержит веса в формате safetensors и использует библиотеку Diffusers. Для инференса требуется не менее 40 ГБ видеопамяти. Лицензия — Apache-2.0.

flax-community/t5-base-cnn-dm — англоязычная модель суммаризации текста на архитектуре T5, дообученная на наборе CNN/DailyMail. Она предназначена для создания краткого пересказа новостных статей и других текстов на английском языке. Модель содержит 123,7 млн параметров и имеет контекст до 512 токенов; доступны веса во Flax и форматах PyTorch/Safetensors. Лицензия — Apache-2.0. Модель подходит для извлечения основных событий и фактов из статьи, подготовки коротких сводок и сокращения длинных новостных материалов. Ограничение контекста в 512 токенов может затруднять обработку длинных документов целиком; качество на текстах вне новостного домена CNN/DailyMail может отличаться.

minhtoan/t5-small-vietnamese-news — компактная модель суммаризации новостных текстов на вьетнамском языке, разработанная Phan Minh Toan. Это encoder-decoder модель семейства T5 на базе Transformers, обученная на вьетнамских новостях; в метаданных указаны датасеты Vietnews и WikiLingua. Модель предназначена для создания краткого пересказа статьи по входному тексту. При обучении использовались входы длиной до 512 токенов и целевые сводки длиной до 150 токенов. Число параметров — 157,4 млн; доступны веса в формате PyTorch. Модель распространяется по лицензии MIT. README характеризует её как лёгкую, но не приводит сравнительных оценок качества.

TalmendoXL v1.1 Beta — копия модели генерации изображений на основе Stable Diffusion XL 1.0. Она принимает текстовые запросы и создаёт изображения; в карточке указано использование через библиотеку diffusers и StableDiffusionXLPipeline. Репозиторий содержит форматы Diffusers, Flax, ONNX, OpenVINO и Safetensors. Модель предназначена для генерации изображений по текстовому описанию. Для неё указана лицензия CreativeML OpenRAIL-M. Карточка не приводит дополнительных сведений о специализации, поддерживаемых языках или ограничениях качества.

Teochew Whisper Medium — модель распознавания речи, созданная дообучением Whisper medium для чаошаньского языка (潮州话), относящегося к группе миньнаньских языков и распространённого на юге Китая. Модель использует архитектуру Whisper и содержит 455,8 млн параметров. Модель предназначена для преобразования речи на чаошаньском языке в текст. Для дообучения использовано около 35 часов аудиозаписей из фильмов, телепередач и комедийных шоу на этом языке. На закрытом тестовом наборе указана частота ошибок слов (WER) 0,31 для отчётливой речи и 0,68 для разговорной речи. Модель принимает аудио и выдаёт текст. Она обучалась на коротких фрагментах и может хуже распознавать аудио длительностью более 10 секунд. Лицензия — MIT.

Это модель классификации видео на основе TimesformerForVideoClassification, разработанная как дообученная версия facebook/timesformer-base-finetuned-k400. Она содержит 113,2 млн параметров и предназначена для присвоения видео метки класса; исходная модель обучена распознавать 400 категорий действий Kinetics-400, но набор классов и данные дообучения этой версии не описаны. На указанном в карточке наборе оценки модель показала accuracy 0,7316 и loss 0,7576. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия — CC BY-NC 4.0, которая ограничивает коммерческое использование.

agomberto/trocr-large-handwritten-fr — модель TrOCR для распознавания французского рукописного текста, разработанная как PoC при участии Marie Beigelman. Она предназначена для OCR изображений с одной строкой текста, в частности исторических записей и переписных документов. Модель дообучена в два этапа: сначала на синтетических французских текстах, затем на рукописных французских наборах данных, включая French Census. Архитектура — vision encoder-decoder: BEiT служит визуальным энкодером, а RoBERTa — текстовым декодером, который авторегрессионно генерирует текст. На тестовых выборках указаны CER 0,09417 и WER 0,23485. Авторы отмечают, что для улучшения качества стоит собрать больше данных и продолжить обучение или тонкую настройку; гиперпараметры подбирались эвристически. Модель распространяется по лицензии MIT.

UForm-Gen-Chat — компактная мультимодальная модель компании unum-cloud для понимания изображений и общения о них. Она принимает изображение и текстовый запрос, а в ответ генерирует текст; основные задачи — создание подписей к изображениям и визуальные ответы на вопросы. Chat-версия получена дообучением UForm-Gen на мультимодальных инструкциях. В состав базовой модели входят визуальный энкодер UForm Vision Encoder и языковая модель Sheared-LLaMA-1.3B; при обучении использовались MSCOCO, SBU Captions, Visual Genome, VQAv2, GQA и внутренние наборы данных. Модель подходит для описания содержимого изображений, ответов на вопросы о сценах и диалоговых сценариев с визуальным контекстом. В метаданных указаны английский язык и лицензия Apache-2.0. README характеризует модель как небольшую, но не приводит точный общий размер параметров или длину контекста. Качество зависит от изображения и формулировки запроса; модель предназначена для визуальных задач и не подтверждена как универсальная языковая модель.

UltraFlux-v1 — модель генерации изображений по тексту на основе диффузионного трансформера FLUX.1-dev. В карточке она описана как система для нативной генерации изображений в разрешении 4K с устойчивым качеством при разных соотношениях сторон, включая квадратные, портретные и широкоформатные изображения. В подходе сочетаются оптимизированная для 4K архитектура DiT, набор данных MultiAspect-4K-1M, дополнительное обучение VAE и функции потерь, учитывающие высокое разрешение. Модель рассчитана на создание изображений по текстовым описаниям и inference через Diffusers. В метаданных указаны формат safetensors, базовая модель black-forest-labs/FLUX.1-dev и лицензия Apache-2.0. Карточка не сообщает конкретные ограничения, поэтому практическое качество и требования к ресурсам следует оценивать в целевом окружении.

UltraFlux-v1-1-Transformer — дообученная на базе Black Forest Labs FLUX.1 [dev] модель диффузионного трансформера для генерации изображений по текстовым описаниям. Разработчики позиционируют её для нативной генерации изображений в разрешении 4K с сохранением качества при разных соотношениях сторон, включая квадратные, портретные и сверхширокие форматы. В описании заявлены специализированный для 4K DiT, набор данных MultiAspect-4K-1M, постобучение VAE и целевые функции, учитывающие высокое разрешение и разные пропорции кадра. Модель рассчитана на создание изображений из текстовых запросов; для запуска авторы предлагают библиотеку Diffusers. В репозитории указаны веса Safetensors, лицензия Apache-2.0. Заявления о качестве и поддержке нативного 4K приведены в карточке модели.

digiplay/unstableDiffusersYamerMIX_v3 — модель семейства Stable Diffusion в формате Diffusers для генерации изображений по текстовым запросам. В карточке представлены примеры изображений, созданных автором. Репозиторий содержит веса PyTorch в формате safetensors. Модель предназначена для преобразования текстового описания в изображение. Лицензия указана как other, поэтому условия использования следует уточнить в репозитории.

Yntec/Vector — модель преобразования текста в изображения, созданная как дообучение coder119/Vectorartz_Diffusion. Она предназначена для генерации изображений, в том числе векторных иллюстраций, игровых материалов, значков и логотипов; в отличие от базовой модели, рассчитана на работу без обязательного слова-триггера «vectorartz» и без отрицательных запросов. Примеры в карточке показывают разнообразные художественные стили и сюжеты. Модель распространяется в формате Diffusers с весами safetensors по лицензии CreativeML OpenRAIL-M.

Versatile Diffusion — мультимодальная диффузионная модель, разработанная Xingqian Xu, Atlas Wang, Eric Zhang, Kai Wang и Humphrey Shi. Её единая многопоточная архитектура объединяет VAE, диффузионную модель и кодировщик контекста для работы с изображениями и текстом. Модель предназначена для генерации изображений по текстовому описанию. В карточке также заявлены генерация вариаций изображения и текста, преобразование изображения в текст и расширенные сценарии редактирования и генерации с совместным управлением текстом и изображением. Репозиторий содержит веса Diffusers/PyTorch; карточка указывает английский язык и набор данных Laion2B-en. Модель распространяется по лицензии MIT. Карточка описывает возможности и примеры использования, но не приводит конкретных ограничений качества или требований к вычислительным ресурсам.

VIBE (Visual Instruction Based Editor) — модель для редактирования изображений по текстовым инструкциям. Она объединяет диффузионную основу Sana1.5-1.6B с визуальным энкодером Qwen3-VL-2B-Instruct и распространяется как слияние этих моделей. Репозиторий использует Diffusers и формат safetensors; в README указана точность BF16. Модель принимает изображение и текстовую инструкцию, чтобы изменять содержимое изображения, а также поддерживает генерацию изображений по тексту. README заявляет редактирование изображений с разрешением до 2048 пикселей и высокую скорость за счёт механизма linear attention в Sana. Для запуска требуется библиотека vibe. Основной сценарий — выполнение правок вроде добавления объектов или изменения сцены с учётом визуального содержимого исходного изображения. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

MCG-NJU/videomae-large-finetuned-kinetics — модель VideoMAE большого размера, опубликованная командой MCG-NJU и дообученная для классификации видео на наборе Kinetics-400. Она принимает видеокадры и относит ролик к одной из 400 категорий действий. Модель основана на Vision Transformer: видео представляется последовательностью патчей размером 16×16, а предварительное самообучение использует masked autoencoder для восстановления скрытых участков. В модели 402,7 млн параметров; веса доступны в форматах PyTorch и Safetensors. На тестовом наборе Kinetics-400 указана точность top-1 84,7% и top-5 96,5%. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

AigizK/wav2vec2-large-mms-1b-tatar-v2 — модель распознавания речи на основе архитектуры wav2vec2, дообученная из facebook/mms-1b-all для татарского языка. Она принимает аудио и преобразует речь в текст; в метаданных указано 1,3 млрд параметров. На оценочном наборе модель показала WER 0,1031 и loss 0,3343, однако сведения о наборе данных и условиях оценки отсутствуют. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

NbAiLab разработала wav2vec2-large-voxrex-npsc-nynorsk — модель распознавания речи, дообученную на наборе NBAILAB/NPSC 16K_MP3_NYNORSK. Она принимает аудио и преобразует речь в текст, с акцентом на норвежский нюнорск. Модель основана на архитектуре Wav2Vec2 с CTC-декодированием и содержит 402,7 млн параметров. На оценочном наборе указаны значения Loss 0,4142 и WER 0,1576. Модель подходит для транскрибации записей на нюнорске; данные карточки не описывают ограничения по условиям записи или устойчивости к шуму. Веса опубликованы в формате PyTorch по лицензии Apache 2.0.

Модель Lemswasabi/wav2vec2-large-xlsr-53-842h-luxembourgish-14h — акустическая модель распознавания речи на базе wav2vec 2.0 Large XLSR-53, дообученная разработчиками на люксембургской речи. Сначала использовано 842 часа неразмеченной речи, собранной RTL.lu, затем модель дообучили на 14 часах размеченной речи из того же источника. Модель предназначена для преобразования люксембургской речи в текст, в частности для аудио, близкого к домену RTL.lu. Архитектура — Wav2Vec2ForCTC, размер — 402,7 млн параметров; поддерживается входное аудио и задача automatic speech recognition. Репозиторий содержит веса PyTorch. Модель выпущена по лицензии MIT. Карточка не приводит результаты оценки и подробные сведения об ограничениях, поэтому качество на иных доменах и акустических условиях по имеющимся данным оценить нельзя.

masoudmzb/wav2vec2-xlsr-multilingual-53-fa — модель распознавания персидской (фарси) речи, созданная дообучением masoudmzb базовой модели facebook/wav2vec2-large-xlsr-53. Это аудиомодель архитектуры wav2vec 2.0 XLSR с CTC-декодированием и примерно 402,7 млн параметров; на вход принимает речь, дискретизированную с частотой 16 кГц, и выдаёт текстовую расшифровку. Модель предназначена для автоматического распознавания речи на фарси. По описанию, при дообучении использовались Common Voice и собственный набор данных разработчика. В README приведён результат WER 0,40815 на частном тестовом наборе, который недоступен публично, поэтому это значение нельзя независимо проверить или напрямую сравнить с другими наборами. В README не указана лицензия, поэтому условия использования по имеющимся данным определить нельзя. Практическое ограничение — требование аудио 16 кГц; качество может зависеть от условий записи и соответствия речи обучающим данным.

WestLake-10.7B-v2 — языковая модель для ролевого диалога и генерации текста, созданная froggeric методом слияния слоёв модели senseable/WestLake-7B-v2 с помощью mergekit. В метаданных указаны архитектура Mistral, 10,6 млрд параметров и формат safetensors; автор рекомендует ограничивать контекст 8192 токенами, поскольку базовая WestLake обучалась на таком размере, несмотря на больший контекст Mistral. Модель рассчитана на отыгрыш персонажей, диалоги и творческое письмо: она может помогать создавать рассказы, стихи, эссе и другие тексты, а также генерировать реплики для игровых персонажей. Автор сообщает о более выразительном стиле и подробных ответах по сравнению с WestLake-7B-v2, но отмечает небольшое ухудшение следования инструкциям. Для диалога рекомендуются форматы Alpaca или ChatML; также могут подойти Mistral Instruct и Zephyr. Лицензия — Apache-2.0.

Это дообученная модель автоматического распознавания речи на основе OpenAI Whisper Base, подготовленная sarpba для транскрибирования венгерской речи. Модель содержит 51,7 млн параметров и обучена на собственном наборе sarpba/big_audio_data_hun; в README указано около 1200 часов отобранных венгерских аудиозаписей. Для оценки автор приводит результаты на венгерских наборах FLEURS и Common Voice 17.0. Модель принимает аудио и генерирует текстовую транскрипцию на венгерском языке. Автор сообщает о свободном использовании в личных целях на условиях исходной лицензии Whisper, но запрещает коммерческое использование этого дообучения без согласия автора.

efwkjn/whisper-ja-anime-v0.3 — дообученная модель семейства Whisper, созданная efwkjn на основе whisper-large-v3-turbo с японским токенизатором. Она предназначена для автоматического распознавания японской речи, в том числе длинных аудиозаписей; автор сообщает, что версия улучшена для длинных фрагментов, а короткие распознаёт немного хуже предыдущей версии. Модель содержит около 865,1 млн параметров и распространяется в формате safetensors. Автор также обучал модель на текстах песен, но эту возможность не проверял. Для запуска предлагается использовать инструкции whisper-large-v3-turbo; при работе с faster-whisper может потребоваться вручную скорректировать настройки мультиязычности и подавляемых токенов из-за изменений словаря. Лицензия в предоставленных данных не указана.

servinosmanov/whisper-large-v3-crh — дообученная Servin Osmanov модель OpenAI Whisper large-v3 для автоматического распознавания крымскотатарской речи. Модель содержит 905,2 млн параметров и принимает аудио, выдавая текст; поддерживает крымскотатарский язык в кириллической и латинской письменности. Для обучения использован датасет servinosmanov/tts-crh-sevil-fixed. В карточке указана лучшая доля ошибок слов (WER) 13,67% с параметрами repetition_penalty=1.2 и no_repeat_ngram_size=3; это на 48,4% лучше приведённого результата дообученного whisper-medium. Модель предназначена для транскрибации крымскотатарской речи. Лицензия — Apache-2.0.

Карточка модели bybb138/whisper-large-v3-turbo-korean на Hugging Face совпадает с карточкой ghost613/whisper-large-v3-turbo-korean, поэтому описание составлено по ней. ghost613/whisper-large-v3-turbo-korean — дообученная модель Whisper Large V3 Turbo для автоматического распознавания корейской речи и преобразования её в текст. Она создана на основе openai/whisper-large-v3-turbo и обучена на корейском наборе данных Zeroth; в обучающей выборке было около 206 часов 43 минут аудио. Модель содержит около 905,2 млн параметров и принимает аудио, выдавая текст. В README указаны итоговые показатели WER 4,90% на валидации и 4,89% на тесте, а CER — 1,78% и 2,06% соответственно. Автор отмечает, что обучение не сошлось и дальнейшее улучшение результатов возможно. Модель опубликована в формате safetensors; условия лицензии в предоставленных данных не описаны.

royshilkrot/whisper-large-v3-turbo-korean-ggml — дообученная модель распознавания речи на основе OpenAI Whisper Large v3 Turbo, созданная для транскрибирования корейской речи. Обучение проводилось на двух корейских наборах данных общим объёмом около 102 тысяч предложений; в карточке сообщается, что последний чекпойнт достиг примерно 16 WER против примерно 24 WER ранее. Модель использует архитектуру WhisperForConditionalGeneration и содержит 905,2 млн параметров. Она принимает аудио и выдаёт текст; карточка указывает корейский язык. Указанная лицензия — Apache 2.0. README называет модель GGML, однако метаданные репозитория указывают формат файлов safetensors.

nezamisafa/whisper-persian-v4 — модель распознавания речи на персидском языке, созданная дообучением Whisper large-v3 от OpenAI на наборе данных ASR_fa_v1. Это плотная модель архитектуры Whisper с 905,2 млн параметров, принимающая аудио и выдающая текст; для работы используется библиотека Transformers, веса опубликованы в формате safetensors. В README указана оценка WER 8,73 на наборе оценки. Модель предназначена для транскрибации персидской речи. Базовая Whisper large-v3 поддерживает многоязычную транскрибацию и перевод аудио в текст, однако карточка этой версии сообщает о дообучении для распознавания персидского языка и не подтверждает качество для других языков или задач. Модель распространяется по лицензии Apache-2.0.

thorhojhus/whisper-small-danish — дообученная на датском языке модель распознавания речи на базе Whisper Small. Она сохраняет исходные архитектуру Whisper и токенизатор; опубликованы веса экспоненциального скользящего среднего после 200 000 шагов обучения. Обучение использовало около 13 411 часов уникальной датской аудиозаписи, включая псевдоразмеченные данные и датские части CoRal v3, Common Voice 26.0, FLEURS, FTSpeech и NST. Модель предназначена для транскрибирования датской речи, в том числе разговорной и чтения вслух. В оценке по протоколу датского ASR-лидера WER составил 24,01% на CoRal conversation, 14,16% на CoRal read-aloud и 9,53% на Common Voice cv17_da. Модель распространяется по лицензии MIT. Качество после дообучения на языках, отличных от датского, не проверялось. Поведение на длинных записях отдельно не обучалось и требует проверки; тишина, шум и незнакомые имена могут приводить к ошибкам распознавания.

whisper-small-faroese-5k-steps-100h — модель автоматического распознавания речи на фарерском языке, созданная Карлосом Даниэлем Эрнандесом Мена в Language and Voice Lab Университета Рейкьявика. Это дообученная версия openai/whisper-small: модель Whisper с 153,1 млн параметров обучали 5 000 шагов на 100 часах фарерской речи и транскрипций из набора Ravnursson Faroese Speech and Transcripts проекта Ravnur. Модель принимает аудио и преобразует речь в текст. Она предназначена для транскрибирования фарерской речи, в том числе материалов, связанных с Фарерскими островами. В репозитории указана лицензия CC BY 4.0.

whisper-small-Kurdish-Sorani-10 — дообученная модель OpenAI Whisper Small с архитектурой WhisperForConditionalGeneration и 153,1 млн параметров. Она предназначена для автоматического распознавания речи, прежде всего на курдском языке сорани. На оценочном наборе указаны WER 13,1989 и орфографический WER 14,4007. Модель принимает аудио и выдаёт текст; в карточке не описаны условия записи, состав обучающих данных или дополнительные ограничения. Распространяется по лицензии Apache-2.0.