I.15Доступность и ассистивные технологии

Карточка модели dfsADDADA/whisper-large-v2-translate-zh-v0.2-st на Hugging Face совпадает с карточкой chickenrice0721/whisper-large-v2-translate-zh-v0.2-st, поэтому описание составлено по ней. chickenrice0721/whisper-large-v2-translate-zh-v0.2-st — это дообученная модель Whisper large-v2 для перевода японской речи на китайский язык. По карточке, её дополнительно обучали на 5000 часах японского аудио с китайскими субтитрами с временными метками; режим использования указан как translate с языком ja. Модель построена на архитектуре WhisperForConditionalGeneration и содержит 905,2 млн параметров. Модель принимает аудио и генерирует китайский текстовый перевод. В README приведены результаты оценки: TER 60,4828, BLEU 29,3658 и CER 0,6602; набор оценки и методика не описаны, поэтому эти значения не позволяют надёжно сравнить качество с другими системами. Модель распространяется по лицензии Apache-2.0.

Jedi-3B-1080p-GGUF — это набор GGUF-квантизаций мультимодальной модели Jedi-3B-1080p, разработанной xlangai и подготовленной для распространения пользователем bartowski. Модель предназначена для задач image-text-to-text, то есть обработки изображений и текста с генерацией текстовых ответов. Квантизации созданы с использованием llama.cpp b5524 и метода imatrix; запуск возможен через llama.cpp, LM Studio и другие совместимые проекты. Известно, что модель содержит около 3 млрд параметров и поддерживает английский язык. README не указывает точную архитектуру, максимальный размер контекста и перечень поддерживаемых модальностей или форматов изображений. Доступны варианты от BF16 до Q2_K_L, поэтому можно выбирать между качеством и требованиями к памяти: наиболее качественными считаются BF16, Q8_0 и варианты Q6, а Q4 и Q3 подходят для более экономичного запуска, хотя при сильном сжатии качество снижается. Модель удобна для локального мультимодального инференса на совместимом оборудовании, включая сценарии с ограниченной оперативной памятью. Ограничениями являются снижение качества у низкобитных квантизаций и отсутствие в README подробных сведений о результатах тестирования, производительности, контекстном окне и системных требованиях. Распространение указано на условиях лицензии Apache-2.0.

mamatjan/xls-r-uyghur-cv18 — модель автоматического распознавания речи, разработанная Mamajtan Abudkader и дообученная на данных Common Voice 18. Архитектура — Wav2Vec2ForCTC семейства XLS-R; размер модели — 402,7 млн параметров. Она принимает аудио и распознаёт уйгурскую речь, выдавая текст письмом на основе персо-арабского алфавита без знаков пунктуации. Модель предназначена для черновых субтитров к видео и индексации записанных передач. В README указана низкая надёжность: модель не подходит как замена живым субтитрам для обеспечения доступности. Обучение проводилось на обучающей и валидационной выборках Common Voice 18, итоговая оценка — на официальной тестовой выборке. Лицензия — Apache-2.0.

BigVGAN-v2 — нейросетевой вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Эта версия преобразует входную мел-спектрограмму в синтезированную звуковую волну и предназначена для генерации аудио, например восстановления речи или других звуков по спектральным признакам. Модель содержит 112 млн параметров, использует 100 мел-полос, частоту дискретизации 24 кГц и коэффициент передискретизации 256×. Она обучена на крупной компиляции аудиоданных, включающей речь на разных языках, окружающие звуки и музыкальные инструменты. В README также описано ускорение инференса с помощью CUDA-ядра; для него требуются CUDA и совместимая версия PyTorch. Лицензия — MIT.

BR-Voice-Reasoner — мультимодальная модель для голосового взаимодействия, разработанная BR Group на основе Qwen3-Omni-30B-A3B-Thinking. Она принимает аудио и отвечает текстом, позволяя задавать вопросы по речи и получать ответы без отдельного этапа транскрибирования. Подходит для голосовых вопросов на общие знания, многошаговых рассуждений, следования инструкциям и открытого диалога, включая сценарии с требованиями безопасности и отказами. Модель использует архитектуру Mixture-of-Experts. Дообучение выполнено методом кросс-модальной дистилляции на траекториях, создаваемых самой моделью; обновлялись только два аудиоязыковых проекционных модуля, а языковая модель и аудио- и визуальные энкодеры оставались замороженными. Помимо аудио, README указывает текст, изображения и видео как входы, но визуальные и видеовозможности унаследованы от базовой модели и подробно не переоценивались. Основной фокус обучения и оценки — английский язык. Модель распространяется по лицензии Apache-2.0.

willwade/byt5-g2p-multilingual — дообученная модель ByT5 на архитектуре T5, разработанная Will Wade для преобразования написания слов в фонемную транскрипцию IPA. Она принимает слово с языковым кодом и, где нужно, указанием языкового варианта, а выдаёт фонемы в согласованной с gruut записи, подходящей для использования в голосах семейства Piper. Модель обучена на гармонизированном корпусе из 4,12 млн пар для 142 языков и языковых вариантов; число параметров по метаданным — 364,6 млн. Доступны веса safetensors и проверенная пара ONNX-моделей; для ONNX требуется соблюдать описанные в README правила кодирования токенов и декодирования. Модель предназначена для построения произношений в многоязычных голосовых и речевых системах, а также для подготовки фонетических словарей. В тестировании на выборке из 4 тысяч примеров точность полного совпадения составила 0,730 по микроусреднению и 0,617 по макроусреднению. Лицензия — CC BY-SA 4.0. Это преобразователь графем в фонемы, а не модель, генерирующая аудиосигнал; качество зависит от языка, варианта произношения и соответствия входного языкового тега обучающим данным.

Это дообученная компанией 1Developer модель OpenAI Whisper Tiny для автоматического распознавания речи. Она обучена на наборе cali-name-dataset-short-version, а её архитектура относится к семейству Whisper и реализована классом WhisperForConditionalGeneration. Модель принимает аудио и преобразует речь в текст; карточка указывает английский язык. В репозитории представлены веса Safetensors, библиотека для работы — Transformers. Модель подходит для транскрибации английской речи и распознавания имён из обучающего набора. В README сообщаются значения WER Ortho 0,0 и WER 0,0, а также loss 0,0001 на оценочном наборе; размер и состав этого набора не раскрыты, поэтому результаты нельзя уверенно переносить на другие данные. Лицензия — Apache-2.0.

CogAgent-9B-20241220 — модель агентного исполнения с визуально-языковой архитектурой ChatGLM, разработанная ZhipuAI на базе GLM-4V-9B. Она принимает скриншоты интерфейса вместе с текстовыми инструкциями и предназначена для распознавания элементов графического интерфейса, планирования действий и выполнения задач на компьютере. Модель обучена и оптимизирована для повышения точности визуального восприятия, прогнозирования и выбора действий, а также обобщения на разные задачи; она использовалась в продукте GLM-PC компании ZhipuAI. Модель поддерживает взаимодействие на китайском и английском языках, содержит 11,4 млрд параметров и имеет контекст длиной до 8192 токенов. Это модель исполнения агента, а не разговорный помощник: непрерывный диалог не поддерживается, хотя можно передавать историю последовательных действий. Для корректной работы требуется соблюдать форматирование входа и конкатенацию промпта, описанные в официальных примерах. Лицензия указана как other, поэтому конкретные условия использования следует проверять в репозитории модели.

ConvTasNet_Libri3Mix_sepclean_16k — модель разделения речи, обученная Joris Cosentino с помощью рецепта LibriMix в Asteroid на задаче sep_clean датасета Libri3Mix. Она принимает аудиозапись с несколькими говорящими и предназначена для разделения их голосов на отдельные аудиосигналы. В тесте Libri3Mix min модель показала SI-SDR 8,93 дБ и STOI 0,848. Модель относится к семейству ConvTasNet и опубликована в формате PyTorch. Лицензия репозитория указана как CC BY-SA 4.0; в README работа обозначена как производная от корпуса LibriSpeech и лицензирована CC BY-SA 3.0. При использовании следует учитывать условия лицензирования исходных материалов и модели. Результаты приведены для Libri3Mix, поэтому качество на других наборах данных или в реальных акустических условиях может отличаться.

Data2Vec-Audio-Large — крупная модель самоконтролируемого обучения аудиоречи, разработанная Facebook. Она использует Transformer и метод self-distillation: по маскированному представлению входного аудио предсказывает контекстные латентные представления. Модель содержит 402,7 млн параметров и предназначена для извлечения признаков из речи; входное аудио должно быть дискретизировано с частотой 16 кГц. Чекпойнт предварительно обучен на аудио без текстовой разметки и не содержит токенизатора. Для распознавания речи его нужно дообучить на размеченных текстовых данных и добавить токенизатор. Модель рассчитана на английскую речь; в карточке указан набор LibriSpeech ASR. Распространяется под лицензией Apache-2.0.

Huihui-Qwen3.5-2B-abliterated — диалоговая мультимодальная модель на базе Qwen3.5-2B, созданная huihui-ai методом abliteration для существенного снижения числа отказов. Это экспериментальная реализация с подтверждением концепции, предназначенная для общения и обработки запросов с изображениями; архитектура — плотная Qwen3.5 с 2 млрд параметров. Метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и изображения и генерирует текст. Для запуска автор рекомендует актуальную версию Ollama; репозиторий распространяет веса в формате Safetensors. Лицензия — Apache-2.0. README предупреждает, что ослабление защитных фильтров может приводить к чувствительным, спорным или неподходящим ответам, которые следует проверять.

AngelSlim представляет квантизированную версию модели перевода Hy-MT1.5-1.8B, разработанной командой Tencent Hunyuan. Она предназначена для взаимного перевода между 33 языками и поддерживает 1 056 направлений перевода, включая пять диалектов и языков меньшинств. Модель содержит 1,8 млрд параметров, использует плотную архитектуру HunYuanDenseV1ForCausalLM и рассчитана на контекст до 262 144 токенов. Веса сжаты до эффективной разрядности 1,25 бита методом Sherry: для каждой группы из четырёх весов три хранятся в 1-битном виде, а один обнуляется. По README, размер сжатой версии составляет 440 МБ; она предназначена для офлайн-перевода на мобильных устройствах с ограниченной памятью. Репозиторий предоставляет веса в safetensors, а также заявляет выпуск формата GGUF и поддержку мобильного ядра STQ. Модель подходит для перевода сообщений, писем, веб-страниц и отдельных слов без передачи данных в сеть. README сообщает о минимальной потере качества при сжатии, но не приводит численных результатов именно для этой версии; фактические скорость и качество могут зависеть от устройства и реализации ядра. Лицензия в предоставленных данных не указана.

Это квантованная до 2 бит GGUF-версия Hy-MT1.5-1.8B — специализированной модели машинного перевода, разработанной командой Tencent Hunyuan. Базовая модель содержит 1,8 млрд параметров и поддерживает 33 языка, 5 диалектов и языков меньшинств, а также 1 056 направлений перевода. Модель предназначена для перевода текста, в том числе полностью офлайн на мобильных устройствах. В карточке описаны сверхкомпактный размер весов — 574 МБ — и оптимизация для устройств Arm SME2. GGUF-репозиторий распространяется как производная от AngelSlim/Hy-MT1.5-1.8B-2bit; README описывает 2-битную квантизацию с методом Stretched Elastic Quantization и дистилляцией с учётом квантования. Условия лицензии в предоставленных данных не указаны.

Typhoon-Vision Preview — мультимодальная модель команды Typhoon AI на основе Llama 3 Typhoon v1.5 8B Instruct и визуального энкодера SigLIP; рецепт обучения основан на Bunny от BAAI. Это плотная модель с архитектурой Llama и примерно 7,5 млрд параметров, которая принимает текст и изображения и формирует текстовые ответы. Она предназначена для диалогов и ответов на вопросы по изображениям, прежде всего на тайском и английском языках; доступный контекст — 8192 токена. В README версия названа исследовательским превью и отмечена как экспериментальная. В приведённой оценке она показывает результаты на MMBench, POPE и GQA, включая тайскую версию GQA. Модель может неточно следовать инструкциям и галлюцинировать; у неё нет механизмов модерации, поэтому ответы могут быть вредными или неприемлемыми. Лицензия — Llama 3 Community License.

LLaMA-VID — открытая мультимодальная чат-модель, разработанная авторами проекта LLaMA-VID на основе LLaVA и полученная дообучением LLaMA/Vicuna на инструкционных данных, созданных GPT. Вариант llama-vid-7b-full-224-video-fps-1 обучен в ноябре 2023 года; в метаданных указаны архитектура LlavaLlamaAttForCausalLM, 6,6 млрд параметров и контекст 4096 токенов. Модель предназначена для диалога по изображениям и видео, включая видео длительностью до часа. Обучение использовало данные LLaVA-1.5, включая пары изображение–текст и мультимодальные инструкции, а также подписи и вопросы-ответы по видео из WebVid и ActivityNet. Модель подходит для исследовательских экспериментов с пониманием видео, визуальными вопросами и ответами и мультимодальными чатботами. Карточка указывает исследовательское назначение; лицензия в доступных данных не приведена.

LongVU_Qwen2_7B — модель для понимания длинных видео и ответов на вопросы о них, разработанная командой LongVU на базе Qwen2-7B. Она принимает видео вместе с текстовым запросом и генерирует текстовый ответ. Модель представлена в архитектуре CambrianQwen, содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель предназначена для анализа содержания и временной структуры длинных видео в диалоговом формате. В README упомянуты наборы данных OneVision и VideoChat2. Репозиторий содержит веса в формате safetensors и опубликован по лицензии Apache-2.0.

facebook/mms-tts-cax — модель синтеза речи на языке чикитано (cax), разработанная Facebook в рамках проекта Massively Multilingual Speech (MMS). Она преобразует текст на чикитано в речевую аудиоволну и предназначена для озвучивания текстов на этом языке. Модель использует архитектуру VITS и обучена как отдельный языковой чекпойнт MMS-TTS. Это компактная модель с 3,5 млн параметров; для работы с ней подходит библиотека Transformers версии 4.33 и новее. Из-за стохастического предсказания длительности генерация недетерминирована: для повторения результата требуется фиксированное случайное зерно. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

facebook/mms-tts-sxn — модель синтеза речи на языке сангир (Sangir, sxn), созданная Facebook в рамках проекта Massively Multilingual Speech. Она преобразует текст на сангире в речевую аудиоволну и предназначена для озвучивания текста и создания речевых интерфейсов на этом языке. Модель использует архитектуру VITS — сквозную систему синтеза речи на основе вариационного автоэнкодера, flow-модуля и декодера в стиле HiFi-GAN. Чекпойнт содержит 3,5 млн параметров и доступен в форматах PyTorch и Safetensors; для работы используется библиотека Transformers версии 4.33 или новее. Отдельный чекпойнт MMS-TTS обучен для каждого языка. Генерация недетерминирована из-за стохастического предсказателя длительности; для повторяемого результата нужен фиксированный seed. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Качество и естественность синтеза для конкретных текстов в карточке не оценены.

Tilas представил NeuTTS Air — дообученную версию neuphonic/neutts-air для синтеза речи на марокканском диалекте арабского языка (дариже). Модель содержит 552,8 млн параметров, использует архитектуру Qwen2 и выдаёт речевые токены NeuCodec; для преобразования их в аудио нужен декодер neuphonic/neucodec. Контекст модели — 32 768 токенов. Модель предназначена для генерации дариджской речи по тексту. Обучение выполнено на токенах из Tilas/MoulSot-Tokens-v1, полученных из корпуса MoulSot с примерно 101,9 часами транскрибированной речи. При инференсе необходимо использовать тот же фонемизатор на основе espeak-ng, что применялся при обучении. Качество произношения ограничено тем, что espeak-ng использует фонологические правила современного литературного арабского, а не специализированную фонемизацию дариджи; французские заимствования могут звучать с английским оттенком. Транскрипты автоматически созданы Gemini-2.5-Pro и не проверены людьми, а исходные записи с YouTube различаются по акустическим условиям. Модель распространяется по лицензии Apache-2.0.

OS-Atlas-Pro-7B — мультимодальная модель для GUI-агентов, разработанная командой OS-Copilot и дообученная для генерации действий в графическом интерфейсе. На вход она принимает изображение экрана и текст с инструкцией, системным промптом и описанием доступных базовых или пользовательских действий; на выходе формирует рассуждение и следующий шаг агента. Модель предназначена для выполнения отдельных шагов взаимодействия с интерфейсами приложений и операционных систем: например, выбора элемента или выполнения действия по инструкции. Это плотная архитектура Qwen2-VL с 7,1 млрд параметров; используется библиотека Transformers, формат весов — safetensors. Нативная длина контекста — 32 768 токенов. Базовая модель — Qwen/Qwen2-VL-7B-Instruct. Модель ориентирована на GUI-задачи и, согласно карточке, показывает улучшенную обобщающую способность относительно описанных в статье вариантов OS-Atlas. Карточка не приводит конкретные сведения о поддерживаемых естественных языках. Лицензия — Apache-2.0.

jaykwok/Qwen3-ASR-1.7B-JA-Anime-Galgame-hf — японская модель распознавания речи, созданная на базе Qwen3-ASR-1.7B и дообученная для аудио из аниме и галгеймов. Репозиторий преобразован в формат, совместимый с нативной загрузкой через Hugging Face Transformers; дообученные веса сохранены без изменений. Для загрузки требуется Transformers версии 5.13.0 или выше, модель принимает аудио и выдаёт текст на японском языке. В репозитории также доступны отдельные CTC-головы для выравнивания японской транскрипции с аудио. Они определяют временные границы символов и паузы, что помогает создавать точные субтитры и выбирать места разбиения длинной записи. Головы используют аудиоэнкодер именно этой дообученной модели и не предназначены для переноса на другие модели или дообучения. Модель распространяется по лицензии Apache-2.0.

ScaleCUA-7B — мультимодальная модель OpenGVLab для управления графическим интерфейсом компьютера. Это дообученная версия Qwen2.5-VL-7B-Instruct с 7,1 млрд параметров, построенная на архитектуре Qwen2.5-VL. Модель принимает визуальный ввод и инструкции на естественном языке и генерирует текст с действиями для интерфейса; для работы с ней README приводит пример загрузки через Transformers. Контекст модели составляет 128 000 токенов. Модель предназначена для автоматизации многошаговых задач в графических интерфейсах на разных платформах. В режиме Direct Action она определяет элементы интерфейса и выдаёт действия вроде нажатия кнопки с координатами; в режиме Reasoned Action сначала планирует операцию, затем формирует инструкции и действия. По README, данные обучения охватывают шесть операционных систем и три предметные области. Авторы сообщают о результатах на бенчмарках WebArena-Lite-v2, ScreenSpot-Pro, MMBench-GUI и OSWorld-G. ScaleCUA-7B распространяется под лицензией Apache-2.0. Она рассчитана на управление интерфейсами по визуальному контексту, однако приведённые в карточке результаты относятся к бенчмаркам и не гарантируют успешного выполнения произвольных задач. Для прямого управления требуется преобразовать координаты действий с учётом изменения размера изображения; карточка не заявляет поддержку русского языка.

Step-Audio-R1.1 — аудиодиалоговая модель StepFun для интерактивного общения с низкой задержкой и рассуждениями во время речи. Архитектура StepAudio2ForCausalLM использует два компонента: один отвечает за формирование рассуждений, другой — за речевое взаимодействие; модель опирается на акустические представления, а не только на текст транскрипции. В README приведена конфигурация обслуживания с контекстом до 16 384 токенов. Модель предназначена для разговорных сценариев, где нужны быстрые ответы на речь и выполнение сложных рассуждений в реальном времени. Для развёртывания описаны Linux, Python 3.10 или новее, NVIDIA GPU с CUDA и специальная сборка vLLM; также доступен API StepFun Audio Studio. Репозиторий содержит веса safetensors, лицензия — Apache-2.0. README не приводит языки или оценку требуемых ресурсов для иных конфигураций.

Карточка модели Yongxin-Guo/trace на Hugging Face совпадает с карточкой Yongxin-Guo/trace-uni, поэтому описание составлено по ней. TRACE-uni — видеоязыковая модель Yongxin Guo и соавторов для понимания событий в видео. Она основана на дообученной Mistral-7B-Instruct-v0.2 и использует причинное моделирование событий, последовательно связывая временные метки, оценки значимости и текстовые описания. Размер модели — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для поиска событий и временных интервалов в видео, плотного описания видео и ответов на вопросы о его содержании. В README также приведены результаты на задачах общего понимания видео. Репозиторий содержит веса safetensors; лицензия — Apache-2.0. Для работы с видео требуется видеовход, однако доступная классификация Hugging Face указывает только задачу генерации текста.

VoxCPM-GGUF — это набор весов моделей VoxCPM, адаптированный для запуска в формате GGUF через проект VoxCPM.cpp на базе ggml. Модель разработана сообществом OpenBMB, а репозиторий и конвертацию для C++-инференса поддерживает bluryar. Назначение модели — синтез речи из текста с использованием аудиоподсказки и текстовой расшифровки, что позволяет задавать характеристики целевого голоса и применять voice cloning-сценарии. В карточке указаны базовые модели openbmb/VoxCPM1.5 и openbmb/VoxCPM-0.5B. Доступны варианты квантования Q4_K, Q8_0, F16 и F32, включая конфигурации с AudioVAE-F16. Для инференса поддерживаются CPU, CUDA и Vulkan. Входными данными служат текст, а также prompt-аудио и соответствующий prompt-текст; выходом является WAV-аудио. В README приведены примеры на китайском языке, однако полный список поддерживаемых языков и размер контекстного окна не указаны. К сильным сторонам относятся автономный C++-инференс, существенно меньший размер квантованных файлов и возможность работы на CPU или GPU. Для voxcpm-0.5b размер варианта Q4_K составляет около 477 МБ, для voxcpm1.5 — около 582 МБ; приведённые бенчмарки показывают ускорение CUDA по сравнению с CPU. Ограничениями являются необходимость отдельного проекта VoxCPM.cpp и аудиокомпонентов для полного конвейера, а также ещё не завершённые планы по улучшению производительности и серверному OpenAI-совместимому API. Проект распространяется по лицензии Apache 2.0.

Wav2Vec2-XLS-R-300M-Japanese-Hiragana — модель распознавания японской речи, созданная дообучением facebook/wav2vec2-xls-r-300m на датасетах JSUT и Common Voice Japanese. Она принимает аудио с частотой дискретизации 16 кГц и преобразует его в последовательность символов хираганы без границ между словами. Архитектура — Wav2Vec2ForCTC; в репозитории указано около 402,8 млн параметров, веса доступны в формате PyTorch. Модель подходит для транскрибации японской речи и экспериментов с распознаванием японского аудио. На тестовой выборке Common Voice Japanese указаны WER 90,66% и CER 19,35%, поэтому качество распознавания слов ограничено. Лицензия в предоставленных данных не указана.

Tonykip/whisper-kalenjin-v3-turbo — модель распознавания речи на языке календжин, разработанная как дообучение Whisper large-v3-turbo с помощью LoRA. В репозитории размещена полная объединённая модель: адаптер уже встроен в веса; архитектура — WhisperForConditionalGeneration, размер — около 905,2 млн параметров. Модель предназначена для преобразования аудио на календжин в текст, прежде всего для речи кипсигис и нанди. Обучение проводилось на размеченных записях чтения из датасета Anv-ke/Kalenjin; для длинных аудио автор рекомендует чанковое декодирование и beam search со значением 5. На тесте из 198 фрагментов спонтанной речи указаны WER 65,56% и CER 21,10%; на английском модель уступает базовой Whisper примерно 5 пунктов WER. Ограничения включают заметно худшее качество на спонтанной речи и диалектах, недостаточно представленных в обучающих данных, а также повышенную задержку при beam search. Для длинных записей требуется чанковая обработка. Лицензия модели — MIT.

ZeroGUI-OSWorld-7B — визуально-языковая модель OpenGVLab для работы с графическими интерфейсами. Она основана на Qwen2-VL и дообучена на ByteDance-Seed/UI-TARS-7B-DPO; в карточке описан фреймворк ZeroGUI, который обучает GUI-агентов с помощью онлайн-обучения с подкреплением: автоматически создаёт исполняемые задачи, оценивает успех по скриншотам и адаптирует агента в ходе работы. Модель содержит 7,1 млрд параметров, принимает изображения и текстовые инструкции и предназначена для диалогового взаимодействия с визуальными интерфейсами. Заявленная длина контекста — 32 768 токенов. Указаны английский и китайский языки. Лицензия — Apache-2.0. README не содержит подробностей о формате действий агента или результатах оценки ZeroGUI-OSWorld-7B.

BigVGAN-v2 44 kHz — нейронный вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Он преобразует мел-спектрограмму в аудиосигнал и предназначен для синтеза речи и других аудио по спектральным признакам. Эта конфигурация использует 128 мел-полос, частоту дискретизации 44 кГц, коэффициент передискретизации 256 и содержит 112 млн параметров. Модель обучена на крупной компиляции разнообразных аудиоданных, включая многоязычную речь, звуки окружающей среды и музыкальные инструменты. В BigVGAN-v2 улучшены дискриминатор и функция потерь; для ускорения инференса предусмотрено CUDA-ядро, которое, по данным авторов, ускоряет синтез в 1,5–3 раза на GPU A100. Для его сборки нужны CUDA, nvcc и ninja; код проверен с CUDA 12.1. Репозиторий содержит веса PyTorch. Лицензия — MIT.

Карточка модели binant/bigvgan_v2_44khz_128band_512x на Hugging Face совпадает с карточкой nvidia/bigvgan_v2_44khz_128band_512x, поэтому описание составлено по ней. BigVGAN-v2 — нейронный вокодер, разработанный Sang-gil Lee, Wei Ping, Boris Ginsburg, Bryan Catanzaro и Sungroh Yoon. Эта версия принимает мел-спектрограмму с 128 полосами и синтезирует аудиоволну с частотой дискретизации 44 кГц; коэффициент увеличения частоты дискретизации составляет 512. В модели 122 млн параметров, она обучена на крупной компиляции аудиоданных и не является дообучением другой модели. Модель предназначена для преобразования мел-спектрограмм в аудио, например, как компонент систем синтеза речи и других аудио-генеративных конвейеров. Обучение включало разные типы аудио: речь на нескольких языках, окружающие звуки и музыкальные инструменты. Для ускорения вывода доступно CUDA-ядро; README сообщает об ускорении в 1,5–3 раза на GPU A100. Для его сборки нужны CUDA, nvcc и ninja. Модель распространяется по лицензии MIT.