Набор ресурсов MLX для локального уточнения движения рта в портретном видео по речи в AI2Apps H3 Portrait.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Пакет Avdpro/H3-Portrait-Refiner-MLX содержит ресурсы для локального уточнения движения рта на видео по речи в системе AI2Apps H3 Portrait. В состав входят MuseTalk 1.5 в квантизации Q4, YuNet 2023mar, преобразованный в переносимый граф MLX, и BiSeNet в формате BF16. Репозиторий использует библиотеку MLX и хранит компоненты в формате safetensors.
Пакет предназначен для речевого уточнения области рта в портретном видео. Он содержит только вспомогательные модельные ресурсы: веса H3, исполняющая среда, пользовательские записи и изображения портретов в него не входят; код модели распространяется отдельно пакетом AI2Apps. Лицензии компонентов сохранены отдельно, общей лицензии на весь набор нет.
Репозиторий содержит только вспомогательные ресурсы: веса H3, исполняющая среда и исходные изображения или записи отсутствуют, а код модели распространяется отдельно. Общая лицензия на набор не предоставлена; применяются лицензии отдельных компонентов.
README от автора на Hugging Face, как он его опубликовал
Speech-driven local mouth refinement for AI2Apps H3 Portrait. This bundle contains MuseTalk 1.5 Q4, YuNet 2023mar converted to a portable MLX graph, and BiSeNet BF16. It contains no H3 weights, Runtime, user recordings, or portrait images. Model code is shipped separately by the AI2Apps model Package.
Sources and pinned revisions are recorded in sources.json. Original model cards and component licenses are preserved. See NOTICE.md. No blanket relicensing.
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · mlx
MLX-модели работают только на Apple Silicon.