Дообученная на базе LLaVA-NeXT-Video-7B модель переводит жестовый язык с видео в текст.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.
Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.
Напишите запросы, при необходимости приложите файлы и эталонные ответы.
Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Remostart/sign-language — дообученная Remostart модель на архитектуре LLaVA-NeXT-Video-7B, предназначенная для перевода жестового языка по видео в текст. Она принимает видео и формирует текстовый перевод; базовая модель — мультимодальная LLaVA-NeXT-Video-7B для ответов на вопросы об изображениях и видео. Модель распространяется в формате safetensors и использует библиотеку Transformers.
Лицензия модели — MIT. Карточка не сообщает, какие жестовые языки входят в обучающие данные и насколько точно модель работает в разных условиях съёмки; результат перевода следует проверять, особенно при практическом использовании.
README не уточняет поддерживаемые жестовые языки, обучающие данные и точность перевода.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This is a fine-tuned version of LLaVA-NeXT-Video-7B for sign language translation.
from transformers import LlavaNextVideoForConditionalGeneration, AutoProcessor
import torch
model = LlavaNextVideoForConditionalGeneration.from_pretrained("Remostart/sign-language")
processor = AutoProcessor.from_pretrained("Remostart/sign-language")
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
Универсальный рантайм · transformers
Подбираем GPU…