/ Модель

Характеристики

Контекст
32 768 токенов
Параметры
1,5 млрд
Лицензия
Apache 2.0
Архитектура
qwen2_vl · dense
Базовая модель
Qwen2-VL-2B-Instruct
Библиотека
transformers
Опубликована
2 ноя 2024

Vikhr-2-VL-2b-Instruct-experimental

Изображение и текст → текст3 профессии

Экспериментальная мультимодальная модель Vikhr Team для ответов на русском языке и анализа изображений по текстовым запросам.

177скачиваний за 30 дней20лайковвеса обновлены3 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Тесты пользователейпока нет

Никто ещё не опубликовал тест этой модели. Соберите бенчмарк из своих задач — результат появится здесь.

  1. Добавьте модель в бенчмарк

    Вместе с другими моделями категории «Изображение → текст» — сравнение идёт внутри одной категории.

  2. Опишите свои задачи

    Напишите запросы, при необходимости приложите файлы и эталонные ответы.

  3. Запустите и опубликуйте

    Модели ответят на каждую задачу, судья оценит ответы. Опубликованный результат появится на этой странице.

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Vikhr-2-VL-2b-Instruct-experimental — компактная мультимодальная модель Vikhr Team на архитектуре Qwen2-VL, дообученная на переведённом датасете LLAVA-150K для работы с русскоязычными запросами об изображениях. Она принимает текст и изображения и формирует текстовые ответы; подходит для диалога, визуального анализа и ответов на вопросы по изображениям. Модель насчитывает 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Также заявлена поддержка английского языка.

Модель является экспериментальной: ответы могут быть непредсказуемыми, а распознавание текста на изображениях (OCR) особенно ненадёжно. Распространяется по лицензии Apache-2.0.

Сценарии применения

  • ответы на вопросы по изображениям на русском языке
  • описание содержимого фотографии
  • визуальный диалог об изображении
  • экспериментальный анализ изображений с текстовыми запросами

Ограничения

Модель экспериментальная, и её ответы могут быть непредсказуемыми; распознавание текста на изображениях особенно ненадёжно.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

💨👁️ Vikhr-2-VL-2b-Instruct-experimental

Vikhr-2-VL-2b-Instruct-experimental — это компактная VLM модель на базе Qwen2-VL-2B-Instruct, обученная на переведенном датасете LLAVA-150K, специально доученная для обработки на русском языке. Дообученная модель является эксперементальной и не всегда будет работать ожидаемо (особенно OCR). Для обратной связи используйте Vikhr Models

Попробовать / Try now:

Open In Colab

Авторы / Authors

@inproceedings{nikolich2024vikhr,
  title={Vikhr: Constructing a State-of-the-art Bilingual Open-Source Instruction-Following Large Language Model for {Russian}},
  author={Aleksandr Nikolich and Konstantin Korolev and Sergei Bratchikov and Nikolay Kompanets and Igor Kiselev and Artem Shelmanov },
  booktitle = {Proceedings of the 4rd Workshop on Multilingual Representation Learning (MRL) @ EMNLP-2024}
  year={2024},
  publisher = {Association for Computational Linguistics},
  url={https://arxiv.org/pdf/2405.13929}
}

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм · transformers

Можно запустить

Подбираем GPU…

Класс архитектуры
Qwen2VLForConditionalGeneration
Ревизия весов
dd06431

0 моделей