/ Модель

Характеристики

Лицензия
Своя лицензия
Опубликована
27 ноя 2024

glm-edge-v-2b-gguf

Изображение и текст → текст3 профессии

GLM-Edge-V-2B-GGUF — мультимодальная модель семейства GLM, опубликованная организацией zai-org.

712скачиваний за 30 дней18лайковвеса обновлены28 ноя 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

Она предназначена для задач image-text-to-text: обработки изображений и текста с генерацией текстовых ответов. Модель доступна в формате GGUF и ориентирована на запуск локально через llama.cpp-совместимые инструменты.

Заявленный размер модели — 2 млрд параметров. Поддерживаются китайский и английский языки. В README не указаны точная архитектура, максимальная длина контекста, перечень поддерживаемых форматов изображений и результаты оценивания качества, поэтому производительность в конкретных сценариях определить нельзя.

К сильным сторонам относятся компактный размер, мультимодальность и возможность локального запуска с аппаратным ускорением. Ограничением является то, что адаптация модели интегрируется в llama.cpp и на момент публикации предлагается использовать специальную ветку проекта, поэтому совместимость и удобство эксплуатации могут отличаться от стандартной версии llama.cpp. Использование весов регулируется условиями лицензии GLM-4, указанными в файле LICENSE.

Для каких профессий подходит3

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Glm-Edge-V-2B-GGUF

中文阅读, 点击这里

Inference with Ollama

Installation

The code for adapting this model is actively being integrated into the official llama.cpp. You can test it using the following adapted version:

git clone https://github.com/piDack/llama.cpp -b support_glm_edge_model
cmake -B build -DGGML_CUDA=ON # Or enable other acceleration hardware
cmake --build build -- -j 

Inference

After installation, you can start the GLM-Edge Chat model using the following command:

llama-cli -m <path>/model.gguf -p "<|user|>\nhi<|assistant|>\n" -ngl 999

In the command-line interface, you can interact with the model by entering your requests, and the model will provide the corresponding responses.

License

The usage of this model’s weights is subject to the terms outlined in the LICENSE.

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

Универсальный рантайм

Нельзя запустить

GGUF-веса поддерживаются только для текстовых LLM (llama.cpp).

Ревизия весов
d76cbe1

0 моделей