/ Модель

Характеристики

Лицензия
Apache 2.0
Базовая модель
mamba-130m
Опубликована
12 мар 2024

mamba-gguf

Генерация текстаТекст → текст4 профессии

Mamba GGUF — набор базовых языковых моделей, разработанных командой state-spaces и преобразованных в формат GGUF для запуска с помощью llama.cpp.

970скачиваний за 30 дней3лайкавеса обновлены12 мар 2024

Бенчмарки

Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды

Публичные оценки

Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.

В подключённых источниках результатов для этой модели пока нет.

Что умеет модель

Описание составлено по карточке модели и метаданным Hugging Face

В набор входят варианты на основе моделей Mamba размером от 130 млн до 2,8 млрд параметров, включая версию 2,8 млрд slimPajama.

Модели предназначены для генерации текста и локального инференса с выбором различных уровней квантования и точности: от 2- и 3-битных вариантов до F16 и F32. Формат GGUF упрощает использование моделей с llama.cpp, а выбор размера и точности позволяет адаптировать требования к памяти и скорости под конкретное оборудование. README не указывает поддерживаемые языки, размер контекстного окна и набор модальностей; по назначению это текстовые, а не мультимодальные модели.

Сильная сторона набора — широкий выбор размеров и форматов представления: Q4_K_M, Q5_K_S и Q5_K_M обозначены как сбалансированные или рекомендуемые варианты, тогда как низкобитные форматы могут заметно снижать качество. F16 обеспечивает качество, почти идентичное исходной модели, а F32 соответствует исходной точности и рекомендован авторами Mamba, но требует больше памяти. Модели распространяются по лицензии Apache-2.0.

Для каких профессий подходит4

Разделы каталога профессий, в задачах которых используется эта модель

Все профессии

Карточка модели

README от автора на Hugging Face, как он его опубликовал

Открыть на Hugging Face

Mamba GGUF

These are the Mamba base models, converted to GGUF for use with llama.cpp, in a variety of precisions (2, 3, 4, 5, 6, 8, 16, and 32-bit).

Please click "Files and versions" at the top of the page to choose your desired model size, and then click the "📦LFS ↓" button next to your desired quantization.

Here is a table adapted from TheBloke explaining the various precisions:

Quant methodUse case
Q2_Ksignificant quality loss - not recommended for most purposes
Q3_K_Svery small, high quality loss
Q3_K_Mvery small, high quality loss
Q3_K_Lsmall, substantial quality loss
Q4_0legacy; small, very high quality loss - prefer using Q3_K_M
Q4_K_Ssmall, greater quality loss
Q4_K_Mmedium, balanced quality - recommended
Q5_0legacy; medium, balanced quality - prefer using Q4_K_M
Q5_K_Slarge, low quality loss - recommended
Q5_K_Mlarge, very low quality loss - recommended
Q6_Kvery large, extremely low quality loss
Q8_0very large, extremely low quality loss - not recommended
F16half precision - almost identical to the original
F32original precision - recommended by the Mamba authors

Как запустить

На своей GPU в ailist. Цена — по текущим предложениям провайдеров

GPU в ailist

llama.cpp

Нельзя запустить

GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.

Ревизия весов
4f5fc95

0 моделей