ruGPT-3.5-13B-GGUF — это набор квантизированных файлов модели ruGPT-3.5-13B в формате GGUF, разработанный ai-forever.
Как модель справилась с задачами пользователей ailist и что о ней публикуют открытые лидерборды
Из открытых лидербордов. Сравнивайте результаты одного теста при одинаковых условиях — отсутствие оценки не значит, что модель хуже.
В подключённых источниках результатов для этой модели пока нет.
Описание составлено по карточке модели и метаданным Hugging Face
Модель предназначена для генерации текста и может использоваться для написания продолжений, ответов и другого текстового контента по заданному промпту.
Модель относится к типу GPT-2 и содержит 13 миллиардов параметров. Она работает с текстом, поддерживает русский и английский языки и рассчитана на запуск через инструменты, совместимые с форматом GGUF, например llama.cpp. В README приведён пример использования с контекстом 2048 токенов, однако точный максимальный размер контекста модели не указан.
Ключевое преимущество этой версии — квантизированный формат, удобный для локального запуска и более экономного использования ресурсов по сравнению с полноразмерными весами. Ограничения, требования к аппаратному обеспечению и влияние конкретных уровней квантизации на качество в README не описаны. Модель распространяется по лицензии MIT.
Разделы каталога профессий, в задачах которых используется эта модель
README от автора на Hugging Face, как он его опубликовал
This repository contains quantized GGUF format model files for ruGPT-3.5-13B.
{prompt}
llama.cpp command./main -m ruGPT-3.5-13B-Q4_K_M.gguf -c 2048 -n -1 -p 'Стих про программиста может быть таким:'
For other parameters and how to use them, please refer to the llama.cpp documentation
На своей GPU в ailist. Цена — по текущим предложениям провайдеров
GPU в ailist
llama.cpp
GGUF-модель ждёт проверки: нужно выбрать файл кванта под доступные GPU.