Экспериментальная компактная GPT‑2-подобная модель в форматах GGUF для генерации текста и диалогов.

Подходит для: эксперименты с генерацией текста · проверка загрузки GGUF-моделей в llama.cpp · тестирование простых диалоговых сценариев

GGUF-конверсии небольшой базовой GPT-2-модели для генерации текста и экспериментов.

Подходит для: эксперименты с генерацией английского текста · запуск небольшой GPT-2-модели в ПО с поддержкой GGUF · обучение базовой модели под конкретные задачи

GGUF-версия англоязычной 2-миллиардной BitNet b1.58 от Microsoft Research для генерации текста и диалога с эффективным CPU-инференсом.

Подходит для: локальный запуск языковой модели на CPU · генерация ответов в диалоговом интерфейсе · следование инструкциям и составление текстов

Пакет слоёв GGUF GLM-5.3-Flash для локального распределённого чат-инференса на нескольких машинах через Mesh LLM.

Подходит для: локальный приватный чат-инференс · запуск модели с распределением слоёв между несколькими компьютерами · обслуживание чат-запросов через совместимый с OpenAI локальный API

GLM-4.7 — англо-китайская языковая модель Z.ai для программирования, агентных задач, рассуждений и диалогов.

Подходит для: генерация и отладка программного кода · выполнение задач разработки через терминальный агент · создание веб-страниц и интерфейсов по описанию

GGUF-вариант BF16 модели NVIDIA Nemotron-3-Nano предназначен для диалогов, рассуждений, программирования и агентных приложений.

Подходит для: ответы на вопросы и выполнение инструкций · многоязычный чат-бот · генерация и объяснение кода

Пакет слоёв GGUF в формате IQ4_XS для распределённого запуска чат-модели семейства Qwen3 через Mesh LLM.

Подходит для: локальный приватный запуск чат-модели · распределённый инференс на нескольких машинах · обслуживание чата через OpenAI-совместимый локальный API

Экспериментальная тернарно-квантованная GGUF-модель UkisAI на базе Bonsai 2 27B для диалоговой генерации и рассуждений с более короткими цепочками.

Подходит для: генерация диалоговых ответов · решение задач на рассуждение · сравнение эффективности коротких цепочек рассуждений

Пакет GGUF-слоёв GLM-5.3 для локального распределённого чат-инференса через Mesh LLM.

Подходит для: локальный чат-инференс на собственном оборудовании · запуск модели на нескольких компьютерах с распределением слоёв · обслуживание запросов через локальный API, совместимый с OpenAI

GGUF-сборка MoE-модели Ornith для агентного программирования, генерации текста и мультимодальной работы с изображениями через llama.cpp.

Подходит для: автоматическое решение задач программирования агентом · исправление ошибок и внесение изменений в репозитории кода · выполнение задач разработки через терминал и инструменты

Мультиязычная 27-миллиардная диалоговая GGUF-модель Gastón Parravicini с ослабленным явным рефлексом отказа для генерации текста и исследований безопасности LLM.

Подходит для: диалог с мультиязычным текстовым ассистентом · генерация ответов по инструкциям · оценка отказов модели на adversarial-запросах

Пакет GGUF модели GLM-4.7-REAP-218B-A32B, разделённый на слои для локального распределённого чат-инференса через Mesh LLM.

Подходит для: локальный приватный запуск чат-модели · распределённый инференс на нескольких компьютерах · генерация ответов через совместимый с OpenAI API интерфейс Mesh LLM

GGUF-сборка диалоговой модели Ornith-1.5-35B-A3B с исправленной MTP-головой для генерации текста и спекулятивного декодирования.

Подходит для: диалоговая генерация текста · ускорение вывода через спекулятивное декодирование · локальный запуск языковой модели в llama.cpp

Пакет GGUF-слоёв NVIDIA Nemotron 3 Super для распределённого локального чат-инференса на кластере Mesh LLM.

Подходит для: локальный приватный запуск чат-модели · распределение инференса между несколькими компьютерами · обслуживание запросов через API, совместимый с OpenAI

Пакет слоёв GGUF модели GLM-5.2-Q2_K-MTP-Q8 для распределённой генерации текста и локального чат-сервинга на Mesh LLM.

Подходит для: Локальный приватный чат с языковой моделью · Распределённый запуск модели на нескольких компьютерах · Генерация текста через локальный сервер Mesh LLM

Пакет слоёв GGUF модели Ornith-1.0-35B для распределённого локального чат-инференса через Mesh LLM.

Подходит для: локальный чат-инференс модели Ornith на собственном оборудовании · распределённый запуск модели между несколькими компьютерами · обслуживание чат-запросов через совместимый с OpenAI API

Пакет слоёв GGUF Gemma 4 для распределённого чат-инференса на нескольких машинах с помощью Mesh LLM.

Подходит для: локальный приватный чат-инференс на собственном оборудовании · распределённый запуск чат-модели на нескольких компьютерах · обслуживание чат-запросов через совместимый с OpenAI API локальный сервер

GGUF-конверсия мультимодальной Blackfrost Qwen3.8-27B с квантованными NVFP4-весами для диалогов и работы с изображениями.

Подходит для: диалоговые ответы на текстовые запросы · анализ изображений в чате · обработка видеовхода через vision-проектор

Пакет слоёв GGUF GLM-5.1-UD-Q4_K_XL предназначен для распределённого локального запуска чат-модели на нескольких машинах через Mesh LLM.

Подходит для: локальный приватный запуск чат-модели · распределённый инференс на нескольких машинах · обслуживание запросов через OpenAI-совместимый Chat Completions API

Пакет слоёв GGUF модели NVIDIA Nemotron для распределённого локального чат-инференса на Mesh LLM.

Подходит для: запуск приватного чат-ассистента на собственном оборудовании · распределённый инференс модели между несколькими компьютерами · обслуживание запросов через локальный OpenAI-совместимый API

Пакет GGUF по слоям для распределённого локального запуска и чат-генерации текста с NVIDIA Nemotron 3 Nano Omni через Mesh LLM.

Подходит для: локальный приватный запуск чат-модели · распределение инференса между несколькими компьютерами · генерация ответов через локальный API Chat Completions

Англоязычная GGUF-модель на базе Gemma 4 для многоходового общения и ролевых диалогов с виртуальным компаньоном.

Подходит для: ролевые диалоги с виртуальным компаньоном · многоходовое непринуждённое общение · короткие разговорные ответы без системного промпта

Пакет слоёв квантованной GGUF-модели Qwen3 для локального и распределённого чат-инференса через Mesh LLM.

Подходит для: локальный приватный чат с Qwen3 · запуск модели на нескольких компьютерах · обслуживание модели, не помещающейся на одной машине

Слоевой GGUF-пакет GLM-4.7 для локального чат-инференса, в том числе распределённого между несколькими машинами через Mesh LLM.

Подходит для: локальный приватный чат с языковой моделью · генерация текста через совместимый с OpenAI API · распределённый запуск модели на нескольких компьютерах