GLM-5.1 — языковая модель Z.ai для генерации кода и длительных агентных инженерных задач с инструментами.

Подходит для: генерация кода по описанию задачи · поиск и исправление ошибок в репозитории · выполнение многоэтапных задач в терминале

Экспериментальная NVFP4-квантизация Qwen3.6-35B-A3B в GGUF для генерации текста и диалогов через llama.cpp.

Подходит для: диалоговое взаимодействие с локальной языковой моделью · генерация ответов и связного текста · решение математических задач GSM8K

Пакет слоёв GGUF GLM-5.3-Flash для локального распределённого чат-инференса на нескольких машинах через Mesh LLM.

Подходит для: локальный приватный чат-инференс · запуск модели с распределением слоёв между несколькими компьютерами · обслуживание чат-запросов через совместимый с OpenAI локальный API

Квантованная GGUF-модель Qwen-семейства для локальной генерации текста без стандартного поведения отказа, с опциональным ускорением MTP.

Подходит для: локальный чат без стандартных отказов модели · генерация кода Python · создание JSON-ответов

Сжатая диалоговая MoE-модель GLM-4.7-Flash для генерации текста, программирования и агентных задач с контекстом до 202 752 токенов.

Подходит для: генерация и объяснение программного кода · работа с большими репозиториями кода · вызов функций в диалоговых приложениях

Компактная модель-черновик DFlash предлагает блоки токенов для speculative decoding, ускоряя генерацию текста целевой моделью openai/gpt-oss-120b.

Подходит для: ускорение инференса openai/gpt-oss-120b через speculative decoding · ускорение генерации ответов на математические задачи · ускорение генерации кода при решении задач HumanEval и MBPP

Квантованная GGUF-модель Qwen3.8-27B в пакете слоёв Mesh LLM для локального и распределённого чата и генерации текста.

Подходит для: локальный приватный чат с языковой моделью · генерация текста на собственном оборудовании · запуск модели на нескольких машинах через Mesh LLM

GGUF-версия англоязычной 2-миллиардной BitNet b1.58 от Microsoft Research для генерации текста и диалога с эффективным CPU-инференсом.

Подходит для: локальный запуск языковой модели на CPU · генерация ответов в диалоговом интерфейсе · следование инструкциям и составление текстов

Вспомогательная модель DFlash, которая ускоряет генерацию текста моделью Google Gemma 4 31B Instruct за счёт спекулятивного декодирования.

Подходит для: Ускорение генерации ответов Gemma 4 31B Instruct · Параллельное черновое предсказание токенов при спекулятивном декодировании · Снижение задержки текстовой генерации в совместимом сервере vLLM

Промежуточная компактная модель семейства Llama для генерации текста и экспериментов с моделями, работающими при ограниченных вычислительных ресурсах.

Подходит для: генерация коротких текстов · эксперименты с компактными языковыми моделями · разработка приложений на базе Llama при ограниченной памяти

Вспомогательная модель-драфтер Gemma 4 E4B для ускорения генерации текста методом speculative decoding в связке с целевой моделью.

Подходит для: ускорение генерации ответов чат-моделью Gemma 4 · снижение задержки генерации текста на устройстве · ускорение пошаговой генерации в приложениях с длинными ответами

Пакет GGUF-слоёв GLM-5.3 для локального распределённого чат-инференса через Mesh LLM.

Подходит для: локальный чат-инференс на собственном оборудовании · запуск модели на нескольких компьютерах с распределением слоёв · обслуживание запросов через локальный API, совместимый с OpenAI

Пакет слоёв GGUF в формате IQ4_XS для распределённого запуска чат-модели семейства Qwen3 через Mesh LLM.

Подходит для: локальный приватный запуск чат-модели · распределённый инференс на нескольких машинах · обслуживание чата через OpenAI-совместимый локальный API

Пакет GGUF-слоёв DeepSeek-V4-Flash в варианте UD-Q4_K_XL для локального распределённого чат-инференса через Mesh LLM.

Подходит для: локальный приватный чат-инференс · запуск модели на нескольких машинах, когда веса не помещаются на одном узле · обслуживание запросов chat completions через совместимый с OpenAI API

Черновая DFlash-модель для ускорения генерации текста базовой моделью Gemma 4 посредством speculative decoding.

Подходит для: ускорение генерации ответов Gemma 4 на сервере · ускорение пакетной генерации при параллельной обработке запросов · снижение задержки генерации в совместимой конфигурации vLLM

Квантованный пакет слоёв DeepSeek-V4-Flash для локального распределённого чата и генерации текста через Mesh LLM.

Подходит для: локальный приватный чат с языковой моделью · генерация текста на локальном Mesh LLM-кластере · распределённый инференс между несколькими компьютерами

Квантованный набор GGUF-вариантов Qwen3.5-35B-A3B от LocalAI для локального диалога и генерации текста с разными компромиссами между размером, скоростью и качеством.

Подходит для: локальный чат и ответы на запросы · генерация текста через llama.cpp · развёртывание чат-модели через LocalAI

Сжатая MoE-версия GLM-4.5-Air для генерации текста и кода, агентных сценариев и вызова функций при сниженных требованиях к памяти.

Подходит для: генерация и дополнение кода · помощь агенту в изменении кода в репозитории · вызов функций и инструментов в диалоговом приложении

Пакет слоёв GGUF GLM-5.2-Q2_K-MTP-Q8 для распределённого локального чат-инференса через Mesh LLM.

Подходит для: локальный приватный чат-инференс на собственном оборудовании · распределённый запуск модели на нескольких машинах · обслуживание запросов через совместимый с OpenAI API

Компактный мультимодальный драфтер Gemma 4 для ускорения генерации текста методом спекулятивного декодирования.

Подходит для: ускорение генерации текста в конвейере speculative decoding · снижение задержки генерации на локальных устройствах · предсказание нескольких следующих токенов для проверки целевой моделью

Дообученный assistant-чекпойнт Gemma 4 26B A4B для ускорения генерации в совместимом конвейере спекулятивного декодирования.

Подходит для: ускорение генерации текста в конвейере speculative decoding · ускорение диалоговых ответов с целевой моделью Gemma 4 26B A4B · использование в исследовательских и пользовательских сборках на базе Gemma 4

Слоевой GGUF-пакет GLM-4.7 для локального чат-инференса, в том числе распределённого между несколькими машинами через Mesh LLM.

Подходит для: локальный приватный чат с языковой моделью · генерация текста через совместимый с OpenAI API · распределённый запуск модели на нескольких компьютерах

Пакет слоёв GGUF модели GLM-5.2-Q2_K-MTP-Q8 для распределённой генерации текста и локального чат-сервинга на Mesh LLM.

Подходит для: Локальный приватный чат с языковой моделью · Распределённый запуск модели на нескольких компьютерах · Генерация текста через локальный сервер Mesh LLM

Пакет Gemma 4 26B A4B IT в квантизации UD-Q4_K_M для распределённой локальной генерации текста и чатов с Mesh LLM.

Подходит для: локальный запуск чат-модели на собственном оборудовании · распределённый инференс на нескольких компьютерах · генерация ответов через совместимый с OpenAI API