Компактная GGUF-версия Qwen2.5-0.5B-Instruct для генерации текста и диалогового общения.
Подходит для: генерация коротких текстовых ответов · диалоговое общение с локально запущенной моделью · прототипирование чат-ботов
Крупная модель MoE на базе Qwen 3.5 для агентного программирования, решения задач разработки и работы с инструментами.
Подходит для: решение задач разработки в терминальном coding-агенте · поиск и исправление ошибок в кодовой базе · автоматизация задач программирования с вызовом инструментов
Экспериментальный пакет квантованной Qwen3.8 для распределённого локального чат-инференса на нескольких машинах с Mesh LLM.
Подходит для: локальный приватный запуск чат-модели на собственном оборудовании · распределение инференса между несколькими машинами · обслуживание запросов через совместимый с OpenAI API чат-интерфейс
Дообученная UkisAI модель Qwen для экономичного рассуждения, программирования и многошаговых агентных задач с поддержкой изображений.
Подходит для: решение задач программирования с агентом · выполнение многошаговых задач в терминале · разработка и отладка программного обеспечения
Компактная модель на базе Qwen2.5, дообученная для ускорения генерации DeepSeek-R1-Distill-Qwen-32B методом спекулятивного декодирования.
Подходит для: ускорение генерации DeepSeek-R1-Distill-Qwen-32B через speculative decoding · использование как черновой модели для крупной языковой модели в GGUF · ускорение локального вывода на видеокартах RTX 3090 и RTX 4090
GGUF-сборка Meta-Llama-3-8B-bf16 для генерации текста и диалогового использования.
Подходит для: генерация текста по запросу · ведение текстового диалога · локальный запуск Llama в совместимой среде GGUF
Квантованный вариант DeepSeek-R1 в виде разделённого по слоям GGUF-пакета для локального и распределённого чат-инференса через Mesh LLM.
Подходит для: локальный запуск чат-модели на собственном оборудовании · распределённый инференс DeepSeek-R1 на нескольких машинах · генерация ответов через OpenAI-совместимый API Mesh LLM
Пакет GGUF-слоёв DeepSeek-V4-Flash в варианте UD-Q4_K_XL для локального распределённого чат-инференса через Mesh LLM.
Подходит для: локальный приватный чат-инференс · запуск модели на нескольких машинах, когда веса не помещаются на одном узле · обслуживание запросов chat completions через совместимый с OpenAI API
Пакет квантованной модели Qwen3.6 для распределённого локального чат-инференса на нескольких машинах через Mesh LLM.
Подходит для: локальный приватный чат с языковой моделью · генерация текста на распределённом кластере из нескольких машин · обслуживание запросов через локальный API, совместимый с OpenAI Chat Completions
GGUF-версия дообученной модели на базе Llama 3 8B для генерации текста и суммаризации.
Подходит для: суммаризация длинных текстов · составление краткого пересказа документа · диалоговая генерация текста
Квантованные GGUF-версии Llama-3-8B-merged-2-bf16 для генерации текста и чата.
Подходит для: чат с языковой моделью · генерация ответов по текстовому запросу · локальный запуск Llama в среде с поддержкой GGUF
Пакет слоёв GGUF в формате IQ4_XS для распределённого запуска чат-модели семейства Qwen3 через Mesh LLM.
Подходит для: локальный приватный запуск чат-модели · распределённый инференс на нескольких машинах · обслуживание чата через OpenAI-совместимый локальный API
GGUF-версия wxgeorge/undi95-remm-slerp-bf16 для генерации текста в совместимых средах запуска.
Подходит для: генерация текста локально в среде с поддержкой GGUF · развёртывание модели через совместимый хостинг · выбор варианта квантования под доступную память
Набор GGUF-файлов Meta-Llama-3.1-8B-bf16 для генерации текста в совместимых средах запуска.
Подходит для: генерация ответов на текстовые запросы · составление черновиков и кратких текстов · диалог с локально запущенной языковой моделью
Квантованный пакет слоёв DeepSeek-V4-Flash для локального распределённого чата и генерации текста через Mesh LLM.
Подходит для: локальный приватный чат с языковой моделью · генерация текста на локальном Mesh LLM-кластере · распределённый инференс между несколькими компьютерами
Набор вариантов квантования GGUF чат-модели TinyLLama 0.6 для запуска диалоговой генерации текста.
Подходит для: ведение текстового диалога с чат-моделью · генерация ответов на текстовые запросы · локальный запуск небольшой чат-модели в GGUF-совместимой среде
safetensors: формат, квантизация, runtime и память принадлежат одному artifact
Пакет слоёв квантованной GGUF-модели Qwen3 для локального и распределённого чат-инференса через Mesh LLM.
Подходит для: локальный приватный чат с Qwen3 · запуск модели на нескольких компьютерах · обслуживание модели, не помещающейся на одной машине
Квантованный вариант MoE-модели Ornith-1.5-35B-A3B для генерации текста и диалогов на видеокартах с 12 ГБ памяти.
Подходит для: диалоги с языковой моделью локально · генерация текста через llama.cpp · агентное программирование
GGUF-варианты дообученной модели для локальной генерации текста и диалогового общения.
Подходит для: генерация ответов в диалоговом интерфейсе · локальный запуск языковой модели в совместимом GGUF-движке · создание и продолжение текстов
GGUF-сборка дообученной Llama 3.1 8B для диалоговой генерации текста.
Подходит для: ответы на вопросы в чате · ведение диалога с пользователем · генерация черновиков и текстовых ответов
GGUF-квантование чат-модели grimjim/zephyr-wizard-kuno-royale-BF16-merge-7B для генерации текста.
Подходит для: ведение диалогов с текстовым ассистентом · генерация ответов на текстовые запросы · локальный запуск чат-модели в совместимой среде GGUF
Квантованные GGUF-варианты Qwen2.5-Coder-32B-Instruct для генерации кода и ответов на запросы разработчиков.
Подходит для: генерация фрагментов кода по описанию задачи · объяснение и разбор программного кода · помощь разработчику в диалоговом режиме
Дообученная мультимодальная модель Qwen на 27 млрд параметров для агентного программирования, отладки и анализа кода с опорой на состояние проекта.
Подходит для: поиск причин сбоев CI и ошибок линтеров · отладка shell-скриптов и тестовых сценариев · анализ файлов и конфигурации репозитория перед изменением кода