GGUF-сборка DeepSeek-R1-0528-Qwen3-8B-bf16 для локальной генерации текста с использованием llama.cpp.

Подходит для: локальная генерация ответов на текстовые запросы · диалог с языковой моделью через системный и пользовательский промпт · запуск модели в llama.cpp

Базовая модель DeepSeek на 6,6 млрд параметров для генерации, дополнения и заполнения пропусков в коде с контекстом до 16 384 токенов.

Подходит для: автодополнение кода в редакторе · заполнение пропусков и вставка кода по контексту · завершение кода с учётом файлов проекта

Квантизованная до FP4 версия DeepSeek V3-0324 для генерации текста в чат-ботах, RAG-системах и AI-агентах.

Подходит для: генерация ответов в чат-боте · ответы на вопросы по документам в RAG-системе · создание AI-агента с вызовом инструментов

Компактная англоязычная модель EleutherAI для генерации текста и контролируемых исследований поведения языковых моделей.

Подходит для: исследование интерпретируемости языковых моделей · эксперименты с продолжением английского текста · сравнение моделей одинакового размера в контролируемых условиях

Плотная англоязычная модель DeepSeek V3 для генерации текста, диалогов и разработки с интерфейсом вызова инструментов.

Подходит для: генерация английского текста · создание диалогового ассистента · отладка приложений с языковой моделью

Квантизированная до FP4 версия DeepSeek-V3.1 для генерации текста в чат-ботах, RAG-системах и AI-агентах.

Подходит для: разработка чат-бота с длинным контекстом · ответы на вопросы по внутренним документам в RAG-системе · создание AI-агента с вызовом инструментов

Мультимодальная модель DeepSeek для диалогов, рассуждений и агентных задач с изображениями и контекстом до одного миллиона токенов.

Подходит для: анализ изображений в диалоге · выполнение агентных задач с длинным контекстом · помощь в программировании и работе с кодовыми базами

Квантованный пакет слоёв DeepSeek-V4-Flash для локального распределённого чата и генерации текста через Mesh LLM.

Подходит для: локальный приватный чат с языковой моделью · генерация текста на локальном Mesh LLM-кластере · распределённый инференс между несколькими компьютерами

Базовая языковая модель DeepSeek на 66,6 млрд параметров для продолжения текста на английском и китайском языках и разработки решений на её основе.

Подходит для: продолжение заданного текста · генерация текста на английском языке · генерация текста на китайском языке

Квантованный вариант DeepSeek-R1 в виде разделённого по слоям GGUF-пакета для локального и распределённого чат-инференса через Mesh LLM.

Подходит для: локальный запуск чат-модели на собственном оборудовании · распределённый инференс DeepSeek-R1 на нескольких машинах · генерация ответов через OpenAI-совместимый API Mesh LLM

Распределённый пакет квантованной языковой модели DeepSeek-R1-Distill-Qwen-14B для локального чат-инференса через Mesh LLM.

Подходит для: локальный запуск чат-модели на собственном оборудовании · распределение инференса между несколькими машинами · обслуживание запросов через совместимый с OpenAI API

DeepSeek-MoE-16B-Chat — чат-модель DeepSeek для генерации текстовых ответов с контекстом до 4096 токенов.

Подходит для: ответы на вопросы в диалоге · чат-бот для текстового общения · генерация текстовых ответов на сообщения пользователя

Компактная модель на базе Qwen2.5, дообученная для ускорения генерации DeepSeek-R1-Distill-Qwen-32B методом спекулятивного декодирования.

Подходит для: ускорение генерации DeepSeek-R1-Distill-Qwen-32B через speculative decoding · использование как черновой модели для крупной языковой модели в GGUF · ускорение локального вывода на видеокартах RTX 3090 и RTX 4090

Пакет GGUF-слоёв DeepSeek-V4-Flash в варианте UD-Q4_K_XL для локального распределённого чат-инференса через Mesh LLM.

Подходит для: локальный приватный чат-инференс · запуск модели на нескольких машинах, когда веса не помещаются на одном узле · обслуживание запросов chat completions через совместимый с OpenAI API

Квантованная NVIDIA до FP4 версия DeepSeek R1 для генерации текста и диалогов с TensorRT-LLM.

Подходит для: генерация ответов в диалоговом ассистенте · развёртывание DeepSeek R1 на оборудовании NVIDIA Blackwell · генерация текста с длинным контекстом

Пакет слоёв квантованной DeepSeek-R1-Distill-Qwen-32B для локального распределённого текстового чата через Mesh LLM.

Подходит для: локальный приватный чат на собственном оборудовании · распределённый запуск языковой модели на нескольких машинах · обслуживание chat completions через локальный OpenAI-совместимый API

Базовая языковая модель DeepSeek для продолжения и генерации текста, пригодная также для дальнейшей адаптации.

Подходит для: продолжение заданного текста · генерация текстовых фрагментов · создание базовой модели для последующего дообучения

GLM-5 — диалоговая языковая модель для генерации текста, рассуждений, программирования и длительных агентных задач.

Подходит для: написание и отладка программного кода · решение сложных задач с пошаговыми рассуждениями · выполнение многоэтапных задач с использованием инструментов

Диалоговая модель DeepSeek на 18,1 млрд параметров для генерации текста, программирования, математики, перевода и ответов по документам.

Подходит для: ответы на вопросы в диалоге по инструкциям · генерация и объяснение кода · решение математических задач

Распределённый GGUF-пакет квантованной чат-модели DeepSeek-R1-Distill-Llama-70B для локального запуска на кластере Mesh LLM.

Подходит для: локальный запуск чат-модели на нескольких машинах · приватная генерация ответов без передачи запросов внешнему сервису · подключение чат-модели через API, совместимый с OpenAI

Плотная языковая модель DeepSeek для диалогов, генерации текста, математики, программирования, суммаризации и вызова инструментов.

Подходит для: ответы в диалоговом ассистенте · решение математических задач · помощь в написании и анализе кода

Квантованный вариант DeepSeek-V4.1-Flash для локальной генерации текста и кода на мощных компьютерах Mac с Apple Silicon.

Подходит для: локальная генерация прозы и длинных ответов · генерация и дополнение программного кода · обработка длинных текстовых запросов с контекстом до 404 805 токенов

Конвертированная в GGUF версия Josiefied-DeepSeek-R1-0528-Qwen3-8B для генерации текста и диалогового запуска через llama.cpp.

Подходит для: генерация ответов в диалоге · локальный запуск языковой модели через llama.cpp · создание текстовых продолжений по запросу

Базовая модель DeepSeek с 33,1 млрд параметров для генерации, продолжения и заполнения пропусков в программном коде.

Подходит для: автодополнение кода в редакторе · продолжение кода с учётом контекста проекта · заполнение пропусков в исходном коде