II.7DevOps, облако и эксплуатация IT-систем

Dagger-Qwen3.6-27B-GGUF-MTP — модель от peculiar-ragdoll, основанная на ThinkingCap-Qwen3.6-27B от bottlecapai, который, в свою очередь, является вариантом Qwen3.6-27B. Это GGUF-сборка для запуска через llama.cpp и совместимые среды, ориентированная на рассуждения, агентное программирование, генерацию кода и длительные многошаговые диалоги. В карточке также заявлена поддержка сценариев image-text-to-text и тег vision, однако подробности мультимодальной реализации не указаны. Модель имеет плотную архитектуру размером 27B параметров, заявленный нативный контекст — 262 144 токена, поддерживаемые языки — английский и китайский. Отличительная особенность этой версии — сохранённая MTP-голова nextn для speculative decoding: при поддержке со стороны runtime она может ускорять генерацию без изменения точности. Для vLLM и SGLang заявлено ускорение примерно в 1,5–2 раза, тогда как в llama.cpp требуются свежая сборка и специальный режим; актуальные релизные версии могут не поддерживать MTP. Сильные стороны модели — компактные ответы без лишнего текста, высокая эффективность рассуждений, способность сохранять связность в длинных агентных сессиях и эффективное использование контекстного окна. Главные ограничения — высокие требования к оперативной памяти из-за плотной архитектуры и дорогого KV-кэша; полный контекст 262 144 токена требует около 31,1 ГБ при 8-битном KV-кэше или 38,6 ГБ при 16-битном. Реальное ускорение MTP зависит от среды запуска. Лицензия — Apache-2.0.

TechxGenus/DeepSeek-Coder-V2-Lite-Instruct-AWQ — AWQ-квантизированная версия DeepSeek-Coder-V2-Lite-Instruct, разработанная командой DeepSeek AI. Это инструкционно настроенная языковая модель для работы с кодом, программирования, генерации и объяснения исходного кода, а также задач математического и общего рассуждения. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд параметров, из которых при обработке активируется около 2,4 млрд. Контекстное окно составляет 128 000 токенов. Семейство DeepSeek-Coder-V2 заявляет поддержку 338 языков программирования; модель предназначена прежде всего для текстовых и кодовых сценариев и не относится к мультимодальным моделям. Формат AWQ ориентирован на более эффективное размещение и выполнение модели по сравнению с полноразмерными весами, однако README не приводит конкретных требований к оборудованию или результатов именно для этой квантизированной версии. Сильными сторонами являются специализация на программировании, большой контекст, MoE-архитектура с относительно небольшим числом активных параметров и поддержка широкого набора языков программирования. Ограничения включают отсутствие в README подробных сведений о качестве AWQ-версии, аппаратных требованиях, точности квантизации и языках естественного общения. Для модели указана лицензия deepseek-license; условия следует проверять в прилагаемом LICENSE и соглашении на использование модели.

QuantFactory/DeepSeek-Coder-V2-Lite-Instruct-GGUF — это квантизированная GGUF-версия инструкционной модели DeepSeek-Coder-V2-Lite-Instruct, подготовленная QuantFactory с использованием llama.cpp на основе разработки DeepSeek. Модель относится к классу генеративных языковых моделей для работы с текстом и кодом и предназначена для локального запуска и инференса в формате GGUF. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд параметров, из которых при обработке активируется около 2,4 млрд. Максимальная длина контекста составляет 128K токенов. DeepSeek-Coder-V2 поддерживает 338 языков программирования и ориентирована на генерацию, дополнение и вставку кода, решение задач программирования и математическое рассуждение, а также на диалоговое использование в формате instruct. README не содержит точного перечня естественных языков. К сильным сторонам относятся специализация на программировании, расширенная поддержка языков программирования, длинный контекст и сниженные вычислительные требования благодаря MoE и квантизации. Ограничения конкретного варианта, включая точный тип и уровень квантизации, размер файла и требования к памяти, в README не указаны; качество также может зависеть от используемого рантайма и аппаратной конфигурации. Модель распространяется по лицензии DeepSeek License; указан тип лицензии other и ссылка на файл LICENSE.

DeepSeek-Coder-V2-Lite-Instruct-GGUF — квантованная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek-ai и преобразованной в формат GGUF компанией Second State Inc. Это инструкционная модель типа deepseek, ориентированная на работу с программным кодом и взаимодействие в формате диалога. Модель предназначена для генерации, дополнения и анализа кода, а также для решения задач разработки через текстовые инструкции. В README указана поддержка контекста до 128 000 токенов при запуске через LlamaEdge версии 0.12.3 и выше. Данные о точном размере модели, языках программирования и естественных языках, а также о поддержке мультимодальности не приведены. Доступно несколько вариантов квантования от Q2_K до Q8_0 и f16. Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с малой потерей качества; более низкая разрядность уменьшает размер файла, но может существенно ухудшать качество. Размеры файлов варьируются от 6,43 ГБ для Q2_K до 31,4 ГБ для f16. Использование регулируется лицензией deepseek-license; в метаданных она обозначена как other.

Endy-Qwen3.6-CyberSec-35B-A3B-GGUF — локальная GGUF-модель, созданная на основе huihui-ai/Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated. Это QLoRA-файнтюн, специализированный на программировании, задачах IT и кибербезопасности, включая анализ уязвимостей, пентестинг и безопасную разработку. Модель позиционируется как uncensored и предназначена для авторизованных исследований безопасности, обучения и локального запуска. Архитектура qwen3_5_moe сочетает MoE примерно с 35 млрд общих параметров и около 3 млрд активных, линейное внимание DeltaNet, native MTP и поддержку vision. Для работы с изображениями требуется парный файл mmproj; заявлена поддержка английского языка. Доступны квантизации от Q8_0 до Q2_K объёмом примерно от 37,8 до 13,2 ГБ; для GPU с 32 ГБ рекомендуется Q5_K_M. Указан контекст до 262 144 токенов и скорость около 57 токенов в секунду на Tesla V100. Сильными сторонами являются специализация на коде и кибербезопасности, поддержка текстовых и визуальных входов, экономичное MoE-вычисление и возможность локального инференса. Ограничения включают снижение качества на низких уровнях квантизации, склонность к повторениям в длительных агентных задачах и отсутствие поддержки speculative decoding и prefix-KV reuse. Модель распространяется по лицензии AGPL-3.0; использование должно соответствовать законодательству и ограничениям, связанным с происхождением части обучающих данных.

ManniX-ITA/gemma-4-A4B-98e-v6-coder-it-GGUF — это набор GGUF-квантизаций модели ManniX-ITA/gemma-4-A4B-98e-v6-coder-it, созданной на основе Gemma 4 26B-A4B. Модель ориентирована прежде всего на генерацию и анализ кода, рассуждения, агентные сценарии с вызовом инструментов и задачи с изображениями. В карточке указаны английский язык и поддержка визуальных входных данных; тип конвейера — image-text-to-text. Архитектура — MoE с примерно 20,45 млрд параметров, из которых около 4 млрд активны при обработке токена; в слоях используется 98 экспертов. Модель поставляется в различных вариантах квантизации от 2 до 8 бит, а также в F16, с применением imatrix для большинства низкоразрядных вариантов. Для llama.cpp в примере использования задан контекст 32 768 токенов, а для режима рассуждений требуется параметр reasoning-budget. Сильные стороны модели — высокая эффективность в задачах программирования при существенно меньшем объёме активных параметров и широкий выбор вариантов по балансу качества, размера и требований к памяти. По приведённым тестам HumanEval+ лучшие результаты показывают Q6_K и Q8_0 — 93,29%, а рекомендуемым компромиссом названа IQ4_XS размером 11,01 ГБ; вариант IQ2_XS заметно теряет качество. Для многошаговых агентных сценариев в репозитории исправлен дефект шаблона чата, вызывавший повторение рассуждений. Модель распространяется по лицензии Gemma. Для запуска необходим совместимый движок, например llama.cpp, и корректно настроенный шаблон чата; без reasoning-budget Gemma 4 может генерировать некорректные служебные токены. Выбор конкретной квантизации определяет требования к дисковому пространству, памяти и степень сохранения исходного качества.

GLM-5-GGUF — это квантованное представление языковой модели GLM-5, подготовленное Unsloth на основе модели zai-org/GLM-5. Модель предназначена для генерации текста, решения сложных задач рассуждения, программирования, системной инженерии и выполнения долгих агентских сценариев, включая работу с инструментами и веб-навигацию. GLM-5 имеет MoE-архитектуру с 744 млрд параметров, из которых 40 млрд активны при обработке запроса, и использует DeepSeek Sparse Attention (DSA) для снижения стоимости развертывания при сохранении возможностей работы с длинным контекстом. Для обучения применялись 28,5 трлн токенов и асинхронная инфраструктура reinforcement learning slime. В карточке указаны английский и китайский языки, библиотека Transformers и задача text-generation. GGUF-версия ориентирована на локальный запуск; Unsloth заявляет улучшенную точность своих квантований, однако конкретный размер контекста, варианты квантования и требования к оборудованию в README не указаны. Сильные стороны модели — рассуждение, кодирование, агентские задачи и работа с инструментами; приведённые бенчмарки показывают высокие результаты, в частности на SWE-bench Verified, BrowseComp и τ²-Bench. Ограничения включают очень большой общий размер модели и потенциально высокие требования к ресурсам даже при квантовании, а также отсутствие в README подробностей о производительности конкретного GGUF-варианта. Модель распространяется по лицензии MIT.

Ornith-1.5-27B-A3B-Coder-MTP-GGUF — квантизированная GGUF-версия модели Ornith-1.5-27B-A3B-Coder, разработанная ManniX-ITA. Модель предназначена прежде всего для генерации и анализа программного кода, задач рассуждения и сценариев локального запуска через llama.cpp. Она построена на архитектуре Qwen3.5-MoE и использует разреженную структуру Mixture-of-Experts: около 26,66 млрд общих параметров, из которых активно используются примерно 3 млрд. В составе модели 184 эксперта, 8 из них выбираются на шаге генерации, а также один дополнительный MTP-слой для многошагового предсказания. Модель представлена в форматах от F16 до сильно сжатых вариантов IQ2 и Q2, включая Q4_K_M, Q5_K_M, Q6_K и Q8_0; для квантов применялась индивидуальная importance matrix. Заявлена поддержка английского языка, текстового ввода и вывода, рассуждений и кода. В README также указана возможность работы с изображениями, но для этого требуется отдельно поставляемый vision projector mmproj; сами веса модели текстовые. Рекомендуемый контекст при запуске llama.cpp составляет до 262144 токенов, а использование reasoning budget считается обязательным. Сильные стороны модели — сочетание крупной общей ёмкости с низким числом активных параметров, широкий выбор уровней квантования, поддержка MoE, MTP, reasoning и локального инференса, а также наличие отдельного проектора для мультимодального режима. Ограничения включают необходимость подбирать квантование под доступную память, возможное заметное ухудшение качества в самых компактных вариантах и потенциально высокую задержку при длинных рассуждениях. Модель распространяется по лицензии Apache-2.0.

Perciqa_Aurora-Code-1-GGUF — это квантизированная версия модели Aurora-Code-1, разработанной Perciqa и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель дообучена по инструкциям на наборе данных perciqa/aurora-code-sft-v1 и ориентирована на генерацию кода. Модель предназначена для программирования, агентских сценариев, анализа и ревью кода, отладки и выполнения инструкций, связанных с разработкой программного обеспечения. В описании указана MoE-архитектура, однако точный размер модели, число активных параметров и максимальная длина контекста не приведены. Заявлена поддержка английского, французского и мультиязычного ввода; модальность — текстовая. Основное преимущество представленной версии — доступность в различных вариантах квантизации от BF16 до низкобитных форматов, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Рекомендуемые варианты Q4–Q6 обеспечивают высокое качество при меньшем объёме, но более сильная квантизация может снижать точность ответов. Для запуска подходят llama.cpp, LM Studio, Jan AI, KoboldCpp и другие совместимые инструменты. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-14B — плотная причинная языковая модель для кода, разработанная командой Qwen. Это базовый чекпойнт серии Qwen2.5-Coder на 14,7 млрд параметров (13,1 млрд без эмбеддингов), полученный дообучением Qwen2.5-14B на данных с исходным кодом, текстово-кодовым соответствием и синтетическими примерами. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; модель содержит 48 слоёв и поддерживает генерацию текста через Transformers. Модель предназначена для генерации, анализа и исправления кода, а также для задач с заполнением пропусков в коде и создания кодовых агентов. Она сохраняет способности к математике и общим языковым задачам. Контекст конфигурации составляет 32 768 токенов; с YaRN модель можно настроить на обработку контекста до 131 072 токенов. Разработчики не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для длинных запросов масштабирование YaRN может повлиять на качество обработки коротких текстов. Лицензия — Apache-2.0.

Карточка модели blestv85/Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

BCCard/Qwen2.5-Coder-32B-Instruct-FP8-Dynamic — квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанная BC Card. Это текстовая causal language model для генерации, анализа и исправления программного кода, решения задач по программированию, code reasoning и создания code agents. Модель также сохраняет способности к математике и общим текстовым задачам. Входом и выходом служит текст; заявленный язык — английский. Модель использует FP8-квантизацию весов и активаций и предназначена для эффективного инференса, в частности с vLLM версии 0.5.2 и новее. Для исходной серии Qwen2.5-Coder заявлена архитектура на базе transformers с RoPE, SwiGLU, RMSNorm и GQA; для версии 32B README указывает до 128K токенов контекста, однако конфигурация этого репозитория описана как рассчитанная на 32 768 токенов, а расширение до больших контекстов требует YaRN и может снижать производительность на коротких запросах. В документации README также встречаются противоречивые сведения о размере и архитектуре, поэтому точные параметры данной сборки следует проверять по её конфигурации. Сильными сторонами модели являются специализация на коде, поддержка генерации, рассуждений и исправления программ, а также снижение требований к памяти благодаря FP8. Ограничениями выступают зависимость производительности от совместимого оборудования и конфигурации инференса, возможное ухудшение эффективности при статическом масштабировании длинного контекста и неполная согласованность описания параметров в README. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-Coder, разработанной командой Qwen и опубликованной в репозитории Unsloth. Модель предназначена прежде всего для работы с исходным кодом: генерации, рассуждений по коду, исправления ошибок, задач code completion и создания основы для code agents. Она также сохраняет способности к математике и общим текстовым задачам. Модель является авторегрессионной causal language model на 7,61 млрд параметров, из которых 6,53 млрд не относятся к эмбеддингам. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях; предусмотрены 28 слоёв и Grouped Query Attention с 28 головами Q и 4 головами KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов, а для более длинных входов требуется настройка YaRN. Указанный язык — английский. Сильными сторонами модели являются специализация на программировании, улучшенные возможности генерации, анализа и исправления кода, большой контекст и сниженные требования к памяти благодаря 4-битному представлению. Это базовая, а не instruction-tuned модель, поэтому её не рекомендуют использовать непосредственно для диалогов без дополнительного обучения или постобработки. Для запуска рекомендуется актуальная версия transformers и, при необходимости, vLLM; статическое масштабирование YaRN может снижать качество или производительность на коротких текстах. Лицензия — Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-MXFP4-1M — это релиз Solstice-AI на базе модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Solstice-AI выполнила квантование, масштабирование контекста и упаковку, а исходную модель и её GAIN-merge разработал DavidAU. Модель предназначена для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, управления компьютером и мобильными устройствами, а также обработки длинных контекстов. README также заявляет поддержку визуального понимания через комплектный модуль mmproj-BF16.gguf, включая схемы, интерфейсы кода и видеокадры. Модель содержит 27 млрд параметров и распространяется в формате OCP Microscaling MXFP4. Заявлена гибридная архитектура Qwen 3.8: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — глобальное Grouped-Query Attention. Указаны аппаратное Multi-Token Prediction с генерацией двух токенов за проход и потенциальным ускорением 1,72–2,20 раза, а также контекст до 1 048 576 токенов благодаря YaRN RoPE scaling. Заявлены языки English и Chinese. Для запуска упоминаются vLLM, Anvil Runtime и совместимость с AMD ROCm, Intel Gaudi и современными Tensor Core. К сильным сторонам относятся большой контекст, низкоразрядное представление MXFP4, поддержка рассуждений и программирования, мультимодальность и заявленные высокие результаты в SWE-bench Pro, LiveCodeBench, OSWorld, AndroidWorld и других тестах. Ограничения включают зависимость производительности от совместимого оборудования и программного стека, а также то, что приведённые в README сравнительные результаты и характеристики не сопровождаются подробным описанием методики и независимой проверкой. Модель описана как uncensored и с удалёнными отказными ограничениями, что может повышать риски небезопасных ответов. Лицензия — Apache 2.0.

Qwen3-Coder-30B-A3B-Instruct-AWQ-4bit — это 4-битная AWQ-квантизированная версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Модель предназначена для генерации и анализа кода, агентного программирования, использования инструментов и браузера, а также понимания репозиториев и других задач, связанных с разработкой программного обеспечения. Она относится к каузальным языковым моделям и работает в режиме генерации текста без режима рассуждений и блоков <think></think>. Модель построена по Mixture-of-Experts-архитектуре: содержит 30,5 млрд параметров, из которых при генерации активируются 3,3 млрд; включает 48 слоёв, 128 экспертов, 8 активируемых экспертов и Grouped Query Attention с 32 головами Q и 4 головами KV. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN может быть расширена до 1 млн токенов. README не указывает поддерживаемые языки и модальности; по описанию модель ориентирована прежде всего на текстовые и программные данные. Сильные стороны модели — эффективность за счёт разреженной активации экспертов, длинный контекст, поддержка вызова функций и сценариев agentic coding, совместимость с инструментами и платформами вроде Qwen Code и CLINE. К ограничениям относятся необходимость подходящего аппаратного обеспечения и снижение требований к памяти именно за счёт 4-битной квантизации, которая может влиять на качество по сравнению с полной точностью; конкретные показатели такого влияния в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-W8A8 — это 8-битная версия модели Qwen3-Coder-30B-A3B-Instruct, опубликованная ramblingpolymath и основанная на исходной модели Qwen. Квантизация весов и активаций по схеме W8A8 выполнена с использованием LLM-Compressor. Модель предназначена для генерации текста и прежде всего для программирования, агентного написания кода, работы с браузером и понимания репозиториев большого размера. Модель является каузальной языковой моделью с архитектурой mixture-of-experts: всего 30,5 млрд параметров, из которых при обработке активируется около 3,3 млрд; используется 48 слоёв, 128 экспертов и 8 активируемых экспертов, а также GQA с 32 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов с помощью YaRN. Поддерживается только режим без рассуждений, без блоков <think></think>. Ключевые преимущества версии W8A8 — примерно вдвое меньшее потребление памяти по сравнению с FP16 и потенциально более высокая скорость инференса на совместимом оборудовании. Ограничения включают зависимость производительности от аппаратной поддержки 8-битного инференса, рекомендуемую архитектуру Ampere и более старые поколения, а также отсутствие в README подробностей о поддерживаемых языках и количественной оценке потери качества после квантизации. Лицензия — Apache-2.0.

Qwen3-Coder-Next-AWQ-4bit — это 4-битная AWQ-квантизованная версия открытой языковой модели Qwen3-Coder-Next, разработанной Qwen и квантизованной пользователем bullpoint. Модель предназначена для генерации кода, разработки программного обеспечения, работы кодирующих агентов, использования инструментов и function calling, а также локальной интеграции с CLI и IDE. Заявлена поддержка сценариев с длительным рассуждением, сложным использованием инструментов и восстановлением после ошибок выполнения. Модель работает только в режиме без отдельного скрытого рассуждения и не генерирует блоки <think></think>. Архитектура — causal language model с гибридной структурой Gated DeltaNet и Gated Attention, построенная на Mixture of Experts. Она содержит 80 млрд параметров всего, из которых активируется 3 млрд, 48 слоёв, 512 экспертов и 10 активируемых экспертов; нативная длина контекста составляет 262 144 токена. Поддерживаются английский и китайский языки. Квантизация выполнена методом AWQ с разрядностью 4 бита, группами размера 32 и форматом compressed-tensors; заявленный объём видеопамяти — около 45 ГБ против примерно 151 ГБ для исходной версии BF16. К сильным сторонам относятся большой контекст, низкое число активируемых параметров при сохранении заявленной производительности и пригодность для локального развёртывания агентных задач. Ограничения включают существенные требования к видеопамяти, возможные потери качества из-за квантизации и отсутствие заявленных результатов бенчмарков в карточке. Модель распространяется по лицензии Apache-2.0.

Sharp-Spark-X2.5-4B-GGUF — набор динамических GGUF-квантований модели XHToken/Spark-X2.5-4B, опубликованный peculiar-ragdoll. Это плотная модель с 4 млрд параметров для генерации текста, прежде всего для программирования, системного и кибербезопасностного кода. Модель рассчитана на работу через llama.cpp и ориентирована на пользователей с видеокартой объёмом около 6 ГБ и оперативной памятью до 16 ГБ. Архитектура поддерживает длинный контекст: из 36 слоёв 9 используют полноразмерное внимание, а 27 — скользящее окно размером 512 токенов. Заявлена работоспособность с контекстом до 131 072 токенов при умеренном снижении скорости; экономный KV-кэш делает модель пригодной для анализа больших файлов и репозиториев. Доступны варианты Q4_K_XL размером 2,67 ГБ, Q5_K_XL размером 3,24 ГБ и Q6_K_XL размером 3,61 ГБ, причём Q6_K_XL обозначен как рекомендуемый и проверенный на задачах SWE. К сильным сторонам относятся высокая скорость, небольшие требования к памяти, длинный контекст и специализированная importance matrix, рассчитанная с упором на security и systems code. По приведённым в README измерениям, вариант Q6 показывает сопоставимые с исходной моделью результаты на отдельных подвыборках SWE-bench-Live и MMLU-Pro при меньшем расходе токенов. Ограничения включают чувствительность небольшой модели к агрессивному квантованию, меньшую общую способность по сравнению с более крупными моделями и необходимость выбора варианта квантования в соответствии с объёмом VRAM. Лицензия — Apache-2.0.

Deepseek Coder 6.7B Instruct — языковая модель для генерации и обработки программного кода, разработанная DeepSeek и представленная в GGUF-квантизованном формате компанией Second State Inc. Модель основана на deepseek-ai/deepseek-coder-6.7b-instruct и предназначена для работы с инструкциями, ответами на вопросы и задачами программирования в локальных приложениях и сервисах, включая LlamaEdge. Модель содержит 6,7 млрд параметров; в README указана архитектура DeepSeek и контекстное окно 4096 токенов. Поддерживаются различные варианты квантизации от 2 до 8 бит, размером примерно от 2,53 до 7,16 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу размера и качества. README не содержит точного перечня поддерживаемых языков программирования или естественных языков и не описывает мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются адаптация к инструкциям, ориентация на код и возможность запуска в средах с ограниченными ресурсами за счёт квантизации. Ограничения включают контекст 4096 токенов и неизбежную потерю качества у наиболее компактных вариантов, особенно Q2_K и некоторых Q3/Q4-конфигураций. Для запуска через LlamaEdge требуется версия 0.2.8 или новее и соответствующий prompt template. Лицензия указана как deepseek с обозначением other; дополнительные условия должны быть проверены в файле LICENSE.

GLM-4.7-REAP-218B-A32B-GGUF — GGUF-версия разреженной языковой модели GLM-4.7, подготовленная Unsloth. Модель с архитектурой Sparse Mixture-of-Experts (SMoE) создана методом REAP (Router-weighted Expert Activation Pruning), который удаляет избыточные эксперты, сохраняя независимое управление маршрутизатора оставшимися экспертами. Модель содержит 218 млрд параметров, из которых 32 млрд активируются для каждого токена, включает 92 слоя, 96 экспертов с активацией 8 экспертов на токен, использует GQA с 96 Q- и 8 KV-головами и поддерживает контекст до 202 752 токенов. Модель предназначена для генерации текста и кода, агентских рабочих процессов, понимания репозиториев, многошаговых сценариев и function calling. Заявлена близкая к исходной GLM-4.7 производительность при сокращении размера примерно на 40% по сравнению с полной моделью на 355 млрд параметров. Это делает её привлекательной для локального развертывания, сред с ограниченными ресурсами и исследовательских задач. Поддерживаются текстовые сценарии; заявленный язык в карточке — английский. К сильным сторонам относятся сохранение возможностей генерации кода, агентного программирования и вызова функций, отсутствие необходимости в дополнительном дообучении после pruning, а также совместимость с llama.cpp при использовании параметра --jinja. Для запуска требуется значительный объём памяти из-за общего размера модели; конкретные характеристики квантования GGUF, результаты оценки именно этой версии и требования к оборудованию в карточке не указаны. Модель распространяется по лицензии MIT.

MiMo-NeoHorse-9B-AGSI — текстовая модель для диалогов, программирования и задач рассуждения, созданная путём слияния XiaomiMiMo/MiMo-V2.6-Distill-Qwen-9B и TokenRhythm/NeoHorse-1-9B. Разработчик описывает метод объединения как AGSI Pipelined Fusion с интерполяцией параметров моделей. Модель предназначена для генерации текста в диалогах, помощи с кодом и применения в агентных сценариях, включая работу с терминалом. В метаданных указаны архитектура Qwen3.5 с плотной моделью и формат safetensors. Заявлены английский и китайский языки; лицензия — MIT.

Карточка модели fanie123/Qwen2.5-Coder-14B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-14B, поэтому описание составлено по ней. Qwen2.5-Coder-14B — плотная причинная языковая модель для кода, разработанная командой Qwen. Это базовый чекпойнт серии Qwen2.5-Coder на 14,7 млрд параметров (13,1 млрд без эмбеддингов), полученный дообучением Qwen2.5-14B на данных с исходным кодом, текстово-кодовым соответствием и синтетическими примерами. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; модель содержит 48 слоёв и поддерживает генерацию текста через Transformers. Модель предназначена для генерации, анализа и исправления кода, а также для задач с заполнением пропусков в коде и создания кодовых агентов. Она сохраняет способности к математике и общим языковым задачам. Контекст конфигурации составляет 32 768 токенов; с YaRN модель можно настроить на обработку контекста до 131 072 токенов. Разработчики не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для длинных запросов масштабирование YaRN может повлиять на качество обработки коротких текстов. Лицензия — Apache-2.0.

Qwen2.5-Coder-7B-Instruct-GGUF — это GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen и подготовленной для распространения пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода, работы в чат-режиме и локального текстового вывода через llama.cpp и совместимые приложения, включая LM Studio. Модель содержит 7 миллиардов параметров, поддерживает текстовый ввод и вывод, а в README заявлен английский язык. Доступны варианты с разными уровнями квантизации — от F16 до Q2 и специализированных форматов для ARM, с размером файлов примерно от 3,5 до 15,2 ГБ. В README также указано обновление конфигурации длины контекста и токенизатора, однако точное значение контекстного окна не приведено. Для диалогов используется формат сообщений Qwen с ролями system, user и assistant. Сильная сторона модели — возможность локального запуска при выборе подходящего уровня квантизации: варианты Q6 и Q5 ориентированы на высокое качество, а более компактные варианты подходят для систем с ограниченной памятью. Ограничения включают возможное снижение качества при сильной квантизации, необходимость совместимого ПО и аппаратных ресурсов, а также отсутствие подробных данных о языковой поддержке и бенчмарках в данном README. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-GGUF — инструкционно дообученная языковая модель для генерации текста и программного кода из семейства Qwen2.5-Coder, разработанного командой Qwen компании Alibaba Cloud. Она предназначена для генерации, анализа и исправления кода, рассуждений о программировании, создания code agents, а также для задач, где требуется сочетание навыков работы с кодом, математикой и общими текстовыми запросами. Модель поддерживает английский язык; README не подтверждает поддержку других языков. Модель представляет собой causal language model в формате GGUF с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в Attention QKV. Она содержит 7,61 млрд параметров, из них 6,53 млрд без учёта embedding, 28 слоёв и механизм GQA с 28 головами для Q и 4 для KV. Полная длина контекста этой GGUF-версии — 32 768 токенов. Доступны варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, поддержка локального запуска через llama.cpp и несколько вариантов квантования. Ограничение GGUF-версии — контекст 32 768 токенов; заявленное расширение до 131 072 токенов с YARN относится к другим условиям и, согласно README, требует vLLM и не-GGUF моделей. Лицензия — Apache 2.0.

OBLITERATUS/Qwen3.8-27B-OBLITERATED — текстовая генеративная модель, разработанная OBLITERATUS на базе Qwen/Qwen3.8-27B. Модель предназначена для диалогов, генерации текста и кода, агентных сценариев, а также исследований безопасности ИИ и red-team-тестирования. Основной заявленный профиль — ответы на запросы, которые исходная модель может отклонять, включая кибербезопасность и программирование. Модель использует архитектуру Qwen3 с 27 млрд параметров и поддерживает режимы с рассуждением и без него. Доступны форматы GGUF, Safetensors и MLX; заявлена совместимость с текстовым pipeline для генерации текста. В README не указаны точное максимальное контекстное окно и полный перечень поддерживаемых языков. Для версии V3 приводится результат 82,3% на MMLU в режиме 0-shot, что на 2,1 процентного пункта ниже базовой модели; также заявлены рабочие ответы во всех 20 проверенных задачах генерации кода. К сильным сторонам относятся снижение частоты отказов и защитных отговорок, близкая к базовой общая производительность и пригодность для генерации кода. Ограничениями являются некоторое ухудшение результата MMLU, склонность к зацикливанию без repetition_penalty и возможная чувствительность к настройкам генерации. В README рекомендуются temperature 0, repetition_penalty 1.15 и не менее 2048 новых токенов; для агентных сценариев предлагаются более низкая длина ответа и периодическое сокращение контекста. Модель распространяется по лицензии Apache-2.0.

CISCai/Qwen3-Coder-30B-A3B-Instruct-SOTA-GGUF — это квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и опубликованной в формате GGUF командой CISC. Модель предназначена для генерации текста и программного кода, включая чат-сценарии, написание и дополнение кода. Она поддерживает Fill-in-Middle, то есть заполнение пропущенных фрагментов исходного кода, при использовании совместимых версий llama.cpp. Модель относится к архитектуре Qwen3 MoE и имеет размер 30B в обозначении модели. Доступны варианты квантизации от IQ1_S до IQ4_NL с эффективной разрядностью примерно от 1,56 до 4,5 бит на вес. Размер файлов составляет примерно от 6,4 ГБ, а требуемый объём оперативной памяти — от 6,7 ГБ в зависимости от варианта. В метаданных указан английский язык. Базовая длина контекста исходной модели составляет 262 144 токена; для некоторых файлов доступны варианты с расширением контекста до 1 048 576 токенов с использованием YaRN. Ключевое преимущество модели — возможность локального запуска при существенно сниженном потреблении памяти, а также специализированная настройка квантования с importance matrix на данных CodeFeedback-Filtered-Instruction. Чем агрессивнее квантизация, тем меньше требования к ресурсам, но тем сильнее потери качества: варианты IQ1 и IQ2 характеризуются значительными потерями, тогда как более высокие разрядности лучше сохраняют качество. Файлы совместимы с llama.cpp начиная с версии, соответствующей 9 апреля 2025 года, и с другими интерфейсами и библиотеками на его основе. Модель распространяется по лицензии Apache-2.0. README не содержит сведений о мультимодальности; по указанным данным это текстовая модель для работы с кодом.

Caelum-G4-38B-A12.5B — экспериментальная общественная модель сообщества EryriLabs на архитектуре Gemma 4 Unified. Это разреженная MoE-модель с 38,01 млрд параметров, из которых на каждом токене активируется около 12,53 млрд; маршрутизатор top-1 выбирает одного из четырёх специализированных экспертов. Эксперты ориентированы на общие инструкции, агентные и кодовые задачи, системное администрирование и DevOps, а также научные и медицинские сценарии. В README также заявлена языковая архитектура из 48 слоёв и предел контекста 262 тыс. токенов, но практичность и качество на такой длине не проверялись. Модель предназначена для генерации текста, рассуждений, написания кода, планирования действий агента и структурированного использования инструментов. Веса и мультимодальный тракт унаследованы от Gemma 4 Unified, однако этот выпуск проверен только для генерации текста; работа с изображениями, видео и аудио не валидирована. Внутренний тест на 28 случаях дал обнадёживающий результат, но этого недостаточно для широких выводов о качестве. Модель требует совместимой версии Transformers и содержит пользовательский код; перед включением trust_remote_code следует изучить код репозитория. Лицензия — Apache-2.0.

Gemini 3.8 Flash — модель Google из семейства Gemini Flash. В карточке указаны улучшения по сравнению с Gemini 3.7 Flash в задачах разработки программного обеспечения, агентных сценариях и многошаговых рассуждениях. Метаданные каталога классифицируют модель как image-text-to-text. Имеющихся сведений недостаточно, чтобы описать её размер, контекст, языковую поддержку, условия лицензии или ограничения; эти характеристики здесь не предполагаются.

GLM-4.7-REAP-268B-A32B — сжатая версия языковой модели GLM-4.7, представленная в карточке Cerebras. Это разрежённая причинная языковая модель с архитектурой Mixture-of-Experts: из 268 млрд параметров активируются 32 млрд на токен. Метод REAP удаляет 25% экспертов без последующего дообучения; в модели осталось 120 экспертов из 160, одновременно активны 8. В метаданных указан класс Glm4MoeForCausalLM и формат safetensors. Модель предназначена для генерации кода и текста, агентных сценариев, работы с репозиториями и вызова функций. Карточка заявляет близкую к исходной GLM-4.7 производительность при меньших требованиях к памяти и совместимость с актуальным vLLM. Контекст составляет 202 752 токена; модель поддерживает английский язык, а базовая GLM-4.7 также описана как англо-китайская. Указанная лицензия — MIT. Результаты оценки для варианта BF16 пока не приведены, поэтому заявления о близком качестве основаны на описании карточки и не подтверждены в ней численными результатами для этого варианта.

Laguna XS 2.1-NVFP4 — текстовая Mixture-of-Experts модель, разработанная poolside для агентного программирования и длительных многошаговых задач на локальном компьютере. Модель содержит 33 млрд параметров, из которых 3 млрд активируются на каждом токене, и поддерживает контекст до 262 144 токенов. Архитектура включает 40 слоёв, 256 экспертов и одного общего эксперта. В 30 слоях используется Sliding Window Attention с окном 512 токенов, а в 10 слоях — глобальное внимание; KV-кэш квантизирован в FP8. Модель работает в режиме text-to-text, поддерживает встроенное рассуждение с чередованием этапов мышления и вызовов инструментов, а также включение и отключение thinking для отдельных запросов. К сильным сторонам относятся сниженные требования к памяти и возможность локального запуска; заявлена работа на Mac с 36 ГБ оперативной памяти. Модель ориентирована прежде всего на генерацию и исправление кода, использование инструментов и агентные сценарии, однако README не содержит полного перечня поддерживаемых языков и не описывает ограничения качества за пределами приведённых бенчмарков. Вариант распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и модификацию модели и связанных материалов в коммерческих и некоммерческих целях.