II.7DevOps, облако и эксплуатация IT-систем

JiRack Ultra 14B — плотная языковая модель на 14 млрд параметров от CMSManhattan, предназначенная для локального и облачного инференса на CPU. По карточке, модель построена на архитектуре DeepSeek R1-14B, переработана с поддержкой ternary/BitNet-подхода и использует обновлённый токенизатор с тегами для маршрутизации, мультимедиа, вызова инструментов и робототехники. Метаданные указывают архитектуру Qwen2 и контекст до 131 072 токенов; заявлены GGUF-квантизации от Q2_K до Q8_0 и веса safetensors. Модель подходит для диалоговой генерации текста, использования в RAG как экспертная модель, программирования и агентных сценариев с вызовом инструментов. В карточке описаны варианты запуска через llama.cpp и Ollama, а также варианты для CPU с разными требованиями к памяти. Теги модели указывают поддержку многих языков, включая русский, английский, китайский, японский, корейский, европейские и ряд других языков. Веса распространяются по лицензии MIT, разрешающей в том числе коммерческое использование. Docker-образ, готовые квантизованные сборки Ollama и интерфейсные клиенты могут иметь отдельные коммерческие условия. Заявления карточки о производительности, поддержке робототехники и инструментах следует считать описанием разработчика; практическое качество и совместимость зависят от сборки и оборудования.

Карточка модели ckoh04/Kimi-K2.6-pruned-8experts на Hugging Face совпадает с карточкой moonshotai/Kimi-K2.6, поэтому описание составлено по ней. Kimi K2.6 — открытая мультимодальная агентная модель компании Moonshot AI для сложных задач программирования, проектирования интерфейсов, автономного выполнения многошаговых задач и координации групп агентов. В карточке Hugging Face указана архитектура семейства Kimi K2.5 для условной генерации, а README описывает MoE-модель с 1 трлн параметров, из которых активны 32 млрд. Модель принимает текст, изображения и видео; заявленная длина контекста в описании испытаний составляет 262 144 токена. Модель предназначена для создания и изменения кода, генерации интерфейсов по текстовым и визуальным запросам, а также выполнения задач с инструментами и параллельными агентами. По данным README, она может координировать до 300 подагентов и 4 000 шагов и рассчитана на работу с языками программирования, включая Rust, Go и Python. Метаданные Hugging Face отмечают чат-возможность и задачи генерации текста и преобразования изображений в текст. Указана лицензия other; её конкретные условия следует проверять в репозитории модели. README сообщает о нативной INT4-квантизации и рекомендует vLLM, SGLang и KTransformers для запуска.

Kimi-K2-Instruct-0905-BF16 — версия модели Kimi K2-Instruct-0905, опубликованная Unsloth и основанная на модели Moonshot AI. Это языковая модель с архитектурой Mixture-of-Experts (MoE): в README указаны 1 трлн параметров всего и 32 млрд активируемых параметров. Репозиторий содержит веса в формате safetensors; метаданные каталога указывают 37,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалогов, задач программирования и работы в роли агента, в том числе с вызовом инструментов. В README отмечены улучшения в агентном программировании и создании интерфейсов, а увеличенный контекст подходит для длительных задач и больших фрагментов кода. Интерфейс модели текстовый; языки модели не перечислены в предоставленных данных. Метаданные указывают лицензию other, поэтому конкретные условия использования следует сверять с лицензией и уведомлениями в репозитории. Большой размер модели требует соответствующих ресурсов для локального запуска. Оценки в README получены на указанных бенчмарках и не гарантируют качество для каждого сценария.

LongCat-2.0 — большая языковая модель семейства LongCat, представленная разработчиками проекта LongCat. Это модель архитектуры MoE с классом LongcatCausalLM; в метаданных репозитория указано 42,1 млрд параметров, тогда как README описывает полную версию с 1,6 трлн параметров и примерно 48 млрд активируемых на токен. Репозиторий содержит веса в формате safetensors и использует лицензию MIT. Модель предназначена для диалоговой генерации текста, программирования, понимания кода и репозиториев, выполнения задач агентами и работы с инструментальными сценариями. README сообщает об обучении на данных с контекстом до 1 млн токенов и об архитектурном механизме LongCat Sparse Attention для длинных последовательностей; метаданные указывают нативный контекст 262 144 токена. В карточке также заявлены чат и интерфейс вызова инструментов. README особо выделяет задачи с длинным горизонтом, редактирование кода на уровне репозитория и автоматизацию действий; развёртывание описано для GPU и NPU. Модель не оценивалась всесторонне для всех возможных прикладных сценариев. Условия лицензии — MIT.

Карточка модели ahmed-amedo/MiMo-V2.6-Pro-RL на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Pro, поэтому описание составлено по ней. MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.

Карточка модели Viva00007363/MiMo-V2.6-Pro-RL на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Pro, поэтому описание составлено по ней. MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.

MiniCPM5-2B-GGUF — это GGUF-сборка плотной каузальной языковой модели MiniCPM5-2B, разработанной OpenBMB и опубликованной пользователем prithivMLmods. Модель предназначена для локальных ассистентов, генерации текста, программирования, coding-agent задач, использования инструментов и развёртывания на устройствах с ограниченными ресурсами. Она поддерживает запуск через llama.cpp и совместимые приложения, включая Ollama и LM Studio. Модель содержит около 2,52 млрд параметров и использует архитектуру LlamaForCausalLM с 42 слоями и Grouped-Query Attention: 16 Q-голов и 2 KV-головы. Заявлена длина контекста до 131 072 токенов, а указанным языком является английский. Доступны варианты GGUF с точностями от F32 и BF16/F16 до квантований Q3–Q8, размером примерно от 1,19 до 10,1 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Сильными сторонами заявлены рассуждения, математика, программирование, работа с длинным контекстом, вызов инструментов и агентные сценарии; модель обучалась с использованием специализированного дообучения и reinforcement learning. Ограничения включают компактный размер по сравнению с крупными LLM, заявленную языковую поддержку только английского и зависимость характеристик от выбранного уровня квантования. Модель распространяется по лицензии Apache-2.0.

Mungert/NextCoder-14B-GGUF — это GGUF-версия кодовой языковой модели NextCoder-14B, разработанной Microsoft на базе Qwen2.5-Coder-14B-Instruct. Модель предназначена для генерации и редактирования программного кода, включая исправление функций, работу с разнообразными изменениями в коде и чатовые сценарии. Она обучалась с применением метода SeleKT (Selective Knowledge Transfer), ориентированного на адаптацию моделей к задачам редактирования кода, без потери общей применимости. Модель является авторегрессионной causal language model с архитектурой на базе Transformers, RoPE, SwiGLU, RMSNorm и GQA с 40 головами для запросов и 8 для ключей и значений. Она содержит около 14,7 млрд параметров, из которых 13,1 млрд — без учёта embedding, и 48 слоёв. Заявлена поддержка контекста до 32K токенов; в карточке указан английский язык. GGUF-файлы созданы с помощью llama.cpp и используют экспериментальный подход с повышением точности отдельных важных слоёв, что может улучшать качество при заданном уровне квантования, но увеличивает размер файла. Ограничения включают зависимость качества и требований к ресурсам от выбранного варианта квантования; конкретный вариант квантования в карточке не указан. Модель распространяется по лицензии MIT.

Ornith-1.5-9B — плотная языковая модель примерно на 9 млрд параметров семейства Qwen3.5, разработанная командой Ornith AI. Она развивает Ornith-1.0 за счёт цикла самоулучшения с генерацией обучающих задач, поиском стратегий решения и обучением с подкреплением. Модель предназначена для агентных сценариев, программирования и выполнения многошаговых задач с использованием инструментов; поддерживает диалог и вызовы функций через совместимый с OpenAI API интерфейс. Модель принимает и генерирует текст. Заявленное базовое окно контекста составляет 262 144 токена; с масштабированием YaRN в README описано расширение примерно до миллиона токенов, которое может немного снижать качество на обычных запросах. Версия на 9B рассчитана на эффективное развёртывание, включая обслуживание на одной 80-гигабайтной GPU; веса в bf16 занимают около 19 ГБ. Карточка описывает бенчмарки для программных и агентных задач, но сами численные результаты здесь не приведены. Лицензия — MIT.

drawais/Qwen2.5-Coder-32B-Instruct-NVFP4 — квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанная на основе модели Qwen/Qwen2.5-Coder-32B-Instruct. Модель предназначена для генерации текста и задач, связанных с программированием, включая работу с кодом и использование в сценариях, поддерживаемых библиотекой Transformers и сервером инференса vLLM. Модель использует INT4-квантизацию весов в формате NVFP4 W4A4 и поддерживает нативный compressed-tensors в vLLM. Размер базовой модели составляет 32B параметров, объём артефакта на диске — примерно 20,7 ГБ; для работы требуется GPU с дополнительным запасом видеопамяти под KV-кэш. Указан английский язык, максимальная длина контекста в примере запуска через vLLM — 32 768 токенов. Ключевое преимущество модели — существенно уменьшенный объём хранения и потенциально более экономичный инференс по сравнению с полноразмерной версией благодаря 4-битной квантизации. Ограничения связаны с поддержкой только английского языка в заявленных данных, зависимостью от совместимой конфигурации vLLM и возможными потерями качества, характерными для квантизированных моделей. Артефакт является производной работой Qwen/Qwen2.5-Coder-32B-Instruct и распространяется по лицензии Apache License 2.0 с обязательной атрибуцией.

duyntnet/Qwen2.5-Coder-3B-Instruct-imatrix-GGUF — набор imatrix-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-Coder-3B-Instruct, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации, анализа и исправления программного кода, а также для создания code agents и решения задач, связанных с математикой и общими текстовыми сценариями. Она работает как causal language model и поддерживает запуск через llama.cpp, KoboldCPP, Ollama, text-generation-webui, GPT4All и другие совместимые интерфейсы. Исходная модель содержит 3,09 млрд параметров, 36 слоёв и поддерживает контекст до 32 768 токенов. Архитектура использует RoPE, SwiGLU, RMSNorm, смещения в QKV-проекциях внимания, связанные эмбеддинги слов и grouped-query attention: 16 голов для Q и 2 для KV. В карточке указана английская локализация; заявленная модальность — текст, формат репозитория — GGUF. Обучение включало предварительное и последующее дообучение на данных с исходным кодом, связями между текстом и кодом и синтетическими примерами. К сильным сторонам относятся специализация на программировании, генерации, рассуждении и исправлении кода, а также возможность локального запуска благодаря GGUF-квантизации. Ограничения включают отсутствие заявленной поддержки других модальностей и языков, кроме английского, а качество и требования к ресурсам зависят от выбранного варианта квантизации. Лицензия указана как other, без подробных условий в README.

DavidAU/Qwen3-53B-A3B-2507-TOTAL-RECALL-v2-MASTER-CODER — дообученная на базе Qwen/Qwen3-30B-A3B-Instruct-2507 модель для генерации текста и диалогов. Автор позиционирует её как универсальную, с особым упором на программирование и решение задач на коде. Указаны 53 млрд параметров, 84 слоя и архитектура MoE с 128 экспертами и 8 активируемыми экспертами; модель распространяется в формате safetensors и совместима с Transformers. Модель рассчитана на контекст до 262 144 токенов. Она поддерживает несколько языков, а в метаданных перечислены английский, французский, китайский и немецкий. Базовый режим — без рассуждений; автор предлагает опциональный системный промпт для включения специального режима «thinking». Модель может использоваться в диалогах, генерации и объяснении кода, работе с длинными контекстами и сценариях с вызовом инструментов. Лицензия — Apache-2.0. Карточка не приводит независимых оценок именно этой производной версии, поэтому заявленное превосходство в программировании следует считать описанием автора; качество и скорость могут зависеть от выбранного числа активных экспертов и способа запуска.

pragmaticcs/Qwen-35B-A3B-SignOfFour-Coder-GGUF — слитая MoE-модель семейства Qwen для программной инженерии, генерации кода и агентного выполнения инструментов. Она объединяет базовую модель Jackrong/Qwopus3.6-35B-A3B-Coder и три специализированные модели с помощью DARE-TIES и масштабирования изменений по слоям. Архитектура содержит 35 млрд параметров, из которых активно около 3 млрд на токен, и 40 декодерных слоёв. Модель принимает текст и генерирует текст, в том числе код и ответы в диалоговом формате; карточка указывает поддержку английского и китайского языков. Веса представлены в GGUF, включая варианты BF16, Q4_K_M, Q5_K_M, Q6_K и Q8_0. Мультимодальные веса для зрения и головы Multi-Token Prediction удалены, чтобы снизить требования к памяти и повысить пропускную способность при задачах программирования. Для локального запуска крупных вариантов может требоваться значительный объём видеопамяти или разгрузка части модели на CPU. Лицензия — Apache-2.0.

FenomAI/Qwen3.6-27B-AWQ-INT4 — квантованная до AWQ INT4 версия открытой модели Qwen3.6-27B, разработанной командой Qwen; базовая модель предоставлена в репозитории Qwen/Qwen3.6-27B. Модель распространяется в формате, совместимом с Hugging Face Transformers, vLLM, SGLang и KTransformers. Это каузальная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями. Основные сценарии — агентное программирование, разработка интерфейсов, анализ репозиториев и решение задач на уровне программных проектов. Модель также поддерживает сохранение контекста рассуждений из предыдущих сообщений для итеративной разработки. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; размерность скрытого представления составляет 5120. Точные поддерживаемые языки в README не указаны. Ключевое преимущество — ориентация на coding agent-сценарии и работу с длинным контекстом. Ограничения, требования к оборудованию и влияние квантования AWQ INT4 на качество отдельно не описаны. Лицензия — Apache 2.0.

lemuralabs/Qwen3.6-27B-Coder-uncensored-MXFP8 — мультимодальная модель для генерации текста и кода, выпущенная исследовательской командой Lemura Labs. Она создана на основе Qwen/Qwen3.6-27B и производных моделей Jackrong с дистилляцией рассуждений и дообучением для агентного программирования. Модель ориентирована на написание и анализ кода, агентные сценарии, работу с инструментами и function calling, а также на обработку изображений. Модель содержит 27 млрд параметров, поддерживает заявленные языки English, Chinese, Spanish, Russian и Japanese, а также мультиязычные сценарии. Она использует формат MLX и квантование MXFP8 с 8-битным микромасштабированием; размер файлов составляет около 29,5 ГБ. Контекст заявлен до 262K токенов. Vision-компоненты и параметры multi-token prediction сохранены в fp16, поэтому доступны нативное speculative decoding без внешнего drafter и обработка изображений. Для запуска рекомендуется Apple Silicon с не менее чем 36 ГБ оперативной памяти. Сильными сторонами являются высокая точность локального инференса, специализированная настройка под программирование, мультимодальность и поддержка нативного MTP. В README также заявлены результат 67,0% на SWE-bench Verified для исходной Coder-модели, снижение частоты отказов с 86 до 8 из 100 тестовых запросов и KL divergence 0,007 после abliteration. Ограничения включают зависимость от экосистемы Apple MLX и значительные требования к памяти; заявленные метрики относятся к исходной или специализированной процедуре оценки и не гарантируют аналогичные результаты во всех задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-PaoAI-ROCmFP4-STRIX-BALANCED-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, подготовленная сообществом PaoAI и предназначенная для запуска через llama.cpp. Разработчики подчёркивают, что проект не связан с Alibaba или командой Qwen. Модель ориентирована на генерацию текста, включая программирование, анализ кода и выполнение задач с длинным контекстом. Модель использует гибридную архитектуру с 48 слоями линейного внимания gated-delta и 16 слоями полного внимания. Размер файла составляет около 15,01 ГБ. Веса сжаты преимущественно в ROCmFP4 примерно до 4,5 бит на параметр, а отдельные чувствительные компоненты, включая нормы, draft head и некоторые представления, сохранены в более высокой точности. Поддерживается контекст до 256K токенов по заявлению авторов, при этом модель оптимизирована для AMD Strix Halo, включая Ryzen AI Max+ 395 с графикой gfx1151, и рассчитана на работу на iGPU без offload-флагов. В карточке указан английский язык. К сильным сторонам относятся небольшие требования к памяти для модели такого размера, встроенное speculative decoding, сохранение качества после квантования и высокая производительность на совместимом оборудовании. Измерения авторов показывают близкие к исходной F16-версии результаты на стандартном тексте и успешное выполнение представленных задач по анализу и написанию кода. Ограничения связаны с узкой аппаратной специализацией ROCmFP4 и Strix Halo, зависимостью от совместимого движка и тем, что заявленные показатели производительности и качества получены авторами сборки на ограниченном наборе тестов; математически квантование является lossy. Распространяется по лицензии Apache-2.0.

WaveCut/Qwen3.8-Flash-Next-REAM-288-Q8E-MLX — квантизированная MLX-версия модели WaveCut/Qwen3.8-Flash-Next-REAM-288, построенная на базе Qwen3.8-Flash-Next. Разработчик карточки — WaveCut; метод REAM создан исследователями Samsung SAIL Montréal. Модель относится к мультимодальному классу image-text-to-text, однако в README подробно описано преимущественно применение для текстовой генерации и agentic coding. Она предназначена для программирования, рефакторинга, математических и общих текстовых задач, а также работы с английским, русским, кодом и редкими сущностями. Точный размер базовой модели и длина контекста в README не указаны. Архитектура использует mixture-of-experts: сохранено 288 экспертных слотов, а 224 удаляемых эксперта не отбрасываются, а объединяются с наиболее похожими сохранёнными экспертами. Основная часть модели квантизирована до 4 бит, экспертные веса представлены в 8-битном формате с группировкой gs64; модель совместима с mlx-vlm и поддерживает стандартный runtime с qwen4_exp. По сравнению с REAP-288 объединение экспертов лучше сохраняет близость к исходной 512-экспертной модели по KL-метрике, а опубликованные 4-битные сравнения показывают сопоставимые или немного более высокие результаты на HumanEval, GSM8K и тесте редких имён, хотя различия статистически незначимы. Ограничение — большой размер текущей сборки: около 107 ГБ, из-за чего она не помещается на GPU с 80 ГБ памяти; генеративное тестирование именно этой сборки не проводилось. Для спекулятивного декодирования требуется отдельный MTP drafter. Лицензия указана как qwen-community-license-1.0.

Qwen3-Coder-30B-A3B-Instruct-6bit-DWQ-lr3e-7 — это MLX-версия инструкционной модели для генерации текста и решения задач, связанных с программированием, из семейства Qwen3-Coder. Модель преобразована из Qwen/Qwen3-Coder-30B-A3B-Instruct в формат MLX с использованием mlx-lm 0.26.2 и предназначена для запуска через библиотеку mlx-lm, в том числе в сценариях диалогового взаимодействия и генерации ответов на текстовые запросы. Из доступных данных известны обозначения размера 30B, конфигурации A3B и 6-битного квантования DWQ. Модель работает в текстовой модальности; сведения о поддерживаемых языках, размере контекстного окна, архитектурных деталях, результатах тестирования и ограничениях качества в README не указаны. Использование разрешено по лицензии Apache 2.0.

Qwopus3.6-27B-Fusion-GGUF — экспериментальная модель от KyleHessling1, созданная объединением Qwopus3.6-27B-v2 с уклоном на рассуждения и Qwopus3.6-27B-Coder с уклоном на программирование. Обе родительские модели происходят от Qwen/Qwen3.6-27B. Модель предназначена для текстовой генерации, многошагового рассуждения и автономной разработки программного обеспечения, особенно для сценариев, где агент самостоятельно планирует, пишет код, запускает его и исправляет ошибки. Модель содержит 27 млрд параметров и 64 слоя, использует гибридную архитектуру qwen35 с линейным вниманием и периодическими слоями полного внимания. Нативный контекст составляет 262 144 токена; корректная работа проверена на контексте до 60 000 токенов. По умолчанию включён режим reasoning. Доступна версия GGUF с квантизацией Q4_K_M размером около 16,5 ГБ, рассчитанная на запуск через llama.cpp на одной видеокарте с 24–32 ГБ памяти. Поддерживается ввод изображений при использовании совместимого проектора Qwopus3.6-27B-Fusion-mmproj-Q8_0.gguf. В README указан английский язык. Сильные стороны модели — сочетание устойчивого рассуждения и генерации кода, хорошие результаты на HumanEval, MBPP и GSM8K, стабильное завершение генерации и способность работать как автономный агент программирования. Ограничения связаны с экспериментальным статусом и отсутствием полного строгого оценивания; результаты зависят от квантизации и режима работы. Лицензия указана как other с названием qwen и ссылкой на лицензию Qwen.

Solstice-AI/Qwopus3.8-27B-Flash-GGUF-1M — это набор GGUF-квантизаций модели Qwopus3.8-27B-Flash, упакованный и опубликованный Solstice-AI на основе модели Jackrong/Qwopus3.8-27B-Flash с атрибуцией Qwen AI. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio и Unsloth, включая задачи программной разработки, решения алгоритмических задач, рефакторинга, автоматизации рабочего стола и работы с длинными документами. Поддерживаются английский и китайский языки, а также мультимодальный ввод изображений через отдельный vision-проектор mmproj-BF16.gguf. Архитектура указана как Qwen3.5 / Qwopus Conditional Generation с мультимодальным зрением; размер базовой модели — 27B параметров. Заявлено нативное контекстное окно до 1 048 576 токенов. Доступны варианты квантизации от 4- до 8-битных, рассчитанные на различный объём памяти: примерно от 16 ГБ до 64 ГБ и более в зависимости от файла и конфигурации. В комплект также входит DSpark-драфтер для speculative decoding, который может повысить скорость генерации при совместимом запуске. Сильными сторонами модели являются большой контекст, поддержка изображений, широкий выбор квантизаций и возможность локального развертывания. В README приведены высокие результаты на ряде бенчмарков, однако условия их получения и независимое подтверждение не описаны. К ограничениям относятся значительные требования к памяти, зависимость мультимодального режима от отдельного проектора и возможная потеря точности в более агрессивных квантизациях. Набор распространяется по лицензии Apache 2.0.

Rombos-Coder-V2.5-Qwen-32b-GGUF — квантизированная версия модели Rombos-Coder-V2.5-Qwen-32b, разработанной rombodawg и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации и обработки кода, а также связанных с программированием текстовых запросов. В карточке указана поддержка английского языка и размер базовой модели 32B параметров. Модель квантизирована с использованием llama.cpp и imatrix; доступны варианты от Q3 до Q8 с размером файлов примерно от 15 до 35 ГБ. Версии с более высокой точностью сохраняют лучшее качество, тогда как младшие варианты требуют меньше оперативной памяти, но могут заметнее терять в качестве. Для запуска рекомендуются llama.cpp и LM Studio; в README также приведён шаблон чата с ролями system, user и assistant. Архитектура, размер контекстного окна, дополнительные модальности и результаты оценивания в карточке не указаны. Для отдельных вариантов существуют ограничения по аппаратной платформе: некоторые сборки оптимизированы для ARM и требуют соответствующих инструкций, а их использование на macOS и Windows не рекомендуется. Модель распространяется по лицензии Apache-2.0.

rubra-11b-h — диалоговая языковая модель на архитектуре Mistral, дообученная Sanjay920 на коде и разговорных данных. Она создана на основе mistralai/Mistral-7B-Instruct-v0.2 с целью улучшить рассуждения, сохранив способности исходной модели следовать инструкциям и вести диалог. Модель содержит 10,6 млрд параметров, использует формат весов safetensors и поддерживает контекст до 32 768 токенов; для чата применяются маркеры [INST] и [/INST]. Модель подходит для многошагового диалога, ответов на инструкции, рассуждений и генерации кода, а также для поиска сведений в длинном текстовом контексте. В README приведён пример успешного извлечения факта из документа длиной 14 334 токена, но это не гарантирует точность на других задачах. Модель всё ещё разрабатывается и не прошла выравнивание по безопасности, поэтому может выдавать предвзятые ответы. Лицензия — Apache-2.0.

SuperGemma-4-12b-abliterated — дообученный инструкционный чекпойнт на 12 млрд параметров, созданный на основе google/gemma-4-12B-it. Разработчик объединил обработку направления отказов в весовом пространстве с дополнительным постобучением для следования инструкциям, программирования, технических ответов на корейском языке, форматирования JSON и вызовов инструментов. Модель распространяется как единый чекпойнт без необходимости подключать адаптер во время работы. Модель предназначена для диалогов, выполнения инструкций и генерации кода. README описывает снижение лишних отказов и приводит результаты внутренних и публичных проверок, однако они не гарантируют качество на других запросах. В метаданных также заявлена мультимодальная архитектура семейства Gemma 4 с возможностью работы с изображениями, видео и аудио у базовой модели; явное подтверждение этих входов для данного чекпойнта в README отсутствует. Модель загружается через Transformers, веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка указывает английский и корейский языки; дополнительное постобучение особенно ориентировано на технические ответы на корейском.

Zirel-3 — дообученная разговорная модель Daemontatox на базе cerebras/GLM-4.5-Air-REAP-82B-A12B. Она предназначена для генерации текста и кода, следования инструкциям, рассуждений, работы с агентными сценариями и вызова функций. Модель использует разреженную архитектуру Mixture-of-Experts; в README указаны 82 млрд параметров, около 12 млрд активных на проход и контекст до 128 тыс. токенов. Метаданные каталога указывают 8,5 млрд параметров, поэтому размер модели в источниках расходится. Модель рассчитана прежде всего на английский язык. Карточка указывает совместимость с Transformers и рекомендует vLLM для более быстрой генерации. Репозиторий содержит веса Safetensors. Метаданные указывают лицензию Apache-2.0, тогда как README заявляет MIT; лицензию следует уточнить по файлу лицензии репозитория.

Altar-1 — крупная разреженная языковая модель для генерации текста, разработанная на базе GLM-5.3 от Z.AI и опубликованная под идентификатором AikidoSec/altar-1. Прунинг выполнил 0xSero с использованием метода REAP, а квантованная основа взята из cyankiwi/GLM-5.3-AWQ-INT4. Модель предназначена для кибербезопасности, программирования, вызова инструментов, рассуждений и генерации структурированных ответов. При калибровке использовались трассы кибербезопасности, код, сценарии tool calling, reasoning, англоязычные данные и многоязычные статьи Wikipedia. Архитектурно это Mixture-of-Experts: после удаления 34% экспертов сохранено 168 из 256 экспертов в каждом слое, при этом для каждого токена активируются 8 экспертов, что соответствует примерно 40B активных параметров. Общий размер модели составляет около 504B параметров, а веса занимают примерно 328 ГБ. Маршрутизируемые эксперты представлены в формате INT4 W4A16 с AWQ и compressed-tensors, тогда как attention, shared expert, плотные слои и выходная голова сохранены в BF16. Заявлена поддержка контекста до 131072 токенов и развёртывание через vLLM на четырёх GPU H100 или H200 с Hopper и ядром Marlin MoE. По данным README, близость к полной BF16-версии составляет 0,506 ната KL-дивергенции на закрытой выборке из 25 запросов, однако подробные оценки качества ограничены указанными исследованиями. Сильными сторонами модели являются существенное сокращение размера по сравнению с исходной GLM-5.3, сохранение доменных специалистов для кода, редких языков и структурированного вывода, а также возможность промышленного сервинга на 4× H200. Ограничениями остаются очень высокие требования к памяти и оборудованию, зависимость от Hopper и vLLM, отсутствие подробных независимых бенчмарков в README и неуказанный точный перечень поддерживаемых языков. Лицензия обозначена как other и наследуется от лицензии GLM-5.3; перед использованием необходимо ознакомиться с её условиями.

CodeLlama 70B Python — большая языковая модель для генерации и работы с программным кодом, разработанная Code Llama. Данная версия представляет собой квантизированные файлы модели CodeLlama 70B Python в формате GGUF, подготовленные TheBloke на вычислительном оборудовании Massed Compute. Модель предназначена прежде всего для задач, связанных с программированием на Python, включая генерацию кода и локальный текстовый inference. Она основана на архитектуре Llama, имеет 70 миллиардов параметров и работает в режиме text-generation. В README указано, что язык модели — code; сведения о поддерживаемых естественных языках, модальностях и размере контекста не приведены. GGUF поддерживает различные уровни квантизации от 2 до 8 бит, что позволяет запускать модель с разным компромиссом между требованиями к памяти и качеством, используя llama.cpp и совместимые интерфейсы. Сильными сторонами являются специализация на программном коде, крупный размер модели и возможность CPU+GPU-инференса в локальных приложениях. Ограничениями выступают высокие требования к вычислительным ресурсам, зависящие от выбранного уровня квантизации, а также отсутствие в предоставленных данных подробных оценок качества и характеристик контекстного окна. Модель распространяется по лицензии Llama 2.

Codestral-22B-v0.1-GGUF — GGUF-квантизированная версия специализированной кодовой модели Codestral-22B-v0.1, разработанной Mistral AI. Квантизацию подготовил bartowski на основе llama.cpp, а модель опубликована для использования в LM Studio. Модель предназначена для генерации, дополнения и объяснения программного кода. Она поддерживает диалоговые запросы по инструкции и режим Fill in the Middle (FIM), позволяющий предсказывать пропущенный фрагмент между заданными префиксом и суффиксом. Обучение проводилось на данных более чем по 80 языкам программирования, включая Python, Java, C++, JavaScript и Bash. Размер модели составляет 22 млрд параметров; поддерживаемая модальность — текст. Сильные стороны модели — специализация на программировании, сочетание инструкционного режима и FIM, а также широкий охват языков программирования. README не содержит точных сведений о размере контекста, требованиях к памяти, результатах бенчмарков и ограничениях качества, поэтому эти характеристики нельзя определить по представленным данным. В карточке указана лицензия Apache-2.0, а также приведена ссылка на MNPL-0.1 от Mistral; условия использования следует уточнять по исходной лицензии и документации разработчика.

DeepSeek-R1-Distill-Qwen-14B-bnb-4bit — дистиллированная языковая модель, разработанная командой DeepSeek на основе DeepSeek-R1 и базовой архитектуры Qwen объёмом 14 млрд параметров. Данная версия подготовлена и опубликована Unsloth в 4-битном формате bnb для использования с Transformers. Модель предназначена для задач рассуждения, решения математических задач, генерации и анализа кода, а также других сценариев, требующих многошагового вывода. Дистилляция использует reasoning-поведение DeepSeek-R1, включая самопроверку, рефлексию и развернутые цепочки рассуждений. В метаданных README указан английский язык; сведения о поддержке других языков, размере контекста и мультимодальности не приведены. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному представлению, что упрощает локальный запуск по сравнению с полноразмерной моделью. Ограничения включают возможное снижение точности из-за квантования и отсутствие в README подробных данных о бенчмарках, контекстном окне и требованиях к оборудованию. Модель распространяется по лицензии Apache 2.0.

Fireball-12B-v1.0 — дообученная EpistemeAI языковая модель для генерации текста, ответов на инструкции и помощи с программированием. Она основана на Fireball-12B и использует плотную архитектуру Mistral с 12,1 млрд параметров; обучение включало SFT на наборах данных для кода и инструкций, а затем ORPO-донастройку на предпочтениях. Модель предназначена для диалоговых сценариев, генерации кода и общих текстовых задач. README заявляет многоязычные и кодовые обучающие данные; в метаданных указан английский язык. Карточка указывает контекст 128k токенов, тогда как метаданные каталога приводят native context 1 024 000 токенов. Модель выпущена под лицензией Apache 2.0. Разработчик отмечает отсутствие встроенных механизмов модерации у базовой модели и рекомендует использовать отдельную защиту от небезопасных запросов. Результаты бенчмарков в карточке не приведены.

Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto-GGUF — это GGUF-квантизация инструкционной языковой модели Fireball-Meta-Llama-3.1-8B-Instruct-Agent-0.003-128K-code-ds-auto, разработанной EpistemeAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, работы с инструкциями и задач, связанных с программным кодом; запуск возможен, в частности, через LM Studio. В README указан английский язык и лицензия Apache-2.0. Модель основана на архитектуре Meta Llama 3.1 с размером 8B параметров и заявленным контекстом 128K токенов. Репозиторий содержит варианты от исходных весов F16 размером 16,07 ГБ до квантизаций Q8_0, Q6_K_L, Q6_K, Q5_K_L и других, что позволяет выбирать баланс между качеством и требованиями к памяти. Варианты Q6_K и Q6_K_L отмечены как рекомендуемые и обеспечивающие очень высокое качество. Поддерживается только текстовая модальность. Сильными сторонами являются большой контекст, инструкционная настройка, специализация исходной модели на агентских и кодовых сценариях, а также широкий выбор GGUF-квантизаций для локального запуска. Ограничения включают зависимость качества и требований к ресурсам от выбранного уровня квантизации; приведённые результаты бенчмарков показывают неоднородную производительность на задачах рассуждения, математики и общих знаний. README не содержит подробностей о методике обучения и дополнительных языках.