II.11Кибербезопасность и приватность

QuantFactory/DeepSeek-Coder-V2-Lite-Base-GGUF — квантизированная версия базовой модели DeepSeek-Coder-V2-Lite-Base, разработанной DeepSeek-AI и преобразованной QuantFactory с использованием llama.cpp. Модель предназначена прежде всего для генерации и автодополнения кода, вставки фрагментов кода, решения задач программирования и математического рассуждения. Это базовая модель, а не специализированная instruct-версия для диалогов. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд общих параметров, из которых при обработке активируется около 2,4 млрд. Она поддерживает контекст длиной до 128 тысяч токенов и 338 языков программирования. Квантизация в формате GGUF должна снижать требования к памяти по сравнению с исходной версией, однако конкретный тип квантизации и системные требования в предоставленных данных не указаны. Сильные стороны модели — специализация на коде, поддержка большого числа языков программирования и длинного контекста; ограничения включают отсутствие подробностей о конкретном варианте квантизации, качестве на отдельных языках и поведении в обычных диалоговых сценариях. Модель распространяется по лицензии deepseek-license; в карточке также указано обозначение лицензии other и ссылка на файл LICENSE. Условия использования следует уточнять по тексту этой лицензии.

Deepthink-Reasoning-7B-GGUF — это набор GGUF-квантизаций 7-миллиардной текстовой генеративной модели Deepthink-Reasoning-7B, разработанной prithivMLmods и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель ориентирована на задачи рассуждений, решения алгоритмических задач и генерации кода, включая Python. Заявлен английский язык; поддерживается только текстовый ввод и вывод. Формат prompt использует шаблон ChatML с ролями system, user и assistant. Доступны варианты от F16 до низкобитных Q2 и IQ3, размером примерно от 3,35 до 15,24 ГБ. Более высокие уровни квантования сохраняют качество, но требуют больше памяти; Q6_K_L, Q6_K, Q5 и Q4_K_M указаны как рекомендуемые варианты для разных компромиссов между качеством и размером. Низкобитные варианты экономичнее по памяти, но могут заметно уступать в качестве. Контекстное окно и точные архитектурные характеристики в README не указаны. Модель предназначена для локального запуска через llama.cpp и LM Studio. Лицензия — CreativeML OpenRAIL-M.

granite-34b-code-instruct-GGUF — это квантизированная GGUF-версия Granite-34B-Code-Instruct, разработанной IBM на базе ibm-granite/granite-34b-code-base. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и прежде всего для задач программирования: написания, объяснения и исправления кода, решения математических задач, работы с SQL и сценариев, связанных с function calling и ассистентами разработчика. Модель имеет 34 миллиарда параметров и работает с текстовыми данными. В README приведён шаблон диалога с системным сообщением, вопросом и ответом. Заявлены результаты на HumanEvalPack для Python, JavaScript, Java, Go, C++, Rust; показатели pass@1 для генерации кода составляют от 41,5% до 62,8%, однако указано, что эти результаты не подтверждены. Для локального запуска доступны варианты Q8_0, Q6_K, Q5_K_M и Q5_K_S размером примерно от 23,40 до 35,99 ГБ; Q6_K и Q5_K_M отмечены как рекомендуемые по соотношению качества и размера. Сильными сторонами являются специализация на программировании, поддержка нескольких языков программирования и возможность локального использования в формате GGUF. Ограничения включают высокие требования к дисковому пространству и вычислительным ресурсам, зависимость качества от выбранного уровня квантизации, а также отсутствие в предоставленных данных сведений о размере контекстного окна, полном наборе поддерживаемых естественных языков и системных требованиях. Модель распространяется по лицензии Apache 2.0.

KAT-Coder V2.5 Dev 35B-A3B MTP Abliterated GGUF — это квантизированная и полноточная GGUF-сборка модели для генерации текста и программного кода. Сборку подготовил jakeroxs на основе KAT-Coder V2.5 Dev от KwaiPilot и аблитерированной версии Philadelphia Class, дополнив её совместимым слоем Multi-Token Prediction (MTP) от Myric для спекулятивного декодирования в llama.cpp. Модель предназначена прежде всего для задач программирования, генерации и обработки кода, а также для разговорных сценариев. Указаны английский и китайский языки. Архитектура — Qwen3.5 MoE (qwen35moe): около 35,51 млрд параметров, 256 экспертов, из которых на каждый токен используются 8, контекст до 262 144 токенов. Доступны вариант Q4_K_M размером около 20,2 GiB и BF16 GGUF. Слой MTP является опциональным и позволяет использовать native draft-mtp в llama.cpp; на RTX 5090 в описанной конфигурации он повысил скорость генерации примерно на 25,7%, однако на видеокартах с недостаточным объёмом памяти может привести к дополнительной выгрузке слоёв и снижению производительности. Для работы требуется свежая сборка llama.cpp с поддержкой Qwen3.5 MoE MTP. Основные ограничения связаны с высокими требованиями к памяти и зависимостью производительности от аппаратной конфигурации; приведённые результаты относятся к конкретным системам и не гарантируют аналогичную скорость в других условиях. Модель распространяется по лицензии Apache-2.0.

OpenCodeReasoning-Nemotron-7B-GGUF — это квантизированная версия языковой модели OpenCodeReasoning-Nemotron-7B, разработанной NVIDIA и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и задач, связанных с программированием и рассуждениями, включая работу с исходным кодом. В карточке указана поддержка английского языка. Модель содержит 7 миллиардов параметров и распространяется в нескольких вариантах точности и размера: от BF16 до различных конфигураций Q3, Q4, Q5, Q6, Q8 и IQ. Квантизация выполнена с использованием llama.cpp и метода imatrix. Доступны локальный запуск через llama.cpp, LM Studio и совместимые проекты; для общения рекомендуется шаблон сообщений с маркерами im_start и im_end. Ключевое преимущество модели — возможность локального запуска при выборе подходящего уровня квантизации: варианты Q6 и Q5 обеспечивают высокое качество, а Q3 и некоторые Q4 требуют меньше оперативной памяти. Ограничения включают возможные потери качества в более компактных вариантах, ориентацию на английский язык и отсутствие в предоставленных данных сведений об архитектуре, максимальном размере контекста и мультимодальных возможностях. Указанная лицензия — Apache-2.0.

AnkitAI/Parable-Qwen3-8B-Claude-Fable-5-GGUF — локальная текстовая модель, дообученная на базе Qwen3-8B разработчиком AnkitAI. Она создана для генерации текста, программирования, терминальных задач, рассуждений, планирования и использования инструментов в агентских сценариях. Обучение выполнено методом QLoRA на трассировках реальных сессий Claude Fable 5 и решениях терминальных задач, а не на синтетических вопросах и ответах. Заявлен английский язык. Модель имеет 8 млрд параметров и распространяется в формате GGUF для llama.cpp, Ollama и LM Studio. Доступны квантизации Q4_K_M, Q5_K_M, Q6_K и Q8_0; рекомендуемая Q4_K_M занимает около 4,8 ГБ и рассчитана примерно на 6 ГБ RAM или VRAM. Базовый контекст Qwen3 в 128K токенов сохраняется, хотя дообучение выполнялось на последовательностях длиной 1 024 токена, поэтому специализированное поведение наиболее выражено в начале длинных сессий. Ответы открываются блоком рассуждений <think>, который рекомендуется удалять перед показом пользователю. Сильные стороны модели — агентское планирование, tool use, программирование, отладка и работа с терминалом. В заявленной проверке 23 из 34 задач были полностью решены корректно, а 30 — полностью или частично. Ограничения включают слабые результаты на генерации конфигураций и состояниях shell; команды, код и конфигурационные файлы необходимо проверять. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-Coder-14B — это 14-миллиардная плотная причинно-языковая модель семейства Qwen2, дообученная на основе Qwen/Qwen2.5-Coder-14B и опубликованная Unsloth. Она предназначена для генерации кода, рассуждений о коде и исправления ошибок; также подходит для сценариев с кодовыми агентами и задач с заполнением пропусков в коде. Модель принимает текст и генерирует текст, включая программный код. Контекст составляет до 32 768 токенов; репозиторий содержит веса в формате Safetensors для Transformers. Модель специализирована на программировании и сохраняет общие языковые и математические способности базовой серии Qwen2.5-Coder. README предупреждает, что базовые модели не рекомендуются для диалогового использования без дополнительного постобучения. Модель доступна по лицензии Apache 2.0.

JNolet/Qwen2.5-Coder-14B_v11.25.24.0_CodeInstruct — объединённая модель на архитектуре Qwen2 для генерации кода и диалоговых инструкций. Она создана методом TIES с помощью mergekit на основе Qwen/Qwen2.5-Coder-14B и включает Qwen/Qwen2.5-Coder-14B-Instruct; в карточке указаны 14 млрд параметров и формат safetensors. Модель предназначена для написания, анализа и исправления кода в диалоговом режиме. Она принимает текстовые запросы и генерирует текстовые ответы; интерфейс поддерживает чат и вызов инструментов. Контекст составляет 32 768 токенов. Лицензия в предоставленных данных не указана.

Qwen2.5-Coder-1.5B-Instruct-GGUF — это квантизированный формат GGUF модели Qwen2.5-Coder-1.5B-Instruct, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и анализа программного кода, чат-взаимодействия и других задач текстовой генерации, связанных с разработкой программного обеспечения. Указан английский язык, а исходная модель доступна через библиотеку Transformers. Модель содержит 1,5 млрд параметров и распространяется в нескольких вариантах точности, включая F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-квантизации. Размер файлов составляет примерно от 0,78 до 3,09 ГБ, поэтому доступны варианты для систем с разным объёмом оперативной памяти. В README не указаны архитектурные детали, размер контекста и дополнительные модальности; по описанию это текстовая модель без заявленной поддержки изображений или других типов входных данных. Основное преимущество набора — локальный запуск через llama.cpp и совместимость с LM Studio при существенно сниженном потреблении памяти. Варианты с более высокой точностью обеспечивают лучшее качество, а низкоразрядные квантизации экономят ресурсы, но могут заметно снижать качество генерации; устаревший формат Q4_0 не рекомендуется по сравнению с альтернативами сопоставимого размера. Для общения следует использовать указанный в README шаблон сообщений ChatML. Лицензия — Apache-2.0.

unsloth/Qwen2.5-Coder-3B-Instruct-bnb-4bit — 4-битная квантованная версия Qwen2.5-Coder-3B-Instruct, разработанная на базе серии Qwen2.5-Coder. Серия предназначена для генерации, анализа, рассуждений и исправления программного кода, а также для создания кодовых агентов и решения математических и общеязыковых задач. В карточке указана поддержка английского языка и библиотека Transformers. Для семейства Qwen2.5-Coder заявлена архитектура causal language model на базе Transformers с RoPE, SwiGLU, RMSNorm, смещениями в QKV-внимании и связанными эмбеддингами слов; заявленный контекст — до 32 768 токенов. Однако README содержит противоречивые сведения: идентификатор указывает на instruct-модель объёмом 3B параметров, тогда как техническое описание в тексте относится к базовой модели 0.5B с 0.49B параметров и этапом предварительного обучения. Поэтому точные характеристики именно данного 3B-варианта по README подтвердить нельзя. 4-битное представление должно снижать требования к памяти и облегчать локальный запуск, но README не приводит точных показателей качества, системных требований или ограничений квантованной версии. Модель распространяется по лицензии Apache-2.0.

bocalan/Qwen2.5-Coder-3B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-Coder-3B-Instruct, преобразованная пользователем bocalan в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и работы с программным кодом в диалоговых сценариях, включая написание, дополнение и объяснение кода. В метаданных указаны английский язык, базовая модель Qwen/Qwen2.5-Coder-3B-Instruct и библиотека transformers. Модель содержит 3 миллиарда параметров и использует квантизацию Q4_K_M, что снижает требования к памяти по сравнению с полной версией и делает запуск возможным через llama.cpp на совместимом локальном оборудовании. GGUF-версия поддерживает запуск в CLI и серверном режиме llama.cpp; в README приведён пример контекста 2048 токенов, однако это значение относится к примеру запуска и не подтверждает максимальный размер контекста модели. К сильным сторонам относятся специализация на программном коде, инструкционное обучение и удобство локального запуска в оптимизированном GGUF-формате. Ограничения включают меньший размер по сравнению с более крупными моделями и отсутствие в предоставленных данных подробностей об архитектуре, полном наборе языков, точной производительности и мультимодальных возможностях; указана только текстовая генерация. Модель распространяется по лицензии qwen-research; дополнительные условия следует уточнять в лицензии базовой модели Qwen2.5-Coder-3B-Instruct.

Qwen2.5-Coder-7B-Q8_0-GGUF — это преобразованная в формат GGUF версия языковой модели Qwen/Qwen2.5-Coder-7B. Конвертацию выполнила организация ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и, прежде всего, работы с исходным кодом и другими задачами программирования. Модель содержит 7 млрд параметров и доступна в варианте квантования Q8_0, что позволяет использовать её через llama.cpp. В карточке указана поддержка английского языка; модальность — текстовая. Модель можно запускать локально через llama-cli или предоставлять к ней доступ по API через llama-server. В примере запуска серверу задаётся контекст размером 2048 токенов, однако это значение является параметром запуска и не обязательно отражает максимальный контекст модели. К сильным сторонам относятся специализация на коде, совместимость с llama.cpp и возможность локального запуска в GGUF-формате. Ограничения и результаты сравнительных оценок в README не указаны, поэтому нельзя сделать выводы о качестве на конкретных языках программирования, производительности или требованиях к оборудованию. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-27B-Uncensored-Heretic-DSV4Pro-GLM52-SFT-GPT55-RL-Coding-VL-MTP-GGUF — экспериментальная модель в формате GGUF, опубликованная nerkyor на основе Merkyor/Qwen3.6-27B-DSV4Pro-Thinking-Distill и производной от Qwen3.6-27B DSV4Pro / GLM-5.2 SFT / GPT-5.5 RL Coding. Это плотная модель с 27 млрд параметров, ориентированная прежде всего на программирование, рассуждения, диалог и исследование снижения склонности к отказам. Заявлены поддержка английского и китайского языков, а также мультимодальный сценарий image-text-to-text через отдельный vision-language projector. Основной GGUF-файл предназначен для генерации текста и является единственным обязательным артефактом. Дополнительный mmproj подключает обработку изображений, а MTP draft GGUF может использоваться как боковая модель для speculative decoding. Доступны варианты квантования от Q3 до Q8 и исходный BF16; конкретный контекст в предоставленных данных не указан, однако для некоторых тестов упоминается режим 32K. Модель демонстрирует сильные результаты на MMLU, GPQA и LiveCodeBench: для варианта Q8 указаны 91,2% на MMLU500, 85,35% на GPQA198 и 81/100 на LCB100. Все заявленные GGUF-варианты показали нулевой показатель жёстких отказов на 140 тестовых запросах, но это исследовательский прокси, а не подтверждение безопасности или универсальной корректности. Ограничениями являются экспериментальный характер, возможные ошибки и зависимость качества от уровня квантования; модель не предназначена для неконтролируемой высокорисковой автоматизации. Лицензия указана как other, без дополнительных условий в предоставленной карточке.

Qwen3-Coder-30B-A3B-Instruct GGUF — квантизированная версия модели Qwen/Qwen3-Coder-30B-A3B-Instruct, подготовленная ByteShape с использованием ShapeLearn. Этот метод подбирает тип данных для отдельных тензоров, чтобы сохранить высокое качество при малой разрядности. Модель предназначена прежде всего для генерации и анализа программного кода, а также сценариев, связанных с вызовом функций; это отражено в используемых при оценке бенчмарках HumanEval, LiveCodeBench и BFCL-V3. Модель распространяется в формате GGUF и предназначена для локального запуска, в частности через llama.cpp и Ollama. Доступны варианты для CPU с преимущественно KQ-квантизацией и для GPU с гибридным подходом KQ/IQ. Размер файлов составляет примерно от 10,1 до 16,0 ГБ, а средняя разрядность — от 2,65 до 4,20 бит на вес, что позволяет выбирать баланс между скоростью, требованиями к памяти и качеством. README не содержит сведений о контекстном окне, поддерживаемых языках, точной архитектуре или мультимодальности. Сильными сторонами являются широкий выбор аппаратно-оптимизированных вариантов, низкие требования к памяти по сравнению с полной моделью и возможность локального использования. Ограничением выступает компромисс между степенью квантизации и качеством: более компактные варианты могут уступать более крупным по точности, а фактическая производительность зависит от оборудования и выбранного файла. Модель распространяется по лицензии Apache-2.0.

btbtyler09/Qwen3-Coder-Next-GPTQ-4bit — квантизированная версия Qwen3-Coder-Next, разработанного командой Qwen и дополнительно подготовленного пользователем btbtyler09. Это языковая модель для генерации кода, общего чата и сценариев с вызовом инструментов, предназначенная для запуска в средах инференса vLLM и SGLang. Модель использует архитектуру Qwen3NextForCausalLM с гибридом линейного и полного внимания, включая DeltaNet. Она построена по схеме Mixture-of-Experts: содержит около 80 млрд параметров, из которых примерно 3 млрд активируются для каждого токена; на каждом шаге выбираются 10 из 512 экспертов. Архитектура включает 48 слоёв, контекстное окно до 262 144 токенов и поддержку инструментального вызова. Экспертные модули квантизированы в INT4 методом GPTQ с размером группы 32, тогда как внимание, общие эксперты, эмбеддинги, нормализации и LM head сохранены в FP16. Размер модели составляет около 47 ГБ вместо примерно 160 ГБ у исходной BF16-версии. К преимуществам относятся существенное уменьшение размера и требований к памяти при сохранении качества: на тесте wikitext-2-raw-v1 ухудшение perplexity относительно исходной модели составило около 0,8%. Ограничения связаны с необходимостью совместимого программного обеспечения и значительных вычислительных ресурсов для работы крупной MoE-модели; README не указывает точные языки, на которых она обучалась, и не приводит более подробных сравнений для задач программирования. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

StarCoder2-15B-Instruct-v0.1-GGUF — это квантизированная в формате GGUF версия инструкционной модели StarCoder2-15B-Instruct-v0.1, разработанной BigCode и подготовленной компанией Second State Inc. Модель предназначена для генерации и обработки программного кода в сценариях, где требуется локальный или более ресурсоэффективный запуск текстовой генеративной модели. Модель имеет размер 15 млрд параметров и поддерживает контекст до 6144 токенов. В README не указаны точная архитектура, перечень поддерживаемых языков программирования и естественных языков, а также характеристики мультимодальности; по назначению и тегу code модель ориентирована на работу с текстом и исходным кодом. Доступны варианты квантования от Q2_K до Q8_0, а также F16 объёмом от 6,19 до 31,9 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень низкой или низкой потерей качества. Главное преимущество сборки — возможность выбирать между меньшим объёмом файлов и сохранением качества. Более агрессивное квантование, включая Q2_K и некоторые варианты Q3, сопровождается существенной потерей качества, поэтому оно подходит не для всех задач. Лицензия модели — BigCode OpenRAIL-M. Для запуска в README упоминается LlamaEdge, но его поддержка обозначена как находящаяся в разработке; квантование выполнено с помощью llama.cpp версии b2824.

Tiel-Inspired-Coder-9B-GGUF — независимая GGUF-версия модели Ornith-1.5-9B, подготовленная автором репозитория VitreousCut с использованием методики peculiar-ragdoll. Веса не дообучались: применены пользовательская imatrix для динамической квантизации и встроенный Sharp chat template. Модель предназначена прежде всего для генерации и анализа кода, решения задач программирования и рассуждений; базовая модель имеет размер 9B параметров. Поддерживаются английский и китайский языки, основной режим работы — text generation. В каждый файл встроен Sharp template qwen3.8-froggeric-v22.4.1, который включает рассуждения по умолчанию, настраиваемую интенсивность рассуждений и директиву краткости. Доступны варианты квантизации от IQ4_XS до Q8_0 размером примерно от 5,0 до 9,2 ГБ. В README приведены результаты HumanEval: Pass@1 93,3% в основном запуске и 95,1% после повторного запуска части заданий с увеличенным бюджетом. Для запуска рекомендуются llama.cpp и контекст 32768 токенов. Главное ограничение — склонность к чрезмерно длительным рассуждениям: на сложных или неоднозначных задачах модель может израсходовать весь лимит токенов, не выдав код. Для большинства сценариев рекомендуется reasoning_effort: low; режимы medium и high подходят для задач, где допустимы более долгие рассуждения. Модель распространяется по лицензии MIT.

xlm-roberta-longformer-base-16384 — многоязычная модель кодирования текста на архитектуре Longformer, созданная на основе весов XLM-RoBERTa без дополнительного предварительного обучения. Версия base содержит 305,2 млн параметров, 12 слоёв и скрытый размер 768; окно внимания — 256 токенов, максимальная длина последовательности — 16 384 токена. Модель предназначена для дообучения под прикладные задачи, требующие представлений длинных текстов: её можно использовать как основу для извлечения признаков и построения специализированных классификаторов или других downstream-моделей. Она рассчитана на многоязычные тексты; среди языков в метаданных есть английский, русский, немецкий, французский, арабский и другие. Репозиторий содержит веса TensorFlow, лицензия — MIT. Это базовая модель представления текста, а не готовый диалоговый помощник или генератор. Качество для конкретной задачи зависит от последующего дообучения; README указывает, что дополнительного предобучения после инициализации весами XLM-RoBERTa не проводилось.

CodeLlama-13B-fp16 — преобразованная в формат Transformers/Hugging Face версия модели Code Llama от Meta, опубликованная TheBloke. Это авторегрессионная плотная трансформерная модель семейства Llama с 12,9 млрд параметров; веса представлены в FP16 и safetensors. Модель предназначена для генерации и понимания кода, включая дополнение фрагментов внутри текста. Вход и выход — текст; модель рассчитана на английский язык и языки программирования. Контекст модели составляет 16 384 токена. Модель подходит для генерации кода по описанию, автодополнения, объяснения и преобразования программного кода. В README указана лицензия Llama 2 с пользовательскими коммерческими условиями Meta. Для корректной загрузки этой версии требуется trust_remote_code=True. Ответы могут быть неточными или нежелательными; перед внедрением в приложение рекомендуется проверка и настройка под конкретный сценарий.

CodeT5 Base — разработанная Salesforce предварительно обученная модель кодирования-декодирования на архитектуре T5, представленная в статье «CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation». Модель содержит 123,7 млн параметров, использует кодо-ориентированный BPE-токенизатор и имеет контекст длиной 512 токенов. Она обучена на CodeSearchNet и дополнительных наборах кода C/CSharp: всего около 8,35 млн примеров. Модель предназначена для понимания и генерации кода, включая суммаризацию, генерацию, перевод и исправление кода, а также обнаружение дефектов и поиск клонов. Это базовый предварительно обученный чекпойнт: для целевых задач его обычно дообучают. Модель работает с текстовым представлением исходного кода и комментариев; в README отдельно отмечена задача восстановления замаскированных фрагментов. Лицензия репозитория — Apache-2.0. Авторы позиционируют выпуск как исследовательский и рекомендуют оценивать точность и безопасность перед внедрением.

Gemma 4 E4B Agentic Opus Reasoning GeminiCLI MLX 4bit — дообученная и объединённая с весами модель на базе deadbydawn101/gemma-4-E4B-mlx-4bit, разработанная RavenX AI Labs. Модель предназначена для агентских сценариев, программирования, отладки, структурированного диалога и работы с инструментами через tool calling и function calling, включая интеграцию с OpenHarness, OpenClaw, Hermes Agent и Gemini CLI. Модель поддерживает текст и изображения, ориентирована на английский язык и использует архитектуру Gemma 4 E4B. Веса содержат встроенное рассуждение в стиле Opus и Claude Code с поддержкой тегов <think>, поэтому отдельный адаптер не требуется. Заявлены контекст до 131K токенов, размер около 10,5 ГБ и 4-битная MLX-квантизация для Apple Silicon, однако в README также указано, что объединённые веса имеют формат bfloat16, что может влиять на фактический размер файлов. Сильные стороны модели — встроенные паттерны рассуждения, агентское поведение, вызов инструментов, поддержка vision и совместимость с экосистемой MLX. Ограничения включают заявленную ориентацию на английский язык, зависимость от MLX и Apple Silicon для описанного сценария использования, а также отсутствие подробных независимых оценок качества. Модель распространяется по лицензии Gemma; условия приведены по ссылке на документацию Google.

GLM-4.7-REAP-268B-A32B — сжатая версия языковой модели GLM-4.7, представленная в карточке Cerebras. Это разрежённая причинная языковая модель с архитектурой Mixture-of-Experts: из 268 млрд параметров активируются 32 млрд на токен. Метод REAP удаляет 25% экспертов без последующего дообучения; в модели осталось 120 экспертов из 160, одновременно активны 8. В метаданных указан класс Glm4MoeForCausalLM и формат safetensors. Модель предназначена для генерации кода и текста, агентных сценариев, работы с репозиториями и вызова функций. Карточка заявляет близкую к исходной GLM-4.7 производительность при меньших требованиях к памяти и совместимость с актуальным vLLM. Контекст составляет 202 752 токена; модель поддерживает английский язык, а базовая GLM-4.7 также описана как англо-китайская. Указанная лицензия — MIT. Результаты оценки для варианта BF16 пока не приведены, поэтому заявления о близком качестве основаны на описании карточки и не подтверждены в ней численными результатами для этого варианта.

granite-20b-code-instruct-8k-GGUF — это инструкционная языковая модель для генерации и работы с программным кодом, созданная на базе ibm-granite/granite-20b-code-base-8k. Исходная модель разработана IBM Granite, а данная версия преобразована в формат GGUF пользователем Mungert с использованием llama.cpp. Модель предназначена для написания, объяснения и исправления кода, а также для задач, связанных с SQL, математикой, вызовом функций и ассистированием разработчикам. Модель содержит около 20 млрд параметров и поддерживает контекст до 8K токенов. Это текстовая модель без заявленной поддержки изображений, аудио или других модальностей. В представленных результатах оценивается генерация, объяснение и исправление кода на Python, JavaScript, Java, Go, C++ и Rust. Показатели pass@1 находятся в диапазоне от 18,3% до 60,4%, однако результаты помечены как непроверенные, поэтому их следует рассматривать как ориентировочные. К сильным сторонам относятся специализация на программировании, поддержка нескольких языков разработки и возможность локального запуска через GGUF-совместимые инструменты. Версия использует дополнительное повышение точности отдельных слоёв при квантовании, что, по заявлению автора сборки, может улучшать качество при небольшом увеличении размера файла. Ограничения включают зависимость характеристик от выбранного варианта квантования, непроверенный статус приведённых бенчмарков и отсутствие данных о фактических требованиях к памяти и производительности. Лицензия модели — Apache 2.0.

Millie-35B-A3B-11GB — мультимодальная MoE-модель для программирования и агентных сценариев, опубликованная llmsforall. Она основана на архитектуре Qwen3.5-35B-A3B и производна от Agents-A1. Всего в модели 35 млрд параметров, из которых на каждый токен активны около 3 млрд; заявленная длина контекста — 262 тыс. токенов. Модель принимает текст и изображения. Веса сжаты примерно до 2,2 бита на параметр, а файлы GGUF занимают около 10,9 ГБ вместе с визуальным проектором. Для запуска требуется форк llama.cpp от llmsforall с поддержкой этого формата и файл mmproj для обработки изображений; upstream-версия llama.cpp не подходит. Выпуск распространяется по лицензии Apache-2.0.

Muse-Glimmer-30B-assistant — лёгкая модель-планировщик Muse Glimmer от Meta Superintelligence Lab, выпущенная в августе 2026 года. Это версия на базе DFlash для ускорения генерации: она предлагает блоки по 16 токенов за один проход, после чего основная модель проверяет их и исправляет ошибки. В README основная Muse Glimmer описана как плотный причинный трансформер с энкодером восприятия, дистиллированный из Muse Spark и рассчитанный на локальную работу; однако метаданные этого репозитория указывают 2,5 млрд параметров, поэтому размер именно загруженной модели расходится с описанием основной модели на 30 млрд параметров. Модель предназначена для мультимодального общения и агентных сценариев: интерпретации изображений, снимков экрана, диаграмм и документов, планирования последовательности действий, вызова инструментов, программирования, генерации синтетических данных и оценки ответов других моделей. Метаданные указывают задачу image-text-to-text, библиотеку Transformers, формат Safetensors и контекст 131 072 токена. README сообщает, что аудио не поддерживается; видео не является целевой модальностью и обрабатывается покадрово. Языки, на которых модель особенно хорошо работает, не перечислены. Модель может ошибаться в многошаговых рассуждениях, выдавать предвзятые или нежелательные ответы; качество на языках за пределами хорошо поддерживаемого набора может снижаться. Для агентных систем автор рекомендует собственные проверки безопасности и дополнительные ограничения, особенно перед необратимыми действиями. Лицензия — Apache 2.0.

Nixia 1.1 4B — семейство компактных агентных языковых моделей в формате GGUF, разработанное adsyamsafa на базе wangzhang/Qwen3.5-4B-abliterated и ориентированное на корпоративные сценарии с вызовом инструментов, терминальными рабочими процессами, автономным исправлением ошибок и рассуждением. Модель предназначена для генерации текста и кода, сложного анализа, оркестрации нескольких инструментов, DevOps-задач, диагностики конфигураций и самовосстанавливающихся циклов. В репозитории доступны варианты размером около 4 млрд параметров с квантизацией Q4_K_M и размером файла около 2,58 ГБ. Рекомендуемый вариант Pure SFT 2K обучен на 2 000 агентных траекториях и показывает заявленную общую точность 87,0% на восьми специализированных тестах; вариант DARE-TIES 80/20 объединяет SFT и GRPO RLVR и ориентирован на автономный DevOps и быстрое самовосстановление. Заявлены поддержка работы на CPU, включая ноутбуки с 16 ГБ ОЗУ, расход памяти около 3 ГБ и контекст до 8 192 токенов. Сведения о языках и мультимодальности не указаны; по описанию это текстовая модель. Сильные стороны — высокая эффективность на задачах агентной оркестрации, консенсуса, системного программирования, PostgreSQL, Rust и автономного восстановления, а также возможность локального запуска через Ollama и llama.cpp. Ограничения включают небольшой размер модели, зависимость результатов от выбранного варианта и квантизации, а также заметно более низкий результат DARE-варианта на тесте восстановления времени жизни Rust Async Mutex. Модель и указанные материалы распространяются по лицензии Apache-2.0.

NousCoder-14B-GGUF — это квантизированные версии языковой модели NousCoder-14B, разработанной NousResearch и подготовленные bartowski в формате GGUF с использованием llama.cpp. Модель предназначена прежде всего для генерации и анализа программного кода, решения задач программирования и работы в локальных средах запуска, включая llama.cpp, LM Studio, koboldcpp, Jan AI и другие совместимые инструменты. В README также указаны наборы данных, связанные с генерацией кода и задачами LiveCodeBench, использованные для базовой модели или её подготовки. Модель имеет размер 14 миллиардов параметров; точные сведения об архитектуре, поддерживаемых языках программирования и длине контекста в README не указаны. Доступны варианты от BF16 до различных уровней квантования Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Рекомендуемыми названы многие варианты Q4–Q6; Q4_K_M обозначен как стандартный вариант для большинства сценариев, а менее точные Q3 и Q2 подходят главным образом при ограниченных ресурсах. Сильными сторонами являются возможность локального запуска, широкий выбор квантований и совместимость с популярными инструментами инференса. Ограничения связаны с компромиссом между размером и качеством при использовании квантованных версий, а также с тем, что некоторые форматы могут требовать обновления программного обеспечения. Модель и представленные квантизации распространяются по лицензии Apache-2.0.

OpenThinker-Agent-v1-GGUF — набор GGUF-квантизаций модели OpenThinker-Agent-v1, разработанной командой open-thoughts и подготовленной пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель ориентирована на агентские сценарии, работу с терминалом, генерацию кода и задачи software engineering. Обучение связано с датасетами OpenThoughts-Agent-v1-SFT и OpenThoughts-Agent-v1-RL. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером 16,39 ГБ до низкобитных квантизаций, включая Q8_0, Q6_K, Q5_K, Q4_K и Q3_K; конкретный размер и качество зависят от выбранного файла. Для взаимодействия используется chat-шаблон с маркерами system, user и assistant. Данные о точной архитектуре, числе параметров, поддерживаемых языках и размере контекста в README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и оптимизация вариантов imatrix для сохранения качества при уменьшении размера. Более компактные варианты подходят для систем с ограниченной памятью, но могут уступать старшим версиям по качеству. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Ornith-1.5-9B-AWQ-INT4 — квантизированная версия Ornith-1.5-9B, разработанной командой Ornith AI и опубликованной пользователем cyankiwi. Это плотная языковая модель примерно на 9 млрд параметров для генерации текста, ориентированная на эффективное развёртывание на одной GPU; заявлена также возможность запуска на периферийных устройствах в отдельной мобильной версии. Данная сборка использует квантизацию AWQ с точностью INT4 и имеет размер около 8,99 ГБ. Модель предназначена для программирования, агентских сценариев, решения STEM-задач и общего текстового вывода. В карточке указана калибровка на данных STEM and Agentic, а среди поддерживаемых языков перечислены английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский. Архитектура мультимодальности и размер контекстного окна не указаны. К сильным сторонам относятся компактность, возможность эффективного локального запуска и результаты, приведённые для задач работы с терминалом и кодом. К ограничениям относятся возможные потери качества из-за INT4-квантизации, а также отсутствие в предоставленных данных подробных сведений о контекстном окне, фактической производительности на разных устройствах и ограничениях применения. Модель распространяется по лицензии MIT.

Qwable-9B-Claude-Fable-5-GGUF — семейство GGUF-квантизованных версий модели Qwable-9B-Claude-Fable-5, разработанной Empero. Модель создана на базе Qwen3.5-9B с полным дообучением параметров на трассах агентного программирования и рассуждений, дистиллированных из Claude Fable 5 и GPT-5.5 terminal agent. Распространяется для запуска через llama.cpp, Ollama, LM Studio и другие GGUF-совместимые среды. Модель предназначена прежде всего для программирования, терминальных и агентных сценариев, технического рассуждения и работы с инструментами. Она мультимодальная: поддерживает текст и изображения, однако для обработки изображений требуется отдельный vision projector mmproj с CLIP vision encoder. Основной язык — английский. Архитектура унаследована от Qwen3.5-9B и включает гибридный стек внимания с чередованием Gated DeltaNet linear attention и Gated full attention; заявлен длинный нативный контекст и словарь примерно из 152 тысяч токенов. Доступны варианты от BF16 до Q4_K_M размером примерно от 17 до 5,3 ГБ. Сильные стороны модели — готовое поведение для coding и agentic-задач, включая работу с терминалом и отдельные проявления security-aware подхода. По заявленной качественной проверке 27 из 34 ответов были признаны корректными и чистыми, однако полноценный набор бенчмарков ещё не опубликован. Ограничения включают меньшую надёжность в общих знаниях и длинных фактологических ответах, возможное снижение качества в низких квантизациях и отсутствие дополнительной safety-настройки. Ответы начинаются с блока <think>, который рекомендуется удалять перед показом пользователю. Модель распространяется по лицензии Apache-2.0; при использовании следует учитывать происхождение обучающих данных и организовать собственную проверку безопасности.