II.2Создание и понимание программного кода

GLM-4.5-Base — базовая языковая модель семейства GLM-4.5, разработанная Zhipu AI для создания интеллектуальных агентов. Это исходная версия модели, предназначенная для дальнейшей адаптации и генерации текста; README отдельно отмечает, что она не предназначена для чата в готовом виде. Модель построена на архитектуре GLM-4 MoE. В метаданных указаны 23,4 млрд параметров, формат safetensors и контекст до 131 072 токенов; карточка описывает серию GLM-4.5 в целом как ориентированную на рассуждения, программирование и агентные сценарии. Поддерживаются английский и китайский языки. Модель выпущена под лицензией MIT, допускающей коммерческое использование и разработку производных моделей. Для интерактивного диалога потребуется подходящая настройка или дообучение; README не приводит отдельных результатов оценки именно базовой версии.

BoldingBuilds/GLM-5.3-Flash-Uncensored-GGUF — экспериментальная квантованная версия GLM-5.3-Flash от zai-org. Автор изменил 666 из 12 384 маршрутизируемых экспертов, удалив компоненты, связанные с отказами, а затем выпустил модель в формате GGUF с квантованием IQ1_S. Размер файла составляет 71,5 GiB в двух частях, поэтому модель рассчитана на запуск примерно на одной видеокарте с 96 ГБ памяти. Это MoE-модель; точное общее число параметров и поддерживаемые языки в карточке не указаны. Для работы с изображениями доступен отдельный vision-проектор mmproj размером 1,13 ГБ, а текстовый режим его не требует. В измерениях использовался контекст 16 384 токена, однако максимальное окно контекста не заявлено. Модель предназначена для локального запуска через llama.cpp в текстовых и мультимодальных сценариях, включая генерацию ответов и программного кода. Для GLM-5.3-Flash требуется сборка llama.cpp с поддержкой этой архитектуры; в README указано использование PR #27754. Рекомендуются параметры temperature 0, seed 0, repetition penalty 1.1 и reasoning budget 1024, причём последний параметр особенно важен: без него модель может продолжать рассуждение и не успевать выдать ответ. Встроенные настройки штрафа за повторения снижают долю непригодных ответов. Главная особенность — существенно сниженная склонность к отказам: в описанных автором тестах доля отказов на вредоносных запросах составила 3,3% по ключевому классификатору и 4,2% по оценке StrongREJECT, а на безвредных запросах — 0%. При этом результаты ограничены собственным набором из 120 вредоносных и 120 benign-запросов и не являются универсальной оценкой качества. Модель использует очень агрессивное экспериментальное квантование примерно на 1,92 бита, поэтому возможны потери качества, ограниченная совместимость и деградация на сложных задачах. README также предупреждает о случаях достижения лимита вывода, особенно при настройках по умолчанию. Лицензия — MIT; при использовании следует учитывать отсутствие стандартных ограничений на отказы и связанные с этим риски безопасности.

ggml-org/gpt-oss-120b-GGUF — квантизированная модель для генерации текста в формате GGUF, разработанная на основе openai/gpt-oss-120b. Репозиторий опубликован организацией ggml-org; указанные исходные модели связаны также с nvidia/gpt-oss-120b-Eagle3-v3. Модель предназначена для запуска и использования в инструментах, совместимых с GGUF, включая llama.app. Ключевая известная характеристика модели — размер базовой модели 120B параметров и квантованный формат представления, который может снизить требования к ресурсам по сравнению с полноразмерной версией. README не содержит сведений об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна, поэтому эти параметры нельзя надежно определить. Модель автоматически преобразована с помощью инструментария ggml-org/convert. Это делает её удобной для локального запуска через совместимое программное обеспечение, однако конкретные требования к памяти, производительность и характеристики квантования в README не указаны. Лицензия — Apache-2.0.

Gunulhona/Hermes-Llama-Merge — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit методом Model Stock. За основу взята NousResearch/Hermes-3-Llama-3.1-8B; в объединение также вошли несколько инструкционных моделей Llama 3 на корейском языке, Meta-Llama-3.1-8B и OpenChat 3.6. Модель содержит около 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и опубликована в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Метаданные указывают контекст до 131 072 токенов, а описание базовой Hermes 3 отмечает поддержку инструкций, рассуждений, генерации кода и интерфейса вызова инструментов. Набор объединённых моделей указывает на особый акцент на корейском языке наряду с возможностями базовой модели. Карточка не приводит сравнительных оценок качества или подробного описания ограничений объединённой версии. Модель опубликована 30 августа 2024 года; сведения о лицензии в предоставленных данных отсутствуют.

HIDra-30B-A3B — текстовая офлайн-модель для offensive security, разработанная SAPSAN CYBERSEC на базе abliterated Qwen3-Coder-30B-A3B. Модель дообучена для задач, связанных с авторизованным penetration testing, red team, CTF, security research и Cyber Threat Intelligence. Она предназначена для локального использования в инструментах вроде LM Studio, Jan, Ollama и llama.cpp, поэтому данные пользователя могут не покидать его устройство. Модель представляет собой разреженную Mixture-of-Experts-архитектуру: около 30,5 млрд параметров всего, примерно 3,3 млрд активных на токен и 128 экспертов. Доступна в формате GGUF с квантованиями Q3_K_M, Q4_K_M, Q5_K_M и Q8_0; размер файлов составляет приблизительно от 14 до 32 ГБ. Поддерживается английский язык, модальность только текстовая. Указанный в README пример запуска использует контекст 8192 токена. Модель ориентирована на написание и объяснение exploit scripts, PoC и средств автоматизации, анализ уязвимостей, CTF-задачи, BadUSB и HID-инъекции, DuckyScript, сопоставление CVE и CWE, техники MITRE ATT&CK и анализ threat intelligence. К сильным сторонам относятся специализация на кибербезопасности, навыки программирования, работа с offensive-security сценариями, локальный режим и заявленная способность не выдумывать непроверяемые флаги, ключи, хэши и результаты. Ограничения включают отсутствие safety RLHF, текстовый режим без vision input и возможное снижение качества из-за квантования примерно на 1–2 пункта по сравнению с full precision. Модель предназначена только для законных и разрешённых проверок; ответственность за применение несёт оператор. Базовая модель указана под лицензией Apache 2.0.

LFM2.5-1.2B-Nova-Function-Calling — модель NovachronoAI, дообученная на базе LiquidAI/LFM2.5-1.2B-Instruct для вызова функций и инструментов. Она принимает запросы на естественном языке и формирует структурированные аргументы в JSON для API, программных агентов и других инструментов. Модель основана на плотной архитектуре LFM2 и содержит 1,5 млрд параметров; её контекст — до 128 000 токенов. В карточке указана поддержка английского языка и лицензия Apache-2.0. Модель ориентирована на выбор инструмента, извлечение аргументов и соблюдение JSON-схем. Карточка заявляет высокую точность синтаксиса JSON и наличие вариантов GGUF для локального запуска, однако численные результаты приведены без описания методики и независимой проверки. Как компактная модель, она может уступать более крупным моделям в сложных или неоднозначных запросах; качество вызовов следует проверять на целевых инструментах и схемах.

amd/Llama-3.1-8B-Instruct-FP8-KV-Quark-test — тестовая производная модели Llama 3.1 8B Instruct, опубликованная организацией AMD на Hugging Face и основанная на Meta Llama-3.1-8B-Instruct. Это авторегрессионная текстовая языковая модель для генерации ответов по инструкциям и диалоговых сценариев; репозиторий также используется в тестах интеграции vLLM и квантования Quark. Модель содержит около 8 млрд параметров и использует архитектуру LlamaForCausalLM с 32 слоями, 32 attention-heads и 8 key-value-heads. В конфигурации указаны FP8-квантизация весов и операций, включая FP8 KV-cache, а также формат хранения safetensors; базовый тип вычислений обозначен как bfloat16. Максимальная длина контекста указана как 131072 токена, исходный размер позиционного окна — 8192 токена с масштабированием RoPE. Модель работает с текстом; точный перечень поддерживаемых языков в карточке этой версии не указан. Сильные стороны версии — уменьшение требований к памяти и возможность оптимизированного запуска на совместимой инфраструктуре AMD/ROCm с vLLM и Quark. Ограничения состоят в том, что это тестовый квантованный вариант без содержательной model card, поэтому для него не приведены отдельные результаты качества, подробные рекомендации по применению и подтверждённые языковые характеристики; влияние FP8-квантизации на точность также не описано. В репозитории указана лицензия llama3.1, унаследованная от семейства Llama 3.1.

Llama-3.1-Tulu-3-405B-GGUF — это набор GGUF-квантизаций большой языковой модели Llama-3.1-Tulu-3-405B, опубликованный bartowski. Исходная модель разработана Allen Institute for AI (AI2), а квантизация выполнена с помощью llama.cpp release b4585 и метода imatrix. Модель предназначена для генерации текста и запуска локальных LLM-приложений через llama.cpp, LM Studio и совместимые проекты. Модель содержит около 405 млрд параметров, работает в текстовой модальности и, согласно карточке, ориентирована на английский язык. Указан датасет RLVR-MATH, однако конкретные характеристики обучения и размер контекста в README не приведены. Доступно множество вариантов квантизации от Q8_0 до IQ2_XS с размером файлов примерно от 431 до 119 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, но требуют больше оперативной или видеопамяти; низкие уровни экономят память ценой снижения качества. Для диалогового использования указан формат промпта с ролями system, user и assistant. Сильной стороной являются очень большой масштаб модели и широкий выбор вариантов для подбора компромисса между качеством и требованиями к памяти. Ограничениями остаются исключительно высокие аппаратные требования даже для наиболее сжатых вариантов, а также потенциальная потеря качества при низкой квантизации. Модель распространяется по лицензии llama3.1; перед использованием необходимо учитывать условия этой лицензии.

LlamaREST-IPD-GGUF — набор GGUF-вариантов модели, дообученной разработчиками проекта LlamaRestTest для предсказания зависимостей между параметрами REST API. Эти зависимости используются в автоматической генерации тестов API; модель предназначена для запуска в конвейере LlamaRestTest или через llama.cpp. В основе — Meta-Llama-3-8B, дообученная методом QLoRA; веса затем квантованы в формате GGUF с Q6_K. В репозитории представлены варианты на 2, 4 и 8 млрд параметров. Модель специализируется на межпараметрических зависимостях в REST API, а не на широком диалоге. Карточка указывает английский язык. Лицензия — Llama 3 License (llama3); условия её применения следует соблюдать при использовании модели.

Mermaid-Llama-3-5B-Pruned — языковая модель на архитектуре Llama, разработанная TroyDoesAI для генерации Mermaid-диаграмм по коду и текстовым описаниям. Репозиторий содержит модель размером 4,9 млрд параметров в формате safetensors; заявленная длина контекста — 8192 токена. Модель обучалась на 800 примерах Mermaid-графов и 478 программах на Python с использованием LoRA. Модель предназначена для преобразования логики Python-кода, сюжетов и пошаговых инструкций в блок-схемы и другие Mermaid-диаграммы. Её можно применять для визуальной документации кода, сторибординга, планирования проектов и учебных материалов по Python. Автор рекомендует использовать её как модель автодополнения, а не для обычного диалога; также README предупреждает, что из-за изменения слоёв ответы в чате могут быть некачественными. Заявление о превосходстве над GPT-4 приводится автором без описания методики оценки. Лицензия — CC BY 4.0.

Trelis/Meta-Llama-3-8B-Instruct-function-calling — дообученная модель семейства Llama 3, созданного Meta. Репозиторий содержит плотную авторегрессионную трансформерную модель примерно на 7,5 млрд параметров в формате safetensors; она принимает текст и генерирует текст, а контекст составляет до 8192 токенов. Модель дообучена для диалогов и вызова функций на наборе Trelis/function_calling_v3, поэтому подходит для ассистентов, которым нужно отвечать пользователю и формировать вызовы инструментов. Основной язык карточки — английский. Базовая Llama 3 рассчитана на диалоговые и генеративные задачи; качество работы именно с вызовом функций зависит от формата промпта и сценария интеграции. Указанная в README лицензия Meta Llama 3 допускает коммерческое и исследовательское применение при соблюдении её условий и Acceptable Use Policy; метаданные репозитория обозначают лицензию как Apache-2.0, поэтому условия использования следует сверять с лицензией, фактически приложенной к этой производной модели.

P0u4a/ModernBERT-bash-classifier — дообученная модель на базе answerdotai/ModernBERT-base для классификации команд Bash как безопасных или небезопасных. Её предполагаемый сценарий — автоматическая проверка команд в средах coding-агентов, чтобы пользователю требовалось вручную одобрять только команды, помеченные как небезопасные. Модель относится к семейству ModernBERT, использует архитектуру классификации последовательностей и содержит 149 млн параметров. Она принимает текст команды и выдаёт метку класса. Базовая модель поддерживает контекст до 8192 токенов; модель обучена на 3738 командах из трасс Claude Code и Codex. По README, на оценочной выборке F1 составляет 0,9615, а accuracy — 0,9893. К небезопасным отнесены команды, которые загружают или отправляют данные по сети, постоянно изменяют или удаляют файлы вне текущего проекта, меняют облачные ресурсы либо создают постоянные ресурсоёмкие процессы. Качество классификации может снижаться для неизвестных CLI и команд с блоками кода, например Python, внутри heredoc. Лицензия — Apache-2.0.

MaziyarPanahi/Qwen3-14B-GGUF — это набор файлов модели в формате GGUF для Qwen3-14B. Исходную модель разработала команда Qwen, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. В репозитории представлены варианты с квантованием от 2 до 8 бит, что позволяет выбирать компромисс между качеством, размером файлов и требованиями к памяти. Формат GGUF поддерживается, в частности, llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другими решениями. Это делает модель подходящей для локальных чат-интерфейсов, серверов генерации текста и приложений с OpenAI-совместимым API. README не содержит подробных сведений об архитектуре, поддерживаемых языках, размере контекста, модальностях, результатах оценки или сравнении качества вариантов квантования. Поэтому сильные стороны модели можно связывать с разнообразием уровней квантования и широкой поддержкой локальных инструментов, однако возможное снижение качества на более компактных вариантах следует учитывать. Лицензия в представленном README не указана; условия использования исходной Qwen3-14B и опубликованных квантованных файлов необходимо проверять отдельно.

Это пакет слоёв GGUF модели Qwen3-32B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса на локальном кластере. Он получен из unsloth/Qwen3-32B-GGUF и сохраняет исходное распределение GGUF в виде отдельных артефактов по слоям; вариант модели — UD-Q4_K_XL, библиотека запуска — mesh-llm. Пакет предназначен для приватного локального чата и генерации текста, в том числе с распределением вычислений между несколькими машинами, когда полной модели не хватает места на одном узле. Через локальный API Mesh LLM поддерживаются совместимые с OpenAI запросы к chat completions. Данные о размере модели, длине контекста, поддерживаемых языках и лицензии следует сверять с карточкой исходной модели unsloth/Qwen3-32B-GGUF; доступные сведения здесь их не приводят.

Qwen3.5-122B-A10B-abliterix-NVFP4 — квантизированная версия базовой модели wangzhang/Qwen3.5-122B-A10B-abliterix, подготовленная пользователем bjk110. Это текстовая MoE-модель для генерации текста и инференса через vLLM на оборудовании NVIDIA Blackwell, включая DGX Spark GB10 с архитектурой SM121. Поведение Abliterix описывается как uncensored: заявлена частота отказов 0,5%, а KL-дивергенция относительно базовой Qwen3.5-122B-A10B составляет 0,0115. Модель содержит 122 млрд параметров при 10 млрд активных параметров и использует NVFP4-квантизацию W4A4 с группами по 16 элементов, симметричным групповым масштабированием и динамической квантизацией активаций. Формат compressed-tensors совместим с vLLM; 37 056 слоёв используют NVFP4, а 471 слой сохранён в BF16. Размер на диске составляет около 70,4 ГБ вместо примерно 230 ГБ для BF16-версии, что оставляет больше памяти для KV-кэша и позволяет запускать модель на двух узлах DGX Spark. В README указана конфигурация с tensor parallelism 2, FlashInfer-CUTLASS NVFP4 MoE backend и контекстом до 32 768 токенов. Сильные стороны модели — существенно сниженное потребление памяти, поддержка высокопроизводительного NVFP4-бэкенда на Blackwell и сохранение заявленного uncensored-поведения базовой Abliterix-модели. Ограничения включают зависимость от совместимого стека vLLM, аппаратуры NVIDIA Blackwell и распределённого запуска; в README не указаны точные языки, результаты стандартных бенчмарков и подробные характеристики контекстного окна базовой модели. Лицензия — Apache-2.0.

Qwen3.5-397B-A17B-VQ-2.6bpw — квантованная vector-quantization версия модели Qwen3.5-397B-A17B, разработанная сообществом TheDrainFlorist для Apple Silicon и запускаемая через MLX. Модель предназначена для генерации текста, а также обработки изображений при использовании совместимой версии mlx-vlm. В карточке заявлен английский язык, однако полный список поддерживаемых языков и размер контекстного окна не указаны. Модель содержит 397B параметров с архитектурой MoE и активной частью A17B; размер артефакта составляет около 122,3 GiB, а веса текстовой модели квантованы до 2,6 бит на параметр. В комплект входит vision tower в формате bf16 объёмом около 0,849 GiB, поэтому сборка поддерживает мультимодальные сценарии. Для текста требуется mlx-lm с поддержкой model_file, для изображений — mlx-vlm версии 0.6.16 или новее. Указана совместимость с Apple Silicon и exo, а также поддержка speculative decoding через MTP при наличии соответствующего sidecar. По измерениям авторов, модель показывает perplexity 2,5634 на Wikitext и 2,6123 на смешанном наборе для кода; заявлено преимущество над сопоставимой 2,6-битной сборкой на прозе и коде. При этом прикладные task-бенчмарки для этой конкретной модели ещё не проводились, поэтому результаты родственных моделей переносить на неё нельзя. Сборка не помещается на машину с 128 GB памяти, требует значительного объёма unified memory и актуального программного окружения. Лицензия — Apache 2.0.

Qwen3.5-9B-Holodeck-Fara — мультимодальная модель на базе семейства Qwen3.5, опубликованная NightmediaAI. Это слияние Microsoft Fara1.5-9B и нескольких моделей Qwen3.5, включая агентные, кодовые и разговорные варианты. Репозиторий указывает архитектуру Qwen3.5 с 9 млрд параметров в названии и формат safetensors; модель предназначена для диалога, работы с изображениями, агентных сценариев и творческого письма. В карточке приведены сравнительные показатели для вариантов mxfp8 и q8-hi, но подробные метрики и анализ автор обещает добавить позже. Для запуска требуется библиотека Transformers; заявлена лицензия Apache-2.0. README описывает переключение режима рассуждений через шаблон чата, однако часть управляющих тегов в опубликованном тексте пропущена. Практическое качество модели и её поведение в отдельных сценариях по имеющимся сведениям оценить нельзя.

Qwen3.8-27B-abliterated-GPTQ-Pro — это опубликованный groxaxo квантизованный чекпойнт на базе huihui-ai/Huihui-Qwen3.8-27B и Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, разговорных сценариев, локального и размещённого инференса, открытых оценок и воспроизводимых экспериментов. Название указывает на lineage с изменённым или сниженным уровнем фильтрации, однако не гарантирует полностью неограниченное поведение. Модель использует формат GPTQ-Pro с симметричной 4-битной квантизацией, размером группы 64 и пресетом quality. Квантизации подвергнуты 400 линейных модулей в 64 слоях; MTP-голова сохранена без квантизации для speculative decoding. Указана архитектура с 48 слоями linear attention GDN и 16 слоями full attention, а также поддержка MTP. Для обслуживания рекомендуется vLLM с tensor parallelism; документация описывает конфигурацию на двух RTX 3090. В репозитории также заявлен контекст до 260 000 токенов, но фактические требования зависят от оборудования, размера KV-кэша и числа одновременных запросов. К сильным сторонам относятся сниженное потребление памяти по сравнению с полной точностью и ускорение генерации благодаря MTP: в тесте на двух RTX 3090 скорость одного потока выросла с 71,5 до 105,5 токена в секунду при greedy decoding. На одной RTX 3090 MTP-голова вместе с чекпойнтом не помещается; качество и производительность после квантизации необходимо проверять на собственных задачах. Модель может выдавать неточные или неподходящие результаты, а изменённое поведение и сниженная фильтрация требуют дополнительного тестирования и защитных мер. Лицензия — Apache-2.0. При использовании и распространении следует также проверить лицензионные условия исходных моделей и сохранять совместимые файлы конфигурации, токенизатора, процессора и весов одной ревизии.

Модель singulared/Qwen3.8-27B-ROCmFP4-MTP-GGUF представляет собой квантизированную сборку Qwen3.8-27B, опубликованную пользователем или организацией singulared на базе исходной модели Qwen/Qwen3.8-27B и GGUF-версии от ggml-org. Она предназначена для генерации текста и запуска через llama.cpp с поддержкой ROCmFPX, прежде всего на AMD-оборудовании с архитектурой RDNA 3.5, включая Radeon 8060S и платформы Strix Halo. Лицензия — Apache-2.0. В комплект входят несколько вариантов основной модели в формате GGUF с представлением ROCmFP4, а также отдельные MTP-драфтеры разных разрядностей для speculative decoding. Доступны пресеты STRIX, FAST и COHERENT; их размер составляет примерно 13,33–14,41 GiB, а размер драфтеров — около 1,48–2,86 GiB. Архитектура, число параметров 27B и исходные языковые характеристики унаследованы от Qwen3.8-27B, но подробные сведения о поддерживаемых языках, модальностях и максимальном контексте в карточке не указаны. Основное преимущество сборки — сниженное потребление памяти: для FP4 заявлено около 15,6 GiB резидентной памяти против 17,3 GiB у Q4_K_M при сопоставимом декодировании. MTP может ускорять генерацию, однако результат сильно зависит от предсказуемости задачи, глубины draft и версии ROCm; для типичных измерений указана скорость около 27–28 токенов в секунду, а в благоприятных условиях — до примерно 39 токенов в секунду. FP4 ориентирован прежде всего на уменьшение занимаемой памяти, а не на максимальную скорость. Требуется специальная сборка ROCmFPX, поскольку стандартный llama.cpp не поддерживает используемые типы тензоров. FP2-драфтер не рекомендуется из-за резкого падения принятия черновых токенов, а сочетание параметров -ctk q8_0 и -ctv turbo4 может повреждать результаты при длинном контексте.

Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored-NM-DAU-NEO-MTP-GGUF — это многоэтапная fine-tune и multi-stage merge-модель, разработанная DavidAU на базе Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-Uncensored. Модель подготовлена с использованием Unsloth и распространяется в формате GGUF, включая обычные и MTP-квантизации Neo и NEO MAX. Заявленные языки — английский и китайский; лицензия — Apache-2.0. Точные сведения о длине контекста и внутренней архитектуре в README не указаны. Модель предназначена для универсального применения: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов, ролевых сценариев и работы с различными жанрами. Она ориентирована на запуск на потребительском оборудовании и сфокусирована на высокой детализации ответов, снижении избыточного «размышления» и сокращении расхода токенов. README заявляет пять режимов рассуждения и пять instruct-режимов, включая Spoon и Einstein; instruct-режимы должны работать без reasoning-токенов, а переключение возможно через API, в чате или на уровне сообщения. К сильным сторонам относятся поддержка нескольких режимов работы, наличие GGUF-квантов для локального запуска, акцент на скорости и уменьшении числа токенов рассуждения, а также специализация на подробной генерации и художественном письме. Модель описана как lightly uncensored, то есть с ослабленными ограничениями, однако README не приводит систематических сведений о безопасности, фактических результатах тестирования или воспроизводимых бенчмарках. Заявления о превосходстве над другими моделями и уровне «закрытых» систем являются утверждениями автора и требуют независимой проверки. Также не указаны точные параметры квантования, требования к оборудованию и ограничения по коммерческому использованию сверх обозначенной лицензии.

Qwen3.8-27B-ZeroRefusal-UD-IQ4_XS-MTP-GGUF — независимый community-релиз GGUF-модели, основанный на Qwen/Qwen3.8-27B и junafinity/Qwen-3.8-27B-Uncensored. Модель предназначена для локального запуска через llama.cpp, включая текстовые и мультимодальные сценарии с обработкой изображений. Релиз оптимизирован для видеокарты RTX 5060 Ti с 16 ГБ VRAM и не является официальным продуктом Qwen, Unsloth, llama.cpp или ZeroFuse. Модель использует архитектуру qwen35, содержит 866 тензоров и 65 блоков, имеет размер 27B параметров и квантизацию Unsloth Dynamic V3 UD-IQ4_XS с эффективной точностью 4,25 bpw. Поддерживаются китайский и английский языки. Заявлена исходная длина контекста 262 144 токена, а проверенный производственный профиль рассчитан на 73 728 токенов. В состав входит native MTP/NextN-слой, поэтому отдельная draft-модель не требуется. Для работы с изображениями необходим отдельный F16 vision-проектор. Сильные стороны модели — высокая скорость локального вывода, поддержка MTP, совместимость с 16-ГБ видеокартами и мультимодальный режим. В измерениях на RTX 5060 Ti достигалась скорость до 41,67 токена/с в одном потоке и совокупно около 65,67 токена/с в двух потоках. Модель относится к ZeroRefusal/uncensored-вариантам и может генерировать небезопасный, незаконный или ошибочный контент; результаты теста на отказах не являются гарантией качества или безопасности. Конфигурация имеет очень малый запас VRAM и чувствительна к драйверам, версиям CUDA и фоновой нагрузке. Распространяется по лицензии Apache-2.0, при этом необходимо учитывать лицензии и условия использования исходных моделей, датасетов и инструментов.

Soomin33/Qwen3.8-Flash-Next-FP6 — общественная квантованная версия модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель создана на основе официального чекпойнта Qwen/Qwen3.8-Flash-Next-FP8, а не исходных весов BF16. Она предназначена для генерации текста и рассчитана на локальный запуск и серверное инференс-обслуживание с использованием SGLang. Модель использует архитектуру mixture-of-experts и содержит около 180 млрд параметров. Веса MoE-экспертов объёмом 123,31 млрд параметров представлены в формате FP6 e2m3 с группами по 64 значения, основные компоненты внимания и GDN хранятся в BF16, а таблица n-gram/PLE объёмом 51,2 млрд параметров — в FP8 и размещается в оперативной памяти хоста. В составе также присутствует vision encoder, однако заявленный pipeline предназначен для text-generation. Поддерживаемые языки, размер контекста и точный набор мультимодальных сценариев в карточке не указаны. Сильными сторонами являются существенное снижение размера экспертных весов при низкой относительной RMS-ошибке относительно FP8-источника, проверенная точность Triton-деквантизации и оптимизация под GPU NVIDIA Ampere. В тесте GPQA Diamond на ограниченной выборке модель показала 38 из 38 правильных ответов среди завершённых задач, а в частично выполненном полном прогоне — 66 из 71, однако эти результаты не являются полноценным бенчмарком. Ограничения включают высокие требования к ресурсам: рекомендуется две видеокарты по 64 ГБ либо не менее 110 ГБ памяти на одной GPU, около 50 ГиБ закреплённой оперативной памяти для n-gram-таблицы и примерно 147 ГиБ дискового пространства. Архитектуры GPU новее Ampere заявлены как потенциально совместимые, но не протестированы. Модель распространяется по лицензии Qwen Community License 1.0; в метаданных также указана общая категория лицензии other.

MaziyarPanahi/QwQ-32B-GGUF — это набор квантизированных файлов модели QwQ-32B в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Точный объём файлов, архитектура, длина контекста, поддерживаемые языки и модальности в README не указаны; по доступным данным модель относится к семейству QwQ-32B и работает с текстом. Сильная сторона этой версии — возможность запускать модель локально на оборудовании с различными ресурсными ограничениями благодаря нескольким уровням квантизации и широкой поддержке GGUF-инструментов. Ограничения включают потенциальную потерю качества на более агрессивных вариантах квантизации, а также необходимость самостоятельно подобрать совместимый клиент и параметры запуска. Лицензия в README не указана.

ShellWhisperer-1.5B — языковая модель, разработанная командой FableForge и дообученная на базе Qwen/Qwen2.5-1.5B-Instruct. Она предназначена для преобразования запросов на естественном языке в точные команды Bash, а также для сценариев, связанных с DevOps, системным администрированием и работой в терминале. Модель имеет размер 1,5 млрд параметров, поддерживает текстовую генерацию и английский язык. Для локального запуска доступны файлы в формате GGUF с различными уровнями квантования, включая F16, Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные варианты. Заявлена совместимость с llama.cpp, Ollama и LM Studio; для диалогового взаимодействия используется формат ChatML. Контекстное окно в README не указано. К сильным сторонам относятся компактность, быстрота и специализация на генерации Bash-команд, благодаря чему модель может работать на устройствах с ограниченными ресурсами. Ограничения включают небольшой размер и узкую специализацию, а также отсутствие опубликованных количественных оценок качества и подробных сведений о данных обучения. Модель распространяется по лицензии Apache-2.0.

LeroyDyer разработал SpydazWeb AI Swahili Project — языковую модель Mistral с 7,1 млрд параметров для генерации текста. По описанию автора, модель дообучалась на суахили и предназначена также для задач на английском, программирования, учебных заданий и работы с религиозными и историческими текстами. Автор упоминает применение в сценариях RAG и дальнейшую адаптацию LoRA-адаптерами, но не приводит результатов оценки качества. Модель принимает текст и генерирует текст; контекстное окно составляет 32 768 токенов. В метаданных указаны английский и суахили, а также датасеты CulturaX и пары предложений английский—суахили. Репозиторий содержит веса safetensors и распространяется по лицензии MIT. README отмечает, что модель может уступать другим моделям серии, и предупреждает о возможной потере ранее усвоенных навыков при применении неподходящего LoRA-адаптера.

Swift-Qwen3.8-27B-FP8 — независимая общественная FP8-квантизация модели ukisai/Swift-Qwen3.8-27b, не являющаяся официальным релизом UkisAI. Модель предназначена для диалоговых, reasoning- и мультимодальных сценариев, а также высокопроизводительного инференса через SGLang с поддержкой speculative decoding. Указанный pipeline относится к задачам image-text-to-text, однако мультимодальная работа именно этой квантизированной версии отдельно не тестировалась. Модель использует архитектуру Qwen3_5ForConditionalGeneration, формат compressed-tensors и схему FP8_BLOCK с блоками весов 128×128 и динамическим FP8 для активаций. Размер исходного чекпойнта составляет около 29 ГБ, заявленная длина контекста — 262 144 токена. Сохранены native MTP-компоненты; поддерживаются нативный NEXTN/MTP и внешняя модель-черновик DFlash2. Квантизация выполнена из BF16-версии с помощью llmcompressor 0.13.0, при этом несовместимые с блочной схемой компоненты, включая часть embedding- и normalization-модулей, сохранены без принудительной квантизации. Сильная сторона модели — снижение требований к видеопамяти при сохранении высокой производительности. В локальном тесте на NVIDIA RTX PRO 6000 Blackwell 96 GB скорость составила 50,45 токена в секунду без speculative decoding, 103,38 с native NEXTN/MTP и 132,62 с DFlash2 на фиксированной генерации. Эти результаты относятся к конкретной конфигурации и не являются стандартизированным бенчмарком; качество, языки и универсальная мультимодальная производительность отдельно не раскрыты. Для запуска проверены CUDA Linux, SGLang и одиночный GPU с TP=1. Модель распространяется по лицензии swift-open-license-1.0.

Jebadiah/Tess-coder-ruby-p5 — языковая модель для генерации текста, созданная объединением предварительно обученных моделей с помощью mergekit. В основе объединения лежит Jebadiah/Tess-coder-ruby-p4, в него линейным методом DARE добавлена verifiers-for-code/Llama-3-LlamaPlanner. Архитектура — плотная LlamaForCausalLM с 7,5 млрд параметров; модель работает с контекстом до 8192 токенов и рассчитана на диалоговое взаимодействие. Модель предназначена для генерации текста и может применяться в сценариях, связанных с программированием, благодаря включению модели LlamaPlanner. Карточка не описывает конкретные языки программирования или отдельные бенчмарки, поэтому качество и специализацию на конкретных задачах кодирования оценить нельзя. Файлы представлены в формате safetensors; для объединения использовалась точность bfloat16. Условия лицензии в предоставленных данных не приведены.

ThinkingCap-Qwen3.6-27B-heretic-GGUF — набор GGUF-квантизаций модели ThinkingCap-Qwen3.6-27B-heretic, подготовленный egibson с использованием llama.cpp. Исходная модель представляет собой декензурированную версию ThinkingCap-Qwen3.6-27B от bottlecapai, созданную с помощью Heretic. Архитектура основана на Qwen3.6, размер — 27 млрд параметров; точные сведения о языках, длине контекста и поддерживаемых модальностях в README не указаны. Модель предназначена для локального запуска через совместимые среды, включая llama.cpp, с выбором между вариантами от f16 до низкобитных Q- и IQ-квантизаций. Доступны версии объёмом примерно от 10 до 50,1 ГБ; Q4_K_M рекомендована как сбалансированный вариант по качеству и размеру, а IQ-квантизации используют importance matrix, что может улучшать качество при сопоставимом размере. Более точные варианты обеспечивают максимальную близость к исходным весам, тогда как версии с меньшей разрядностью рассчитаны на оборудование с ограниченной памятью и сильнее теряют качество. В экспортированных файлах исключена MTP-head: это устраняет ошибку конвертера GGUF и не мешает обычной работе модели, но исключает возможность соответствующей оптимизации speculative decoding. Модель распространяется по лицензии Apache-2.0. README не содержит результатов тестирования, поэтому фактическое качество, скорость и пригодность для конкретных задач следует оценивать в целевой среде.

Shaurya2020/allpanel-api-minilm — англоязычная модель Sentence Transformers, дообученная на 138 парах текстов с маршрутами API allpanelexch9.co. Она кодирует текст в нормализованные плотные векторы размерности 384 и использует косинусное сходство для сопоставления запросов с маршрутами API. Архитектура основана на энкодере BERT семейства MiniLM с усреднённым pooling; в метаданных указан контекст до 512 токенов, а в README — максимальная длина последовательности 256 токенов. Модель предназначена для семантического поиска и ранжирования маршрутов API по текстовому запросу, а также для сравнения похожести, поиска перефразировок и кластеризации текстов. README приводит результаты оценки на небольшом наборе allpanel-api. Модель принимает и выдаёт текстовые представления в виде эмбеддингов; лицензия — Apache-2.0.

Arch-Agent-1.5B — компактная диалоговая языковая модель компании Katanemo для вызова функций и построения агентных систем. Она дообучена на базе Qwen/Qwen2.5-Coder-1.5B-Instruct и использует плотную архитектуру Qwen2 с 1,5 млрд параметров; модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для многошаговых и многоходовых сценариев с инструментами: она помогает выбирать функции, планировать последовательность вызовов, учитывать результаты промежуточных шагов и продолжать диалог с сохранением контекста. Для получения структурированного вывода рекомендуется использовать формат промпта авторов, совместимый с JSON-представлением вызовов функций. Заявленная длина контекста — 32 768 токенов; авторы описывают оценку на контексте 64K с масштабированием YaRN. Карточка приводит результаты тестирования на Berkeley Function-Calling Leaderboard, но не содержит самих численных результатов. Указана лицензия other, поэтому перед использованием следует проверить условия в репозитории модели.