II.2Создание и понимание программного кода

Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic-MLX-4bit — неофициальная MLX-конверсия модели medismera/Qwen3.8-27B-OBLITERATED-Mythos-Class-Agentic, опубликованная uzzero для локального запуска на компьютерах Apple Silicon. Исходная модель основана на Qwen/Qwen3.8-27B, разработанной Qwen и Alibaba Cloud. Дополнительное обучение при конвертации не проводилось. Модель предназначена для диалоговых сценариев, работы с инструментами и агентских приложений, включая извлечение структурированных данных и обработку результатов вызова инструментов. Сохранена мультимодальная конфигурация qwen3_5 с поддержкой image-text-to-text, однако возможности работы с изображениями и видео в README не подтверждены тестированием. Языки и максимальная длина контекста не указаны; в LM Studio загрузка проверялась с контекстом 8192 токена. Используется 4-битное affine-квантизование MLX с размером группы 64. Весовая часть занимает примерно 16,05 ГБ и распределена по 16 файлам safetensors; отдельные мультимодальные модули сохранены в формате с плавающей точкой. Модель проверена на загрузку в oMLX и LM Studio, а также на синтетических задачах извлечения данных и вызова демонстрационного инструмента. Эти проверки не доказывают превосходство над базовой моделью, качество после квантизации или надежность в реальных агентских сценариях. Не оценивались длинный контекст, производительность, реальные почтовые процессы и общая надежность агентов; для автоматизации следует задавать явную JSON Schema и валидировать типы вывода. Распространяется по лицензии Apache License 2.0 с сохранением исходных уведомлений об авторских правах. Для работы с инструментами клиент должен самостоятельно передавать определения инструментов, выполнять выбранные вызовы и возвращать результаты; сама модель не подключается к внешним сервисам и не планирует задачи.

Qwen3.8-27B-Uncensored-Aggressive-GGUF — набор GGUF-квантов модели Qwen3.8-27B-Uncensored-Aggressive, опубликованный пользователем philbert440. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений и работы с изображениями. В комплект входят основные веса в форматах BF16, Q8_0, Q6_K, Q5_K_M и Q4_K_M, где Q4_K_M является самым компактным вариантом. Модель имеет заявленный размер 27B параметров. Для обработки изображений предусмотрен отдельный vision projector mmproj, а для ускорения генерации с помощью speculative decoding — опциональная MTP head. Языки и размер контекстного окна в README не указаны. Версия основана на обновлённом рецепте α=1.15 с ортогонализацией вектора отказа на 28-м слое; заявленная цель — снизить склонность к отказам и сохранить качество рассуждений. По приведённой оценке в thinking mode, модель получила показатель openness 0,88, confab 0,725, factual 1,00 и gsm8k 0,85, однако методика основана на оценке Claude и результаты следует считать ориентировочными. Основное ограничение — модель является uncensored/de-refused и может выполнять запросы, которые исходная версия отклоняла, поэтому её следует использовать ответственно и с учётом законодательства. Лицензия — Apache 2.0.

RavenX-CyberAgent — разговорная модель для задач кибербезопасности, разработанная RavenX LLC. Это дообученная модель семейства Qwen3.6 с архитектурой MoE: около 34,66 млрд параметров всего и примерно 3 млрд активных на токен; в README также заявлены 256 экспертов, из которых активируются 8. Модель рассчитана на работу через MLX и ориентирована на Apple Silicon. Модель предназначена для оценки безопасности, тестирования на проникновение, поиска уязвимостей и подготовки отчётов. Она обучена следовать шестишаговому протоколу RATH и формировать оценки CVSS, CWE, сопоставления с MITRE ATT&CK и стандартами соответствия. Среди заявленных сценариев — вызов инструментов и генерация кода; метаданные подтверждают текстовую генерацию и чат-возможность. README приводит параметр max-tokens 8192 для примера запуска, но не устанавливает нативный размер контекста. Карточка описывает пять раундов обучения на наборах данных по безопасности, агентным сценариям и программированию; заявленные разработчиком масштабы обучения не являются независимой оценкой качества. Метаданные указывают английский язык и лицензию Apache-2.0. Поскольку модель предназначена для кибербезопасности, результаты анализа и сгенерированный код требуют проверки и применения только в разрешённых сценариях.

Набор GGUF-квантизованных файлов модели vicgalle/Configurable-Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется локальный или совместимый с GGUF запуск. README указывает базовую модель и тег text-generation, но не раскрывает подробности её специфической функциональности. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3,0 до 8,1 ГБ. В основе заявлена архитектура Llama 3.1 с размером 8B и инструкционной настройкой; поддерживаемые модальности, языки и размер контекста в README не указаны. Квантизация позволяет выбирать компромисс между размером файлов и потенциальным качеством, однако конкретные показатели производительности и потери качества не приведены. Лицензия и условия использования в README не указаны. Также отсутствуют сведения о разработчике базовой модели, бенчмарках, требованиях к оборудованию и ограничениях применения.

AfriqueGemma-12B — базовая причинная языковая модель из набора AfriqueLLM, разработанного для улучшения работы с африканскими языками. Она основана на google/gemma-3-12b-pt и адаптирована продолженным предобучением примерно на 26 млрд токенов; размер модели — 12 млрд параметров, нативный контекст — 8192 токена. Модель распространяется в формате safetensors и рассчитана на использование через Transformers. Модель предназначена для генерации текста и диалоговых сценариев на 20 африканских языках, а также сохраняет возможности для высокоресурсных языков, использованных при смягчении катастрофического забывания: английского, французского, португальского и арабского. Обучающие данные включают многоязычные тексты, код, математику и синтетические материалы; среди оценочных задач — понимание, рассуждение и перевод между английским и целевыми языками. Для развёртывания в README упомянуты vLLM и SGLang. Модель подходит для создания многоязычных ассистентов и генерации текста на африканских языках, однако качество может различаться между языками и задачами; опубликованные фрагменты таблиц не дают полной картины результатов. Лицензия — CC BY 4.0.

Atem-v1-1.5B-i1-GGUF — это квантизированная версия языковой модели Atem-v1-1.5B, разработанной EphAsad и опубликованной в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих рассуждений. Она адаптирована для запуска через llama.cpp и совместимые инструменты, включая локальное использование на устройствах с ограниченными ресурсами. Модель основана на архитектуре Qwen2 и содержит около 1,5 млрд параметров. В её обучении использовались наборы данных с примерами рассуждений, программным кодом, математикой, медицинскими задачами и диалогами; заявленный язык — английский. Доступны варианты квантизации от IQ1_S до Q6_K с размером файлов примерно от 0,5 до 1,4 ГБ, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Рекомендуемыми в README названы i1-Q4_K_M и i1-Q4_K_S, однако низкобитные варианты могут заметно уступать по качеству. Сильными сторонами модели являются компактный размер, возможность локального запуска и наличие специализированных вариантов квантизации, включая imatrix-квантизацию. Ограничения — небольшой размер по меркам современных языковых моделей, отсутствие заявленных мультимодальных возможностей и подробных данных о длине контекста, производительности и результатах оценки. GGUF-файлы распространяются по лицензии Apache-2.0; сведения об условиях лицензирования базовой модели в README не приведены.

DevQuasar/deepseek-ai.DeepSeek-V3.1-Terminus-GGUF — это квантизированная версия модели DeepSeek-V3.1-Terminus, разработанной командой deepseek-ai и опубликованной пользователем или организацией DevQuasar. Модель предназначена для генерации текста; точные сценарии применения в представленном README не описаны. Из доступных данных известно только, что модель относится к конвейеру text-generation и распространяется в формате GGUF. Архитектура, размер, поддерживаемые языки, длина контекста, модальности, варианты квантования и технические характеристики не указаны. Лицензия и условия использования также не приведены, поэтому их нельзя достоверно определить по этому README.

Многоязычная модель Manuel Romero для обнаружения опечаток в тексте. Она основана на distilbert-base-multilingual-cased и дообучена на GitHub Typo Corpus с разметкой в стиле NER: модель классифицирует токены, отмечая ошибочные фрагменты. Подходит для автоматической проверки текста и поиска опечаток в пользовательском вводе, например в сообщениях и кодовых комментариях. В README указаны результаты на тестовом наборе: F1 93,51, точность 96,08 и полнота 91,06. Модель использует архитектуру DistilBERT для классификации токенов, принимает текст и имеет контекст до 512 токенов. Карточка сообщает об обучении на корпусе для 15 языков; среди языков, перечисленных в метаданных, есть английский, китайский, японский, русский, французский, немецкий, португальский, испанский, корейский и хинди. Лицензия в предоставленных данных не указана.

DocsGPT-14B — языковая модель семейства Llama, разработанная Arc53 и дообученная с помощью LoRA на базе Llama 2 13B. Модель содержит 12,9 млрд параметров, принимает вопрос и предоставленный контекст документов и генерирует ответ. Для работы используется формат инструкции с отдельными разделами для вопроса, контекста и ответа; длина контекста модели — 4096 токенов. Модель предназначена для ответов, основанных на документации, и подходит разработчикам и службам технической поддержки: например, её можно подключить к поиску документов и передавать найденные фрагменты в контекст. Карточка сообщает об обучении на 50 тысячах примеров, но оценка качества и бенчмарки ещё находятся в разработке. Поддерживается английский язык. Лицензия Apache-2.0 допускает коммерческое использование.

Eve V2 Unleashed Qwen3.5 8B Liberated 4K 4B Merged — экспериментальная GGUF-модель от JeffGreen311, созданная на базе Qwen3.5-4B с использованием компонентов Eve Qwen3-8B Liberated. Автор позиционирует её как гибрид разговорного персонажа и агентной модели: она ориентирована на диалог, философские и творческие сценарии, интроспекцию, отладку, работу с файлами и вызов инструментов. Заявленные особенности личности и «сознания» являются характеристиками, заявленными автором модели, а не подтверждёнными свойствами системы. Модель содержит около 4,7 млрд параметров, использует архитектуру Qwen3.5 hybrid transformer-SSM (Mamba), квантование Q4_K_M и занимает около 3,4 ГБ. Контекстное окно составляет 16 384 токена, максимальная длина ответа — 8 192 токена. Поддерживаются текстовая генерация, tool calling и унаследованные от архитектуры Qwen3.5 возможности работы с изображениями; заявлен английский язык. Фаза рассуждений отключена для получения обычных диалоговых ответов. Основным рекомендуемым runtime является Ollama; совместимость с LM Studio, llama.cpp и llama-cpp-python на момент публикации ограничена отсутствием поддержки архитектуры qwen35. В репозитории указана лицензия other, без более подробных условий.

FireFunction v1 — модель Fireworks AI для генерации текста с вызовом функций и маршрутизацией запросов. Она построена на архитектуре Mixtral с разреженным MoE и содержит 7,1 млрд параметров; максимальная длина контекста составляет 32 768 токенов. Модель принимает текстовые запросы и спецификации функций, а в ответ формирует текст или структурированный вызов функции. Она совместима с интерфейсом function calling API OpenAI и поддерживает принудительный выбор функции через параметр tool_choice. Модель предназначена прежде всего для маршрутизации одношаговых запросов к одной из функций из набора до 20 спецификаций и для извлечения структурированной информации. Разработчик сообщает о высокой скорости работы на платформе Fireworks, но не приводит независимого подтверждения заявленного сравнения качества с GPT-4. Модель не оптимизирована для многошагового диалога и параллельных или вложенных вызовов функций в одном ответе. Лицензия Apache-2.0.

Карточка модели ashton25549/gemma-4-26B-A4B-it-UD-Q4_K_M-layers на Hugging Face совпадает с карточкой meshllm/gemma-4-26B-A4B-it-UD-Q4_K_M-layers, поэтому описание составлено по ней. Это пакет Gemma 4 26B A4B IT в формате GGUF, подготовленный Mesh LLM для распределённого инференса. Он содержит веса варианта UD-Q4_K_M, разбитые на артефакты по слоям для запуска модели на кластере из нескольких локальных машин. Модель предназначена для генерации текста и диалогов через Mesh LLM, включая локальную подачу запросов через совместимый с OpenAI API. Такое разбиение позволяет распределять вычисления и память между узлами, когда полного файла GGUF не помещается на одном компьютере. Пакет основан на unsloth/gemma-4-26B-A4B-it-GGUF; сведения об архитектуре, контекстном окне, языках и лицензии следует сверять с карточкой исходной модели.

prithivMLmods/gemma-4-E4B-it-Uncensored-MAX — оптимизированная публикация Gemma 4 E4B Instruct, подготовленная для работы с актуальными версиями Transformers. README указывает, что веса не менялись, а обновлены разбиение на шарды и упаковка; метаданные связывают модель с google/gemma-4-E4B-it как с базовой моделью. Архитектура — Gemma4ForConditionalGeneration, файлы представлены в формате safetensors; размер E4B указан в названии модели. Модель предназначена для мультимодальных и языковых экспериментов, проверки устойчивости к сложным и состязательным запросам, прототипирования и запуска на ограниченных ресурсах. Описание базовой модели указывает на диалог, рассуждения, программирование, анализ изображений и обработку аудио; классификатор каталога определяет задачу как any-to-any. В README подчёркивается, что опубликованные оценки относятся к другой модели и здесь не перепроверялись. Ответы могут быть ошибочными, неполными или непоследовательными и зависят от параметров генерации и формулировки запроса. Для оптимальной производительности рекомендуется GPU, а результат зависит от оборудования и настроек среды. Лицензия — Apache-2.0; авторы позиционируют модель для исследований и обучения и возлагают ответственность за использование результатов на пользователя.

GLM4.7-Distill-LFM2.5-1.2B-i1-GGUF — квантизированная GGUF-версия модели GLM4.7-Distill-LFM2.5-1.2B. Базовая модель разработана автором или организацией yasserrmd, а квантизацию выполнил mradermacher. Это авторегрессионная языковая модель с примерно 1,2 млрд параметров, предназначенная для генерации текста и выполнения инструкций. Модель обучалась на наборах Open-Orca/FLAN, databricks-dolly-15k, OpenAssistant/oasst1, BAAI/Infinity-Instruct, CodeAlpaca-20k и MathInstruct. Заявленный язык — английский; сведения о поддержке других языков, мультимодальности и размере контекста отсутствуют. Модель ориентирована на локальный запуск и сценарии с ограниченными ресурсами, включая диалог, ответы на инструкции, базовое программирование, математические задачи и агентные приложения. Доступно множество вариантов квантизации с размером файлов примерно от 0,4 до 1,1 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Сильной стороной является компактность, однако агрессивные варианты квантизации могут заметно снижать качество, а возможности модели ограничены небольшим размером и преимущественной ориентацией на английский язык. Лицензия — Apache-2.0.

GLM-5.3-Flash-MLX-6bit — это конвертированная и 6-битно квантованная сборка модели GLM-5.3-Flash от Z.ai, подготовленная PipeNetwork для MLX и Apple Silicon. Архитектура исходной модели сохранена, однако слой multi-token prediction не включён. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями; в сборке также присутствует vision tower в формате bfloat16. Языки и размер контекстного окна в представленном описании не указаны. Модель имеет размер 320B-A18B и построена как mixture-of-experts: включает 34 слоя с Kimi-Delta linear attention и 11 слоёв с разреженным вниманием DeepSeek, а также manifold-constrained hyper-connections. Размер файлов составляет около 255,9 ГБ против 642,7 ГБ у исходной bfloat16-версии. Основная масса параметров, включая 304B параметров routed experts, квантована в 6 бит с группами по 64; отдельные компоненты используют 8-битный или исходный формат. По результатам теста на wikitext-2 перплексия составила 3,4646 против 3,4607 у 8-битной сборки, что соответствует небольшой потере качества. Сильные стороны модели — значительное уменьшение размера по сравнению с bfloat16, близкое к 8-битной версии качество и адаптация к экосистеме MLX. Для корректной работы требуется runtime с исправлениями PipeNetwork для вычислительного пути; стандартной версии mlx-vlm может быть недостаточно из-за выявленных расхождений. Практическое использование требует около 256 ГБ дискового пространства и совместимого Apple Silicon-окружения. Модель и upstream-исходник распространяются по лицензии MIT; порт доступен в репозитории PipeNetwork.

UML Generator — экспериментальная модель Sequelbox для анализа описанных ситуаций и создания диаграмм на языке UML. Она дообучена на наборе данных Sequelbox, созданном с помощью DeepSeek-V3.2, на базе openai/gpt-oss-20b. Модель использует архитектуру GPT-OSS с MoE и поддерживает генерацию текста; метаданные указывают 1,6 млрд параметров и контекст до 131 072 токенов. Модель предназначена для задач проектирования и анализа: она сначала определяет структуру диаграммы, а затем выдаёт XMI 2.5.1 в формате UML Generator, который можно загрузить в UML-инструменты. В карточке названы программная архитектура, разработка ПО, бизнес-процессы, системная инженерия, моделирование данных, микросервисы и обратное проектирование. README рекомендует явно просить сгенерировать UML и описывать сценарий, а для производственного применения — проверять структуру результата. Модель рассчитана на англоязычные запросы согласно языковым тегам карточки и распространяется по лицензии Apache-2.0. Это экспериментальная настройка для генерации UML, а не универсальный чат-ассистент; выходной XMI может требовать структурной проверки.

Grok-1-W4A8KV8 — квантизированная версия модели lmzheng/grok-1, созданная с помощью инструментария Quark компанией Advanced Micro Devices (AMD). Модель предназначена для эффективного запуска Grok-1 с использованием SGLang и формата экспорта Quark. В модели квантизированы все линейные слои, кроме lm_head и MoE-компонентов gate. Веса представлены в FP8 с симметричным квантованием на тензор, а линейные слои MoE дополнительно используют INT4 с симметричным поканальным квантованием. Активации и KV-кэш хранятся в FP8 с симметричным квантованием на тензор. Данные о размере модели, архитектуре, поддерживаемых языках, модальностях и длине контекста в README не указаны. По результатам GSM8K модель получила 0,817 против 0,821 у исходной grok-1, что указывает на небольшое снижение качества при существенной оптимизации представления модели. Основное преимущество — возможность более эффективного развертывания FP8-квантизированной модели через SGLang. Для INT4 используется специальная упаковка: восемь значений помещаются в один int32. Лицензия — Apache-2.0; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2024 год.

Hammer2.1-3b — компактная языковая модель для вызова функций, разработанная командой MadeAgents и дообученная на Qwen/Qwen2.5-Coder-3B-Instruct. Это плотная модель семейства Qwen2 с 3,1 млрд параметров; репозиторий содержит веса Safetensors, а контекст составляет до 32 768 токенов. Модель предназначена для диалоговых ассистентов, которые используют внешние инструменты: она может планировать и выполнять несколько вызовов функций в рамках одного запроса, поддерживать многошаговый диалог и отвечать обычным текстом, когда доступные функции не подходят. В README также указана возможность локального запуска на мобильных устройствах через интеграцию с Google AI Edge. Для работы с моделью предусмотрены Hugging Face Transformers и vLLM; карточка рекомендует Transformers версии 4.47.0 или выше, а для встроенного вызова инструментов в vLLM требуется версия 0.6 или выше. Данные README не приводят конкретных показателей бенчмарков для версии 3B. Лицензия обозначена как other, поэтому условия использования следует проверять в карточке репозитория.

LateOn-Code-edge EVMScout 17M — компактный ретривер с архитектурой ModernBERT и поздним взаимодействием, разработанный на базе LateOn-Code-edge и дообученный для локализации уязвимых функций в репозиториях Solidity. Модель получает код и описание механизма риска, например реентерабельности или повторного использования подписи, и ранжирует функции, которые стоит проверить в первую очередь. Число параметров — около 16,95 млн, длина контекста — 7 999 токенов. Модель предназначена для приоритизации кода при авторизованном аудите Solidity и подготовки короткого списка функций для проверки человеком или отдельной reasoning-моделью. В тесте на ранее не встречавшихся семействах протоколов среднее число известных уязвимых функций в топ-10 выросло с 7 из 63 у базовой модели до 11–12 из 63 у обученных запусков. Это исследовательский чекпойнт с низким абсолютным recall: оценка модели указывает лишь на повод для проверки, а не подтверждает уязвимость или безопасность контракта. Модель не является автономным аудитором или сертификатом безопасности. Лицензия указана как other; README отмечает, что права на распространение исходного корпуса ещё проверяются.

LFM2.5-1.2B-Nova-Function-Calling-GGUF — специализированная дообученная версия LiquidAI/LFM2.5-1.2B-Instruct, разработанная NovachronoAI. Модель предназначена для function calling: преобразования запросов на естественном языке в структурированные вызовы инструментов и API с аргументами в формате JSON, а также для использования в программных агентах и диалоговых системах. Модель содержит 1,2 млрд параметров и использует гибридную архитектуру Liquid Neural Network. Она обучалась с применением Unsloth и Hugging Face TRL на отобранных примерах взаимодействия пользователя, агента и инструментов из датасета NovachronoAI/Nova-Synapse-Function-Calling. Заявлены поддержка формата ChatML, английского языка и контекста до 4096 токенов в примере запуска. Доступны варианты GGUF с различными уровнями квантования, включая стандартные и Imatrix-версии для локального запуска через llama.cpp, Ollama и LM Studio. Сильные стороны модели — небольшой размер, возможность работы на устройствах с ограниченными ресурсами и высокая заявленная надёжность синтаксиса JSON: 97% в представленном benchmark. При этом показатель семантической точности без определений инструментов составляет 58%, поэтому модель ориентирована прежде всего на сценарии с явно заданными инструментами и схемами. Заявленные результаты приведены разработчиком и могут не отражать качество на других наборах данных и задачах. Карточка указывает лицензию Apache 2.0 для дообучения и адаптеров, но также требует учитывать исходные лицензионные условия Liquid AI для базовой модели и коммерческого использования.

Это экспериментальный вариант Llama-3.1-8B-Instruct от Apollo Raines, созданный инструментом jBlaze. По описанию автора, поведенческие свойства модели изменены непосредственно в весах: многословие подавлено, а точность усилена; дополнительное обучение не проводилось. Модель построена на архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров по метаданным и принимает текст для генерации ответов и диалога. Заявленная длина контекста — 131 072 токена. В карточке указан английский язык. Модель предназначена для кратких ответов, вопросов и ответов, вычислений и генерации кода. Примеры в карточке показывают, что ответы всё ещё могут содержать лишние пояснения или обрываться, поэтому заявленную точность следует проверять на целевых задачах. Автор сообщает, что выпущенная версия намеренно ослаблена и представлена как демонстрация. Лицензия — Llama 3.1 Community License.

mlasli/Muse-Glimmer-30B-Abliterated-BF16 — мультимодальная модель зрения и языка на архитектуре MuseGlimmerForConditionalGeneration, созданная изменением весов Muse Glimmer 30B. Автор карточки применил abliteration: ослабил внутренний механизм отказа, изменив проекции внимания и MLP во всех 52 слоях. Модель принимает текст и изображения и предназначена для диалогов, следования инструкциям и анализа изображений; базовая модель содержит около 29,6 млрд параметров. В README приведены 6656 скрытых измерений, 32 головы внимания и чередование скользящего и полного внимания, но длина контекста не указана. Модель реже отказывает на части запросов, чем исходная, при этом сохраняет некоторые отказы. По описанию автора, затронут текстовый декодер, а кодировщик изображений не изменён, поэтому мультимодальные отказы могут сохраняться. Формальной оценки качества нет; возможны изменения точности, стиля и рассуждений. Модель распространяется по лицензии Apache 2.0.

Ornith-1.5-9B-Function-Calling-xLAM-Unsloth-GGUF — это GGUF-квантизации модели ornith-ai/Ornith-1.5-9B, дообученной разработчиком ermiaazarkhalili методом LoRA на датасете Salesforce/xlam-function-calling-60k. Модель предназначена прежде всего для генерации текста и сценариев function calling, включая формирование вызовов внешних инструментов; формат GGUF рассчитан на использование с llama.cpp и совместимыми средствами, например Ollama. Модель содержит около 9 млрд параметров. Дообучение выполнено с использованием Unsloth и TRL, в режиме supervised fine-tuning, на последовательностях длиной до 2048 токенов; базовая точность обучения — 4-bit QLoRA. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 3,83 до 9,53 ГБ. Языки и поддерживаемые модальности в карточке не указаны, поэтому модель следует рассматривать как текстовую. Основное преимущество — адаптация под function calling при относительно компактных требованиях к памяти и наличии нескольких уровней квантизации. При этом для модели не проводилась оценка на прикладных бенчмарках: опубликованы только значения обучающей функции потерь. Поведение вне распределения датасета, а также устойчивость, фактическое качество вызовов инструментов, смещения, знания и ограничения базовой модели не проверены; LoRA-адаптеры объединены с базовыми весами и отдельно отсоединить их нельзя. Лицензия — MIT, унаследованная от базовой модели.

Ornith-1.5-9B-Uncensored-GGUF — квантованная GGUF-версия модели Ornith-1.5-9B, разработанная командой ornith-ai и подготовленная zaakirio для llama.cpp. Это текстовая сборка мультимодальной базовой модели без vision-проектора, предназначенная для генерации текста, диалогов и локального запуска через llama.cpp. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Qwen3.5: 32 слоя, в которых чередуются блоки линейного внимания gated DeltaNet и полноформатное внимание в каждом четвёртом слое. Заявлен контекст до 262 тысяч токенов, однако для практического запуска размер контекста определяется параметрами llama.cpp. Доступны варианты от Q2_K до Q8_0, а также BF16; Q4_K_M указан как сбалансированный вариант по размеру и качеству. Для работы требуется очень свежая версия llama.cpp с поддержкой архитектуры qwen3_5. Сборка подвергнута abliteration с помощью Heretic: направления, связанные с отказами, были ослаблены без дообучения или переобучения модели. На тесте из 100 вредоносных запросов число keyword-маркованных отказов снизилось с 85 до 55, при KL-дивергенции 0,0017 на безвредных запросах; авторы отмечают, что этот показатель неточен и поведение модели может быть менее безопасным. Модель также может легче принимать ошибочные предпосылки, поэтому ответы требуют проверки. Распространяется по лицензии MIT, унаследованной от базовой модели.

PLaMo 3 NICT 31B Base — базовая языковая модель с причинным декодером на 31 млрд параметров, разработанная Preferred Networks совместно с Национальным институтом информационных и коммуникационных технологий Японии (NICT). Модель предварительно обучена на 3 трлн токенов на английских, японских и программных данных; архитектура сочетает слои Sliding Window Attention и традиционного внимания. Модель предназначена для генерации продолжения текста и служит базой для последующей адаптации под прикладные задачи. Она не проходила инструкционную настройку для диалогов и других downstream-задач. Поддерживает английский и японский языки. Выпущена под лицензией PLaMo community license; для коммерческого использования разработчик просит ознакомиться с лицензией и связаться с ним.

Prism Coder 9B — мультимодальная модель для маршрутизации запросов к инструментам MCP в системе Prism Coder, разработанная dcostenco. Это дообученная с помощью QLoRA модель Qwen3.5-9B с плотной архитектурой и визуальной башней; она принимает текст и изображения, а выдаёт текстовые ответы и решения о вызове инструментов. README сообщает о 100% точности на BFCL в трёх запусках по 64 задания, без галлюцинаций в тесте, и описывает её как маршрутизатор по умолчанию вместо прежней модели на 14 млрд параметров. Видеоданные обрабатываются как последовательность кадров через визуальную башню; аудиокодировщика в семействе нет. Модель предназначена для выбора подходящего MCP-инструмента, определения релевантности запроса, нормализации параметров и разбора многоходовых цепочек вызовов. Размер указан как 9 млрд параметров; README приводит размер файла варианта Q4_K_M как 5,8 ГБ. Базовая модель — Qwen/Qwen3.5-9B. Лицензия — Apache-2.0. Заявленные результаты BFCL относятся к тестированию автора и не гарантируют аналогичного качества на иных наборах и конфигурациях.

darkc0de/Qwen3-0.6B-heretic — созданная с помощью Heretic 1.4.0 модификация Qwen3-0.6B-Base от Qwen. Это плотная причинная языковая модель с 507,9 млн параметров для генерации текста и диалогов; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Метаданные указывают контекст до 40 960 токенов. Модель подвергнута abliteration — модификации, направленной на снижение частоты отказов: в описанном сравнении она отказала в 6 случаях из 100 против 53 у исходной модели. Карточка также приводит значение KL divergence 0,0045 и утверждает, что результат воспроизводим. Основа Qwen3 поддерживает многоязычное общение, рассуждения, следование инструкциям и генерацию кода, однако эти возможности унаследованы от базовой модели, а отдельные оценки качества этой модификации не приведены. Модель распространяется по лицензии Apache-2.0. Abliteration снижает число отказов, но не гарантирует их отсутствие и может влиять на поведение модели; компактный размер также ограничивает возможности по сравнению с более крупными языковыми моделями.

Это экспериментальный контрольный чекпойнт Qwen3-1.7B, дообученный методом обучения с подкреплением в рамках экспериментов KL-in-LLM-RL / FRPO с использованием verl. В репозитории сохранён шаг обучения global_step_200; веса представлены в формате FP32 Safetensors без последующей обработки. Модель предназначена для генерации текста и диалогов на основе текстовых запросов. Модель имеет плотную архитектуру Qwen3ForCausalLM, содержит 1,7 млрд параметров и поддерживает контекст до 32 768 токенов. Базовая Qwen3-1.7B — компактная многоязычная модель для диалогов, рассуждений, кода и выполнения инструкций; карточка этого чекпойнта не приводит отдельных измерений качества или подробного перечня языков. Лицензия в предоставленных данных не указана.

Экспериментальный чекпойнт Qwen3-1.7B, созданный в рамках экспериментов KL-in-LLM-RL / FRPO и дообученный с подкреплением с использованием verl. В репозитории находится состояние global_step_200; веса сохранены в формате safetensors в fp32 без последующей обработки. Это плотная авторегрессионная языковая модель с 1,7 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и диалогов на основе текстовых запросов. Карточка не описывает отдельную предметную специализацию или языковой охват именно этого чекпойнта; базовая Qwen3-1.7B — компактная многоязычная модель для диалогов, рассуждений, кода и выполнения инструкций. Лицензия в предоставленных данных не указана.

Mungert/Qwen3-32B-GGUF — набор GGUF-квантованных вариантов модели Qwen3-32B, подготовленных с помощью llama.cpp. Репозиторий предназначен для локального запуска и инференса текстогенерационной модели, в том числе на системах с ограниченными ресурсами, низким объёмом GPU-памяти, CPU и edge-устройствах. Основной акцент сделан на ультранизкобитной квантовке IQ-DynamicGate с адаптивным распределением точности по слоям в форматах 1–2 бита. Метод сохраняет более высокую точность за счёт использования разных схем квантовки для различных частей модели и защиты embeddings и выходных слоёв. В README приведены результаты для Llama-3-8B-Instruct с контекстом 2048 токенов, однако эти показатели нельзя напрямую считать характеристиками Qwen3-32B. Точные архитектурные параметры, размер контекста, поддерживаемые языки и модальности Qwen3-32B в карточке не указаны. Преимущество набора — существенное снижение требований к памяти при сохранении приемлемого качества, особенно в сценариях, где важна максимальная компактность. Компромиссы включают возможное снижение точности по сравнению с более высокобитными или полноразмерными версиями, а также небольшие накладные расходы на размер и скорость у DynamicGate-вариантов. Модель распространяется по лицензии Apache 2.0.