II.2Создание и понимание программного кода

NorMistral-11b-warm — большая языковая модель семейства NORA.LLM, разработанная Language Technology Group Университета Осло совместно с NORA.LLM. Она инициализирована на базе Mistral-Nemo-Base-2407 и продолжительно предобучена на 250 млрд субтокенов, включая норвежские тексты на Bokmål и Nynorsk, северносаамский, датский, шведский, исландский, фарерский и английский языки, а также программный код. Модель предназначена преимущественно для исследовательских задач, генерации текста и языкового переноса; в README приведён пример применения для zero-shot перевода. Модель использует архитектуру Mistral с 40 трансформерными слоями, 11,4 млрд параметров, скрытым размером 5120, SwiGLU, RMSNorm, rotary positional embeddings и grouped-query attention с 32 query heads и 8 key/value heads. В ней используется специализированный токенизатор на 51 200 токенов, оптимизированный для целевых языков и обеспечивающий более эффективную токенизацию по сравнению с исходной моделью. Благодаря гибридному masked-causal обучению модель может применяться как авторегрессионная генеративная модель и как двунаправленная encoder-модель. Размер контекстного окна в README не указан. Сильными сторонами являются специализация на языках Норвегии и других скандинавских языках, поддержка северносаамского и улучшенная эффективность токенизации. Ограничение заключается в том, что модель обучена на необработанных, преимущественно веб-текстах и не дообучена следовать инструкциям; при неподходящих запросах она может генерировать вредоносное содержимое. Модель выпущена под лицензией Apache-2.0, при этом разработчики отмечают, что не владеют данными обучающей выборки.

OpenSourceEnjoyer опубликовал вариант Nous-Hermes-2-Mistral-7B-DPO, дообученный с помощью Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель принимает текст и генерирует текст; в метаданных указаны английский язык и контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит подробностей о данных обучения или результатах оценки, поэтому качество ответов и устойчивость к ошибочным или неоднозначным запросам по ней определить нельзя.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-квантизация модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, опубликованная AtomicChat и предназначенная для запуска через llama.cpp. Модель относится к классу text-generation и может использоваться для генерации текста и диалоговых сценариев при локальном инференсе. Исходная модель разработана NVIDIA. Известно, что она использует архитектуры MoE и Mamba2 и имеет 30B параметров в полном варианте; конкретные сведения о языках, модальностях и размере контекстного окна в README не указаны. GGUF-файлы отличаются уровнем квантизации, размером, качеством и скоростью генерации. Рекомендуется вариант AD-IQ4_NL размером 19,7 ГБ: по приведённым измерениям он сопоставим с Q5_K_M по качеству, но существенно компактнее. Вариант AD-IQ4_NL_L показывает более низкую дивергенцию, а Q8_0 обеспечивает эталонное качество среди представленных квантов. Сильные стороны сборки — поддержка калибровки с importance matrix, эффективные Atomic Dynamic-конфигурации и возможность запуска на одной RTX 5090 с полной выгрузкой на GPU. Ограничения связаны с требованиями к памяти: качественного варианта для 16 ГБ нет, а экспериментальные 2-битные сборки демонстрируют значительную потерю качества и не рекомендуются для практической работы. Лицензия указана как NVIDIA Open Model License; точные условия приведены по ссылке NVIDIA.

NVIDIA Nemotron 3.5 Lightning 30B-A3B GGUF — это набор общественных GGUF-квантизаций базовой модели NVIDIA Nemotron 3.5 Lightning 30B-A3B-BF16, опубликованный пользователем vcruz305. Модель предназначена для генерации текста и локального запуска через совместимые движки, включая llama.cpp. Она использует MoE-архитектуру с заявленным размером 30B-A3B и стандартной 52-слойной инференс-моделью. При преобразовании в GGUF дополнительная MTP prediction head была удалена; опубликованные файлы прошли проверку загрузки и генерации. Доступны варианты от смешанных низкобитных квантизаций 2.47 BPW и 2.97 BPW до MXFP4_MOE, IQ4_NL, Q4_0, Q5_0 и Q8_0. Размер файлов составляет примерно от 9,76 до 33,59 ГБ, поэтому требования к видеопамяти зависят от выбранной квантизации, длины контекста, KV-кэша и настроек запуска. Для систем с 24 ГБ VRAM подходят MXFP4_MOE, IQ4_NL и Q4_0, а Q8_0 рассчитан преимущественно на видеокарты с 40–48 ГБ памяти и более. Языки, максимальная длина контекста и мультимодальные возможности в README не указаны. Сильные стороны набора — широкий выбор компромиссов между качеством, размером и скоростью, поддержка локального инференса и успешные тесты на видеокартах с разным объёмом памяти. Для агентных сценариев автор рекомендует MXFP4_MOE: в описанных детерминированных тестах она показала лучший результат. Ограничения включают зависимость производительности от оборудования и версии llama.cpp, необходимость частичной выгрузки на GPU для некоторых конфигураций, а также отсутствие формального сравнительного теста качества. Модель распространяется по лицензии openmdw-1.1; это сторонние квантизации базовой модели, а не оригинальный релиз NVIDIA.

NVIDIA-Nemotron-Nano-12B-v2-GGUF — это набор квантованных файлов модели NVIDIA-Nemotron-Nano-12B-v2 в формате GGUF. Исходную модель разработала NVIDIA, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другими клиентами. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, результатах тестирования или сильных и слабых сторонах модели. Лицензия в предоставленных данных не указана. Условия использования следует проверять отдельно для исходной модели NVIDIA-Nemotron-Nano-12B-v2 и опубликованных квантованных файлов.

NVIDIA-Nemotron-Nano-12B-v2-GGUF — это набор GGUF-квантизаций языковой модели NVIDIA-Nemotron-Nano-12B-v2, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В набор входят версии с точностью от BF16 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Полная BF16-версия занимает около 24,63 ГБ, а доступные квантизированные варианты — примерно от 5,69 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp b6317. Архитектура исходной модели, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны; по представленным данным модель описывается как текстовая. Сильной стороной набора является широкий выбор уровней квантизации: Q6 и Q5 ориентированы на высокое качество, Q4 предлагают сбалансированный размер и качество, а Q3 и IQ3/IQ4 подходят для систем с ограниченной памятью. При этом более сильное сжатие может снижать качество генерации, а совместимость и производительность зависят от используемого приложения и оборудования. Лицензия в README не указана; условия следует уточнять на странице исходной модели NVIDIA-Nemotron-Nano-12B-v2.

Это набор GGUF-квантизаций языковой модели OpenReasoning-Nemotron-32B, разработанной NVIDIA и преобразованной пользователем bartowski для запуска в llama.cpp и совместимых приложениях. Модель предназначена для генерации текста и локального использования в средах вроде LM Studio, а также в других проектах на базе llama.cpp. В README указано, что исходная модель имеет размер 32B параметров; сведения об архитектуре, языках, мультимодальности и размере контекста не приведены. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 14,39 до 65,54 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как вариант стандартного размера для большинства сценариев, а Q6_K и Q6_K_L — как варианты очень высокого качества. Квантизации выполнены с использованием imatrix и llama.cpp версии b5934. Сильной стороной модели является возможность локального запуска с выбором компромисса между качеством и требованиями к памяти, включая варианты для ограниченных ресурсов и оптимизации для некоторых CPU-платформ. Ограничения включают значительный объём памяти, необходимый для 32B-модели, а также потенциальное снижение качества у низкобитных вариантов. Лицензия в предоставленном README не указана.

bartowski/openchat-3.6-8b-20240522-GGUF — это набор GGUF-квантизаций языковой модели OpenChat 3.6 8B, разработанной командой OpenChat на базе Meta-Llama-3-8B. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, при работе через llama.cpp и совместимые инструменты. Для корректного взаимодействия README указывает специальный шаблон промпта с ролями GPT4 Correct User и GPT4 Correct Assistant. Модель содержит около 8 миллиардов параметров в исходной версии и распространяется в нескольких вариантах квантизации от Q8_0 до IQ1_S, размером примерно от 2,01 до 8,54 ГБ. Варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а компактные варианты снижают требования к оперативной памяти. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-варианты; наиболее сильно сжатые версии характеризуются заметным снижением качества. Сильная сторона набора — возможность локального запуска на системах с разным объёмом памяти при сохранении формата GGUF и совместимости с llama.cpp. Ограничения включают потери качества, зависящие от выбранной квантизации; сведения о поддерживаемых языках, размере контекстного окна, мультимодальности, результатах тестирования и специализированных ограничениях в README не указаны. Лицензия обозначена как llama3.

OrionLLM_LRM-3.2-GGUF — это набор GGUF-квантизаций модели LRM-3.2, разработанной OrionLLM и квантизированной bartowski с использованием llama.cpp. Модель имеет 27 млрд параметров и распространяется в нескольких вариантах точности и размера, включая BF16, Q8_0, Q6, Q5, Q4, Q3 и IQ-квантизации. Модель предназначена для обработки текста и изображений; для мультимодального режима требуется дополнительный файл mmproj. README не уточняет поддерживаемые языки, максимальный размер контекста и конкретные прикладные сценарии. Формат GGUF позволяет запускать модель через совместимые инструменты, включая llama.cpp. MTP не поддерживается, для квантизации использовалась imatrix. Сильной стороной является выбор вариантов квантизации: от полноразмерной BF16 до компактных версий для устройств с ограниченным объёмом оперативной памяти. Q4_K_M указан как сбалансированный вариант по размеру и качеству, а Q5–Q6 — как более качественные. Более сильное сжатие уменьшает требования к памяти, но снижает качество; низкобитные варианты могут быть непригодны для требовательных задач. Модель распространяется по лицензии Apache-2.0.

Ornith-1.0-35B-ROCmFPX-StrixHalo — текстовая разговорная модель с 35 млрд параметров в формате GGUF, подготовленная julianmb для локального запуска на системах AMD Ryzen AI Max+ с Strix Halo. Репозиторий содержит варианты квантования ROCmFPX: Speed с точностью около 4,70 бит на параметр и размером 19,7 ГБ, а также Quality с точностью около 6,50 бит на параметр и размером 32,2 ГБ. Заявлена поддержка контекста до 262 144 токенов. Модель предназначена для локальных чат-сценариев и многоагентных рабочих нагрузок с вызовом инструментов. README сообщает о проверках корректности вызовов инструментов и измерениях скорости при параллельной работе нескольких агентов. В метаданных указан английский язык; теги также отмечают разговорный режим и tool calling. Это квантованная производная модель, распространяемая по лицензии MIT. Для запуска требуются совместимые сборки ROCmFPX и Vulkan: стандартные llama.cpp, Ollama и LM Studio не загружают этот формат без специальной поддержки. Описанная конфигурация рассчитана на оборудование Strix Halo с 64 или 128 ГБ объединённой памяти; приведённые показатели производительности относятся к этой аппаратной платформе.

Ornith-1.5-9B-GGUF — это набор квантованных форматов GGUF для модели Ornith-1.5-9B, подготовленный пользователем NANI-Nithin на основе базовой модели ornith-ai. Модель относится к семейству Qwen3.5 и предназначена для запуска локального текстового вывода в llama.cpp, LM Studio, Ollama с импортом GGUF, KoboldCpp и других совместимых средах. Базовая модель содержит 9 миллиардов параметров и использует плотную архитектуру без маршрутизируемых экспертов: 32 трансформерных слоя, гибридное внимание с линейным механизмом Gated DeltaNet и полноформатным вниманием, а также позиционное кодирование MRoPE. Представленные файлы предназначены только для работы с текстом. В метаданных указан английский язык; размер контекста в README не указан. Доступны стандартные и IQ-квантизации от 2- до 8-битного уровня. Q2_K и IQ2_M экономят максимум памяти, Q4_K_M предлагают компромисс между качеством и размером, а Q8_0 обеспечивают наивысшее качество среди вариантов репозитория. Квантизация уменьшает требования к памяти, но может снижать точность по сравнению с исходными весами. README также сообщает, что заявленный в исходной конфигурации слой MTP для предсказания следующего токена отсутствует в опубликованных весах, поэтому метаданные GGUF были исправлены в соответствии с фактической структурой модели. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия языковой модели Phi-3.5-mini-3.8B-ArliAI-RPMax-v1.1, опубликованная и квантизированная пользователем bartowski на основе модели ArliAI. Модель предназначена для генерации текста и может запускаться локально через llama.cpp и LM Studio. В README также указан формат промптов с ролями system, user и assistant. Модель содержит около 3,8 млрд параметров и относится к текстовым моделям; сведения о поддерживаемых языках, максимальной длине контекста и точной архитектуре в README не приведены. Доступны варианты от F16 до различных уровней квантования GGUF, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4. Варианты с более низким размером требуют меньше оперативной памяти, но могут уступать по качеству; Q6_K_L, Q6_K, Q5_K и Q4_K представлены как рекомендуемые, а отдельные варианты оптимизированы для ARM-процессоров. К сильным сторонам относятся широкий выбор квантованных файлов, возможность локального запуска и компромисс между качеством и требованиями к памяти. Ограничения включают отсутствие в предоставленных данных результатов оценки, подробностей обучения, перечня языков, контекстного окна и характеристик мультимодальности. Лицензия модели указана как MIT.

Polaris-7B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели Polaris-7B-Preview, разработанной POLARIS-Project и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и может использоваться локально в LM Studio, llama.cpp и других проектах на базе llama.cpp. В набор входят полная версия BF16 и варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3 и Q2 с размером файлов примерно от 3,55 до 15,24 ГБ. Для квантования применялась llama.cpp версии b5697 и метод imatrix. Данные о точной архитектуре, размере контекста, поддерживаемых языках, модальностях и характеристиках базовой модели в README не указаны. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметнее снижать качество генерации. Для работы следует использовать указанный формат приглашений с системным сообщением, пользовательским запросом и ответом ассистента. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-1.5B — версия базовой языковой модели Qwen2.5, опубликованная Unsloth. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 1,5 млрд параметров; она принимает текст и генерирует продолжение. В карточке указаны контекст до 32 768 токенов, формат safetensors и библиотека Transformers. Базовая архитектура использует RoPE, SwiGLU, RMSNorm и групповое внимание; README описывает исходную модель Qwen2.5 с 28 слоями. Модель предназначена для генерации текста и дальнейшего дообучения под конкретные задачи. Qwen2.5 поддерживает множество языков, в том числе китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Базовая предобученная версия не рекомендуется для диалогов без дополнительной настройки. Лицензия — Apache 2.0.

Qwen2.5-32B-ArliAI-RPMax-v1.3-GGUF — это GGUF-квантизации текстовой генеративной модели Qwen2.5-32B-ArliAI-RPMax-v1.3, разработанной ArliAI. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; модель предназначена для локального запуска и генерации текста, в том числе через LM Studio. Для работы используется формат диалогового промпта с ролями system, user и assistant. Модель имеет размер 32B параметров и доступна в вариантах от исходных весов F16 размером около 65,54 ГБ до квантизаций Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ. В README указаны размеры файлов, приблизительные характеристики качества и варианты, оптимизированные для ARM-процессоров. Наиболее качественными названы F16, Q8_0 и Q6_K_L/Q6_K; Q4_K_M обозначен как вариант типового размера для большинства сценариев, а низкоразрядные варианты подходят системам с ограниченным объёмом оперативной памяти. Сильная сторона набора — широкий выбор компромиссов между качеством, размером и требованиями к оборудованию, а применение imatrix должно помогать сохранять качество при квантизации. Ограничения включают значительные требования к памяти даже для компактных вариантов; некоторые ARM-оптимизированные файлы требуют поддержки sve или i8mm и не предназначены для Mac или Windows. Сведения о языках, длине контекста, точной архитектуре, мультимодальности и специализированных возможностях в README не указаны. Лицензия — Apache-2.0.

mlx-community/Qwen2.5-3B-Instruct-8bit — преобразованная в формат MLX 8-битная версия Qwen2.5-3B-Instruct от Qwen, подготовленная сообществом mlx-community с помощью mlx-lm 0.18.1. Это плотная авторегрессионная языковая модель семейства Qwen2, содержащая около 3,1 млрд параметров и рассчитанная на генерацию текста и диалоговое использование; метаданные также отмечают интерфейс вызова инструментов. Контекст модели составляет до 32 768 токенов. README описывает запуск через mlx-lm, поэтому модель ориентирована на экосистему MLX. Модель подходит для диалоговых ответов, продолжения текста и других задач генерации. В карточке указан английский язык; подтверждений поддержки других языков в предоставленных данных нет. Репозиторий содержит safetensors. Лицензия обозначена как other, поэтому условия использования следует сверять с карточкой модели и базовой модели.

Qwen2.5-7B-Instruct-IMat-GGUF — это квантизированная GGUF-версия языковой модели Qwen2.5-7B-Instruct, разработанной командой Qwen. Дистрибутив подготовлен пользователем legraphista с помощью llama.cpp версии b3785 и предназначен для локального запуска и генерации текста, включая чатовые сценарии. В README указана поддержка английского языка и текстовая модальность. Модель содержит около 7 млрд параметров и основана на исходных весах в формате BF16. Доступны варианты от BF16 и F16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-серий, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Для ряда вариантов квантизации применена IMatrix-калибровка, призванная улучшить сохранение качества при уменьшении точности. Размер файлов варьируется примерно от 3,02 до 15,24 ГБ. Сильная сторона модели — возможность локального использования в широком диапазоне аппаратных конфигураций благодаря множеству вариантов квантизации и формату GGUF, совместимому с экосистемой llama.cpp. Ограничения включают возможное снижение качества у наиболее агрессивно квантизированных вариантов; сведения о размере контекста, архитектурных деталях, результатах тестирования и поддержке других языков в README не приведены. Модель и её варианты распространяются по лицензии Apache-2.0.

Qwen3-4B-Thinking-2507-MLX-6bit — это 6-битная квантованная версия языковой модели Qwen3-4B-Thinking-2507 для генерации текста. Исходную модель разработала команда Qwen, а квантование в формате MLX предоставила команда LM Studio с использованием mlx_lm. Модель оптимизирована для запуска на устройствах Apple Silicon и предназначена для локального использования в задачах генерации текста и рассуждений, однако конкретные поддерживаемые языки и размер контекста в README не указаны. Ключевая характеристика модели — квантование до 6 бит, уменьшающее требования к памяти по сравнению с полноразмерной версией и подходящее для запуска на совместимом оборудовании Apple. Ограничения включают возможную потерю качества из-за квантования, а также типичные для языковых моделей риски неточных, вредных или вводящих в заблуждение ответов; сведения о производительности и результатах тестирования отсутствуют. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-9B-DFlash-GGUF — это текстовая генеративная модель в формате GGUF, созданная путём самостоятельного квантования базовой модели z-lab/Qwen3.5-9B-DFlash. Квантование выполнила Atomic Chat на основе оригинальных весов с использованием матрицы важности для калибровки. Модель рассчитана на локальный и полностью офлайн-запуск, в том числе через llama.cpp, Ollama, LM Studio, Jan и Atomic Chat. Модель предназначена для диалоговой генерации текста и других сценариев, поддерживаемых text-generation. В репозитории указаны 1,3 млрд параметров, 6 слоёв и контекст до 262 144 токенов. Архитектура представляет собой плотный декодер с гибридным вниманием: скользящее окно 4096 токенов сочетается с глобальным вниманием; используются 32 attention heads и 8 KV heads. Модель работает только с текстом, сведения о поддерживаемых языках отсутствуют. Доступен квант Q8_0 размером около 1,4 ГБ, заявленный как практически без потерь. К сильным сторонам относятся небольшой размер, возможность автономного запуска, длинный заявленный контекст и калибровка квантов с помощью importance matrix, призванная сохранить качество при сниженной точности. Ограничения — отсутствие информации о качестве на бенчмарках, языках, рекомендуемых параметрах генерации и фактической производительности, а также необходимость применять chat template Qwen3.5 через параметр --jinja; без него возможна некорректная структура диалога. Исходная модель выпущена под лицензией Apache 2.0, квантованная версия подготовлена Atomic Chat.

Qwen3.5-9B-Uncensored — это неофициальная GGUF-сборка модели семейства Qwen, опубликованная пользователем LEONW24 и основанная на Qwen/Qwen3-8B и HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive. Модель предназначена для локального запуска в Ollama, llama.cpp и других средах, совместимых с GGUF, а также для генерации текста и анализа изображений в сценариях, где требуется локальная работа без подключения к облачным сервисам. Модель содержит около 9 млрд параметров и поставляется в формате GGUF с квантованием Q4_K_M; размер файла составляет примерно 6,3 ГБ. Заявленное контекстное окно — до 131 072 токенов. Поддерживаются английский, китайский и другие языки. Архитектура Qwen 3.5 предусматривает возможности работы с мультимодальными данными, включая изображения, однако фактическая поддержка зависит от используемого runtime и корректности конфигурации. Сборка исправляет проблемы исходной упаковки, мешавшие запуску через Ollama и мультимодальному выводу. К сильным сторонам относятся компактность, возможность эффективного CPU- и GPU-инференса, автономная работа и отсутствие встроенных ограничений, характерных для цензурированных версий. При этом статус «uncensored» означает сниженный уровень защитных фильтров, поэтому модель может генерировать небезопасный или нежелательный контент и требует ответственного применения. В README не приведены результаты бенчмарков, поэтому качество относительно других моделей оценить нельзя. Модель распространяется по лицензии Apache 2.0.

Это текстовый вариант весов Qwen3.6-27B, подготовленный exolabs для запуска через vLLM. Веса получены из GGUF-квантизации Q4_0 модели unsloth/Qwen3.6-27B-GGUF: тензоры деквантованы, преобразованы в формат Hugging Face и сохранены в BF16. Конфигурация и токенизатор взяты из Qwen/Qwen3.6-27B. Модель предназначена для генерации текста и диалогового использования; карточка также указывает интерфейс вызова инструментов. Несмотря на тег image-text-to-text и наличие визуальных возможностей в метаданных, в этом репозитории отсутствует визуальная башня, поэтому автор рекомендует запускать модель только в текстовом режиме. Проверена загрузка и краткая генерация в Transformers и vLLM; в README приведена конфигурация с контекстом до 4096 токенов. Данные о лицензии и поддерживаемых естественных языках в предоставленных источниках отсутствуют.

llmfan46/Qwen3.6-27B-uncensored-heretic-v2-GGUF — набор GGUF-квантизаций 27-миллиардной модели Qwen3.6-27B, подготовленный независимым разработчиком llmfan46. Это декензурированная версия исходной модели, созданная с помощью Heretic 1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA), который применялся к компонентам attn.o_proj, attn.out_proj и mlp.down_proj. Модель предназначена для локального запуска в формате GGUF и универсальных задач генерации текста, рассуждений и ответов на вопросы с меньшим числом отказов и ограничений. По данным README, в тесте на 100 запросах она отказала в 6 случаях против 92 у оригинальной модели, а KL-дивергенция относительно исходной версии составила 0,0021, что указывает на близость поведения к базовой модели. Для оригинальной Qwen3.6-27B также приведён результат MMLU: 86,65% точности на 7021 вопросе, однако отдельный результат декензурированной версии не указан. К сильным сторонам относятся сохранение близости к исходной модели и существенно меньшее количество отказов. Ограничения — возможное снижение защитных ограничений, потенциальные риски генерации нежелательного или небезопасного контента, а также отсутствие в представленном README сведений о конкретных квантизациях, размере контекста, поддерживаемых языках и фактических мультимодальных возможностях, несмотря на тег image-text-to-text. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-uncensored-heretic-GGUF — набор GGUF-квантизаций модели Qwen3.6-35B-A3B, подготовленный jorge-erdb. Исходная версия создана на базе Qwen/Qwen3.6-35B-A3B с применением Heretic v1.2.0 и метода MPOA-abliteration, направленного на снижение числа отказов и ограничений в ответах. Модель предназначена для локального запуска и генерации текста; конкретные поддерживаемые языки и практические сценарии в README не указаны. В метаданных также заявлен pipeline image-text-to-text, однако подробности мультимодальных возможностей не приведены. Архитектура — Mixture of Experts: 35 млрд параметров всего и около 3 млрд активных параметров. Нативная длина контекста составляет 262 144 токена. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_NL, полученные с помощью llama.cpp и importance matrix; IQ4_NL заявлен как наиболее подходящий для CUDA и CPU. Для Apple Silicon с Metal рекомендуется использовать линейные варианты, например Q4_K_M, поскольку IQ4_NL работает медленнее из-за отсутствия нативной поддержки нелинейной деквантизации. К сильным сторонам относятся большое контекстное окно, низкая вычислительная стоимость активной части MoE и широкий выбор уровней квантизации. По данным README, в сравнительном тесте версия показала 10 отказов из 100 против 83 у исходной модели при заявленном KL divergence 0,0015, то есть сохранила близость к исходному поведению. Ограничения включают зависимость скорости и качества от выбранной квантизации и оборудования, а также отсутствие подробных данных о языковом покрытии и результатах независимых тестов. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-4bit-MLX — это 4-битная MLX-квантизация модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Исходную модель разработал AEON-7 при участии команды Qwen; оригинальная uncensored-версия создана автором под псевдонимом SpaceTimeViking. Репозиторий choppedgarlic содержит только конвертацию и квантизацию для локального запуска на компьютерах Apple Silicon, без дополнительного дообучения или намеренного изменения поведения. Модель предназначена для генерации текста, интерактивного диалога и локального использования через MLX, включая OpenAI-совместимый сервер. Поддерживаются режимы с включённым и отключённым reasoning. Архитектура и точная структура исходной модели в README не раскрыты; известно, что размер модели составляет 27B параметров, используется формат MLX, 4-битная affine-квантизация с group size 64, а примерный размер загрузки — 14 ГБ. Указан английский язык. Модель работает только с текстом: vision-компоненты и обработка изображений отсутствуют и не заявлены. Рекомендуется Apple Silicon с unified memory объёмом от 32 ГБ. К сильным сторонам относятся локальный запуск на Apple Silicon, поддержка интерактивного режима, reasoning и OpenAI-совместимого API при сниженных требованиях к памяти по сравнению с BF16-версией. Ограничения включают возможное снижение качества из-за квантизации, отсутствие мультимодальности, зависимость от MLX и платформы Apple Silicon, а также риск неточных, небезопасных или нежелательных ответов. Перед применением в производственных и ответственных сценариях результаты необходимо проверять. Модель выпущена под лицензией Apache License 2.0.

mlasli/Qwen3.8-27B-Heretic-Abliterated-MLX-8bit — текстовая 8-битная MLX-квантизация модели Qwen/Qwen3.8-27B, разработанная mlasli. Это версия v2.1.0 с изменённым выравниванием, ориентированная на более прямые ответы и сниженное количество отказов. Модель предназначена для генерации текста, диалогов, ролевых сценариев и других задач локального inference на устройствах Apple Silicon через mlx-lm. В карточке указан английский язык; сведения о размере контекста отсутствуют. Модель содержит около 27 млрд параметров, занимает примерно 28,6 ГБ и использует групповую 8-битную квантизацию с размером группы 64. Репозиторий содержит только языковую часть модели: vision tower удалён, поэтому обработка изображений не поддерживается. MTP-голова также не сохраняется, из-за чего inference выполняется одной головой и может быть медленнее сборок с поддержкой speculative decoding. Сильной стороной является близкое к исходной BF16-версии качество при существенно меньшем размере, а также высокая доля прямых ответов: в приведённом тесте thinking-OFF модель дала 90% прямых ответов на вредоносные запросы и 100% на безвредные. При включённом thinking поведение менее стабильно: возрастает доля уклончивых и пустых ответов. Abliteration удаляет защитное выравнивание, поэтому модель требует ответственного применения. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-ROCmFPX-GGUF — производная от базовой модели Qwen3.8-27B, разработанной командой Qwen. Репозиторий lmcoleman содержит квантизированную версию, подготовленную с использованием MagicQuant и AMD-ориентированных форматов ROCmFPX; сборка оптимизирована для AMD Strix Halo с графикой gfx1151. Модель предназначена для генерации текста и диалоговых сценариев, а при подключении файла mmproj поддерживает обработку изображений. Модель имеет размер 27 млрд параметров и распространяется в формате GGUF. Доступны гибридные варианты Q4 размером около 15,7 ГБ и Q6 размером около 22,2 ГБ; конфигурации используют разные схемы квантизации для отдельных групп тензоров, а чувствительные слои могут сохраняться в F16, BF16 или F32. В README заявлен английский язык. Для запуска приведены примеры с контекстом 8192 токена, однако максимальный размер контекста не указан. Сильной стороной является сочетание значительного уменьшения размера с небольшими измеренными потерями качества: для теста на wikitext-2 заявлены значения perplexity 6,7611 для Q4 и 6,7579 для Q6 при базовом значении BF16 6,7443. Q4 рекомендован как наиболее рациональный вариант по соотношению размера и качества. Главные ограничения — экспериментальный характер ROCmFPX и совместимость только со специальной форкой llama.cpp, собранной из исходников; стандартные llama.cpp, LM Studio и Ollama эти файлы не загружают. Лицензия — Apache 2.0, применяемая к производной модели согласно лицензии базовой модели.

Это пакет слоёв GGUF для запуска Qwen3-8B-Q4_K_M в распределённой системе Mesh LLM. Пакет подготовлен Mesh LLM на основе unsloth/Qwen3-8B-GGUF и разбивает модель на артефакты по слоям, чтобы распределять вычисления между несколькими локальными машинами. Используется для локального приватного инференса и чат-запросов через совместимый с OpenAI интерфейс Mesh LLM. Вариант модели — Q4_K_M; исходные веса распространяются в формате GGUF. В метаданных Hugging Face указаны библиотека mesh-llm и возможность чата. Условия лицензии и подробные параметры архитектуры предлагается уточнять по карточке исходной модели unsloth/Qwen3-8B-GGUF; в доступных данных они не приведены.

cygnal/Qwen3.8-Flash-Next-Heretic2-IQ4XS-Halogen — это квантованная GGUF-сборка Qwen3.8-Flash-Next, подготовленная для Halogen Flash Server разработчиком cygnal. Исходные веса модели прошли abliteration методом direction-removal в Heretic v1.3.0, затем были переквантованы в смешанном формате: преимущественно IQ4_XS для экспертных весов, Q8_0 для плотных слоёв и IQ4_NL для per_layer_token_embd.weight. Архитектура qwen4exp использует гибрид DeltaNet, SSM и attention; заявлено около 166 млрд параметров всего и 27 млрд активных на токен. Модель предназначена для диалоговой генерации текста и может принимать изображения при подключении отдельного vision tower. Сборка оптимизирована для Halogen Flash Server и AMD Strix Halo с ROCm; в README приведены измерения производительности на Radeon 8060S и требования примерно к 117 ГБ объединённой памяти. Видео не поддерживается. Для использования нужны совместимые сервер и аппаратное обеспечение; vision tower и MTP head поставляются отдельно. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next Q4_0-Q8out-v3 — это GGUF-чекпойнт модели Qwen3.8-Flash-Next, опубликованный nitinpanj и предназначенный для локального запуска на компьютерах Apple Silicon. Модель ориентирована на генерацию текста и диалоговые сценарии через llama.cpp и OpenAI-совместимый сервер. Архитектура использует mixture-of-experts, а чекпойнт оптимизирован для потоковой загрузки редко используемых экспертных весов с SSD, благодаря чему модель размером около 95,5 ГиБ может запускаться на Mac с 64 ГиБ unified memory. Вариант v3 сочетает квантование Q4_0 с Q8_0 для output.weight и дополнительными изменениями квантования отдельных групп тензоров. По данным README, это снизило perplexity с 5,2777 до 4,3148 и повысило принятие черновых токенов при speculative decoding с 0,751 до 0,817. При использовании отдельной draft head объёмом около 1,9 ГиБ заявлена скорость генерации примерно 27,6 токена в секунду на Apple M5 Pro с 64 ГиБ памяти; без неё — около 18,0–18,6 токена в секунду. В конфигурации запуска указан контекст 98 304 токена, при этом скорость снижается по мере заполнения контекста. Главное ограничение — модель не работает со стандартной версией llama.cpp: требуется форк npanj/llama.cpp с поддержкой --moe-stream и сборкой Metal. Рекомендуется около 100 ГиБ свободного места на внутреннем SSD, поскольку экспертные веса постоянно считываются с диска; внешний USB-накопитель будет существенно медленнее. Ниже 64 ГиБ памяти запуск не проверен и, вероятно, потребует уменьшения кэша с потерей скорости. Лицензия в README не указана.

QwQ-32B-MLX-4bit — это 4-битная MLX-квантизация модели рассуждений QwQ-32B, разработанной командой Qwen. Квантизацию подготовил bartowski на основе инструментов mlx-examples; модель предназначена для запуска на компьютерах Mac с Apple Silicon, в том числе через LM Studio. Модель относится к задачам генерации текста и ориентирована на сценарии, требующие пошагового рассуждения и решения сложных задач. Поддерживается контекст длиной до 128 000 токенов. В README не указаны точные сведения о поддерживаемых языках, модальностях и внутренней архитектуре, кроме принадлежности к линейке QwQ и размера исходной модели 32B. Ключевое преимущество этой версии — уменьшенный объём представления благодаря 4-битной квантизации, что делает запуск крупной модели более доступным на совместимых устройствах Apple Silicon. При этом квантизация может влиять на точность и качество по сравнению с исходной моделью. Модель может генерировать неточные, вредные или неподходящие ответы. Лицензия в README не указана, поэтому условия использования необходимо уточнять в документации исходной модели QwQ-32B и у правообладателя.