II.2Создание и понимание программного кода

Это GGUF-квантизированная версия языковой модели Qwen2.5-72B-Instruct, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Исходную модель разработала команда Qwen; карточка указывает текстовую специализацию и поддержку английского языка. Модель предназначена для диалогов и генерации текста, включая запуск локально через llama.cpp или LM Studio, с использованием специального chat-шаблона Qwen. Модель имеет 72 млрд параметров, а репозиторий предлагает несколько вариантов квантизации GGUF — от IQ1_M и Q2 до Q8_0. Размеры файлов составляют примерно от 23,74 до 77,26 ГБ; варианты с более высокой точностью обычно требуют больше памяти, но лучше сохраняют качество исходной модели. Рекомендуемыми названы Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Для некоторых вариантов доступны раздельные файлы, а отдельные квантизации используют Q8_0 для embedding- и output-весов. Сильная сторона репозитория — широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с распространёнными локальными инструментами. Ограничения включают значительный объём памяти, необходимый для запуска 72-миллиардной модели, и снижение качества при сильной квантизации; конкретная длина контекста в README не указана. Модель распространяется по лицензии Qwen, обозначенной как other; дополнительные условия следует уточнять в файле лицензии исходной модели.

Это версия Qwen2.5-7B-Instruct, подготовленная сообществом mlx-community для использования в формате MLX. Модель основана на плотной авторегрессионной архитектуре Qwen2 с 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате, включая ответы на запросы и работу с интерфейсом вызова инструментов. Длина контекста составляет 32 768 токенов; в метаданных указан английский язык. Модель подходит для диалоговых ассистентов, генерации и продолжения текста, а также сценариев, где приложению требуется передавать вызовы инструментов через поддерживаемый интерфейс. Репозиторий содержит веса safetensors и преобразован в формат MLX с помощью mlx-lm версии 0.18.1. Базовая модель Qwen2.5-7B дообучена в варианте Instruct; для исходной модели указана лицензия Apache-2.0.

Qwen3-1.7B-GGUF — квантизированная GGUF-версия текстовой модели Qwen3-1.7B, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для генерации текста, следования инструкциям, творческого письма, ролевых сценариев и многошаговых диалогов. Модель поддерживает контекст до 32 000 токенов, режимы с рассуждением и без него, а также команду /no_think для отключения рассуждений. Заявлена повышенная эффективность в математике, программировании и задачах на здравый смысл, а также поддержка более 100 языков и диалектов и расширенные возможности для агентских сценариев. К ограничениям относятся возможные неточности, вредное или неподходящее содержание, характерные для языковых моделей. README не содержит сведений о конкретной лицензии модели, поэтому условия коммерческого и иного использования необходимо уточнять по исходной модели Qwen3-1.7B и странице квантизированной версии.

coder3101/Qwen3.5-35B-A3B-heretic — мультимодальная разговорная модель на основе Qwen3.5-35B-A3B, изменённая автором репозитория методом abliteration для заметного снижения частоты отказов. Это модель с причинным языковым ядром и кодировщиком изображений; архитектура использует разреженную смесь экспертов и Gated Delta Networks: всего 35 млрд параметров, из которых активируются около 3 млрд. Веса доступны в формате Safetensors и совместимы с Transformers и рядом движков инференса. Модель предназначена для диалогов, ответов на вопросы по изображениям, рассуждений и сценариев с вызовом инструментов. Она унаследовала от базовой модели контекст 262 144 токена с возможностью расширения примерно до 1 010 000 токенов. Карточка сообщает о поддержке 201 языка и диалекта базовой моделью, но не уточняет языковой охват именно этой производной версии. В приведённом сравнении частота отказов составила 5 из 100 запросов против 91 из 100 у исходной модели; KL-дивергенция относительно неё указана как 0,0972. Это указывает на ослабление отказного поведения, но не подтверждает качество ответов по другим задачам. Лицензия — Apache-2.0. Пониженная частота отказов означает, что модель может слабее ограничивать ответы на потенциально вредные запросы.

Qwen3.6-27B Q4KM dequant BF16 for vLLM — это преобразованная версия весов Qwen3.6-27B, подготовленная exolabs для запуска через vLLM. Исходные веса взяты из GGUF-файла Q4_K_M репозитория unsloth/Qwen3.6-27B-GGUF, деквантизированы и сохранены в формате BF16 в шардах safetensors; конфигурация и токенизатор взяты из Qwen/Qwen3.6-27B. Архитектура — плотная Qwen3_5ForConditionalGeneration; валидация описывает текстовую генерацию, а визуальная башня намеренно отсутствует. Модель предназначена для диалоговой генерации текста и развёртывания через vLLM. В README указаны успешная загрузка через Transformers CUDA и короткая генерация, а также проверка совместимости с интерфейсом vLLM completions. Для запуска автор рекомендует режим только языковой модели и максимальную длину контекста 4096 токенов. Хотя метаданные содержат тег image-text-to-text и возможность vision, данная сборка не включает визуальную башню и рассчитана на текстовый режим. Это конверсия и деквантизация исходного GGUF Q4_K_M в BF16, а не исходный чекпойнт BF16: точность ограничена исходными квантованными весами. Репозиторий не сообщает лицензию; условия использования следует сверить с лицензиями исходной модели и файла. Для запуска нужны совместимые версии vLLM и подходящее GPU-оборудование; проверка проводилась на H200 с vLLM 0.23.0.

Qwen3.6-35B-A3B Uncensored Heretic MLX 8bit — мультимодальная версия модели Qwen, разработанной Alibaba Cloud, конвертированная пользователем froggeric в формат MLX для нативной работы на Apple Silicon. Базовая модель — llmfan46/Qwen3.6-35B-A3B-uncensored-heretic; для устранения отказов использовался Heretic v1.2.0 с вариантом метода Magnitude-Preserving Orthogonal Ablation, применённым с учётом гибридной архитектуры внимания Qwen 3.6. Модель предназначена для диалогов, генерации и анализа текста, задач с изображениями и видео, рассуждений и tool calling. Поддерживаются текстовые и визуальные входы, режимы с рассуждением и без него, а также языки English, Chinese и другие языки, обозначенные как multilingual. Указаны размер класса 35B-A3B и 8-битная квантизация. Исправленный chat template поддерживает современные роли, вызовы инструментов и переключатель thinking, а также устраняет проблемы обработки визуальных входов. Сильные стороны модели — мультимодальность, работа в экосистеме MLX, совместимость с MLX-LM, MLX-VLM, LM Studio, llama.cpp, vLLM и другими движками с HuggingFace Jinja templates, а также снижение частоты отказов при заявленной минимальной потере возможностей. Для работы требуются mlx-lm версии 0.31.2 или новее и mlx-vlm версии 0.4.4 или новее. Модель распространяется по лицензии Apache-2.0. README не содержит подробных независимых результатов бенчмарков и не уточняет фактический объём контекстного окна.

Qwen3.8-27B-GGUF — набор квантизированных GGUF-версий базовой модели Qwen/Qwen3.8-27B, подготовленный пользователем vcruz305 для запуска через llama.cpp. Модель предназначена для локальной генерации текста и диалоговых сценариев, включая задачи с рассуждениями; для мультимодальных сценариев требуется отдельный файл mmproj. Поддерживаются английский и китайский языки. Указанный pipeline — text-generation. В основе используется 64-слойный языковой trunk архитектуры qwen35 с гибридом Gated DeltaNet; размер базовой модели — 27B параметров. Доступны квантизации от 2 до 8 бит размером примерно от 9,98 до 26,63 GiB. Версии Q2_K и Q3_K_M используют imatrix-квантизацию, остальные являются обычными K-quants. В файлах намеренно отсутствует MTP-голова для speculative decoding, что уменьшает требования к памяти, но исключает соответствующий режим ускорения. В README также заявлена поддержка контекста до 262 144 токенов при соответствующей конфигурации и аппаратных ресурсах. Сильные стороны набора — возможность запуска 27B-модели на видеокартах с 12, 16, 24 и 32+ GiB памяти, несколько вариантов компромисса между качеством и размером, а также исправленный chat template для корректной работы многошаговых агентов. Ограничения включают зависимость от достаточно новой версии llama.cpp с поддержкой qwen35, отсутствие встроенной vision-компоненты и MTP-головы, а также высокие требования к памяти для старших квантизаций и длинного контекста. Распространение заявлено по лицензии Apache-2.0, унаследованной от официальной модели Qwen.

btbtyler09/Qwen3.8-27B-GPTQ-4bit — это квантизированный вариант Qwen/Qwen3.8-27B, разработанный сообществом Qwen и подготовленный пользователем btbtyler09. Модель представляет собой плотную мультимодальную модель примерно на 27 млрд параметров с поддержкой текста и изображений, предназначенную для генерации и понимания текста, анализа изображений, обслуживания через vLLM и ускоренного декодирования с помощью модуля MTP. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, скрытое представление размером 5120 и промежуточный размер 17408. Максимальная длина контекста составляет 262 144 токена. В состав входят 27-блочный визуальный ViT-энкодер и однослойная голова Multi-Token Prediction. Текстовый декодер квантизирован в INT4 методом GPTQ с компенсацией ошибок FOEM и размером группы 32, а визуальный энкодер, MTP, эмбеддинги, нормы и LM head сохранены в BF16 или FP16. Итоговый размер — около 21 ГБ вместо примерно 56 ГБ у исходной BF16-модели. Основное преимущество — существенно меньшие требования к памяти при сохранении близкого к исходной модели качества: на wikitext-2-raw-v1 ухудшение perplexity составляет 0,81%. Модель поддерживает мультимодальные запросы и совместима с ядрами GPTQ в vLLM, однако для полноценного запуска требуется значительный объём видеопамяти и подходящая конфигурация GPU. Квантизация может снижать качество на отдельных задачах, а в некоторых версиях vLLM возможна ошибка разбора конфигурации, требующая исправления. Лицензия — Apache 2.0; поддерживаемые языки README не указывает.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео. Профиль Aggressive ориентирован на прямые ответы с минимальным вступлением и без поведения отказа; заявленные возможности базовой модели сохраняются без изменений в обучающих данных и общем назначении. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder и поддержкой мультимодального ввода через отдельный BF16-проектор. Архитектура включает 64 слоя, скрытый размер 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Указана поддержка английского, китайского и других языков. Выпуск представлен в форматах GGUF с различными уровнями квантизации, включая специализированные K_P-кванты. К сильным сторонам относятся длинный контекст, мультимодальность, сохранённые встроенные механизмы MTP/NextN и ускорение HauhauCS FastMTP 32K. Заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для задач рассуждения по сравнению с вариантами без MTP, однако эти показатели зависят от сценария и конфигурации. Агрессивный профиль может быть менее подходящим для надёжно контролируемых агентских задач, где предпочтительнее сбалансированная версия. Для работы с изображениями и видео требуется отдельный vision-проектор. Модель распространяется по лицензии Apache-2.0.

Rewnozom-GGUF — это конверсия модели Rewnozom/Rewnozom в формат GGUF, разработанная авторами Rewnozom на основе Qwen/Qwen2.5-7B-Instruct-1M. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, Jan и другие совместимые загрузчики. Указан английский язык, а исходная модель относится к семейству 7B instruct-моделей с контекстом до 1 млн токенов. Модель ориентирована на генерацию текста, рассуждения и задачи, связанные с логикой, декомпозицией запросов, планированием и исправлением планов, маршрутизацией инструментов, управлением состоянием и памятью, retrieval, разрешениями и многоагентной оркестрацией. В README также упоминается обучение на синтетических данных с детерминированными формальными мирами, проверками оракула и машинно проверяемыми ответами. Доступны варианты от F32, F16 и BF16 до низкобитных квантований, включая K-quants, legacy-quants, T-quants и гибридные профили. Сильными сторонами являются широкий выбор размеров файлов и компромиссов между качеством, скоростью и потреблением памяти, а также возможность локального использования. Качество и производительность зависят от выбранного квантования, длины контекста, аппаратного ускорения и характера задач; низкобитные варианты могут заметно менять поведение модели. Контроль разрешений, деструктивных действий и изменения состояния рекомендуется оставлять за детерминированной логикой приложения. Распространение заявлено по лицензии Apache 2.0.

SImi-2B — генеративная языковая модель, разработанная Dakuwon Moody. Это публичное распространение только весов модели SImiModel без исходного кода архитектуры, обучающего кода и полного внутреннего дерева восстановления. Модель предназначена для генерации текста, следования инструкциям, агентских сценариев и использования инструментов, включая задачи с tool use и function calling. Модель представляет собой decoder-only causal language model в стиле Llama, реализованную на JAX/Flax. Она содержит примерно 2,32 млрд параметров, 30 слоёв, скрытую размерность 2560, GQA с 20 query heads и 4 KV heads, RoPE, RMSNorm и SwiGLU. Используется untied token embedding и LM head, токенизатор GPT-2 BPE с 50 257 токенами и максимальная длина последовательности 1024 токена. Вычисления и веса имеют тип bfloat16. В README указан английский язык модели. Сильными сторонами являются обучение на полноразмерных потоках данных для инструкционного, агентского и инструментального использования, а также компактный размер по сравнению с крупными языковыми моделями. Ограничения включают отсутствие поддержки hosted inference, отсутствие исходного кода и несовместимость с Transformers AutoModel.from_pretrained; для восстановления требуются JAX/Flax и специфические процедуры работы с Orbax. Модель обучалась на AMD Instinct MI300X. Распространяется по лицензии Apache-2.0.

Causal language model с архитектурой семейства Qwen2, опубликованная на Hugging Face под идентификатором codex176743/cedar-lantern-p4. Модель предназначена для генерации текста и совместима с библиотекой Transformers; для хранения весов используется формат safetensors.

Experiment28M7_YamshadowT3q — объединённая языковая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/YamshadowT3q-7B. Она предназначена для генерации текста и может использоваться для составления ответов на запросы, в том числе математические. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

GLM-5.3-Flash-GGUF — это квантизированные GGUF-версии языковой модели GLM-5.3-Flash от zai-org, подготовленные пользователем 6block с помощью llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp; заявлены поддерживаемые языки английский и китайский. Она подходит для сценариев, где требуется большая языковая модель с длинным контекстом и возможностью подобрать объём файлов под доступные ресурсы. Модель содержит 320 млрд параметров, из которых 18 млрд активируются на токен, и поддерживает контекст до 1 млн токенов. Архитектура включает 45 слоёв с гибридным вниманием: 34 слоя KDA linear attention чередуются с 11 слоями DSA sparse attention; используется MLA, Manifold-Constrained Hyper-Connections (mHC) и MoE с 288 экспертами, маршрутизацией top-8 и общим экспертом. В репозитории представлены варианты IQ4_XS, IQ3_XXS, IQ2_XS и IQ1_M размером примерно от 65 до 155 GiB, каждый разделён на 15 частей. Квантизация выполнена из официальных BF16-весов с калибровкой imatrix; слой MTP NextN исключён. IQ4_XS и IQ3_XXS рекомендуются авторами как предпочтительные варианты: IQ2_XS и IQ1_M заметно теряют качество, хотя требуют меньше места. Для запуска необходимо скачать все 15 частей выбранного варианта и указать первый файл в llama-cli; распределение слоёв по доступной памяти llama.cpp выполняет автоматически. Лицензия MIT, унаследованная от исходной модели zai-org/GLM-5.3-Flash.

InternLM2.5-20B-Chat — разговорная текстовая модель семейства InternLM, разработанная командой InternLM. Данный репозиторий содержит её квантизованные версии в формате GGUF, подготовленные Second State Inc. на основе модели internlm/internlm2_5-20b-chat и предназначенные для локального запуска средствами, совместимыми с GGUF, включая LlamaEdge. Модель предназначена для генерации текста и диалоговых сценариев; README также указывает поддержку использования инструментов через специальный шаблон prompt. Это текстовая модель без заявленной поддержки других модальностей. Она содержит 20 миллиардов параметров, использует шаблон ChatML и поддерживает контекст размером до 32 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16; их размер составляет примерно от 7,55 до 39,7 ГБ. Основное преимущество репозитория — выбор компромисса между размером файлов и качеством: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшить качество ответов. Для запуска с LlamaEdge требуется версия 0.13.0 или выше. Лицензия указана как other, без дополнительных условий в README.

LiquidAI/LFM2.5-8B-A1B-MLX-4bit — 4-битная версия модели LFM2.5-8B-A1B, разработанной Liquid AI и преобразованной в формат MLX с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста, работы в качестве персонального ассистента на локальном устройстве и сценариев, требующих поддержки function calling. Она поддерживает ChatML-подобный шаблон диалога и явное рассуждение перед финальным ответом. Модель имеет архитектуру Mixture of Experts (MoE); согласно названию базовой модели, она относится к конфигурации 8B-A1B, однако подробные архитектурные характеристики и размер контекста в карточке не указаны. Квантование выполнено до 4 бит на вес с размером группы 64 и affine-режимом, при этом routing gates MoE сохранены в 8 бит. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Сильными сторонами являются уменьшенный объём модели благодаря квантованию, пригодность для запуска через MLX и поддержка function calling. Ограничения включают возможное снижение качества из-за 4-битного квантования, а также отсутствие в предоставленной карточке подробных данных о производительности, контексте и аппаратных требованиях. Модель распространяется по лицензии LFM Open License v1.0; условия следует уточнять в файле LICENSE или карточке базовой модели.

Llama-2-7B-Chat-GGUF — квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta и преобразованной в формат GGUF компанией Second State Inc. Модель основана на meta-llama/Llama-2-7b-chat-hf и предназначена для генерации текста и ведения диалогов на английском языке. Модель содержит 7 миллиардов параметров, использует архитектуру Llama и поддерживает контекст до 4096 токенов. В репозитории доступны варианты квантования от 2 до 8 бит, а также f16; их размер составляет примерно от 2,83 до 13,5 ГБ. Вариант Q4_K_M обеспечивает сбалансированное соотношение размера и качества, а Q5_K_M и Q5_K_S характеризуются минимальными потерями качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшать результаты. Модель подходит для локального запуска и интеграции в приложения через LlamaEdge, включая чат-сервисы и командные приложения. README не содержит отдельного описания ограничений безопасности или качества базовой модели. Лицензия указана как llama2; для использования следует учитывать условия лицензии Meta Llama 2.

Это преобразованная сообществом mlx-community версия диалоговой модели NVIDIA Llama-3.1-Nemotron-70B-Instruct-HF, подготовленная для запуска в формате MLX на Apple Silicon. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров; длина контекста — до 131 072 токенов. Она предназначена для генерации текста в ответ на инструкции и запросы, поддерживает чат и интерфейс вызова инструментов. Модель дообучена NVIDIA на базе Llama 3.1 Nemotron с использованием HelpSteer2, а затем конвертирована в MLX; в репозитории указана версия bf16. Подходит для диалоговых ассистентов, ответов на вопросы и выполнения текстовых инструкций. Карточка и метаданные указывают английский язык. Для использования действуют условия лицензии Llama 3.1; запуск через MLX ориентирован на устройства Apple Silicon.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

unsloth/mistral-7b-instruct-v0.2-bnb-4bit — это 4-битно квантованная версия Mistral-7B-Instruct-v0.2, подготовленная Unsloth на базе модели mistralai/mistral-7b-instruct-v0.2. Модель предназначена для генерации текста и диалоговых сценариев, включая conversational-форматы ShareGPT, а также для дообучения на собственных наборах данных. Она интегрируется с библиотекой Transformers и может экспортироваться в форматы GGUF и vLLM. Из известных характеристик: модель относится к семейству Mistral, содержит около 7 миллиардов параметров, работает с текстом и заявлена для английского языка. Представление bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что делает вариант подходящим для локального запуска и эффективного fine-tuning на ограниченных ресурсах. README также указывает на ускорение дообучения Mistral в Unsloth примерно в 2,2 раза и сокращение использования памяти до 62%, однако эти показатели относятся к процессу дообучения в заявленной конфигурации, а не являются гарантией качества или скорости инференса. Модель может использоваться для чат-ботов, генерации и продолжения текста, экспериментов с instruction tuning и DPO. Ограничения включают зависимость качества от формата промптов и данных дообучения, возможные потери качества из-за 4-битной квантизации, а также отсутствие в README сведений о размере контекстного окна, точной архитектуре, мультимодальности, результатах бенчмарков и требованиях к инференсу. Лицензия — Apache-2.0.

Это объединённая модель MaziyarPanahi, созданная методом SLERP на основе Mistral-7B-Instruct-v0.2 и Mistral-7B-v0.1-sharded. Она предназначена для генерации текста в диалогах и выполнения инструкций. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; длина контекста — до 32 768 токенов. Весы опубликованы в формате Safetensors. Модель принимает текст и выдаёт текст. Метаданные не определяют конкретные языки, поэтому их нельзя указать. Репозиторий распространяется по лицензии Apache-2.0. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений применения.

Nanbeige4-3B-Thinking — компактная языковая модель с 3,5 млрд параметров из четвёртого поколения семейства Nanbeige, разработанная командой Nanbeige. Это плотная авторегрессионная модель архитектуры Llama, предназначенная для генерации текста в диалогах и решения задач, требующих рассуждений. Модель обучали на корпусе из текстов, книг, кода и научных публикаций, а затем дообучали на примерах с длинными цепочками рассуждений, дистиллировали от флагманской модели Nanbeige и совершенствовали с помощью многоэтапного обучения с подкреплением. В README заявлены применения в математике, науке, творческом письме и использовании инструментов. Поддерживается контекст до 65 536 токенов; метаданные указывают английский и китайский языки. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0. Сильные стороны — акцент на рассуждениях при сравнительно небольшом размере и обучение на проверяемых задачах и данных с длинными цепочками рассуждений. Модель может выдавать предвзятые или дискриминационные и другие неожиданные ответы; результаты требуют проверки, особенно при использовании инструментов или в чувствительных сценариях.

Qwen3.6-27B-NInfer — мультимодальная модель для генерации текста и обработки изображений и видео, подготовленная Neroued на основе Qwen/Qwen3.6-27B. Это не стандартный checkpoint для Transformers, Safetensors или GGUF, а артефакт в нативном формате .ninfer, предназначенный для запуска через NInfer. Модель поддерживает режимы с рассуждением и без него, текстовые, мультиизображенческие, видео- и смешанные мультимодальные сообщения. Указана архитектура Qwen3_5ForCausalLM; размер файла составляет около 16,29 ГиБ. Доступны MTP-спекулятивное декодирование, различные форматы KV-кэша, CUDA Graph, повторное использование совместимого префикса и небольшое параллельное обслуживание запросов. При запуске сервера заявлен логический предел контекста до 240 000 токенов. Поддерживаемые языки в карточке не указаны. Модель подходит для локальной генерации текста, диалоговых приложений, задач рассуждения, анализа изображений и видео, а также для развёртывания через NInfer CLI или совместимые интерфейсы OpenAI Responses, Chat Completions и Anthropic Messages. Среди ограничений — необходимость использовать NInfer, сборку из исходного кода, 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее; готового установочного пакета NInfer не предоставляется. В карточке приведены результаты на AIME 2025, AIME 2026 и GPQA-Diamond, но методика и полный набор измерений ограничены описанными условиями. Лицензия — Apache-2.0.

TheWegemann/Qwen3.8-27B-LowGPU-NoMTP-IQ3XXXS-GGUF — это пользовательская GGUF-квантизация модели Qwen3.8-27B, разработанная TheWegemann совместно с авторами рецепта квантования. Модель предназначена для локального запуска через llama.cpp на видеокартах с 12 ГБ VRAM, включая сценарии работы с агентами, рассуждениями, текстом и изображениями. Модель основана на 27-миллиардной Qwen3.8-27B и занимает примерно 9,3 ГБ. Она использует гибридную архитектуру с блоками Gated DeltaNet и линейного внимания, периодическими блоками полного внимания и 64 слоями. Поддерживаются мультимодальные сценарии с совместимым F16 vision-проектором. В сборке удалена MTP-голова, чтобы уменьшить потребление видеопамяти. Рецепт IQ3XXXS является названием пользовательской схемы смешанного покомпонентного квантования, а не официальным типом квантования llama.cpp; применяются различные форматы, включая IQ1_S, IQ1_M, IQ2, IQ3, IQ4_XS, Q2_K, Q4_K, Q5_K и Q8_0. Тестирование проводилось с полным переносом на GPU, контекстом до 64 000 токенов, кэшем Q4_0, Flash Attention и сервером llama.cpp. Сильная сторона модели — сочетание относительно крупной базовой модели, мультимодальности и большого контекста с возможностью запуска на 12-ГБ GPU. Квантование агрессивно оптимизировано под ограниченный объём VRAM, а финальные слои и отдельные чувствительные тензоры сохранены с более высокой точностью. Ограничения связаны с потерями качества из-за низкой точности, отсутствием MTP и зависимостью фактического потребления памяти от версии llama.cpp, драйверов, настроек и использования видеопамяти. Сборка ориентирована прежде всего на GPU-only запуск; работа при меньшем объёме VRAM или с CPU offload возможна, но не является целевым сценарием. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NInfer — мультимодальный вариант модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в нативный формат .ninfer для движка NInfer. Артефакт предназначен для генерации текста в режимах с рассуждением и без него, а также для обработки изображений, нескольких изображений, видео и смешанных мультимодальных сообщений. Модель содержит 27 млрд параметров базовой модели и использует groupwise-квантизацию с распределением Q4/Q5/Q6 для текстовой части, а также W8G32_F16S для эмбеддингов и выходной головы. Поддерживаются MTP-спекулятивное декодирование, BF16 и INT8 group-64 KV-кэш, CUDA Graph decode, повторное использование совместимых префиксов и небольшое параллельное пакетное обслуживание. В README указаны текстовый контекст до 262 144 токенов и мультимодальный лимит до 81 920 токенов в проведённых тестах. Сильные стороны модели — поддержка мультимодальных сценариев, высокая точность на AIME 2025 и AIME 2026 — по 96,67%, а также результаты 87,37% на GPQA-Diamond и 82,22% на RealWorldQA. Ограничения связаны с узкой средой запуска: требуется NInfer версии с ревизии 5232055, 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее. Артефакт не является чекпойнтом Transformers, Safetensors или GGUF. Лицензия — Apache-2.0.

Qwen3.8-27B-Quark-AWQ-INT4-W4A16 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark компанией Advanced Micro Devices, Inc. Модель предназначена для задач генерации текста и, согласно метаданным карточки, относится к классу image-text-to-text. Подробные сведения о поддерживаемых языках и полном наборе модальностей не указаны. Используется 4-битное квантизирование весов по алгоритму AWQ с группой размера 128 (W4A16): веса представлены в INT4, активации сохраняются в BF16. Калибровка выполнена на 128 образцах с длиной последовательности 512 токенов. Размер базовой модели — 27B параметров. В тестах модель сохранила близкую к исходной BF16-версии производительность на GSM8K, Wikitext и однопоточных сценариях BFCL; однако результаты зависят от режима генерации и настроек оценки. Основное преимущество — снижение требований к памяти за счёт квантизации при сохранении большей части качества базовой модели. Ограничения включают возможные потери точности по сравнению с BF16-версией и необходимость совместимого inference runtime с поддержкой схемы W4A16Int4, например соответствующей конфигурации vLLM и AMD Quark. Базовая модель распространяется по лицензии Apache 2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

MiawTeam/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, разработанный MiawTeam на базе Qwen/Qwen3.8-27B и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, включая диалоги, работу с английским и китайским языками, а при наличии vision tower в базовой модели — обработку изображений. Доступны варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также конфигурации со встроенной или отдельной MTP-головой для speculative decoding. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, контекстом до 262 144 токенов и одной MTP-головой. Веса были обработаны методом abliteration с помощью Heretic для существенного снижения отказов без дополнительного обучения и без использования новых данных; при этом базовые возможности, обучающие данные и архитектура заявлены как сохранённые. MTP-тензоры проверены после конвертации и квантизации, а imatrix рассчитана непосредственно из F16-весов. Сильные стороны — большой контекст, поддержка текстовой и потенциально визуальной модальности, несколько уровней квантизации и возможность ускорения генерации за счёт speculative decoding. Ограничения включают зависимость производительности от оборудования и настроек draft decoding, потенциальное небольшое снижение acceptance rate для черновой головы, а также то, что снижение отказов не является полным. В сравнении с базовой моделью среднее изменение результатов на указанных 0-shot тестах составило около −0,5 и находится в пределах или около стандартной ошибки измерений. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это квантованная версия Qwen3.8-27B, выпущенная HauhauCS в формате GGUF. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также анализа изображений и видео при использовании отдельного vision-проектора. Вариант Aggressive настроен на прямые ответы, минимальное вступление и отсутствие стандартного поведения отказа. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder, 64 слоями, размером скрытого состояния 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются языки English, Chinese и другие языки, заявленные как multilingual. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный NextN/MTP сохранён, а FastMTP добавляет отдельный профиль ускорения для контекста 32K и заявленное ускорение генерации. Сильные стороны модели — широкий контекст, текстовые и мультимодальные возможности, несколько вариантов квантования с разным соотношением качества и размера, а также ускорение speculative decoding через MTP. Ограничения включают отсутствие защитного поведения и отказов в Aggressive-режиме, что может быть нежелательно для надёжных агентских и критически важных сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Для обработки изображений и видео требуется отдельный BF16 vision projector. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-ANE — пакет гибридного инференса модели Qwen3.8-Flash-Next от True2456 для компьютеров Apple Silicon. Модель дообучена на базе Qwen/Qwen3.8-Flash-Next; в README описаны 36 слоёв Gated DeltaNet и 12 слоёв Qwen Sparse Attention, исполняемые на Apple Neural Engine, и разрежённые MoE-эксперты, работающие через MLX на GPU. Веса языковой модели хранятся в 4-битном формате, а для ускорения декодирования применяются спекулятивная генерация и таблицы n-грамм. Пакет предназначен для диалогов, генерации текста и агентных сценариев, включая работу через OpenAI-совместимый API и интерфейс вызова инструментов. Автор сообщает о тестировании на Mac с M5 Max и 96 или 128 ГБ объединённой памяти; README приводит результаты производительности и тестов качества для этой конфигурации. Это не полностью исполняемая на ANE модель: часть вычислений выполняется на GPU и CPU. Лицензия указана как other, поэтому условия использования следует проверять на странице репозитория.

Qwentile2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwentile2.5-32B-Instruct, разработанной maldv и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста, чат- и диалоговых сценариев, а также локального использования через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка. Модель имеет размер 32 млрд параметров. Доступны варианты от F16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, включая форматы K-quants и IQ-quants, что позволяет выбирать между качеством, скоростью и требованиями к оперативной памяти. Квантизации выполнены с использованием imatrix на базе llama.cpp; для общения применяется шаблон с тегами <|im_start|> и <|im_end|>. Сильная сторона набора — широкий выбор вариантов, включая высококачественные Q6_K и Q6_K_L, а также более компактные версии для систем с ограниченной памятью. При этом уменьшение разрядности может снижать качество генерации, особенно у Q2–Q3 вариантов; для работы также требуются значительные вычислительные ресурсы. Контекстное окно, точная архитектура и дополнительные модальности в README не указаны. Модель распространяется по лицензии Apache-2.0.