II.2Создание и понимание программного кода

Это GGUF-квантизированная версия языковой модели Qwen3-Nemotron-32B-RLBFF, разработанной NVIDIA. Квантизацию выполнил пользователь bartowski с помощью llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты от BF16 и Q8_0 до низкобитных форматов Q6_K, Q5_K_M, Q4_K_M, Q3_K и IQ-семейства. Размер файлов варьируется примерно от 14,93 до 65,53 ГБ; Q4_K_M указан как вариант по умолчанию для большинства сценариев, а Q5 и Q6 — как варианты с более высоким качеством. Некоторые версии используют Q8_0 для embedding- и output-весов, а отдельные форматы ориентированы на ARM, AVX или Apple Silicon. Модель подходит для локальной текстовой генерации при наличии значительного объёма оперативной или видеопамяти. Чем агрессивнее квантизация, тем меньше требования к памяти, но тем ниже потенциальное качество. В README не указаны архитектурные детали, поддерживаемые языки, размер контекста, мультимодальные возможности и лицензия, поэтому эти характеристики нельзя достоверно определить по представленным данным.

Это GGUF-квантизация языковой модели gpt-oss-20b, разработанной OpenAI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. В репозитории представлены варианты квантизации MXFP4, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ, размером примерно от 11,56 до 12,1 ГБ. Во всех вариантах feed-forward сети сохранены в формате MXFP4, поскольку, согласно описанию, они плохо работают при использовании других форматов. Рекомендуется файл gpt-oss-20b-MXFP4.gguf размером 12,1 ГБ; квантизация выполнена с использованием imatrix и набора данных combined_all_medium. README не содержит сведений о числе параметров архитектуры, поддерживаемых языках, модальностях и размере контекста. Также не указана лицензия этой квантизированной версии; условия использования следует уточнять по карточке исходной модели OpenAI. Шаблон чата в README не задан и может требовать проверки по оригинальной карточке модели.

OpenChat 3.5 0106 GGUF — квантизированная версия текстовой генеративной модели OpenChat 3.5 0106, разработанной командой OpenChat и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые графические интерфейсы, библиотеки и API-серверы. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит для инференса на CPU и GPU. Точные размер модели, длина контекста, поддерживаемые языки и мультимодальные возможности в README не указаны; по описанию это текстовая, а не мультимодальная модель. Для работы используется шаблон запросов OpenChat-Correct: GPT4 Correct User и GPT4 Correct Assistant. Ключевое преимущество — возможность более экономичного локального запуска благодаря квантованию и широкой совместимости с llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими инструментами. Ограничения связаны с потерями качества, возможными при низкоразрядном квантовании, а также с отсутствием в README подробных характеристик исходной модели и результатов оценки. Указанная лицензия — Apache-2.0.

bartowski/open-thoughts_OpenThinker2-7B-GGUF — это квантизированная GGUF-версия языковой модели OpenThinker2-7B, разработанной open-thoughts. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Для работы используется формат запросов с ролями system, user и assistant на основе специальных токенов ChatML. Модель содержит 7 миллиардов параметров и распространяется в вариантах от BF16 до низкобитных квантований Q2–Q8, включая семейства Q_K, IQ и legacy-форматы. Размер файлов составляет примерно от 3,5 до 15,2 ГБ; варианты с более высокой точностью обеспечивают лучшее качество, а низкобитные версии требуют меньше оперативной памяти. В README не указаны языки, размер контекстного окна, конкретные мультимодальные возможности или архитектурные детали базовой модели. Сильной стороной является широкий выбор квантований для разных аппаратных ограничений и оптимизация с использованием imatrix. Ограничения зависят от выбранного варианта: более компактные версии могут заметно уступать по качеству, а полная BF16-версия требует значительных ресурсов. Модель и квантованные файлы распространяются по лицензии Apache-2.0; квантизация выполнена bartowski с использованием llama.cpp.

Q3.6-35B-A3B-abliterated-0520-MAX-GGUF — модель от prithivMLmods, основанная на Qwen/Qwen3.6-35B-A3B и распространяемая в формате GGUF. Это модифицированная версия с применением анализа направлений отказа и обучения методом абляции, направленная на снижение внутренних отказов при сохранении способностей к рассуждению и следованию инструкциям. В README также указана производная модель prithivMLmods/Q3.6-35B-A3B-abliterated-0520-MAX-STOR-check. Модель предназначена для генерации текста, подробных ответов, рассуждений и выполнения инструкций, включая сценарии локального запуска через llama.cpp или совместимые средства инференса. Указан английский язык. Архитектура описана как Mixture-of-Experts с 35 млрд параметров; максимальная длина контекста в README не указана. Наличие файлов mmproj и тега image-text-to-text указывает на заявленную поддержку мультимодального сценария, однако конкретные возможности работы с изображениями не описаны. Доступны варианты квантования от Q2_K до Q8_0, а также BF16 и F16; размеры файлов составляют примерно от 12,9 до 69,4 ГБ, что позволяет выбирать компромисс между требованиями к памяти и качеством. Сильной стороной заявляется улучшенное следование инструкциям и сниженное количество отказов, но это одновременно является ограничением для безопасного применения: поведение модели может быть менее ограничивающим, а качество и безопасность ответов требуют самостоятельной проверки. Модель предназначена авторами для исследований и обучения, а использование осуществляется на риск пользователя. Лицензия — Apache-2.0.

Qwen2.5-32B-AGI-GGUF — это GGUF-квантизация модели Qwen2.5-32B-AGI, подготовленная разработчиком bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Указаны языки Chinese и English, однако подробное описание исходной модели и её специализации в README отсутствует. Модель основана на архитектуре Qwen2.5 и содержит 32B параметров. Доступны варианты от F16 до низкобитных форматов Q2 и Q3, а также варианты Q4–Q8, что позволяет выбирать между качеством ответов и требованиями к памяти. Рекомендуемыми названы некоторые варианты Q4–Q6; отдельные сборки оптимизированы для ARM-процессоров и требуют соответствующих аппаратных инструкций. Контекстное окно, поддерживаемые модальности, точные сценарии применения и дополнительные характеристики не указаны. Распространение заявлено по лицензии Apache-2.0. Ограничения связаны прежде всего с потерей качества при агрессивной квантизации и различиями в требованиях к памяти; низкобитные варианты подходят для устройств с ограниченными ресурсами, но могут заметно уступать более крупным форматам.

mlx-community/Qwen2.5-7B-Instruct-8bit — конверсия модели Qwen/Qwen2.5-7B-Instruct в формат MLX с 8-битным представлением весов, выполненная сообществом mlx-community с помощью mlx-lm 0.18.1. Это плотная авторегрессионная модель семейства Qwen2, содержащая 7,1 млрд параметров и предназначенная для генерации текста в диалоговом режиме, включая ответы на запросы и использование интерфейса вызова инструментов. Модель принимает текст и выдаёт текст. Поддерживает английский язык; базовая модель Qwen2.5 рассчитана на контекст до 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0. Формат MLX предназначен для запуска на системах Apple с MLX; сведения о качестве именно этой конверсии и поддержке других языков в карточке модели не приведены.

bartowski/Qwen2.5-7B-Instruct-GGUF — это набор GGUF-квантизаций чат-модели Qwen2.5-7B-Instruct, разработанной командой Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск в LM Studio и других совместимых приложениях. Для общения используется шаблон сообщений с ролями system, user и assistant. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и, согласно README, заявлена для английского языка. В репозитории доступны варианты от F16 до низкобитных Q2–Q8-квантизаций размером примерно от 3,5 до 15,2 ГБ. Более высокие разрядности обычно обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти; отдельные варианты оптимизированы для ARM-процессоров и требуют поддержки SVE или i8mm. README также сообщает об обновлении настроек длины контекста и токенизатора, но точное значение контекстного окна не указано. Сильной стороной является широкий выбор квантизаций для запуска на оборудовании с различными ограничениями по памяти, при этом варианты Q4–Q6 отмечены как рекомендуемые по соотношению качества и размера. Ограничения связаны с компромиссом между качеством и размером низкоразрядных вариантов, а также с необходимостью совместимого программного обеспечения и аппаратных инструкций для некоторых ARM-версий. Указана лицензия Apache-2.0.

lmstudio-community/Qwen3-32B-MLX-4bit — это 4-битная версия модели Qwen3-32B, разработанной Qwen и преобразованной сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска в экосистеме MLX; README не содержит сведений о конкретных прикладных сценариях, поддерживаемых языках, архитектуре, размере контекста или доступных модальностях помимо текста. Ключевая характеристика модели — 32B в названии и 4-битное квантование, что ориентировано на более эффективное использование памяти при локальном запуске, однако README не приводит измерений производительности, качества или требований к оборудованию. Использование предполагается через библиотеку mlx-lm с применением чат-шаблона токенизатора, если он доступен. Модель распространяется по лицензии Apache 2.0; ограничения и известные недостатки отдельно не указаны.

Qwen3-4B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research, ориентированного на эффективное выполнение моделей на устройствах Apple Silicon. Модель предназначена для генерации текста в инструкционном формате и локального использования на совместимых компьютерах Apple Silicon. Она подходит для диалоговых приложений, обработки инструкций и других задач текстовой генерации. Модель имеет размер 4B параметров, относится к текстовым моделям и доступна в 8-битном формате MLX. Другие характеристики, включая поддерживаемые языки, длину контекста и точные параметры архитектуры, в README не указаны. Ключевое преимущество модели — сочетание компактного размера, 8-битной квантования и оптимизации под Apple Silicon, что делает её более подходящей для локального запуска с ограниченными ресурсами. Ограничения включают возможное снижение точности по сравнению с исходной моделью и типичные для языковых моделей риски генерации неточной, вредной или неподходящей информации. Модель распространяется по лицензии Apache-2.0.

Parda21/Qwen3-4B-NWC — версия языковой модели Qwen3-4B, представленная в формате Neural Weight Compression (NWC). Линейные слои и связанные эмбеддинги хранятся в сжатом BF16-виде; веса восстанавливаются непосредственно CUDA-ядром при умножении матриц. По заявлению автора, веса побитово совпадают с исходной моделью и не квантизированы. Репозиторий содержит 3,7 млрд параметров и рассчитан на контекст до 40 960 токенов. Модель предназначена для генерации текста и диалогов. По сравнению с исходной версией BF16 автор сообщает о сокращении размера весов с 8,04 до 5,55 ГБ, использовании видеопамяти с 8,10 до 5,67 ГБ и скорости 55 против 45 токенов в секунду на RTX 4070 в указанном режиме. Для запуска нужны библиотека nwc, Transformers, Accelerate и CUDA; специальный формат требует поддержки NWC. Лицензия весов — Apache-2.0, как у базовой модели.

Qwen3-4B-Thinking-2507-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-4B-Thinking-2507, подготовленная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а квантование в формате MLX предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и задач, требующих рассуждений, включая работу в локальных приложениях на базе LM Studio и других совместимых инструментов MLX. В README указано, что это модель класса text-generation с размером 4B параметров; она оптимизирована для Apple Silicon и использует 4-битное представление, что снижает требования к памяти по сравнению с полной версией. Сведения о поддерживаемых языках, максимальной длине контекста и мультимодальных возможностях не приведены, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск на совместимых компьютерах Apple и уменьшенное потребление памяти благодаря квантованию. Ограничения включают возможную потерю качества относительно исходной модели, зависимость производительности от оборудования и отсутствие гарантии точности, безопасности или соответствия результатов задаче. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный пользователем jaromer и предназначенный для запуска через llama.cpp. Модель ориентирована на генерацию текста, диалоги и другие задачи обработки текста; доступны также варианты с поддержкой изображений, если это поддерживается базовой моделью. Уровень отказов существенно снижен с помощью метода abliteration на базе Heretic, однако полностью не устранён. Дополнительное обучение и новые обучающие данные не использовались. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, контекст до 262 144 токенов, один MTP-слой и поддержку vision. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,6 до 29 ГБ. Варианты с сохранённой MTP-головой поддерживают speculative decoding; также предлагаются отдельные target- и draft-файлы. Заявленные языки — английский и китайский. Сильными сторонами являются большой контекст, широкий выбор квантизаций, поддержка MTP и близкие к f16 показатели perplexity у большинства вариантов; IQ2_M заметно уступает остальным по этому измерению. Perplexity не оценивает качество рассуждений, программирования, мультиязычности или поведения отказов. Модель распространяется по лицензии Apache-2.0.

JonathanColetti/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный JonathanColetti для запуска через llama.cpp и совместимые среды. В модели существенно снижено отказное поведение, но оно не устранено полностью; при этом заявлено сохранение исходных возможностей, обучающих данных и архитектуры базовой модели. Изменения выполнены методом abliteration без дообучения и добавления новых данных. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений при использовании совместимого vision runtime. Указаны английский и китайский языки. Архитектура — Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248320 токенов, один MTP-слой и контекст до 262144 токенов. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с MTP для speculative decoding и отдельный vision-проектор. Сильные стороны модели — большой контекст, поддержка изображений, несколько вариантов квантизации для разных ограничений по памяти и возможность ускорения генерации через speculative decoding. Качество зависит от выбранной квантизации и аппаратного обеспечения; наиболее компактная IQ2_M заметно уступает остальным вариантам по измеренной perplexity. MTP-голова обучалась на неизменённой базовой модели, поэтому коэффициент принятия черновых токенов может немного снижаться, хотя проверка каждого токена сохраняет качество вывода. Для работы требуется совместимый runtime, а поддержка изображений доступна только при наличии соответствующего vision runtime. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций модели Qwen3.8-27B, опубликованный lactroiii на базе модели Qwen/Qwen3.8-27B от Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального запуска через llama.cpp. Поведение отказов существенно снижено, но не устранено; основные возможности, обучающие данные и архитектура базовой модели сохранены. Модель использует архитектуру Qwen3_5ForConditionalGeneration, содержит 64 слоя, словарь из 248 320 токенов, один MTP-слой и поддерживает контекст до 262 144 токенов. Заявлена поддержка английского и китайского языков, а также визуального ввода при наличии vision tower в базовой модели. Доступны варианты IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, включая конфигурации со встроенной или отдельной MTP draft-моделью для speculative decoding. К сильным сторонам относятся большое контекстное окно, поддержка текста и изображений, несколько уровней квантизации и сохранённая MTP-голова для потенциального ускорения генерации. Измерения perplexity показывают близкое к f16 качество для большинства вариантов, тогда как IQ2_M заметно уступает остальным. Снижение отказов не является полным и может влиять на профиль безопасности модели. Для использования требуется совместимый runtime, например llama.cpp; лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-GGUF — квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная в формате GGUF для использования с llama.cpp. Модель предназначена для генерации текста, локального запуска и сценариев, где важны различные уровни квантизации, включая работу со speculative decoding благодаря сохранённой голове multi-token prediction (MTP). Доступен вариант с поддержкой изображений, если это предусмотрено базовой моделью. Модель имеет архитектуру Qwen3_5ForConditionalGeneration, 64 слоя, словарь из 248 320 токенов, один MTP-слой и контекст до 262 144 токенов. Заявлены английский и китайский языки. Доступны квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также варианты с объединённой MTP-головой и отдельными целевой и draft-моделями. По сравнению с исходной моделью существенно снижено поведение отказа от ответа, но оно не устранено полностью; при этом возможности, обучающие данные и архитектура базовой модели не изменялись. Сильными сторонами являются большой контекст, поддержка MTP для ускорения инференса, несколько вариантов размера файлов и сохранение качества при большинстве квантизаций. Ограничения включают возможное небольшое снижение доли принятых токенов при speculative decoding, зависимость от совместимости используемого runtime и отсутствие в README подробных сведений о фактических показателях рассуждения, программирования и мультиязычных возможностей. Распространение указано по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — это модификация Qwen3.8-27B, опубликованная HauhauCS. Модель распространяется в формате GGUF и предназначена для генерации текста, рассуждений, агентских сценариев, а также обработки изображений и видео через отдельный vision-проектор. Указаны языки English, Chinese и multilingual, однако точный перечень поддерживаемых языков не приведён. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, скрытым размером 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000. Встроенная поддержка MTP/NextN сохранена, а профиль HauhauCS FastMTP предназначен для ускорения генерации; заявлены преимущества в скорости для документных и reasoning-сценариев. Для изображений и видео требуется отдельный BF16 vision-проектор. Вариант Aggressive ориентирован на прямые ответы, минимальную вводную часть и отсутствие отказов, что может быть полезно для задач, где важны быстрота и непрерывность генерации. Это одновременно является ограничением: README рекомендует для надёжной работы с длинным контекстом и агентскими задачами сбалансированный вариант, если он доступен. Модель не вносит изменений в датасеты или заявленные возможности базовой Qwen3.8-27B, но применяет профиль «uncensored». Доступны различные уровни квантизации, включая пользовательские K_P и IQ-варианты, совместимые с llama.cpp, LM Studio и другими GGUF-совместимыми средами. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-NVFP4 (ModelOpt) — это квантованная версия мультимодальной модели JonathanColetti/Qwen3.8-27B-Uncensored, опубликованная joshebbs и подготовленная с помощью NVIDIA TensorRT Model Optimizer 0.43.0. Модель предназначена для инференса под управлением vLLM на GPU архитектуры Blackwell и поддерживает обработку текста и изображений. Заявленные языки — английский и китайский. Лицензия — Apache-2.0. Модель содержит 27 млрд параметров и использует гибридную архитектуру из 64 слоёв, объединяющую Gated DeltaNet и Gated Attention. Квантование NVFP4 с размером блока 16 и FP8-масштабами применено к 400 линейным слоям; vision tower, lm_head, MTP head и отдельные чувствительные к точности проекции DeltaNet сохранены в исходной точности. Размер весов уменьшен примерно с 65 ГБ в BF16 до 19,2 ГиБ. Vision tower и голова многотокенного предсказания сохранены. Модель подходит для генерации текста, рассуждений, мультимодальных сценариев и вызова инструментов через совместимый XML-формат Qwen. Контекст до 131 072 токенов проверен при распределённом запуске на двух NVIDIA DGX Spark GB10 с tensor parallelism. Для работы необходим runtime с поддержкой modelopt_fp4; стандартная загрузка через transformers невозможна. Рекомендуется vLLM с Blackwell, FP8 KV-cache и FlashInfer. При включённом режиме рассуждений ответы могут оказаться пустыми, если генерация обрывается внутри блока <think>; также для автоматического tool calling требуются специальные параметры vLLM.

empero-ai/Qwen3.8-9B-Distill-GGUF — набор GGUF-квантизаций модели, разработанной Empero. Это дистилляция крупной Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B, предназначенная для генерации текста и запуска в llama.cpp, Ollama, LM Studio, Jan, KoboldCpp и других совместимых средах. Указан английский язык; поддерживаемые модальности и размер контекста в карточке не уточняются. Модель имеет гибридную архитектуру Qwen3.5 с тремя слоями Gated DeltaNet на каждый слой полной attention-механики и ориентирована на reasoning-сценарии. В карточке приведены варианты от Q4_K_M размером 5,780 GB до BF16 размером 18,407 GB; рекомендуемым считается Q4_K_M как оптимальный баланс качества и объёма. Для работы требуется современная сборка llama.cpp с поддержкой Qwen3.5 и Gated DeltaNet. Модель использует встроенный шаблон чата и формирует рассуждения в блоках <think>, которые при необходимости следует удалять из пользовательского вывода. По заявленным оценкам исходной модели, дистилляция заметно улучшает результат на MMLU по сравнению с базовой Qwen3.5-9B, однако немного уступает ей на GSM8K. К ограничениям относятся необходимость совместимого рантайма, потребность в дополнительной памяти под KV-кэш при длинном контексте и отсутствие в этой карточке подробных бенчмарков и рекомендаций по применению. Веса распространяются по лицензии Apache-2.0.

Noobito45/Qwen3.8-9B-heretic-uncensored-NVFP4-GGUF — квантизированная GGUF-версия языковой модели, разработанная на основе empero-ai/Qwen3.8-9B. Модель создана с использованием Heretic v1.4.0 и предназначена для генерации текста, рассуждений и других задач, поддерживаемых исходной моделью Qwen3.8-9B. Это «decensored» или «uncensored» вариант, в котором снижена склонность к отказам: в указанной проверке модель отказалась отвечать на 22 из 100 запросов против 100 из 100 у исходной версии. Модель основана на архитектуре Qwen3.5-9B и представляет собой дистилляцию исходной Qwen3.8 2.4T A95B; точные характеристики архитектуры, размер контекста и полный набор языков в этой карточке не указаны. Доступная версия использует квантизацию NVFP4 + Q8_0 и предназначена для запуска в совместимых с GGUF средах, включая llama.cpp. По данным бенчмарков, квантизация вызывает небольшие изменения качества и поведения по сравнению с эталонной версией BF16; результаты зависят от оборудования и настроек оценки. Модель сохраняет близость к исходной по KL-дивергенции, однако снижение отказов может сопровождаться изменением поведения и не означает отсутствия ограничений или рисков при использовании. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwen3.8-Flash-Next-CRACK-JANG_6S — модель, опубликованная dealignai на основе JANGQ-AI/Qwen3.8-Flash-Next-JANG_6S, относящегося к экспериментальной линейке Alibaba Qwen. Это CRACK-abliterated-сборка, в которой удалено поведение отказа при сохранении рассуждений, инструментального взаимодействия и мультимодальных возможностей. Модель предназначена для исследовательских задач, агентных сценариев, работы с инструментами, рассуждений, а также анализа изображений и видео. Модель представляет собой квантованную версию примерно 176-миллиардной MoE-архитектуры с 512 экспертами и около 6 миллиардов активных параметров. В описании указаны гибрид Gated DeltaNet и Qwen Sparse Attention, хешированное n-граммное embedding, встроенная multi-token prediction head, поддержка режимов рассуждений off, low и xhigh, а также vision-language и video-возможности. Заявлены языки English и Chinese. Для запуска используется MLX на Apple Silicon; требуется около 106 ГБ дискового пространства и примерно 82 ГБ активной оперативной памяти, при этом около 24 ГБ таблицы embedding потоково считываются с SSD. К сильным сторонам относятся мультимодальность, поддержка агентных инструментов, рассуждений и эффективная MoE-архитектура с небольшим числом активных параметров. По приведённым тестам CRACK-версия получила 86,10% на MMLU, что на 1,62 процентного пункта ниже базовой модели, и не демонстрировала жёстких отказов в 960 проверках HarmBench. Это одновременно является ограничением и фактором риска: модель намеренно лишена части защитного поведения, поэтому требует осторожного применения и дополнительного контроля безопасности. В README также отмечен один некорректный длинный цикл генерации в режиме xhigh. Модель распространяется по лицензии qwen-community-1.0, обозначенной как other. Она представлена как исследовательский артефакт; ответственность за использование весов возлагается на пользователя. Для запуска рекомендуется окружение vMLX и платформа Apple Silicon.

manjunathshiva/Qwen3.8-Flash-Next-tq4a-tq2e-g64 — это сжатая версия модели Qwen/Qwen3.8-Flash-Next, подготовленная пользователем manjunathshiva с использованием TurboQuant и MLX. Модель предназначена для генерации текста и обработки изображений на компьютерах Apple Silicon, включая локальный запуск и обслуживание через turboquant-mlx-full. В README указана поддержка английского языка. Модель основана на архитектуре mixture-of-experts qwen4_exp: 180 млрд параметров, 512 маршрутизируемых экспертов с выбором top-10, 48 слоёв и гибридная схема Gated DeltaNet и Qwen Sparse Attention. Заявлен контекст до 262 тысяч токенов. Текстовая часть занимает около 52 GiB, vision tower в формате bf16 — ещё 0,84 GiB, поэтому модель поддерживает работу как с текстом, так и с изображениями. Сборка выполнена без калибровочного набора данных и использует 4-битное квантование TurboQuant. Ключевое преимущество — возможность запуска на Mac с 64 ГБ памяти; на M4 Max заявлена скорость декодирования около 16,2–17,9 токена в секунду при отключённом thinking. Режим --ngram-offload снижает требуемую GPU-память примерно с 52 до 34 GiB при идентичном выводе, но увеличивает задержку обработки длинных промптов. Ограничения включают высокие требования к памяти, зависимость от Apple Silicon и MLX, более низкую скорость по сравнению с некоторыми альтернативными сборками, а также неполную практическую проверку на Mac с 48 ГБ памяти. Лицензия указана как qwen-community-license-1.0.

albucino/Qwen3.8-Flash-Next-W4A16-FP8PLE — локальная сборка модели семейства Qwen3.8-Flash-Next для генерации текста. В README не указан отдельный разработчик этой сборки; она объединяет компоненты из репозиториев Intel и RadixArk, а также компактный модуль MTP3 для speculative decoding. Модель рассчитана на запуск через специальный runtime на базе vLLM, а не через стандартный Transformers checkpoint. Сборка использует W4A16-квантизацию AutoRound с INT4 и group-128 для целевых экспертных и линейных весов, BF16 для чувствительных слоёв, FP8 E4M3FN для таблицы n-gram/PLE объёмом 51,2 млрд параметров и дополнительный INT4-модуль MTP с group-32. Поддерживается контекст до 262 144 токенов, текстовая модальность и запуск на двух RTX 3090 по 24 ГБ с 128 ГБ оперативной памяти, включая offload экспертов в CPU и NVMe-backed swap. Заявленные характеристики производительности являются экспериментальными и зависят от runtime и конфигурации. Основные преимущества — очень длинный контекст, возможность локального запуска крупной модели на потребительских GPU, prefix caching, экспертный offload и ускорение декодирования с помощью MTP3. Ограничения включают необходимость специального pinned runtime и пользовательского vLLM overlay, значительные требования к оперативной памяти и быстрому NVMe, риск CUDA и host OOM, а также экспериментальный статус части оптимизаций. Модель распространяется по лицензии qwen-community-1.0; её условия следует уточнять в файле LICENSE.

Alcoft/Qwen_Qwen3-4B-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen3-4B, разработанной командой Qwen. Репозиторий подготовлен пользователем Alcoft с использованием TAO71-AI AutoQuantizer; исходная модель доступна в репозитории Qwen/Qwen3-4B. Модель предназначена для генерации текста и локального запуска в совместимых с GGUF приложениях. Доступны варианты квантизации от Q2_K до Q8_0, а также F16 и исходный BF16. Размер файлов составляет примерно от 1,55 до 7,5 ГБ. Для большинства сценариев автор рекомендует варианты Q4_K–Q8_0: Q4_K_M и Q4_K_L дают приемлемое качество при умеренном размере, Q5_K и Q6_K обеспечивают высокое и очень высокое качество, а Q8_0 приближается к качеству F16. Варианты Q2 и Q3 характеризуются низким качеством и в README не рекомендуются. В README не указаны архитектурные подробности, максимальная длина контекста, поддерживаемые языки, дополнительные модальности, конкретные сценарии применения или сравнительные результаты. Лицензия также не указана, поэтому условия использования следует уточнять по карточке исходной модели Qwen3-4B и репозиторию конвертированных файлов.

Это квантованные версии модели Qwen3.5-122B-A10B от Qwen, подготовленные bartowski в формате GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена для задач генерации текста и обработки изображений с текстом, однако README не содержит подробного описания поддерживаемых сценариев, языков или возможностей мультимодального ввода. Основой служит модель с заявленным размером 122B и обозначением A10B; точная архитектура, размер контекста и перечень модальностей в README не раскрыты. Доступны варианты квантования от Q8_0 до Q3_K и IQ3/IQ4, размером примерно от 59 до 133 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а менее точные варианты требуют меньше оперативной памяти. Квантование выполнено с использованием imatrix и llama.cpp; также добавлена поддержка MTP-слоёв при использовании совместимой версии llama.cpp и параметра draft-mtp. Модели можно запускать через llama.cpp, ramalama, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и LoLLMs. Рекомендуемый шаблон запросов использует формат Qwen с разделителями ролей и секцией <think>. Распространение указано по лицензии Apache-2.0. Ограничения включают высокие требования к памяти, зависимость от поддержки модели в конкретном инструменте и снижение качества при выборе более агрессивного квантования.

Qwermes3.8 — это дообученная модель Qwen3.8-27B, опубликованная в формате GGUF с квантизацией NVFP4. Автор карточки описывает гибридную плотную архитектуру из 64 слоёв: 48 слоёв Gated DeltaNet с линейным вниманием и 16 слоёв полного внимания. Модель предназначена для генерации текста и диалогов; визуальная оболочка исходной модели удалена, поэтому этот вариант работает только с текстом. Репозиторий рассчитан на запуск через llama.cpp или Ollama, в том числе на рабочих станциях с GPU Blackwell. Заявлен контекст до 262 тыс. токенов, но KV-кэш требует около 117 КБ на токен: для контекста 128 тыс. токенов потребуется примерно 14,7 ГБ видеопамяти, а для 262 тыс. — около 30 ГБ. README приводит замеры скорости и perplexity, но качество проверялось лишь на небольшом наборе ручных запросов без формальной оценки. Лицензия — Apache-2.0.

RekaAI_reka-flash-3.1-GGUF — набор GGUF-квантизованных версий модели RekaAI/reka-flash-3.1, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; README также указывает формат промпта human: {system_prompt} {prompt} <sep> assistant:. Доступны варианты от исходных весов BF16 размером 41,82 ГБ до компактных квантований Q2 и IQ3 размером примерно от 9,18 ГБ, а также Q3, Q4, Q5, Q6 и Q8. Более высокие уровни квантования обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M обозначен как рекомендуемый вариант общего назначения, а Q5 и Q6 — как высококачественные варианты. Некоторые форматы оптимизированы для определённых аппаратных платформ, включая Apple silicon, ARM и AVX CPU. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, модальностях и размере контекста исходной модели, поэтому эти характеристики нельзя достоверно указать. Ограничения связаны с потерями качества при низких уровнях квантования и значительными требованиями к памяти у крупных вариантов. Распространение указано по лицензии Apache-2.0.

Steelskull_L3.3-Electra-R1-70b-GGUF — это квантизированная версия языковой модели L3.3-Electra-R1-70b, разработанной Steelskull и подготовленной пользователем bartowski в формате GGUF. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 70 миллиардов параметров и поддерживает текстовый сценарий работы. В README приведён специальный шаблон запросов с системными и пользовательскими сообщениями, совместимый с форматом токенов модели. Доступны варианты квантизации Q2–Q8 и IQ, размером примерно от 27 до 75 ГБ; для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K. Квантизация выполнена с использованием imatrix и датасета, указанного автором сборки. Сильной стороной являются высокое качество крупных вариантов квантизации и возможность локального запуска без обращения к облачным сервисам. Ограничения включают значительные требования к оперативной памяти или видеопамяти, а также возможное снижение качества в компактных вариантах. Языки, размер контекста, точная архитектура, мультимодальные возможности и результаты оценки в README не указаны. Лицензия модели также не указана, поэтому условия использования следует уточнять в репозитории исходной модели.

ThinkPRM-14B — генеративная модель оценки процесса рассуждений (PRM), разработанная авторами репозитория launch и дообученная на архитектуре R1-Distill-Qwen-14B. Она проверяет решения по шагам: формирует текстовые пояснения и суждения о правильности каждого шага, а также может оценивать решение в целом. Модель предназначена для проверки математических и научных рассуждений, верификации кода и отбора кандидатов в системах Best-of-N или при поиске по дереву рассуждений. Модель семейства Qwen2 с плотной архитектурой Qwen2ForCausalLM содержит 14 млрд параметров, принимает текст и выдаёт текстовые проверки и оценки; заявленная длина контекста — 131 072 токена. По карточке, она дообучена на небольшом наборе синтетических цепочек проверки и оценивалась на задачах математики, научных вопросов и программирования. Репозиторий содержит веса Safetensors, библиотека — Transformers. Лицензия Apache-2.0. К ограничениям относятся склонность выдавать чрезмерно уверенные оценки, влияние ранней ошибочной оценки на последующие шаги и чувствительность к формату решения и промпту. Модель предназначена для проверки рассуждений; её оценки не следует трактовать как безошибочное подтверждение корректности.

Upstage-Llama-2-70B-instruct-v2-GGUF — это квантизированная версия большой языковой модели Llama 2 70B Instruct v2, разработанной Upstage и преобразованной в формат GGUF компанией TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате, включая локальный запуск через llama.cpp и совместимые графические интерфейсы и библиотеки. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров. Указан английский язык; поддержка других языков, размер контекстного окна и мультимодальные возможности в README не описаны. Доступны варианты GGUF с 2-, 3-, 4-, 5-, 6- и 8-битным квантованием для инференса на CPU и GPU. Формат GGUF поддерживает метаданные и специальные токены, а модель совместима с llama.cpp и рядом сторонних инструментов. Сильными сторонами являются выполнение инструкций, широкий выбор уровней квантования и возможность локального использования с GPU-ускорением. К ограничениям относятся высокие требования к ресурсам для 70-миллиардной модели, возможная потеря качества при агрессивном квантовании и отсутствие в README подробных данных о качестве, тестах и контекстном окне. Лицензия указана как llama2; условия её применения следует проверять по лицензии исходной модели.