II.2Создание и понимание программного кода

Это GGUF-квантизированная версия языковой модели granite-4.0-h-micro, разработанной IBM Granite и опубликованной в формате llama.cpp-сумместимых файлов пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В набор входят варианты с точностью от BF16 до Q3 и IQ3/IQ4, с размерами файлов примерно от 1,46 до 6,39 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp, что позволяет снизить требования к памяти при сохранении приемлемого качества; наиболее качественными считаются варианты Q6 и Q5, а Q4_K_M указан как вариант по умолчанию для большинства сценариев. Исходный README не содержит сведений об архитектуре, числе параметров, поддерживаемых языках, модальностях, размере контекста или формате prompt. Сильной стороной модели является широкий выбор степеней квантизации для разных ограничений по памяти и оборудования, включая варианты, ориентированные на CPU и Apple silicon. Более компактные варианты экономят память, но обеспечивают более низкое качество. Лицензия в README не указана; условия использования следует уточнять на странице исходной модели IBM Granite и соответствующего репозитория.

OREAL-DeepSeek-R1-Distill-Qwen-7B-GGUF — это GGUF-квантизированные версии текстовой генеративной модели OREAL-DeepSeek-R1-Distill-Qwen-7B, разработанной internlm. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix на датасете internlm/OREAL-RL-Prompts. Модель предназначена для локального запуска и генерации текста через llama.cpp, LM Studio и другие совместимые приложения. Модель основана на 7B-версии DeepSeek-R1-Distill-Qwen и поддерживает текстовый ввод и вывод. README не указывает контекстное окно, список языков и точную архитектуру базовой модели. Доступны варианты квантизации от Q8_0 размером 8,10 ГБ до более компактных IQ3 и Q3-вариантов; наиболее сбалансированным вариантом для большинства сценариев назван Q4_K_M размером 4,68 ГБ, а Q5 и Q6 ориентированы на более высокое качество. Сильная сторона сборки — возможность локального запуска на устройствах с ограниченными ресурсами при выборе подходящего уровня квантизации. Более сильное сжатие уменьшает требования к памяти, но снижает качество генерации; низкобитные варианты описаны как имеющие более низкое или средне-низкое качество. Для корректной работы следует использовать указанный формат prompt. Модель распространяется по лицензии Apache-2.0.

Kimi-K3-Audit-451E-MLX-MXFP4 — специализированная версия Kimi K3, подготовленная catalystsec на базе модели moonshotai/Kimi-K3. Она предназначена для аудита безопасности и анализа исходного кода с использованием инструментов. Общий диалог, перевод и нетехническое письмо не относятся к заявленной области применения. Модель использует разреженную MoE-архитектуру: в каждом слое сохранён 451 из 896 маршрутизируемых экспертов, а веса выбранных экспертов побитово идентичны релизной версии. Модель распространяется в формате MXFP4, занимает около 725 GiB и разделена на 150 частей, поэтому требует двух машин Apple silicon с памятью по 512 ГБ и поддержки Kimi K3 в mlx-lm. Основная модальность — текст; vision tower сохранён, но не оценивался. В тестах использовались C, C++, Swift, Rust и Python, однако заявленный контекст модели в README не указан. Главное преимущество — сохранение качества на задачах аудита ядра: по данным README, точность практически соответствует полной версии, а ухудшение perplexity на кодовых корпусах не превышает 1,10 раза. При этом модель резко теряет качество на обычной английской прозе, поэтому не подходит как универсальная разговорная модель. Поведение при генерации, включая вероятность зацикливания и надёжность стоп-токенов, а также стандартные downstream-бенчмарки не оценивались. Для запуска требуется версия mlx-lm с поддержкой Kimi K3 из PR #1626, пока не вошедшая в официальный релиз, и распределённый запуск на двух машинах с tensor parallelism. Модель наследует лицензию Kimi K3; точные условия определяются лицензией базовой модели.

Shining Valiant 2 — чат-модель Valiant Labs на архитектуре Llama 3.1 Instruct, дообученная на базе Meta-Llama-3.1-70B-Instruct. Модель содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов; предназначена для диалога и следования инструкциям на английском языке. Обучение охватывало общие разговорные данные, технические знания и структурированные рассуждения. Модель ориентирована на вопросы по физике, химии, биологии, астрономии, наукам о Земле, информатике и теории информации, а также на инженерные задачи и логический анализ. В карточке отмечены возможности чата и интерфейс вызова инструментов. Репозиторий использует формат safetensors и лицензию Llama 3.1. Как и другие большие языковые модели, она может давать неточные ответы; заявленная специализация на технических темах не гарантирует корректность рассуждений или выводов.

OpenSourceEnjoyer/LLaMA-3.1-8B-Function-Calling-FP16 — дообученная языковая модель семейства LLaMA 3.1, разработанная OpenSourceEnjoyer на базе unsloth/meta-llama-3.1-8b-bnb-4bit. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов. Обучение проводилось с Unsloth и библиотекой TRL. Модель предназначена для генерации текста; название указывает на сценарий вызова функций, однако README не описывает формат и качество этой возможности. Она принимает текст и выдаёт текст. Для модели указана лицензия Apache-2.0. Карточка содержит мало сведений о данных обучения и проверке качества, поэтому пригодность для конкретных сценариев вызова функций следует оценивать отдельно.

Llama-3.1-SuperNova-Lite-GGUF — набор GGUF-квантизированных версий текстовой генеративной модели Llama-3.1-SuperNova-Lite, разработанной arcee-ai и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp и совместимые приложения, включая LM Studio. В README указана поддержка английского языка и формат prompt’ов, совместимый с Llama 3.1. Доступны варианты от полноразмерных F16 весов размером 16,07 ГБ до компактных версий с квантованием Q2–Q8 и размером примерно от 3,7 до 8,5 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующей поддержки инструкций. Более высокие уровни квантования обеспечивают лучшее качество, тогда как компактные варианты подходят для систем с ограниченным объёмом оперативной памяти, но могут заметнее терять в качестве. Архитектура, число параметров, модальности и размер контекстного окна в README не указаны. Модель распространяется по лицензии llama3. Условия использования следует дополнительно сверять с лицензией базовой модели Llama-3.1-SuperNova-Lite.

MaziyarPanahi/Llama-3-Smaug-8B-GGUF — это набор файлов модели в формате GGUF для abacusai/Llama-3-Smaug-8B. Исходную модель разработала abacusai, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и сервисах на базе llama.cpp и совместимых библиотек. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти и качеством генерации. Размер базовой модели — 8B параметров. Модель работает с текстом; другие модальности и поддерживаемые языки в README не указаны. Для корректной генерации необходимо применять шаблон запросов Llama 3 с соответствующими специальными токенами. К сильным сторонам относятся поддержка различных уровней квантования и совместимость с широким набором локальных инструментов, включая llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Ограничения включают возможное снижение качества при использовании более агрессивного квантования, а также отсутствие в README сведений о контекстном окне, результатах оценивания, языковой специализации и подробностях архитектуры. Лицензия в предоставленных материалах не указана.

Llama-3-Yggdrasil-2.0-8B-GGUF — это набор GGUF-квантизаций языковой модели Llama-3-Yggdrasil-2.0-8B, опубликованный bartowski. Исходная модель разработана на основе объединения нескольких моделей семейства Llama 3: Locutusque/Llama-3-NeuralHercules-5.0-8B, NousResearch/Meta-Llama-3-8B, NousResearch/Hermes-2-Theta-Llama-3-8B и Locutusque/llama-3-neural-chat-v2.2-8b. Квантизация выполнена с помощью llama.cpp версии b3086 и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты llama.cpp и другие приложения, поддерживающие формат GGUF. Доступны варианты с разным уровнем квантизации — от Q8_0 до Q2_K и IQ2_XS — размером примерно от 2,60 до 8,54 ГБ. Более качественными считаются Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; варианты с меньшим размером требуют меньше оперативной памяти, но могут заметно уступать по качеству. Это текстовая модель с примерно 8 млрд параметров. README не указывает поддерживаемые языки, размер контекстного окна, результаты тестирования и точные сильные стороны исходной модели. Шаблон чата также не задан однозначно: в карточке приведён предполагаемый формат, который может быть некорректным, поэтому его следует проверить по карточке оригинальной модели. Лицензия в README не указана.

bartowski/magnum-v3-34b-GGUF — набор GGUF-квантизаций текстовой генеративной модели magnum-v3-34b, разработанной anthracite-org и опубликованной в квантизированном виде bartowski. Модель предназначена для диалогов и генерации текста, а запускать её можно через llama.cpp и совместимые приложения, включая LM Studio. Указан формат prompt с ролями system, user и assistant. В основе модели заявлена 34-миллиардная архитектура 01-ai/Yi-1.5-34B-32K с контекстом до 32K токенов; поддерживаемый язык — английский. Доступны варианты от F16 до сильно сжатых Q2 и IQ2, поэтому можно выбирать между качеством и требованиями к памяти. Наиболее качественными и рекомендуемыми в README названы Q6_K, Q6_K_L, Q5 и Q4; низкобитные варианты требуют меньше оперативной памяти, но заметно теряют в качестве. Некоторые варианты используют Q8_0 для embedding- и output-весов. Ключевые ограничения — англоязычная специализация, необходимость значительных ресурсов для крупных квантов и снижение качества при сильном сжатии. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия модели Mistral-Small-2501-SCE-Mashup-2-24B, разработанной mergekit-community. Квантизацию выполнил bartowski с использованием llama.cpp версии b5147 и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет размер 24B параметров и представлена в нескольких вариантах точности, включая BF16, Q8_0, Q6, Q5, Q4 и IQ4, с размером файлов примерно от 12,76 до 47,15 ГБ. Для взаимодействия используется шаблон промпта с системным сообщением и инструкцией. В README не указаны модальности, поддерживаемые языки и размер контекстного окна. Сильной стороной являются варианты Q6 и Q5 с высоким заявленным качеством, а также Q4-варианты, предлагающие компромисс между качеством и требованиями к памяти. Более компактные сборки подходят для систем с ограниченным объёмом RAM, но могут иметь более низкое качество. Лицензия в README не указана.

TheBloke/Mistral-7B-OpenOrca-GGUF — это набор квантованных файлов модели Mistral 7B OpenOrca в формате GGUFv2. Исходную модель разработала OpenOrca, а квантование и публикацию GGUF-версии выполнил TheBloke. Модель относится к архитектуре Mistral, предназначена для генерации текста и диалоговых сценариев на английском языке и использует шаблон запросов ChatML с ролями system, user и assistant. Модель содержит около 7 миллиардов параметров. В репозитории представлены варианты квантования от 2 до 8 бит, включая методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством вывода. Формат подходит для локального запуска на CPU и GPU через llama.cpp, text-generation-webui, LM Studio, KoboldCpp и другие совместимые приложения и библиотеки. Максимальный размер контекста и поддерживаемые модальности в README не указаны; по имеющимся данным модель является текстовой. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с распространёнными инструментами инференса. Ограничения включают англоязычную специализацию, возможную потерю качества при низкобитном квантовании и отсутствие заявленных характеристик контекстного окна, бенчмарков и гарантий точности. Указанная лицензия — Apache-2.0.

Это репозиторий GGUF-файлов модели Meta-Llama-3.1-8B-bf16, опубликованный Featherless AI. Он предназначен для генерации текста с использованием семейства Llama 3.1 и совместимых сред запуска GGUF. В README перечислены варианты квантования IQ4_XS, Q2_K и Q3_K_L, а также дополнительные варианты; метаданные указывают формат GGUF BF16 и базовую модель mlx-community-Meta-Llama-3.1-8B-bf16. Модель принимает текстовые запросы и генерирует текст. README не описывает языковой охват, контекстное окно, лицензию или ограничения качества; эти характеристики здесь не заявляются. Перед использованием следует проверить лицензию базовой модели и совместимость конкретного GGUF-файла с выбранной средой запуска.

Это квантованные версии инструкционной языковой модели Kimi-K2-Instruct-0905, разработанной Moonshot AI и преобразованной в формат GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В репозитории представлены варианты квантования Q5_K_M, Q4_K_M, Q4_1, Q4_0, IQ4_NL, IQ4_XS, Q3, Q2 и другие. Размер файлов зависит от варианта и составляет примерно от 245,61 до 730,53 ГБ; для большинства сценариев рекомендуются Q5_K_M и Q4_K_M, а варианты с более низкой разрядностью требуют меньше оперативной памяти, но обеспечивают более низкое качество. Квантование выполнено с использованием imatrix и llama.cpp версии b6317. README не содержит сведений об архитектуре исходной модели, числе параметров, поддерживаемых языках, модальностях, размере контекста, точном формате промптов или лицензии. Поэтому эти характеристики нельзя достоверно определить по представленным данным.

bartowski/moxin-llm-7b-GGUF — это набор GGUF-квантизаций текстовой генеративной модели moxin-llm-7b, разработанной moxin-org. Квантизации выполнены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска, в том числе через LM Studio и совместимые инструменты на базе llama.cpp. Модель содержит около 7 миллиардов параметров и поставляется в вариантах от F16 до низкобитных Q2 и IQ2/IQ3/IQ4-квантизаций. Размер файлов составляет примерно от 2,79 до 16,23 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к оперативной памяти. Для некоторых вариантов эмбеддинги и выходные веса квантизированы в Q8_0. Наиболее качественными считаются F16, Q8_0, Q6_K_L, Q6_K, Q5 и Q4_K-варианты; низкобитные версии экономят память, но могут заметно уступать в качестве. В README не указаны архитектура базовой модели, поддерживаемые языки, размер контекстного окна и специальный формат промпта; его рекомендуется уточнить на странице исходной модели. Модель поддерживает только текстовую модальность. Для набора указана лицензия Apache-2.0.

Это GGUF-квантизированная версия текстовой генеративной модели Qwen3-14B-ft-limo, разработанной mrm8488 и дополнительно подготовленной в различных вариантах точности пользователем bartowski. Базовая модель связана с датасетом GAIR/LIMO и предназначена для генерации текста, включая запуск локально через llama.cpp, LM Studio и совместимые проекты. Модель имеет размер 14 млрд параметров и поддерживает наборы весов от BF16 до низкоразрядных вариантов Q2–Q8, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью работы. Рекомендуемыми указаны варианты Q4_K_M, Q5 и Q6; более компактные версии подходят для систем с ограниченной оперативной памятью, но обеспечивают более низкое качество. Используется шаблон запросов в формате ChatML. Сведения о поддерживаемых языках, максимальном контексте и дополнительных модальностях в README не приведены, поэтому модель следует рассматривать как текстовую. Сильной стороной являются разнообразные варианты квантизации, включая imatrix-квантизацию, позволяющие запускать модель на локальном оборудовании. Ограничения зависят от выбранного формата: уменьшение размера весов может снижать качество генерации, а для запуска требуются совместимые llama.cpp-инструменты и достаточный объём памяти. Указанная лицензия — Apache-2.0.

OpenChat-3.5-0106_32K-PoSE-GGUF — это GGUF-квантизированная версия текстовой генеративной модели OpenChat-3.5-0106_32K-PoSE. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель разработана и опубликована Pretergeek. В качестве данных указано подмножество или источник Yukang/LongAlpaca-12k. Модель предназначена для генерации текста и диалогового взаимодействия, включая работу с системными и пользовательскими запросами через специальный шаблон OpenChat. Заявлено контекстное окно до 32 000 токенов. Модель является текстовой, сведения о поддерживаемых языках, точной архитектуре и количестве параметров в README не приведены. Доступны варианты от F16 до сильно сжатых форматов Q8, Q6, Q5, Q4, Q3 и IQ. Это позволяет выбирать между качеством, размером файла и требованиями к памяти; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как стандартный компромисс по размеру. Некоторые варианты оптимизированы для ARM и требуют поддержки SVE или i8mm, поэтому совместимость зависит от оборудования и среды запуска. Рекомендуется использование через llama.cpp или LM Studio. Лицензия — Apache-2.0. Ограничения качества зависят от уровня квантизации: более компактные варианты могут заметно уступать полноточной версии, а сведения о результатах тестирования, безопасности и фактической языковой эффективности не предоставлены.

openchat-3.6-8b-20240522-IMat-GGUF — это квантизированная версия языковой модели openchat/openchat-3.6-8b-20240522, подготовленная legraphista в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через совместимые инструменты llama.cpp. Исходная модель имеет формат BF16 и около 8 миллиардов параметров. Репозиторий предоставляет варианты с разными уровнями квантования — от Q8_0 и Q6_K до Q2_K, а также IQ-кванты. Для ряда вариантов применена IMatrix-квантизация, призванная сохранять качество при уменьшении размера модели; доступны файлы объёмом примерно от 2,99 до 16,07 ГБ. Это позволяет выбирать баланс между требованиями к памяти, скоростью работы и точностью. Модель работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Основные ограничения связаны с потерями качества, возможными при низких уровнях квантования, а также с зависимостью производительности от аппаратного обеспечения и используемого рантайма. Указанная лицензия — llama3. Квантизация выполнена на основе llama.cpp версии b3006; автором квантизированных файлов указан legraphista.

OrionStar Yi 34B Chat Llama — это диалоговая языковая модель OrionStarAI, представленная в формате GGUF и квантизированная TheBloke. Модель основана на архитектуре Yi, имеет 34 млрд параметров и предназначена для генерации текста и ведения диалогов. Исходная модель доступна в формате PyTorch fp16, а данный репозиторий содержит варианты GGUFv2 с разной разрядностью квантования — от 2 до 8 бит. Модель ориентирована на чат-сценарии, ответы на запросы и общее текстовое взаимодействие. В README приведён шаблон промпта Human: {prompt} Assistant:, а также пример диалога на китайском языке. Поддержка других языков, размер контекста и дополнительные модальности в доступных данных не указаны; модель описана как текстовая и относится к задаче text-generation. GGUF-файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и ctransformers, что позволяет запускать модель локально с использованием CPU и GPU. Разные уровни квантования дают выбор между требованиями к памяти, скоростью и сохранением качества, однако конкретные показатели качества и ограничения вариантов в README не приведены. Модель распространяется по лицензии yi-license; тип лицензии указан как other, с отдельным файлом LICENSE.

Ornith-1.0-9B-bf16 — конвертированная в формат MLX версия модели deepreinforce-ai/Ornith-1.0-9B, подготовленная сообществом mlx-community. В метаданных указаны архитектура Qwen3.5 с плотной структурой и класс Qwen3_5ForConditionalGeneration; модель предназначена для генерации текста и диалогового взаимодействия. Карточка этой версии отсылает за сведениями о назначении и характеристиках к исходной модели. Для запуска в экосистеме MLX README рекомендует библиотеку mlx-vlm. Репозиторий распространяется по лицензии MIT.

runkai/PascalHermes-2.5-Mistral-7B — разговорная языковая модель на архитектуре Mistral, дообученная на базе teknium/OpenHermes-2.5-Mistral-7B. Она предназначена для диалогов и генерации текста; базовая модель также рассчитана на помощь с кодом. Модель содержит 7,1 млрд параметров, использует формат safetensors и имеет контекст длиной до 32 768 токенов. В метаданных указан английский язык и набор данных argilla/distilabel-intel-orca-dpo-pairs для DPO-обучения. Карточка содержит результаты Open LLM Leaderboard, включая среднее значение 64,81, но не описывает методику обучения именно этой версии, её ограничения или независимые сценарии применения. Лицензия — MIT; разработчик в автоматически сгенерированной карточке не указан.

Это GGUF-квантизированная версия языковой модели r1-1776, разработанной Perplexity AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на его основе. README не содержит подробностей о базовой архитектуре, количестве параметров, поддерживаемых языках и размере контекста. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 174 до 713 ГБ; файлы могут быть разделены на несколько частей. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти, тогда как низкие уменьшают требования к ресурсам за счёт качества. Для квантизации использовалась llama.cpp версии b4738 и метод imatrix. Указан формат промпта со специальными токенами r1-1776. Сильной стороной сборки является возможность запуска крупной модели локально в экосистеме llama.cpp при выборе подходящего компромисса между качеством и объёмом памяти. Ограничениями являются очень большие требования к дисковому пространству и оперативной или видеопамяти, а также снижение качества у низкобитных вариантов. Лицензия указана как MIT; сведения об условиях использования исходной модели в README не приведены.

PlatYi 34B Llama Q V3 GGUF — это квантизированная версия языковой модели PlatYi 34B Llama Q V3, разработанной KyujinHan, подготовленная и опубликованная в формате GGUF пользователем TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через llama.cpp и совместимые пользовательские интерфейсы и библиотеки. В README указан английский язык, а шаблон запросов основан на формате Alpaca. Модель относится к типу Yi и имеет 34 миллиарда параметров. GGUF — формат, ориентированный на запуск на CPU и GPU; доступны варианты квантования от 2 до 8 бит, позволяющие выбирать компромисс между требованиями к памяти, скоростью и качеством. README не содержит сведений о размере контекста, мультимодальности, результатах тестирования или конкретных преимуществах модели, поэтому её сильные стороны можно описать только как возможность локального использования и выбора уровня квантования. К ограничениям относятся потенциальная потеря качества при низкой разрядности и необходимость подбора варианта под имеющееся оборудование. Для запуска подходят llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другие совместимые инструменты. Модель обучалась с использованием набора данных Open-Platypus. Лицензия указана как CC BY-NC-SA 4.0, предусматривающая обязательное указание авторства, некоммерческое использование и распространение производных материалов на тех же условиях.

Qwen1.5-32B-Chat-GGUF — это квантизированные версии диалоговой языковой модели Qwen1.5-32B-Chat, разработанной командой Tongyi Qianwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp. В README указано несколько вариантов квантизации с разным соотношением качества, размера файла и требований к памяти. Модель содержит 32 миллиарда параметров и работает только с текстом. Поддерживаемым языком указан английский. Доступны варианты от Q8_0 размером 34,55 ГБ до Q2_K размером 12,22 ГБ. Наиболее качественным и рекомендуемым вариантом среди доступных назван Q6_K размером 26,67 ГБ; варианты Q5_K_M и Q4_K_M предлагают компромисс между качеством и занимаемым объёмом. Более сильная квантизация уменьшает требования к памяти, но может заметно снижать качество ответов. Ключевое преимущество набора — возможность запуска крупной чат-модели на совместимом локальном оборудовании с выбором подходящего уровня квантизации. Ограничения включают значительные требования к памяти даже у компактных вариантов, снижение качества у низкобитных версий и отсутствие в README сведений об архитектуре, размере контекста, производительности и поддержке других языков. Модель распространяется по лицензии tongyi-qianwen; в README приведена ссылка на её текст.

unsloth/Qwen3-0.6B-Base — плотная авторегрессионная языковая модель семейства Qwen3, представленная Unsloth как производная от Qwen/Qwen3-0.6B-Base. Это предварительно обученная базовая модель примерно с 508 млн параметров, 28 слоями и архитектурой Qwen3ForCausalLM; она предназначена для генерации текста и дальнейшей адаптации под прикладные задачи. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и работает через библиотеку Transformers. Qwen3 обучалась на многоязычном корпусе; README указывает охват 119 языков, включая материалы по программированию, STEM, рассуждениям и общим знаниям. Компактный размер позволяет использовать модель как основу для экспериментов, прототипов и дообучения, однако возможности конкретной версии Base не следует приравнивать к готовому чат-ассистенту или специализированному решателю задач. Для работы требуется актуальная версия Transformers: README предупреждает о несовместимости с версиями ниже 4.51.0. Лицензия — Apache-2.0.

JJarvinen/Qwen3.5-2B-EU-Tool-JARVIS-Native-v1 — дообученная текстовая модель разработчика JJarvinen на базе birgermoell/Qwen3.5-2B-EU, созданная с использованием Unsloth и библиотеки TRL. Это плотная авторегрессионная модель семейства Qwen3.5 с 1,7 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Заявленная длина контекста — 262 144 токена, язык карточки — английский. Модель предназначена для генерации текста в диалогах и сценариях, где требуется задействовать инструменты через соответствующий интерфейс. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0, разрешающая широкое использование при соблюдении её условий.

Это GGUF-сборка модели Qwen3.6-35B-A3B-Abliterated-Heretic, подготовленная mradermacher. Репозиторий содержит BF16-веса и дополнительные файлы mmproj для мультимодальной обработки; в README также перечислены квантизованные варианты, включая Q2_K. Базовая модель — Youssofal/Qwen3.6-35B-A3B-Abliterated-Heretic-BF16. Модель предназначена для диалоговой генерации текста. В метаданных отмечена возможность чата, а карточка базовой модели указывает на обработку изображений. Лицензия — Apache-2.0. Доступность mmproj сама по себе не подтверждает, что все файлы или варианты сборки поддерживают одинаковые сценарии обработки изображений.

Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM — 4-битная AWQ-квантованная версия мультимодальной модели orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации и анализа текста и изображений, включая сценарии с поддержкой reasoning и спекулятивного декодинга. Разработчик квантованного варианта — Ar4ikov; исходная модель разработана orcarouter. Модель содержит 27B параметров и использует гибридную архитектуру Qwen3.8-27B: 64 слоя с комбинацией Gated DeltaNet и Gated Attention, vision-башню и MTP-голову. Применяется схема W4A16_ASYM с 4-битными весами, group size 128 и BF16-активациями; размер модели сокращён примерно с 52 до 19 ГБ. Поддерживаются мультимодальные входы, контекст до 262 144 токенов и режимы reasoning_effort low, medium и xhigh. Vision-башня, эмбеддинги, lm_head, чувствительные SSM-гейты и MTP-голова сохранены в BF16. Основное преимущество — существенное снижение размера при сохранении визуальной части и совместимость с нативной загрузкой в vLLM, а также потенциально в SGLang. Реальная экономия памяти доступна в рантаймах с INT4-ядрами; transformers распаковывает веса обратно в BF16. Качество на изображениях должно быть близко к исходной модели, но в текстовой части возможна деградация из-за квантования. Бенчмарк-валидация не проводилась, проверена только связность генерации, поэтому модель требует собственных оценок перед production-использованием. Распространяется по лицензии Apache-2.0.

Qwen3.8-9B-heretic-uncensored-NVFP4-GGUF — квантованная GGUF-версия модели, разработанная luxuansang на основе empero-ai/Qwen3.8-9B. Исходная модель представляет собой полноразмерную дистилляцию Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B. Вариант дополнительно обработан с помощью Heretic v1.4.0 для снижения частоты отказов и выпускается как модель для генерации текста. Модель предназначена для локального запуска в совместимых с GGUF средах инференса, включая llama.cpp. В репозитории представлена квантование NVFP4 + Q8_0; эталонной считается версия BF16, поэтому квантованный вариант может немного отличаться по качеству и поведению из-за пониженной числовой точности. Указан английский язык, однако в оценке также проверялись отдельные языковые пары FLORES200. По сравнению с исходной моделью частота отказов в тесте снизилась с 100 до 22 из 100, при этом KL-дивергенция составила 0,0171, что указывает на относительно близкое сохранение исходного поведения. Сильной стороной является сочетание компактного размера, локального запуска и сниженной склонности к отказам. Ограничения включают возможные изменения поведения после квантования, зависимость результатов от оборудования и настроек инференса, а также отсутствие в данном README подробных сведений о точной архитектуре, размере контекста и рекомендуемых параметрах генерации. Модель распространяется по лицензии Apache-2.0.

SiddhJagani/Qwen3.8-9B-mlx-8Bit — это 8-битная квантованная версия модели empero-ai/Qwen3.8-9B, преобразованная пользователем SiddhJagani в формат MLX с помощью mlx-lm версии 0.31.2. Модель предназначена для запуска и генерации текста через MLX, главным образом в сценариях локального инференса на совместимом оборудовании Apple. Модель относится к семейству Qwen, имеет размер 9 миллиардов параметров и поддерживает текстовую генерацию на английском языке. В README заявлены возможности reasoning, function-calling, distillation и SFT, однако подробные характеристики архитектуры, размер контекста, точный набор поддерживаемых языков и результаты оценки не указаны. Формат MLX и 8-битная квантизация могут снизить требования к памяти и упростить локальный запуск, но потенциально сопровождаются потерей качества по сравнению с полной точностью; степень такой потери в предоставленных данных не измерена. Для использования требуется библиотека mlx-lm; в README приведён пример загрузки и генерации текста. Лицензия модели указана как Apache-2.0. Условия использования базовой модели и совместимость заявленных возможностей function-calling с конкретными прикладными сценариями отдельно не раскрыты.

Samll/qwen3-8b-thinkprune-b3000 — дообученная диалоговая языковая модель на базе Qwen/Qwen3-8B, опубликованная Samll. Работа связана с исследованием эффективного обучения рассуждениям, верности цепочек рассуждений и их мониторинга. Модель загружается через Transformers и предназначена для генерации текста в диалоговом формате. Модель использует плотную архитектуру Qwen3ForCausalLM, содержит 7,6 млрд параметров и поддерживает контекст до 40 960 токенов. Базовая Qwen3-8B описана как многоязычная модель для рассуждений, следования инструкциям, работы с кодом и вызова инструментов; карточка этой производной модели отдельно подтверждает текстовую генерацию и диалоговый режим. Веса доступны в формате safetensors. Лицензия в предоставленных данных не указана.