II.2Создание и понимание программного кода

L3-8B-Sunfall-v0.5-Stheno-v3.2-GGUF — это квантизированная версия текстовой генеративной модели Vdr1/L3-8B-Sunfall-v0.5-Stheno-v3.2, разработанной Vdr1 и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых приложениях и библиотеках. Модель имеет размер 8B параметров, однако точная архитектура, поддерживаемые языки и максимальная длина контекста в README не указаны. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Сильными сторонами являются разнообразие уровней квантизации и удобство локального развертывания на широком спектре оборудования. Ограничения включают отсутствие в README подробностей о качестве, результатах тестирования, языковых возможностях, контекстном окне, мультимодальности и рекомендуемых параметрах инференса. Лицензия модели в предоставленных данных не указана.

Falconsai/LightDec — модель архитектуры FalconDec, созданная Falconsai на основе дообучения jhu-clsp/ettin-encoder-150m. Это компактный неконверсационный классификатор для закрытого выбора: получает текст, код или JSON-состояние, типизированный вопрос и заданный набор вариантов, затем за один проход энкодера оценивает вероятности вариантов. Поддерживает вопросы с выбором ответа, да/нет и порядковой шкалой; генерировать текст за пределами предложенных вариантов не может. Модель предназначена для маршрутизации обращений, распознавания намерений, анализа кода, проверок в агентных системах и вспомогательных проверок защитных правил. В README указаны точность 0,725 и ECE 0,025 на тестовом наборе из 17 498 решений по 58 задачам; при пороге уверенности 0,70 модель отвечала на 56% решений с точностью 89,6%, а остальные предлагалось передавать человеку или более мощной модели. Репозиторий содержит веса safetensors и GGUF F16; лицензия — Apache-2.0. Основные ограничения — слабые результаты на арифметике, датах, сравнении таблиц и широких наборах вариантов, а также заметное падение качества на задачах, не представленных в обучающей смеси. Калибровка зависит от распределения данных, а проверки защитных правил недостаточно надёжны для использования в качестве единственного барьера; для важных решений требуется проверка на собственных данных и человеческий контроль.

Llama2 13B Guanaco QLoRA — это языковая модель на базе Llama 2 с 13 млрд параметров, дообученная методом QLoRA и преобразованная в формат GGUF. Исходную модель разработал Mikael, а квантованные GGUF-файлы подготовил TheBloke. Модель предназначена для генерации текста и диалогового взаимодействия; в README также указана классификация text-classification, однако подробные сведения о специализированных задачах отсутствуют. Заявлен английский язык. Модель использует архитектуру Llama и формат GGUF, поддерживающий метаданные, специальные токены и улучшенную токенизацию. Доступны варианты квантования от 2 до 8 бит для CPU+GPU-инференса, что позволяет выбирать баланс между размером, скоростью и качеством. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая LM Studio, text-generation-webui, KoboldCpp и llama-cpp-python. Контекстное окно и точный набор модальностей в README не указаны; модель является текстовой. Сильными сторонами являются широкий выбор уровней квантования и поддержка локального запуска на CPU и GPU. Ограничения включают возможную потерю качества из-за квантования, зависимость характеристик от выбранного варианта и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии llama2; дополнительные условия исходной лицензии следует учитывать при использовании.

Это чат-модель семейства Llama 2 с 7 млрд параметров, дообученная автором chenshake на базе chenshake/Llama-2-7b-chat-hf с помощью QLoRA на наборе mlabonne/guanaco-llama2-1k. Она предназначена для генерации ответов в диалоге и тестирования дообученной модели; для работы с чат-промптами нужно использовать соответствующий шаблон Llama. Модель принимает текст и генерирует текст, поддерживает контекст до 2048 токенов и сохранена в формате safetensors. Лицензия — Apache-2.0. README описывает доступный способ дообучения на GPU T4 с 16 ГБ памяти, но не приводит оценок качества.

PlumMath — объединённая языковая модель, созданная с помощью mergekit на основе Meta Llama 3.1 8B Instruct и моделей Llama3.1-8B-ShiningValiant2 и Llama3.1-8B-Cobalt. В репозитории используются архитектура LlamaForCausalLM и формат safetensors; размер модели — 7,5 млрд параметров, длина контекста — до 131 072 токенов. Модель предназначена для диалоговой генерации текста и выполнения инструкций; тематика карточки указывает на математику, естественные науки, информатику и инженерные задачи. Она рассчитана на англоязычное применение. В README приведены результаты Open LLM Leaderboard, включая средний балл 13,80, IFEval 22,42 и BBH 16,45. Использование регулируется лицензией Llama 3.1.

onnx-community/Llama-3.2-1B-Instruct-ONNX — это ONNX-версия языковой модели Llama-3.2-1B-Instruct, разработанной Meta и адаптированной сообществом onnx-community для совместимости с Transformers.js. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в формате системных и пользовательских сообщений, например ответы на вопросы и выполнение роли виртуального ассистента. Модель использует архитектуру базовой Llama-3.2-1B-Instruct и содержит около 1 миллиарда параметров. В README указана текстовая модальность; поддерживаемые языки и размер контекста не уточняются. ONNX-веса позволяют использовать модель через JavaScript-библиотеку Transformers.js, в том числе в средах, ориентированных на web-ready и WebML-сценарии. К сильным сторонам относятся небольшой размер, возможность локального запуска в совместимых средах и интеграция с Transformers.js. Ограничения включают неизвестные характеристики качества, языкового покрытия и контекстного окна, а также потенциальные ограничения производительности, зависящие от среды выполнения. Модель распространяется по лицензии Llama 3.2.

Llama-3-Hercules-5.1-8B-GGUF — набор GGUF-квантизаций языковой модели Llama-3-Hercules-5.1-8B. Квантизации подготовлены пользователем bartowski с использованием llama.cpp и метода imatrix; исходная модель связана с Locutusque/Llama-3-Hercules-5.0-8B, а в качестве датасета указан Locutusque/hercules-v5.0. Модель предназначена для генерации текста и локального запуска через совместимое программное обеспечение, включая llama.cpp. Архитектура основана на Llama 3, размер модели — 8B параметров. Поддерживается только текстовая модальность; сведения о языках и размере контекстного окна в карточке не указаны. Доступны варианты квантизации от Q8_0 до IQ1_S с размером файлов примерно от 8,54 до 2,01 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M и Q4_K_S отмечены как рекомендуемые благодаря сочетанию качества и экономии памяти; низкобитные варианты требуют меньше ресурсов, но могут заметно терять в качестве. Сильная сторона набора — широкий выбор квантизаций для устройств с разным объёмом оперативной памяти и возможность локального использования. Ограничения включают отсутствие явно указанного chat template, поэтому приведённый формат подсказок может быть неточным; также в README нет подробных сведений о возможностях, языках, тестах качества и ограничениях исходной модели. Лицензия указана как llama3.

MaziyarPanahi/LlaMAndement-7b-GGUF — это набор квантованных файлов модели LlaMAndement-7b в формате GGUF. Исходную модель разработал AgentPublic, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах для запуска языковых моделей. Модель относится к семейству LLaMA и имеет размер 7 миллиардов параметров. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, скоростью работы и требованиями к памяти. Формат GGUF поддерживается llama.cpp и рядом совместимых инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. README не содержит сведений о поддерживаемых языках, размере контекстного окна, конкретных обучающих данных, результатах тестирования или специализированных сценариях применения. К сильным сторонам относятся широкий выбор уровней квантования и возможность локального запуска с использованием CPU или GPU через совместимые библиотеки. Ограничения и точное влияние квантования на качество в README не описаны. Лицензия модели также не указана, поэтому условия использования необходимо уточнять в карточке исходной модели AgentPublic/LlaMAndement-7b и в сопроводительных файлах репозитория.

Карточка модели mergekit-community/mergekit-slerp-kxzcrwh на Hugging Face совпадает с карточкой mergekit-community/mergekit-slerp-gpprpds, поэтому описание составлено по ней. mergekit-community/mergekit-slerp-gpprpds — языковая модель для генерации текста, созданная сообществом слиянием Equall/Saul-Base и HuggingFaceH4/zephyr-7b-beta методом SLERP через mergekit. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM, примерно 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы и выполнения инструкций на английском языке. Слияние сочетает компоненты двух предварительно обученных моделей; репозиторий содержит веса Safetensors. Поддержка русского языка или специализированных прикладных областей в карточке не заявлена. Лицензия в предоставленных данных не указана.

MaziyarPanahi/mergekit-slerp-nfoezyj-GGUF — это набор файлов модели в формате GGUF, подготовленный MaziyarPanahi для модели mergekit-community/mergekit-slerp-nfoezyj. Исходную модель разработало сообщество mergekit-community; она создана методом объединения моделей и основана на WizardLM/WizardMath-7B-V1.1 и NousResearch/Hermes-2-Pro-Mistral-7B. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и рядом других инструментов. В README не указаны точный размер модели, максимальная длина контекста, перечень языков и модальности, поэтому модель следует считать текстовой. Сильными сторонами являются широкий выбор уровней квантования и удобство локального запуска на различных платформах, в том числе с GPU-ускорением. Ограничения включают отсутствие в README данных о результатах оценки, качестве ответов, системных требованиях и характеристиках контекста. Лицензия в предоставленных материалах не указана.

MiniCPM5-2B-Abliterated-Uncensored-Safetensors-i1-GGUF — это GGUF-квантизированная версия модели MiniCPM5-2B, созданная на основе mondk/MiniCPM5-2B-Abliterated-Uncensored-Safetensors и квантизированная mradermacher. Модель предназначена для генерации текста, сценариев с вызовом инструментов, а также локального запуска на устройствах с ограниченными ресурсами и в edge-средах. Заявлены поддерживаемые языки English и Chinese. Модель относится к классу компактных моделей примерно на 2 млрд параметров; точные сведения об архитектуре и размере контекста в README не указаны. Репозиторий содержит множество вариантов GGUF-квантизации с размерами примерно от 0,8 до 1,7 ГБ, включая IQ- и Q-семейства. В README отмечается, что варианты IQ часто предпочтительнее сопоставимых по размеру неквантованных вариантов, а i1-Q4_K_M и i1-Q4_K_S рассматриваются как удачный выбор по соотношению скорости, размера и качества. К сильным сторонам относятся компактность, возможность локального использования и наличие вариантов с разным компромиссом между качеством, скоростью и потреблением памяти. Ограничения включают потенциальное снижение качества при низкобитной квантизации, особенно у наиболее компактных вариантов, а также отсутствие в README данных о бенчмарках, контекстном окне, мультимодальности и фактической эффективности вызова инструментов. Лицензия — Apache-2.0.

MN-12B-Mag-Mell-R1-GGUF — набор квантизированных версий текстовой генеративной модели MN-12B-Mag-Mell-R1, опубликованных bartowski на базе исходной модели inflatebot/MN-12B-Mag-Mell-R1. Модель предназначена для генерации текста и локального запуска через llama.cpp и LM Studio; в README приведён формат промпта с ролями system, user и assistant. Модель имеет около 12 миллиардов параметров и распространяется в формате GGUF с вариантами от F16 до низкобитных Q2 и IQ-квантизаций. Размер файлов составляет примерно от 4,44 до 24,50 ГБ. Квантизация выполнена с использованием llama.cpp b4381 и imatrix; доступны варианты с разным балансом между качеством, потреблением памяти и скоростью, включая рекомендуемые Q4_K_M, Q5 и Q6. Сведения о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности и лицензии в README не указаны. Сильная сторона набора — широкий выбор локальных квантизаций, позволяющий адаптировать запуск под доступный объём оперативной памяти; версии Q6 заявлены как близкие к исходному качеству, а Q4 — как компромисс для большинства сценариев. Ограничения зависят от выбранной квантизации: низкобитные варианты обеспечивают меньший размер, но снижают качество. Условия лицензирования исходной модели и производных файлов не указаны.

NemoReRemix-12B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели NemoReRemix-12B, разработанной MarinaraSpaghetti и квантизированной bartowski с использованием llama.cpp и imatrix. Модель предназначена для локального запуска и генерации текста, в том числе через LM Studio. Доступны варианты с разным соотношением качества, размера файла и требований к оперативной памяти. Исходный размер модели — 12 миллиардов параметров, однако точная архитектура, поддерживаемые языки, длина контекста и мультимодальные возможности в карточке не указаны. Представлены версии от F32 размером 49 ГБ до IQ2_M размером 4,44 ГБ; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как компромиссный вариант. Более компактные квантизации требуют меньше памяти, но снижают качество и могут быть менее стабильными. Шаблон чата явно не задан: в README приведён шаблон на основе специальных токенов im_start и im_end, но указано, что он может быть некорректным и требует проверки по карточке исходной модели. Лицензия в предоставленных данных не указана, поэтому условия коммерческого и иного использования следует уточнять у разработчика исходной модели и автора квантизаций.

DevQuasar/nex-agi.Nex-N2-Pro-GGUF — квантизированная версия модели Nex-N2-Pro, разработанной nex-agi и опубликованной DevQuasar. Модель предназначена для генерации текста; формат GGUF ориентирован на использование в совместимых средах локального запуска и инференса. В предоставленном README не указаны архитектура, размер, поддерживаемые языки, объём контекста, модальности, конкретные сценарии применения, количественные характеристики и преимущества квантизации. Лицензия также не указана, поэтому условия использования требуют уточнения по исходной модели и странице публикации.

Ornith-1.5-35B-A3B-XYZ — это набор сбалансированных GGUF-квантизаций модели Ornith-1.5-35V, опубликованный пользователем или организацией quimmedes. Модель предназначена для генерации текста и запуска в llama.cpp, включая сценарии локального инференса на системах с ограниченной видеопамятью. README не указывает исходного разработчика базовой модели отдельно от автора сборок и не приводит её лицензию. Модель использует гибридную архитектуру SSM и attention с Mixture-of-Experts: общий объём составляет около 35 млрд параметров, при этом активно для токена используется примерно 3 млрд. Около 93% параметров приходится на маршрутизируемые эксперты. Доступны варианты GGUF от Q2.5 до Q8 размером примерно от 11,2 до 37,2 GiB. Непараметрические экспертные проекции, включая attention, SSM, маршрутизатор, embedding и output head, сохраняются в Q8_0, а отдельные важные компоненты — в BF16; для экспертных весов применяются уровни IQ2, IQ3 и Q4_K с использованием importance matrix. Рекомендуемый контекст в примерах составляет 8192 токена, однако заявленные языки и точное максимальное окно контекста не указаны. Сильной стороной является баланс между качеством и размером: внимание и экспертные веса квантизуются сопоставимо, а MoE-структура позволяет запускать модель с размещением экспертов в оперативной памяти и основных компонентов на GPU. Это делает возможным использование примерно 8 ГБ VRAM при наличии около 16 ГБ RAM, хотя такой режим требует llama.cpp, CPU-оффлоада экспертов и может снижать скорость. Более низкие уровни квантизации экономят память, но потенциально сильнее ухудшают точность; README не содержит результатов бенчмарков, оценки качества, описания языковой поддержки или сведений о лицензии.

Ornith-1.5-397B-GGUF — квантованная версия модели Ornith-1.5-397B, разработанной ornith-ai и подготовленной пользователем bartowski в формате GGUF для запуска через llama.cpp. Модель содержит 397 млрд параметров и предназначена для генерации текста, а также работы с изображениями при использовании дополнительного файла mmproj. Модель поддерживает текстовые и визуальные входные данные, однако сведения о языках, длине контекста и внутренней архитектуре в предоставленных данных отсутствуют. Квантованные варианты доступны с разным балансом качества и требований к памяти: рекомендуемым универсальным вариантом назван Q4_K_M размером 241,81 ГБ, а варианты Q5 и Q6 обеспечивают более высокое качество при значительно большем размере. Версии Q2 и Q3 экономят память, но характеризуются более низким качеством. Преимуществами являются очень крупный размер модели, поддержка мультимодального ввода, использование imatrix-квантизации и совместимость с экосистемой llama.cpp. Ограничения включают крайне высокие требования к оперативной памяти или памяти GPU, отсутствие speculative decoding и зависимость работы с изображениями от отдельного mmproj-файла. Модель распространяется по лицензии MIT.

Phi-1.5 — базовая языковая модель Microsoft на архитектуре Transformer с авторегрессионной генерацией текста. В метаданных указано 1,7 млрд параметров, контекст 2048 токенов и формат safetensors; модель работает с текстом и ориентирована прежде всего на английский язык. Она обучалась на тех же источниках, что и Phi-1, с добавлением синтетических текстов для задач NLP, и не проходила дообучение на следование инструкциям или RLHF. Модель подходит для генерации и продолжения текста, ответов в формате вопросов и ответов, краткого изложения, творческого письма и генерации кода. Она может быть полезна для исследования языковых моделей и их безопасности. Microsoft выпустила её по лицензии MIT. Phi-1.5 может выдавать неточные факты и код, плохо следовать сложным инструкциям и ошибаться при работе с неформальным английским и другими языками. Модель может отражать общественные предубеждения и генерировать вредный текст; README рекомендует проверять её результаты и указывает, что качество для производственных приложений не проверялось.

amd/Phi-4-reasoning-plus-w4a16-asym-torchao-v0.17.0 — квантизированная версия языковой модели Phi-4-reasoning-plus, разработанная Advanced Micro Devices (AMD) на основе исходной модели Microsoft. Это текстовая causal language model для генерации текста, предназначенная прежде всего для CPU-инференса на процессорах AMD EPYC в Linux с использованием vLLM и оптимизаций ZenDNN. Модель использует архитектуру Phi3ForCausalLM и поддерживает английский язык. Применена асимметричная 4-битная weight-only квантизация W4A16 с размером группы 128; квантизированы линейные слои, за исключением lm_head и embed_tokens. Конфигурация рассчитана на стек PyTorch 2.11.0, TorchAO 0.17.0, ZenTorch 2.11.0.1, ZenDNN 6.0.0 и vLLM 0.20.2. Такое сжатие уменьшает требования к памяти и ориентировано на эффективный CPU-инференс, однако численные результаты оценки качества в README отсутствуют. Основные ограничения связаны с узкой совместимостью: модель предназначена для AMD EPYC и ZenDNN, не рассчитана на GPU и может некорректно загружаться с другими версиями PyTorch. Используемый путь W4A16-Asym специфичен для ZenDNN и недоступен в native PyTorch. Модель распространяется по лицензии MIT, согласно README, с теми же лицензионными условиями, что и исходная модель.

PKU-DS-LAB_FairyR1-14B-Preview-GGUF — это квантованные версии языковой модели FairyR1-14B-Preview, разработанной PKU-DS-LAB и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Указана поддержка английского языка. В набор входят варианты от исходных BF16-весов размером 29,55 ГБ до более компактных квантований Q2–Q8, включая рекомендуемые Q4_K_M, Q5_K_M, Q6_K и другие форматы. Архитектура и максимальная длина контекста в README не указаны; известен размер базовой модели — 14 миллиардов параметров. Квантования выполнены с использованием imatrix и llama.cpp. Сильной стороной набора является широкий выбор компромиссов между качеством, размером файла и требованиями к памяти, что позволяет запускать модель на различном локальном оборудовании. Ограничения включают возможное снижение качества в младших вариантах квантования и отсутствие подробных сведений о задачах, результатах оценки и поддерживаемых модальностях. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-14B-Instruct-abliterated-v2-Q4_K_M-GGUF — это квантизированная версия в формате GGUF модели huihui-ai/Qwen2.5-14B-Instruct-abliterated-v2, преобразованная пользователем maicog с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста, чат-взаимодействия и локального запуска через llama.cpp. В README указана поддержка английского языка. Модель основана на Qwen2.5-14B-Instruct и содержит 14 миллиардов параметров; вариант Q4_K_M использует 4-битное квантование, что снижает требования к памяти по сравнению с полноразмерной версией, но может уменьшать точность генерации. Доступны режимы командной строки и сервера llama.cpp, а в примере сервера задан контекст 2048 токенов. Модель текстовая и не поддерживает заявленные мультимодальные входы. Ключевая особенность — обозначение abliterated и uncensored, указывающее на модификацию поведения модели с ослабленными ограничениями отказа, однако подробности этой модификации и результаты оценки в README не приведены. Ограничениями являются отсутствие данных о качестве, безопасности, производительности, точном размере файла и поддерживаемых языках помимо английского. Лицензия указана как Apache-2.0; исходная модель и эта конверсия доступны для использования на её условиях.

qwen3-4b-zhtw-translate — дообученная модель Qwen3-4B-Instruct-2507, созданная theblackcat102 для перевода с английского на естественный традиционный китайский Тайваня (臺灣正體). Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3ForCausalLM и принимает текст; максимальная длина контекста — 262 144 токена. Модель предназначена для локализации прозы, вопросов и ответов, технических текстов и комментариев в коде. Она обучена выдавать только перевод, использовать тайваньскую терминологию, сохранять Markdown, код, URL, заполнители и идентификаторы, а также оставлять пунктуацию и форматирование кода без изменений. Обучение включало дистилляцию поведения большой модели-учителя Gemma-4-27B и полное дообучение Qwen3 в формате инструкций и чата. Модель рассчитана на направление английский → традиционный китайский Тайваня; перевод из китайского и другие языки-источники не оценивались. Переводы для критически важных сценариев, особенно юридических и медицинских, следует проверять. Лицензия — Apache-2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-GGUF — набор GGUF-квантизаций 27-миллиардной dense-модели с гибридной архитектурой внимания. Пакет подготовил Victor Cruz (vcruz305) на основе BF16-модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, созданной на базе Qwen3.8-27B от Qwen/Alibaba. Модель не является официальной версией Qwen: в исходной модели удалено направление отказов, поэтому она ориентирована на менее ограниченную генерацию текста. Заявленные языки — английский и китайский; поддержка других языков и размер контекста в README не указаны. Модель предназначена для локального запуска через llama.cpp и задач генерации текста, включая диалоговые сценарии и агентские приложения. В каждый файл Q2_K–Q8_0 встроен MTP-блок для speculative decoding: архитектура включает 64 блока языкового ствола и один nextn/MTP-блок. Доступны варианты квантизации Q2_K, Q3_K_M, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 10,12 до 27,05 GiB. Для работы с изображениями требуется отдельный mmproj-файл. К сильным сторонам относятся локальный запуск, несколько вариантов квантизации, встроенный MTP и исправленный chat template для многоходовых сценариев. Ограничения включают необходимость совместимой сборки llama.cpp, обязательный параметр --jinja, а для MTP — режим --parallel 1; Q8_0 не помещается целиком на GPU объёмом 24 ГБ, тогда как Q6_K заявлен как крупнейший вариант для полного размещения на 24-ГБ Turing. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF — это модифицированная версия Qwen3.8-27B, представленная в формате GGUF для llama.cpp. Модель основана на варианте trohrbaugh/Qwen3.8-27B-heretic-ara, созданном Tim Rohrbaugh, и дополнительно обработана двумя полными проходами метода ARA (Arbitrary-Rank Ablation) для уменьшения остаточных отказов. Она предназначена для генерации текста, исследований, творческого письма и ролевых сценариев, включая задачи, где требуется ослабленная фильтрация ответов. Модель имеет архитектуру Qwen3.8 с гибридом Gated DeltaNet и стандартного внимания: 27 млрд параметров, 64 слоя, из которых 16 используют обычное внимание, а 48 — линейное внимание Gated DeltaNet. Поддерживаются 24 attention heads и 4 KV heads по схеме GQA, размерность скрытого состояния составляет 5120, словарь включает 248 320 токенов, контекст — до 262 144 токенов. Мультимодальность в представленных данных не заявлена; модель относится к текстовым моделям и поддерживает официальный шаблон чата Qwen3.8. К сильным сторонам относятся низкое изменение исходного поведения после модификации, заявленный KL ≈ 0,0085 и снижение частоты отказов на вредоносные запросы с 3/100 до 0–1/100 в независимых измерениях. Ограничение заключается в намеренно сниженных защитных механизмах: модель не предназначена для всех аудиторий, рассчитана на пользователей старше 18 лет и требует ответственного применения с учётом законодательства. Модель распространяется по лицензии Apache-2.0, унаследованной от Qwen3.8-27B.

Qwen3.8-27B Heretic Uncensored Q8_0 GGUF — текстовая генеративная модель, разработанная сообществом mlasli на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, диалогов, ролевых сценариев и локального запуска через llama.cpp или Ollama. Указан английский язык. Данные README не содержат сведений о поддерживаемом размере контекста и точной архитектуре исходной модели, но для запуска используется архитектура qwen35. Это GGUF-квантизация Q8_0 размером около 28 ГБ с сохранённой MTP draft head для speculative decoding; в каждом кванте используется 65 блоков, включая дополнительный блок blk.64, закреплённый в Q8_0. Квантизация выполнена с использованием imatrix-калибровки на wikitext-103. В smoke-тестах с llama.cpp и выключенным thinking модель показала 84% прямых ответов на вредоносном наборе, 2% отказов и 0% отказов на безвредном наборе; результаты ограничены указанным тестированием. Модель прошла только текстовую валидацию; мультимодальные возможности не подтверждены. Для заявленного режима uncensored требуется отключить thinking, поскольку при его включении модель чаще уклоняется или отказывается отвечать и может выдавать пустые ответы. Abliteration снижает уровень исходного safety alignment, поэтому модель следует применять ответственно и с учётом местного законодательства. Лицензия — Apache-2.0.

ptq94h/Qwen3.8-27B-OBLITERATED-Q4_K_S-GGUF — языковая текстовая модель семейства Qwen3.8, основанная на OBLITERATUS/Qwen3.8-27B-OBLITERATED. Репозиторий ptq94h содержит конверсию исходной модели в формат GGUF, выполненную с помощью llama.cpp через сервис GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и локального запуска через llama.cpp в CLI или серверном режиме. Ключевые характеристики: архитектура Qwen3, размер около 27 млрд параметров, текстовая модальность и квантизация Q4_K_S. В README не указаны поддерживаемые языки, максимальная длина контекста, результаты оценивания или требования к аппаратному обеспечению. В метаданных модель помечена как abliterated и uncensored, а также как ориентированная на red-team и исследование безопасности ИИ, однако подробности этих свойств отсутствуют. Формат GGUF и квантизация делают модель пригодной для более ресурсоэффективного локального использования по сравнению с полноразмерной версией, но могут снижать точность относительно исходной модели. Возможности, ограничения и качество в конкретных задачах зависят от оригинальной модели и параметров запуска. Указанная лицензия — Apache-2.0.

SiddhJagani/Qwen3.8-9B-mlx-3Bit — текстовая генеративная модель, преобразованная SiddhJagani в формат MLX из базовой модели empero-ai/Qwen3.8-9B с использованием mlx-lm версии 0.31.2. В карточке также указаны направления distillation, reasoning, function-calling и supervised fine-tuning, однако подробности обучения не приведены. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm. README демонстрирует загрузку модели, применение chat template и генерацию ответа по пользовательскому prompt. Указан английский язык. Архитектура, точное число параметров исходной модели, размер контекста, поддерживаемые модальности и фактические возможности function calling в карточке не описаны. Ключевая характеристика версии — 3-битное представление в формате MLX, что может уменьшать требования к памяти по сравнению с полноразмерной моделью, но README не содержит результатов тестирования качества или производительности. Ограничения включают отсутствие бенчмарков и подробных сведений о совместимости, контексте и качестве рассуждений. Модель распространяется по лицензии Apache-2.0.

Qwen3-8B-Critic-SFT-CWM-only — модель-критик на основе Qwen3-8B, разработанная командой Steer, Don't Solve для контроля траекторий кодирующих агентов. Через заданные интервалы она анализирует ход работы и выдаёт структурированную критику: категории ошибок, подтверждающие их свидетельства, действие для восстановления, статус задачи и краткую рекомендацию. Модель не пишет исправления кода. Модель содержит 7,6 млрд параметров и обучена полным дообучением на 4 532 примерах критики траекторий CWM-32B; данные охватывают задачи из matplotlib, moto и sympy. Она предназначена для использования как компонент цикла агента, в частности с SWE-bench Verified. Карточка сообщает о контекстном окне 40 960 токенов; обучение проводилось с последовательностями до 32 768 токенов. Модель принимает текстовые траектории и формирует текстовую структурированную критику. В метаданных указан английский язык. В описанном авторами сравнении критик повысил долю решённых задач у двух агентов Qwen; добавление траекторий Qwen3-Next в обучающий корпус давало больший прирост. Модель распространяется под лицензией Apache-2.0. Для работы требуется подключить её к обслуживанию агента; сама по себе она не вносит изменения в код.

SeongryongJung/Qwen3-8B-ToolUse-SRPO-TR — дообученная версия Qwen3-8B для использования инструментов, обученная методом SRPO-TR с размером батча 32. В репозитории размещён лучший и одновременно финальный чекпойнт global_step_100, выбранный по валидационному показателю mean@16; для набора Tool use указано значение 66,45%. Модель построена на плотной архитектуре Qwen3ForCausalLM и содержит 7,6 млрд параметров. Она принимает текст и генерирует текст; контекстное окно составляет 40 960 токенов. Карточка демонстрирует загрузку через Transformers. Базовая Qwen3-8B описана как многоязычная модель, но конкретные языки этой настройки отдельно не перечислены. Модель предназначена для сценариев, где языковая модель должна выбирать и вызывать инструменты. Результат в таблице относится к указанному набору и метрике, поэтому сам по себе не гарантирует аналогичного качества на других наборах задач. Лицензия — Apache-2.0.

Qwen-Qwen1.5-1.8B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen1.5-1.8B, разработанный и подготовленный Featherless AI Quants на основе Qwen/Qwen1.5-1.8B. Модель предназначена для генерации текста и локального или ресурсоэффективного запуска сценариев обработки естественного языка. В репозитории представлены варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 807 МБ до 1,87 ГБ. Формат GGUF обеспечивает совместимость с программным обеспечением, поддерживающим этот формат, а выбор уровня квантизации позволяет балансировать между размером файлов, требованиями к памяти и сохранением качества. Архитектура, число параметров, поддерживаемые языки и размер контекста в README не указаны. Сильной стороной набора является наличие нескольких вариантов квантизации для разных аппаратных ограничений и требований к качеству. Ограничения включают отсутствие подробной информации о характеристиках базовой модели, её языках, производительности и рекомендуемых сценариях применения. Лицензия в README не указана; условия использования следует уточнять в материалах базовой модели Qwen/Qwen1.5-1.8B.

Alcoft/Qwen_Qwen3-1.7B-GGUF — набор GGUF-квантизованных вариантов модели Qwen/Qwen3-1.7B, опубликованный пользователем Alcoft. Модель предназначена для генерации текста и локального запуска в совместимых средах, поддерживающих формат GGUF. README не содержит сведений о конкретных языках, длине контекста и мультимодальности, поэтому эти характеристики нельзя надёжно определить по представленным данным. Доступны варианты с различными уровнями квантизации: от Q2_K до Q8_0, а также F16 и исходный BF16. Размер файлов составляет примерно от 839 МБ до 3,79 ГБ. Более компактные варианты требуют меньше памяти, но имеют заметно более низкое качество; автор рекомендует в большинстве случаев версии Q4–Q8, причём Q5 и Q6 описываются как высоко- и очень высококачественные, а Q8_0 — как близкая по качеству к F16. Некоторые варианты используют повышенную точность для выходных и embedding-слоёв. Ключевое преимущество репозитория — широкий выбор компромиссов между размером, требованиями к памяти и качеством при локальном инференсе. Ограничения связаны с потерями качества при низкой квантизации, особенно у вариантов Q2 и Q3; версии F16 и BF16 автор считает избыточными. Квантизация выполнена с помощью TAO71-AI AutoQuantizer. Лицензия в README не указана.