II.2Создание и понимание программного кода

Hy3-GGUF — это квантизированная версия языковой модели Hy3, разработанной Tencent и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В репозитории представлены варианты квантизации Q2–Q8 и IQ, включая рекомендуемые Q4_K_M, Q5_K_M и Q6_K. Размер файлов варьируется примерно от 64 до 318 ГБ; варианты отличаются балансом между качеством, требованиями к памяти и скоростью работы. В метаданных модель обозначена как MoE, однако подробности архитектуры, число параметров, поддерживаемые языки, модальности и размер контекста в README не указаны. Квантизация выполнена с использованием imatrix, что направлено на сохранение качества при уменьшении размера модели. Сильной стороной является широкий выбор квантизаций и совместимость с популярными локальными средствами инференса. Ограничения включают очень высокие требования к дисковому пространству и оперативной или видеопамяти даже для наиболее сжатых вариантов, а также возможное снижение качества на низких уровнях квантизации. Для работы требуется поддержка Hy3 в выбранном инструменте. Модель распространяется по лицензии Apache-2.0.

AQUABOT/Llama-3.2-3B-TechQA — дообученная языковая модель семейства Llama 3.2, разработанная AQUABOT на базе unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit. Модель содержит 3,2 млрд параметров, использует плотную архитектуру LlamaForCausalLM и рассчитана на генерацию текста в диалоговом формате. Заявленное контекстное окно — 131 072 токена. Модель предназначена для ответов на технические вопросы и других сценариев генерации текста. При обучении использовались Unsloth и библиотека Hugging Face TRL. В метаданных указана возможность chat и интерфейс для вызова инструментов; основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0. Карточка не содержит сведений о составе обучающих данных, оценках качества или конкретных технических темах, поэтому точность ответов и охват предметных областей не подтверждены.

Llama-Krikri-8B-Base — базовая языковая модель, разработанная ILSP для работы с греческим языком. Она основана на Llama-3.1-8B и прошла дополнительное непрерывное предобучение на корпусе греческих и английских текстов, параллельных греко-английских данных, а также материалов по математике и программированию. Модель содержит 7,6 млрд параметров, использует расширенный токенизатор Llama-3.1 с греческими токенами и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации и продолжения текста, а также для адаптации под грекоязычные приложения. В сравнительных тестах авторы сообщают об улучшении результатов на греческих бенчмарках относительно Llama-3.1-8B при сохранении сопоставимых результатов на английских. Это базовая, не настроенная на следование инструкциям версия; для чат-приложений разработчик рекомендует Llama-Krikri-8B-Instruct. Модель не выровнена по человеческим предпочтениям и может выдавать вводящие в заблуждение, вредоносные или токсичные ответы. Лицензия — Llama 3.1; её условия следует учитывать при использовании и распространении.

Это GGUF-квантизированная версия языковой модели Meta-Llama-3.1-8B-SurviveV3, разработанной lolzinventor. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться локально через LM Studio, llama.cpp и другие совместимые проекты. Модель основана на 8-миллиардной версии Meta Llama 3.1 и поддерживает текстовый ввод и вывод. README не содержит достоверных сведений о языках, размере контекста, специфике дообучения или точной архитектуре исходной модели. Доступны варианты от F16 до низкобитных Q- и IQ-квантизаций размером примерно от 4,02 до 16,07 ГБ, что позволяет выбирать между качеством, скоростью и требованиями к оперативной памяти. Для большинства сценариев рекомендуются варианты Q4–Q6; F16 обеспечивает максимальное качество, но требует больше ресурсов. Сильная сторона модели — возможность локального запуска на широком диапазоне оборудования благодаря множеству вариантов квантизации. Ограничения связаны с потерями качества у более компактных вариантов и отсутствием в предоставленных данных подробных результатов тестирования, описания специализированных возможностей и языковой поддержки. Модель распространяется по лицензии llama3.1.

MaziyarPanahi/mergekit-slerp-oskyrzi-GGUF — это набор файлов модели в формате GGUF, созданный пользователем MaziyarPanahi на основе модели mergekit-community/mergekit-slerp-oskyrzi. Исходная модель разработана сообществом mergekit; в её основе указаны модели TheDrummer/Moistral-11B-v2 и Sao10K/Fimbulvetr-11B-v2, объединённые с помощью mergekit методом SLERP. Модель предназначена для генерации текста и может использоваться в локальных приложениях и сервисах, поддерживающих формат GGUF, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие совместимые инструменты. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством генерации. Поддерживается текстовая модальность; точный размер контекста, список языков и другие архитектурные характеристики в README не указаны. К сильным сторонам относятся широкий выбор уровней квантования и совместимость с экосистемой llama.cpp, включая запуск на локальных устройствах с GPU-ускорением и предоставление API через некоторые клиенты. Ограничения связаны с возможными потерями качества при низком уровне квантования, а также с отсутствием в представленном описании сведений о лицензии, результатах тестирования, языковых возможностях и рекомендуемых параметрах использования.

SirSahOl подготовил 16-битную конверсию MiniCPM5-2B в формат MLX для локального инференса на GPU Apple Silicon. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и 2,2 млрд параметров, предназначенная для диалогов и генерации текста. Модель поддерживает контекст до 131 072 токенов и, согласно метаданным, рассчитана на английский и китайский языки. Конверсия сохраняет веса в 16-битной точности и занимает около 4,8 ГБ памяти; README рекомендует не менее 8 ГБ объединённой памяти, а для комфортной работы с длинным контекстом требуется дополнительный запас. Вариант ориентирован на Apple Silicon и библиотеку MLX, поэтому не является универсальной сборкой для других аппаратных платформ. Лицензия — Apache-2.0.

NeuralsynthesisT3qm7-7B-GGUF — квантованная языковая модель для генерации текста в формате GGUF. Исходную модель разработал automerger, а набор GGUF-файлов подготовил MaziyarPanahi. Модель основана на automerger/NeuralsynthesisT3qm7-7B; в метаданных также указаны Kukedlc/NeuralSynthesis-7b-v0.4-slerp и nlpguy/T3QM7. Размер модели — 7B параметров. Модель предназначена для текстовой генерации и локального запуска через совместимые инструменты, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие реализации, поддерживающие GGUF. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать баланс между требованиями к памяти, скоростью работы и качеством генерации. Поддерживается текстовая модальность; сведения о языках, размере контекста, специализированных сценариях и точных архитектурных параметрах в README не приведены. К сильным сторонам относятся широкий выбор уровней квантования и совместимость с экосистемой GGUF для запуска на локальном оборудовании, включая конфигурации с GPU-ускорением. Ограничения связаны с возможной потерей качества в более агрессивно квантованных вариантах, а также с отсутствием в предоставленных данных результатов тестирования, описания обучения и подтверждённых характеристик производительности. Модель распространяется по лицензии Apache-2.0.

NeverSleep-Llama-3-Lumimaid-8B-v0.1-OAS-GGUF — это набор GGUF-квантизованных файлов базовой текстовой генеративной модели NeverSleep/Llama-3-Lumimaid-8B-v0.1-OAS. Квантизацию подготовила команда featherless-ai-quants. Модель предназначена для генерации текста и может использоваться в совместимых локальных или серверных средах, поддерживающих формат GGUF. Известно, что модель относится к семейству Llama 3 и содержит около 8 миллиардов параметров. README не указывает точную архитектуру, поддерживаемые языки, размер контекстного окна и мультимодальные возможности, поэтому подтверждённо описать их нельзя. Доступны варианты Q2_K, Q3_K, Q4_K, Q5_K, Q6_K, Q8_0 и IQ4_XS размером примерно от 3 до 8,1 ГБ; более сильное сжатие уменьшает требования к памяти, но может снижать качество по сравнению с менее агрессивной квантизацией. Лицензия и условия использования в README не указаны. Также отсутствуют сведения о качестве, результатах тестирования, специализированных сценариях, ограничениях безопасности и рекомендуемых параметрах запуска.

Password Model — модель классификации текста, разработанная SAP OSS для автоматической фильтрации ложных срабатываний при обнаружении паролей в Credential Digger. Она анализирует найденные сканером фрагменты и помогает определить, являются ли они вероятными паролями или ложными совпадениями. Модель основана на архитектуре RoBERTa и дообучена на CodeBERT-base-mlm на наборе данных для обнаружения утечек. Репозиторий содержит модель в формате TensorFlow; размер составляет 151,8 млн параметров, максимальный контекст — 514 токенов. Указан английский язык. Лицензия — MIT. Модель предназначена для этапа проверки результатов сканирования секретов в Credential Digger. В карточке не приведены метрики оценки, результаты тестирования и подробности предобработки, поэтому точность классификации по описанию оценить нельзя.

Это GGUF-сборка дообученной модели Phi-2, подготовленная afrideva на основе anilbhatt1/phi2-oasst-guanaco-bf16-custom. Базовую microsoft-phi2 дообучили методом QLoRA на датасете timdettmers/openassistant-guanaco; эта публикация содержит файлы в форматах FP16 и GGUF с вариантами квантования от Q2_K до Q8_0. Модель предназначена для генерации текста в диалоговом стиле и ответов на запросы, в том числе для локального запуска; в README указана возможность запуска на GPU T4 в Colab. Лицензия репозитория — MIT. В карточке не приведены сведения о поддерживаемых языках и длине контекста.

piiguard — модель NER, разработанная FlowX AI для библиотеки border. Она анализирует текст на входе и выходе LLM и размечает персональные данные восемью типами: имена, адреса электронной почты, телефоны, национальные идентификаторы, IBAN, номера карт, даты и местоположения. Модель основана на XLM-RoBERTa и использует токен-классификационную голову с BIO-метками; размер — 305,2 млн параметров, контекст — 514 токенов. В карточке указано обучение на окнах длиной 96 токенов. Доступен экспорт ONNX FP16, также в метаданных указан формат safetensors. Модель рассчитана на использование через библиотеку flowx-border, которая применяет argmax и формирует структурированное решение с записью доказательств. Она предназначена для обнаружения и фиксации чувствительных фрагментов текста в потоках LLM, а не для общей классификации PII. Заявлена поддержка 26 языков, включая русский; для языков, не перечисленных в карточке, поддержка не подтверждена. Лицензия — Apache-2.0. Обучающие данные синтетические, поэтому качество на реальных данных может отличаться. Оценка LOCATION в приведённом тестовом наборе отсутствует, а метки NATIONAL_ID и CARD могут назначаться неверно; приведённые в README высокие результаты на синтетическом тестовом разбиении не свидетельствуют о надёжности на практических данных. Для текстов длиннее обучающего окна необходимы разбиение на части и объединение результатов; сама модель не обеспечивает соответствие нормативным требованиям.

ProSparse-LLaMA-2-7B — языковая модель, дообученная THUNLP и ModelBest на основе LLaMA 2 7B от Meta. Она предназначена для генерации текста и ответов на инструкции, а её метод ProSparse повышает разреженность активаций для ускорения инференса. Модель содержит 6,6 млрд параметров, использует архитектуру SparseLlamaForCausalLM с ReLU-вариантом FATReLU и поддерживает контекст до 4096 токенов. В описании сообщается о разреженности активаций 89,32% для варианта 7B и о производительности, сопоставимой с исходной моделью. Модель обучалась на смеси языкового и инструкционного материала, включая StarCoder, Wikipedia, Pile и UltraChat. Карточка указывает английский как язык тестирования и предупреждает, что ответы могут быть неточными, предвзятыми или нежелательными; перед применением требуется оценка безопасности под конкретный сценарий. Лицензия — Llama 2; её условия использования следует сверять с лицензией Meta.

Это GGUF-квантизованная версия текстовой генеративной модели TinyR1-32B-Preview-v0.1, разработанной qihoo360 и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В репозитории представлены варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3_K и другие, размером примерно от 14,39 до 34,82 ГБ. Квантизация выполнена с использованием llama.cpp и параметра imatrix. Для работы рекомендуется применять шаблон промпта, указанный в README. Данные о точной архитектуре, поддерживаемых языках, модальностях и размере контекста не приведены. Сильной стороной модели является широкий выбор вариантов квантизации, позволяющий подобрать баланс между качеством и требованиями к памяти; наиболее качественными названы Q8_0, Q6_K_L и Q6_K, а Q4_K_M описан как подходящий вариант по умолчанию для большинства сценариев. При этом изменения токенизатора устраняют повторяющийся вывод исходной модели, но могут снижать качество. Модель распространяется по лицензии Apache-2.0.

Qwen1.5-32B — предварительно обученная плотная авторегрессионная языковая модель семейства Qwen от Alibaba Cloud, бета-версия Qwen2. Она построена на архитектуре Transformer с декодером и содержит 31,7 млрд параметров; версия 32B использует group query attention. Модель принимает текст и генерирует текст, поддерживает многоязычные данные и контекст до 32 768 токенов. Чекпойнт предназначен для дальнейшего обучения и адаптации, например с помощью SFT, RLHF или продолжения предобучения. В карточке указана задача генерации текста, а метаданные отмечают поддержку диалогового применения. Авторы не рекомендуют использовать базовые языковые модели этой серии для прямой генерации текста без последующего обучения. Модель распространяется в формате Safetensors. Лицензия указана как other, поэтому условия использования следует сверить с лицензией и документацией репозитория.

amd/Qwen3.5-9B-w4a16-asym-torchao-v0.17.0 — квантизированная версия модели Qwen3.5-9B, созданная компанией Advanced Micro Devices (AMD) с использованием TorchAO. Модель предназначена для генерации текста и запуска задач условной генерации на CPU AMD EPYC, прежде всего в Linux-средах с использованием vLLM и оптимизаций ZenDNN. Модель использует архитектуру Qwen3_5ForConditionalGeneration, принимает и возвращает текст, поддерживает английский язык. Это 9-миллиардная модель с 4-битной асимметричной квантизацией только весов W4A16: веса линейных слоёв квантизированы в Int4 с размером группы 128, а lm_head и embed_tokens исключены. Такой формат снижает требования к памяти и ориентирован на эффективный CPU-инференс, однако README не содержит результатов тестов качества или производительности. Для работы требуются PyTorch 2.11.0, TorchAO 0.17.0, ZenTorch 2.11.0.1, ZenDNN 6.0.0 и vLLM 0.20.2; для оптимальной производительности рекомендуется настроить OpenMP. Модель не предназначена для GPU и может некорректно загружаться с другими версиями зависимостей. Используемый путь W4A16-Asym специфичен для ZenDNN и недоступен в стандартном PyTorch. Распространяется по лицензии Apache-2.0, как и исходная модель.

Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16-mlx-2Bit — это версия модели Qwen3.6 с 27 млрд параметров, разработанная на базе AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 и преобразованная в формат MLX с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, прежде всего в средах, совместимых с MLX. Заявлены поддержка английского, китайского и других языков, а также теги hybrid-attention, Mamba и gated-deltanet, указывающие на использование соответствующих архитектурных компонентов в исходной модели. В названии указано представление 2Bit, однако точные параметры квантования и размер контекста в README не приведены. Для работы требуется установка mlx-lm и загрузка модели через API load и generate. Модель позиционируется как uncensored и abliterated, поэтому может быть полезна для сценариев, где требуется менее ограниченная генерация, но такие свойства также могут повышать риски небезопасных или нежелательных ответов. Данные о качестве, бенчмарках, мультимодальности и конкретных ограничениях отсутствуют. Лицензия указана как Apache-2.0.

llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-GPTQ-Int4 — это 4-битная GPTQ-квантизированная версия модели llmfan46/Qwen3.6-35B-A3B-uncensored-heretic, созданной на базе Qwen3.6-35B-A3B от Qwen. Модель подготовлена независимым разработчиком llmfan46 с использованием Heretic 1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA), направленного на уменьшение ограничений, связанных с отказами модели. В карточке указано применение для image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекста и точной архитектуре отсутствуют. Ключевая особенность модели — существенно меньшее число отказов: 10 из 100 против 83 из 100 у исходной Qwen3.6-35B-A3B, при заявленном KL-расхождении 0,0015. Это может быть полезно для исследовательских, творческих и локальных сценариев, где требуется меньше цензурных ограничений. К ограничениям относятся 4-битная квантизация, потенциальная потеря качества по сравнению с исходной моделью и отсутствие подробных результатов тестирования именно этой GPTQ-версии. Модель распространяется по лицензии Apache-2.0; при этом снижение защитных ограничений повышает требования к ответственному применению.

Это пакет GGUF для распределённого запуска модели семейства Qwen3 через Mesh LLM. Он создан на основе unsloth/Qwen3.8-2.4T-A95B-GGUF: исходное распределение весов разделено на артефакты по слоям, чтобы выполнять инференс на локальном кластере из нескольких машин. Вариант UD-IQ4_XS использует квантизованный формат GGUF IQ4_XS. Модель предназначена для локального приватного чат-инференса, в том числе на нескольких машинах, когда полный файл модели сложно разместить на одном узле. Mesh LLM предоставляет совместимый с OpenAI интерфейс чата и генерации продолжений. Пакет не меняет назначение исходной модели, а упрощает её распределённое размещение и запуск. Репозиторий указывает лицензию «other»; конкретные условия следует сверять с карточкой исходной модели. Пакет рассчитан на запуск через Mesh LLM, а его пригодность зависит от доступных ресурсов кластера и особенностей квантизации.

Qwen3.8-27B-Abliterated-SFT-GGUF — набор GGUF-квантизаций модели azukivc/Qwen3.8-27B-Abliterated-SFT, подготовленный mradermacher. Модель основана на Qwen3.8-27B-Abliterated-SFT, дообученной методом supervised fine-tuning (SFT) и подвергнутой abliteration. Она предназначена для генерации текста и может использоваться в совместимых средах, поддерживающих формат GGUF, включая vLLM; README указывает английский язык и библиотеку Transformers. Доступны варианты квантизации от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 11 до 29,1 ГБ. Также предоставляются мультимодальные дополнения mmproj в форматах Q8_0 и f16, однако подробности о поддерживаемых модальностях, архитектуре, длине контекста, точном количестве параметров и языковом охвате не указаны. Более качественными названы Q6_K и Q8_0, а Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые; варианты с меньшей разрядностью требуют меньше памяти, но могут снижать качество. Модель распространяется по лицензии Apache-2.0. README не содержит результатов тестирования, подробных инструкций по применению или описания ограничений исходной модели, поэтому её фактические возможности и качество следует оценивать отдельно для конкретных задач.

jasonboukheir/Qwen3.8-27B-AEON-Ultimate-Uncensored-BF16-W4A16-AutoRound — квантованный производный вариант модели AEON-7/Qwen3.8-27B-AEON-Ultimate-Uncensored-BF16. Модель разработана для запуска и обслуживания через vLLM, прежде всего на Intel XPU. Она сочетает языковую часть с мультимодальной vision tower и поддерживает обработку текста и изображений; точный список языков в README не указан. Весовая часть преобразована методом AutoRound в формат W4A16: симметричные INT4-веса с размером группы 128 и активациями BF16. Артефакт экспортирован в compressed-tensors с упаковкой pack-quantized; vision tower и MTP-тензоры сохранены в BF16. Архитектура исходной модели объединяет слои linear attention и периодические слои full attention, а заявленное максимальное окно обслуживания составляет 65 536 токенов. Размер полного опубликованного checkpoint — около 18,12 ГиБ. Сильными сторонами являются снижение требований к памяти благодаря квантованию, поддержка мультимодальных запросов и проверенная работа W4A16-ядра на Intel XPU. Ограничения включают отсутствие опубликованных оценок perplexity, качества, производительности и соответствия исходной BF16-модели. Использование FP8 KV-cache не рекомендуется: в тестах оно приводило к сильным повторениям, тогда как нативный BF16 cache обеспечивал связную генерацию. Совместимость с другим оборудованием и движками не подтверждена, а для vLLM требуется поддержка соответствующей архитектуры и XPU-ядер. Модель унаследовала от исходной модели статус uncensored и связанные риски генерации неточного, вредного или оскорбительного контента. Лицензия в предоставленном README не указана.

Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF — это GGUF-квантизированная версия модели Qwen3.8-27B-Heretic-Abliterated-Uncensored. Базовая модель указана за авторством 0bserverx, а квантизацию выполнил mradermacher. Модель предназначена для генерации текста и может использоваться с библиотеками и средами Transformers, vLLM и SGLang. Модель имеет размер 27B параметров и ориентирована на работу с текстом; в карточке заявлен английский язык. Доступны варианты квантизации Q2_K, Q3_K, IQ4_XS, Q4_K_S, Q4_K_M, Q5_K_S, Q5_K_M, Q6_K и Q8_0 объёмом примерно от 10,8 до 28,7 ГБ. Более лёгкие варианты требуют меньше памяти, но могут заметно уступать по качеству; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с лучшим качеством. Карточка не содержит сведений об архитектуре в технических деталях, размере контекста, дополнительных модальностях, обучающих данных, результатах оценки или конкретных сценариях применения. Модель распространяется по лицензии Apache-2.0. Для использования требуются совместимые инструменты и объём памяти, соответствующий выбранному GGUF-файлу.

slevinw/Qwen3.8-27B-Heretic-Abliterated-Uncensored-GGUF — GGUF-версия модели на базе Qwen/Qwen3.8-27B, дополнительно модифицированная методом ARA (Arbitrary-Rank Ablation). Основой послужила abliteration-версия Tim Rohrbaugh, после чего автор репозитория выполнил ещё два прохода оптимизации полных весов. Модель предназначена для генерации текста, включая исследования, творческое письмо и roleplay, а также сценарии, где требуется сниженное количество отказов на чувствительные или вредоносные запросы. Она рассчитана на совершеннолетнюю аудиторию и ответственное использование. Архитектура относится к семейству Qwen3.8 и обозначена как qwen3_5_text; используется гибрид Gated DeltaNet с 64 слоями, включая 16 стандартных attention-слоёв и 48 слоёв линейного внимания Gated DeltaNet. Объём модели составляет 27 млрд параметров, размер скрытого представления — 5120, применяются 24 attention heads, 4 KV heads с GQA и размерностью головы 256. Словарь содержит 248 320 токенов, контекст — до 262 144 токенов. Формат GGUF предназначен для запуска через llama.cpp; доступны варианты с поддержкой MTP для speculative decoding. Ключевая особенность модели — намеренное ослабление защитных механизмов: по данным README, доля отказов на тестовых вредоносных запросах снижена с 3 из 100 у исходной abliteration-версии до 0–1 из 100, при заявленном низком поведенческом отклонении KL примерно 0,0085. Это может быть преимуществом для uncensored-генерации и исследовательских задач, но одновременно означает повышенные риски неправильного или незаконного применения и отсутствие стандартного уровня защитных ограничений. Модель распространяется по лицензии Apache-2.0, унаследованной от Qwen3.8-27B.

Qwen3.8-27B-Heretic-Abliterated-Uncensored-i1-GGUF — квантованная GGUF-версия модели 0bserverx/Qwen3.8-27B-Heretic-Abliterated-Uncensored, подготовленная mradermacher. Модель предназначена для генерации текста и может использоваться в совместимых локальных средах и инструментах, поддерживающих формат GGUF, включая llama.cpp-подобные решения; в метаданных также указаны Transformers, vLLM и SGLang. Модель относится к семейству Qwen3.8 и имеет заявленный размер 27B параметров. В репозитории представлены многочисленные варианты квантования, включая IQ1–IQ4, Q2–Q5 и Q6, с размером файлов примерно от 7,2 до 18,8 ГБ в доступной части списка. Варианты различаются компромиссом между размером, скоростью и качеством; для ряда конфигураций автор указывает предпочтительные варианты, а i1-Q4_K_M называет быстрым и рекомендуемым. Указанный язык — английский; сведения о контекстном окне, архитектуре, мультимодальности и поддерживаемых языках, кроме английского, не приведены. Основные преимущества — широкий выбор квантованных конфигураций и возможность запуска модели на оборудовании с ограниченными ресурсами. Ограничения связаны с потерями качества при низком уровне квантования, а также с отсутствием в README результатов тестирования и подробных сведений о возможностях исходной модели. Лицензия указана как Apache-2.0.

Qwen3.8-27B-Heretic-Uncensored-Q4_K_M-GGUF — текстовая генеративная модель, разработанная mlasli на основе Qwen/Qwen3.8-27B. Модель распространяется в формате GGUF с квантизацией Q4_K_M и предназначена для локального запуска через llama.cpp и совместимые инструменты, включая Ollama. В карточке указаны английский язык и сценарии генерации текста, диалогов и roleplay. Модель содержит около 27 млрд параметров, использует архитектуру qwen35 и сохраняет draft head MTP для speculative decoding. Файл Q4_K_M занимает около 16 ГБ, квантизация выполнена с использованием imatrix, контекст в примере запуска ограничен 4096 токенами. Модель валидировалась только в текстовом режиме; возможности работы с изображениями не подтверждены. Ключевая особенность — удаление исходного safety alignment методом abliteration, поэтому модель ориентирована на более прямые ответы и сниженное количество отказов. Для заявленного uncensored-поведения требуется отключить thinking; при включённом режиме модель может чаще уклоняться или отказывать и иногда выдавать пустые ответы. В smoke-тесте для Q4_K_M получены 78% прямых ответов на вредоносном наборе, 2% отказов и 0% отказов на benign-наборе, однако эти результаты ограничены условиями тестирования и не являются универсальной оценкой качества. Модель распространяется по лицензии Apache-2.0. Использовать её следует ответственно и в соответствии с местным законодательством, учитывая отсутствие защитного выравнивания и необходимость достаточных вычислительных ресурсов для локального запуска.

LuffyTheFox/Qwen3.8-27B-Uncensored-Genesis-V1-MTP-GGUF — модель в формате GGUF, созданная LuffyTheFox на основе HauhauCS/Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF. Разработчик позиционирует Genesis как метод посттренировочной регенерации и калибровки тензоров без дообучения, основанный на статистических методах и законе Marchenko–Pastur. В README также указана связь с Qwen3.8 и Tongyi Qianwen от Alibaba Group, однако конкретные характеристики исходной архитектуры в этой карточке не приведены. Модель предназначена для диалоговых и генеративных задач с поддержкой режима рассуждений и обычного instruct-режима. В метаданных заявлены мультимодальность, обработка изображений и текста, а также pipeline image-text-to-text, но подробности о поддерживаемых визуальных входах и способе их использования отсутствуют. Из известных характеристик указаны размер 27B в названии модели, формат GGUF и английский язык. К заявленным особенностям относятся коррекция дисбаланса и шума в тензорах, обработка нулевых блоков и попытка повысить стабильность, ясность контекста и следование инструкциям. Эти свойства описаны разработчиком и не подтверждены независимыми результатами в README. Ограничениями являются отсутствие данных о длине контекста, точном варианте квантизации, требованиях к памяти, производительности, качестве на бенчмарках и фактической совместимости с мультимодальными сценариями. Для работы рекомендуются максимальная выгрузка на GPU, F16 для K/V cache и специальный chat template. Лицензия — Apache-2.0.

DuoNeural/Qwen3-8B-Abliterated-GGUF — набор GGUF-квантизаций модели DuoNeural/Qwen3-8B-Abliterated, разработанный DuoNeural и основанный на архитектуре Qwen3. Модель предназначена для генерации текста и локального запуска языковой модели, в том числе через Ollama. В README она описывается как abliteration- и uncensored-версия, однако подробности применённых изменений не приведены. Доступны варианты Q3_K_L размером около 6,2 ГБ, Q4_K_M около 7,5 ГБ, Q5_K_M около 9,2 ГБ и Q8_0 около 12,7 ГБ; рекомендуемым указан Q4_K_M. Вариант Q3_K_L рассчитан минимум на 8 ГБ VRAM, а Q5_K_M и Q8_0 ориентированы на более высокое качество при больших требованиях к памяти. Число параметров базовой модели указано в её названии как 8B. Сведения о поддерживаемых языках, модальностях и размере контекста в README отсутствуют. Модель удобна для развёртывания в формате GGUF и предлагает компромисс между потреблением памяти и качеством благодаря нескольким уровням квантизации. Заявлены очень низкое значение KL и подтверждение 2/5 CoT dissociation, но методика и практическая интерпретация этих оценок не раскрыты, поэтому их нельзя считать полноценной независимой оценкой качества. Лицензия — Apache-2.0.

LaTexT/qwen3-8b-gist-sft-50k-gz9-sentence — дообученная командой проекта на базе Qwen/Qwen3-8B языковая модель с архитектурой Qwen3ForCausalLM. Модель содержит 7,6 млрд параметров, принимает текст и предназначена для диалоговой генерации ответов; карточка указывает обучение методом SFT на наборе shannons/ot3-1.2m-50k и связь с экспериментом gist_sft 50k g9-sentence. Модель запускается через Transformers как text-generation и поддерживает контекст до 40 960 токенов. Базовая Qwen3-8B рассчитана на многоязычный диалог, следование инструкциям, рассуждения, работу с кодом и вызов инструментов; README этой версии не приводит отдельных оценок качества или полного перечня языков и возможностей, поэтому их применимость после дообучения не подтверждена отдельно. Лицензия в предоставленных данных не указана.

Reflection-Llama-3.1-70B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Reflection-Llama-3.1-70B, исходно опубликованной mattshumer. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; модель предназначена для локального запуска, в том числе через LM Studio и llama.cpp. Модель основана на Llama 3.1 с размером 70B параметров и поддерживает текстовый ввод и вывод. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, различающиеся размером файлов, требованиями к памяти и сохранением качества. Для улучшения рассуждений README рекомендует формат промпта со специальными тегами thinking, output и reflection; для их отображения в llama.cpp требуется включить обработку специальных токенов. Языки и размер контекстного окна в README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и варианты с высоким заявленным качеством, включая Q6 и Q5. Основное ограничение — высокая потребность в оперативной памяти: размер файлов составляет примерно от 30,91 до 74,98 ГБ. README также содержит предупреждение не скачивать текущие файлы, поскольку веса снова могут быть неправильными; это существенно снижает надёжность использования данного набора. Лицензия указана как llama3.

ReWiz-Qwen-2.5-14B-GGUF — это набор квантизированных моделей в формате GGUF, созданный bartowski на основе ReWiz-Qwen-2.5-14B от theprint. Модель предназначена для генерации текста и локального запуска через llama.cpp, в частности в LM Studio. Указанный язык — английский; исходная модель обучалась на датасете theprint/ReWiz. README не сообщает назначение ReWiz и не содержит найденного шаблона промпта, поэтому подробные сценарии применения и формат диалога не уточнены. Модель имеет размер 14B параметров и поставляется в вариантах от F16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-форматы. Размер файлов варьируется примерно от 6,5 до 29,6 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp; варианты с более высокой точностью обеспечивают лучшее качество, а компактные версии подходят для систем с ограниченным объёмом RAM. Для некоторых вариантов предусмотрена оптимизация под ARM, требующая поддержки sve или i8mm; они не рекомендуются для Mac и Windows. Сильная сторона модели — широкий выбор квантизаций для локального запуска с разными компромиссами между качеством и требованиями к памяти. README рекомендует, среди прочих, варианты Q6_K_L, Q6_K, Q5_K и Q4_K_M. Ограничения включают отсутствие описания контекстного окна, архитектурных деталей, мультимодальности и точного назначения ReWiz, а также отсутствие готового prompt format. Распространение указано по лицензии Apache-2.0.

SEMIKONG-70B-GGUF — это набор квантованных версий языковой модели SEMIKONG-70B, разработанной pentagoniac и преобразованной в формат GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp с использованием метода imatrix. Модель предназначена для генерации текста и локального запуска в совместимых приложениях, включая LM Studio. Модель имеет заявленный размер 70B параметров и поддерживает текстовый ввод и вывод. В репозитории доступны варианты квантования от IQ1_M до Q8_0, с размером файлов примерно от 16,75 до 74,98 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты экономят оперативную память, но могут заметно уступать по качеству. Для работы следует использовать указанный формат шаблона запросов с системными, пользовательскими и ассистентскими сообщениями. README не содержит сведений о поддерживаемых языках, длине контекста, конкретных специализированных сценариях, результатах тестирования или ограничениях исходной модели. Лицензия указана как Apache-2.0.