II.2Создание и понимание программного кода

FuseChat-Llama-3.1-8B-Instruct-GGUF — это набор квантованных версий инструкционной языковой модели FuseChat-Llama-3.1-8B-Instruct, разработанной FuseAI. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с пользовательскими запросами в локальных приложениях на базе llama.cpp и LM Studio. Квантованные файлы представлены в формате GGUF и подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель относится к классу текстовых генеративных моделей и имеет около 8 млрд параметров в исходной версии. Доступны варианты от F32 и F16 до различных форматов квантования Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер файлов составляет примерно от 4,3 до 32,1 ГБ. Для работы предусмотрен специальный шаблон промпта с ролями system, user и assistant. Сильной стороной набора является широкий выбор квантований: варианты Q6 и Q5 ориентированы на высокое качество, а Q4 и Q3 — на снижение требований к памяти. Некоторые файлы оптимизированы для ARM или AVX, однако отдельные варианты не рекомендуются для Mac или GPU. README не содержит сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре, результатах оценки и лицензии, поэтому эти характеристики нельзя подтвердить.

testmoto/gemma-2-9b-synthetic_coding — текстовая модель семейства Gemma 2 на 9 млрд параметров, основанная на Google Gemma 2 9B. Карточка указывает, что модель преобразована в формат MLX с помощью mlx-lm 0.20.1; метаданные описывают её архитектуру как плотную авторегрессионную Gemma2ForCausalLM и задают контекст до 8192 токенов. Модель предназначена для генерации текста. Возможности базовой Gemma 2 9B включают диалоги, суммаризацию и ответы на вопросы; название репозитория указывает на синтетические данные для программирования, однако README не подтверждает отдельные результаты или гарантии качества в задачах кодирования. Для использования в MLX карточка предлагает библиотеку mlx-lm. Указанная лицензия — gemma. Это преобразование формата исходной модели, а не свидетельство дополнительного дообучения на синтетическом коде; репозиторий не приводит сведений о конкретных ограничениях качества или безопасности.

gemma-4-E4B-it-Uncensored-MAX-GGUF — языковая модель от prithivMLmods, созданная на основе google/gemma-4-E4B-it. Это модифицированная версия с уменьшенным количеством встроенных отказов, ориентированная на подробные ответы, следование инструкциям, рассуждения и агентские сценарии. В README заявлена аблитерационная обработка и анализ направлений отказа, однако независимые характеристики качества не приведены. Модель относится к семейству Gemma и имеет размер E4B параметров. Она распространяется в формате GGUF, предназначенном, в частности, для llama.cpp и совместимых инструментов. Заявлена поддержка текстовых и визуальных входных данных через отдельные файлы mmproj, а pipeline обозначен как image-text-to-text. Указан английский язык; размер контекста и точная архитектура в README не приведены. Доступны варианты BF16, F16, F32, Q8_0 и соответствующие мультимодальные проекционные файлы. Сильными сторонами заявлены сохранение возможностей рассуждения и следования инструкциям исходной модели, а также снижение отказов при обработке запросов. При этом «uncensored» характер означает потенциально меньшую встроенную защиту, поэтому модель требует дополнительного контроля при использовании в чувствительных сценариях. Модель распространяется по лицензии Apache-2.0.

Huihui-Devstral-Small-2-24B-Instruct-2512-abliterated-mlx-4bit — это 4-битная квантизованная версия модели Huihui-Devstral-Small-2-24B-Instruct-2512-abliterated, опубликованная пользователем veeceey на базе модели huihui-ai. Модель предназначена для генерации текста и диалогового применения, а также может использоваться в сценариях, где требуется выполнение инструкций. Суффикс abliterated указывает на изменённую версию исходной модели, а uncensored в метаданных — на заявленное отсутствие части ограничений, однако подробности этих изменений не приведены. Модель рассчитана на запуск с библиотекой MLX и использует 4-битное представление весов, что может снизить требования к памяти по сравнению с полноразмерной версией. В названии указано 24 миллиарда параметров и принадлежность к семейству Devstral Small 2; точная архитектура, поддерживаемые языки, размер контекста и мультимодальные возможности в предоставленных данных не указаны. Лицензия — Apache 2.0, но перед использованием изменённой версии следует также проверить условия лицензии базовой модели и применимые ограничения.

Huihui-Orchestrator-8B-abliterated — версия NVIDIA Orchestrator-8B, изменённая Huihui AI методом abliteration для ослабления отказов и фильтрации ответов. Это плотная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста в диалогах. Она принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. Модель можно запускать через Ollama. Ослабленная фильтрация позволяет получать ответы на запросы, от которых исходная модель могла бы отказаться, но также повышает вероятность чувствительных, спорных или неподходящих результатов. Рекомендуется проверять ответы. Репозиторий распространяется по лицензии MIT.

YTan2000 подготовил GGUF-конверсию модели Huihui-Qwen3.5-35B-A3B-abliterated для запуска через TurboQuant-вариант llama.cpp. Это мультимодальная модель семейства Qwen3.5 MoE с 35 млрд параметров и активной частью около 3 млрд; она поддерживает диалог, анализ изображений и интерфейс вызова инструментов. Основные веса сжаты до TQ3_4S, а тензоры эмбеддингов и выходного слоя оставлены в Q6_K. Для обработки изображений предусмотрен совместимый мультимодальный проектор в формате GGUF. Модель предназначена для диалоговых и агентных сценариев, генерации текста и ответов с учётом изображений. В коротком локальном smoke-тесте она показала результат 9 из 10, но это не полноценная оценка качества. Для запуска требуется публичная TurboQuant-сборка llama.cpp. Модель описана как abliterated/uncensored и может выдавать чувствительный или небезопасный контент. Лицензия — Apache-2.0.

NotoriousH2 дообучил диалоговую модель kakaocorp/kanana-1.5-8b-instruct-2505 и объединил результат в репозитории kanana-1.5-8b-instruct-2505-Persona-Merged. Это плотная Llama-архитектура с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; доступны интерфейс вызова инструментов и контекст до 32 768 токенов. Модель подходит для ведения диалогов и генерации ответов на текстовые запросы. Базовая модель также предназначена для программирования и математики, однако README не описывает, как именно Persona-Merged меняет её поведение или качество на этих задачах. Модель принимает текст и выдаёт текст; среди языковых метаданных указан английский. Веса опубликованы в формате Safetensors. Лицензия — Apache-2.0. README сообщает о дообучении с использованием Unsloth и библиотеки TRL, но не приводит сведения о данных обучения, методике объединения или оценке качества.

Это конвертированные веса диалоговой версии Llama 2 7B в формате Hugging Face, опубликованные daryl149 при содействии Mirage-Studio.io. Модель построена на плотной архитектуре Llama и содержит около 6,6 млрд параметров; репозиторий предоставляет веса PyTorch для использования с Transformers. Указанное окно контекста — 2048 токенов. Модель предназначена для генерации текста в диалоговом формате: она может отвечать на вопросы, вести беседу и помогать с черновиками текста. Карточка не описывает специальную предметную область или отдельное дообучение. В README приведена лицензия Llama 2 Community License от Meta; использование и распространение подчиняются её условиям, включая требования к атрибуции и допустимому использованию.

Llama 2 7B GGUF — это квантизированная версия большой языковой модели Llama 2 7B, разработанной Meta. Репозиторий подготовлен TheBloke и содержит файлы в формате GGUFv2 для запуска модели через llama.cpp и совместимые библиотеки и пользовательские интерфейсы. Модель предназначена для генерации текста на английском языке и поддерживает сценарии локального вывода, включая диалоговые приложения, создание текста и другие задачи text generation. Архитектура — Llama, размер — 7 миллиардов параметров, модальность — текстовая. В репозитории доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством; конкретные размеры файлов и максимальные требования к RAM в представленном фрагменте не указаны. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию, а также совместим с llama.cpp, text-generation-webui, LM Studio, KoboldCpp, ctransformers, llama-cpp-python и другими инструментами. Ограничения включают возможное снижение качества из-за квантизации и отсутствие данных о размере контекста, точных характеристиках производительности и мультиязычных возможностях. Лицензия указана как llama2; модель основана на исходной Meta Llama 2 7B.

MaziyarPanahi/Llama-3-13B-Instruct-v0.1-GGUF — набор квантизованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе MaziyarPanahi/Llama-3-13B-Instruct-v0.1. Модель предназначена для генерации текста и диалоговых сценариев с использованием инструкционного формата Llama 3, включая работу через llama.cpp. Известно, что доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим размером файлов и потенциально более высоким качеством. Размер базовой модели составляет 13B параметров. Модальность — текстовая; сведения о поддерживаемых языках, размере контекста, точной архитектуре и результатах оценки в README не указаны. Для корректной работы требуется применять шаблон промпта Llama 3 и поддержка формата GGUF в используемом программном обеспечении. Лицензия в README не указана.

MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2-GGUF — это квантизированная версия инструкционной языковой модели MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2, разработанная и опубликованная MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Для взаимодействия используется шаблон ChatML. Модель представлена в формате GGUF и доступна в вариантах квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. В названии указано 8B, то есть модель относится к классу примерно 8-миллиардных параметров; базовая архитектура связана с семейством Llama 3. README не содержит точных сведений о поддерживаемых языках, размере контекста, результатах тестирования или ограничениях качества. Сильная сторона модели — возможность локального использования с GPU-ускорением через llama.cpp, llama-cpp-python, LM Studio и другие совместимые инструменты. Лицензия в представленном README не указана, поэтому условия распространения и коммерческого использования необходимо уточнять в материалах исходной модели и репозитория.

MaziyarPanahi/Llama-3-8B-Instruct-v0.10-GGUF — это набор файлов модели в формате GGUF для MaziyarPanahi/Llama-3-8B-Instruct-v0.10, разработанный и квантованный MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Известно, что это instruct-модель семейства Llama 3 с размером 8B; доступны варианты квантования от 2 до 8 бит. Формат GGUF ориентирован на эффективный локальный инференс с использованием CPU и GPU, однако конкретные требования к памяти и производительность зависят от выбранного варианта квантования и оборудования. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре исходной модели, результатах оценки или сильных и слабых сторонах. Лицензия в README не указана, поэтому условия использования необходимо уточнять отдельно для исходной модели и её GGUF-представления.

giux78/llama3-8B-usenet-merged — текстовая генеративная модель на архитектуре Llama, опубликованная пользователем giux78 на Hugging Face. По названию репозитория она связана с Usenet и представляет собой объединённую модель, однако карточка не раскрывает состав объединения, разработчика исходных моделей или точное назначение для конкретных тематик. Модель содержит около 7,5 млрд параметров, использует библиотеку Transformers и формат safetensors; заявленный контекст — 8192 токена. Предусмотрен диалоговый режим. Модель принимает текстовые запросы и генерирует текст, в том числе ответы в формате чата. Карточка не сообщает поддерживаемые языки, оценку качества, обучающие данные или конкретные ограничения. Лицензия в карточке не указана.

llama-3-cat-8b-instruct-v1-GGUF — это квантизированная версия инструкционной текстовой модели llama-3-cat-8b-instruct-v1, опубликованной TheSkullery. Квантизация выполнена bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия по инструкциям, включая локальный запуск через совместимые инструменты llama.cpp. Модель имеет размер 8 миллиардов параметров и поддерживает различные варианты квантизации от Q8_0 до IQ1_S. Доступны версии объёмом примерно от 2,16 до 8,54 ГБ; варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M отмечены как рекомендуемые благодаря балансу качества и требований к памяти. Более компактные варианты позволяют запускать модель на системах с ограниченными ресурсами, но снижают качество. Поддерживается текстовая модальность; сведения о языках и размере контекста в представленном README не указаны. Для работы следует использовать формат промпта, основанный на специальной разметке Llama 3 с ролями system, user и assistant. Лицензия указана как llama3. README не содержит подробных результатов тестирования, описания исходного обучения или ограничений, специфичных для самой модели, поэтому её фактическое качество и языковые возможности требуют самостоятельной оценки.

MaziyarPanahi/M7Yamshadowexperiment28_Experiment24Inex12 — слитая языковая модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Она предназначена для генерации текста и принимает текстовые запросы, выдавая текст. Модель создана путём объединения automerger/M7Yamshadowexperiment28-7B и automerger/Experiment24Inex12-7B. Поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — Apache-2.0.

MeliodasT3q_AlloyingotneoyNeuralsirkrishna — объединённая языковая модель, опубликованная MaziyarPanahi. В README указано, что она объединяет automerger/MeliodasT3q-7B и automerger/AlloyingotneoyNeuralsirkrishna-7B. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; для генерации текста доступно контекстное окно до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии Apache-2.0.

microsoft_Phi-4-mini-instruct-GGUF — набор GGUF-квантизованных версий инструкционной модели Phi-4-mini-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp версии b4792 и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через LM Studio, llama.cpp и другие проекты на его основе. Доступны варианты квантизации от Q2_K_L до Q8_0 размером примерно от 1,83 до 4,08 ГБ. Более высокие разрядности обычно обеспечивают лучшее качество, но требуют больше памяти; в README рекомендуются, в частности, Q4_K_M как вариант стандартного размера, а также Q5, Q6 и Q8 для более высокого качества. Некоторые варианты используют Q8_0 для весов embedding и output, а отдельные форматы оптимизированы для CPU ARM, AVX или Apple silicon. Формат prompt использует специальные маркеры system, user и assistant. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, мультимодальности или лицензии исходной модели. Основные ограничения связаны с потерями качества при низких уровнях квантизации и необходимостью выбирать вариант с учётом доступной оперативной памяти.

MaziyarPanahi/Mistral-7B-Instruct-KhanAcademy-v0.2-GGUF — это набор квантованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе MaziyarPanahi/Mistral-7B-Instruct-KhanAcademy-v0.2. Исходная модель основана на Mistral-7B-Instruct-v0.2 от Mistral AI и относится к классу генеративных текстовых моделей с примерно 7 миллиардами параметров. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Указана совместимость с инструментами, поддерживающими GGUF, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. К сильным сторонам относятся широкий выбор уровней квантования и возможность локального использования на поддерживаемом оборудовании. Ограничения связаны с возможной потерей качества при более агрессивном квантовании; точные характеристики контекстного окна, языков и мультимодальности в представленном README не указаны. Для модели указана лицензия Apache-2.0.

NewsXLM — многоязычная модель ISPRAS для классификации HTML-узлов новостных страниц. Модель построена на архитектуре DOM-LM и дообучена на наборе данных NewsXLM на основе ispras-crawlers/newsxlm-domlm-pretrained. В репозитории указано 305,2 млн параметров и контекст длиной 514 токенов. Модель присваивает HTML-узлам метки title, publication_date, text, author, tag или none. Её можно использовать для извлечения заголовка, даты публикации, текста статьи, автора и тегов из HTML новостных страниц, а также для классификации каждого узла. Поддерживаются английский, испанский, русский, арабский, французский, португальский, хорватский, китайский, немецкий и корейский языки. Модель принимает структурированный HTML и выдаёт метки для его узлов; README описывает отдельный конвейер извлечения атрибутов, группирующий результаты по типу. Репозиторий распространяется под лицензией MIT.

Niwaki-Qwen3.6-24B-A3B-v3.0-gguf — это сжатая сборка Qwen3.6-35B-A3B, подготовленная проектом Niwaki для генерации текста и диалогов через llama.cpp. Модель использует архитектуру Mixture-of-Experts: 24,1 млрд параметров всего и не более примерно 3,8 млрд активных; в 40 слоях сохранены маршрутизатор и 8 выбираемых экспертов из 256, а часть экспертов удалена. Это GGUF-файл размером 10,8 ГБ с разной точностью хранения экспертов и Q8_0 для основной части модели. Модель предназначена для локального запуска и генерации ответов в чате. В README приведены измерения качества на WikiText-2, C4, FLORES-200 и тестах отслеживания программных состояний; заявлены десять языков: английский, испанский, французский, немецкий, русский, китайский, японский, корейский, арабский и хинди. Для запуска требуется форк neopolita-llama.cpp версии v3.0 или новее: стандартный llama.cpp пока не поддерживает используемое размещение экспертов по уровням точности. Лицензия — Apache 2.0.

Qwen1.5-0.5B-Chat-GPTQ-Int4 — чат-модель семейства Qwen1.5, разработанная командой Qwen (Tongyi Qianwen). Это decoder-only языковая модель на архитектуре Transformer, предназначенная для диалогового взаимодействия и генерации текста. Модель подходит для создания ассистентов, ответов на вопросы, кратких объяснений и других сценариев text generation. Модель содержит около 0,5 млрд параметров и распространяется в квантизированном формате GPTQ с точностью Int4, что снижает требования к памяти по сравнению с полноточными вариантами. Она поддерживает текстовую модальность, английский язык и, согласно описанию семейства, мультиязычную работу и обработку кода. Заявлена поддержка контекста до 32K токенов. Архитектура включает SwiGLU и attention с QKV bias; для beta-версии Qwen1.5 group query attention и сочетание sliding window attention с full attention временно не использовались, за исключением отдельных вариантов семейства. Модель предварительно обучалась на большом объёме данных, а чат-версия дополнительно настраивалась с помощью supervised fine-tuning и direct preference optimization. Её сильные стороны — небольшой размер, пониженные требования к памяти благодаря Int4-квантизации и готовность к диалоговым сценариям. Ограничениями являются малый размер по сравнению с более крупными моделями семейства, возможное ухудшение качества при сложных задачах и ошибки при переключении языков; разработчики рекомендуют использовать параметры генерации из generation_config.json. Лицензия указана как tongyi-qianwen-research; применимые условия приведены в файле LICENSE репозитория.

TheRains/Qwen2.5-14B-Instruct-Q4_K_M-GGUF — это квантизированная версия Qwen2.5-14B-Instruct, преобразованная в формат GGUF разработчиком TheRains с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp в режиме командной строки или сервера. Модель содержит 14 миллиардов параметров, относится к инструкционно настроенным текстовым моделям и поддерживает английский язык. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полной версией, что делает модель более подходящей для локального запуска на совместимом CPU или GPU. В README указан пример использования с контекстом 2048 токенов, однако это может быть параметром конкретного запуска, а не максимальным контекстом модели. К сильным сторонам относятся локальное выполнение, совместимость с экосистемой llama.cpp и более низкие аппаратные требования благодаря квантизации. Ограничения включают поддержку только текстовой модальности, отсутствие в карточке подробных характеристик качества, языкового охвата и производительности, а также возможные потери точности из-за квантизации. Указана лицензия Apache-2.0; подробности следует уточнять в лицензии исходной модели Qwen2.5-14B-Instruct.

PollardWeights/Qwen2.5-7B-Instruct-Pollard — это квантизированная версия Qwen/Qwen2.5-7B-Instruct, подготовленная PollardWeights с использованием метода Pollard Weights. Модель предназначена для генерации текста и диалоговых сценариев; поддерживает текстовый ввод и использует шаблон ChatML, встроенный в метаданные GGUF. В README указан английский язык. Модель построена на архитектуре qwen2 и содержит примерно 7,6 млрд параметров. Доступны варианты GGUF с разным размером и уровнем сжатия: от Q6_K размером около 6,25 ГБ до IQ1_KT размером около 2,04 ГБ. Квантизация использует измеренное распределение битов по чувствительности слоёв и calibration imatrix. Вариант Q6_K обеспечивает качество, близкое к f16, а IQ4_XS обозначен как рекомендуемый вариант по соотношению размера и качества. Основное преимущество модели — значительное уменьшение требований к памяти при сохранении пригодного качества, что упрощает локальный запуск в llama.cpp, Ollama и LM Studio. При этом более агрессивные варианты квантизации заметнее снижают качество: для IQ1_KT в тесте WikiText-2 perplexity была на 56,7% выше эталона f16. IQ1_KT требует ik_llama.cpp, тогда как Q6_K, IQ4_XS и IQ3_S работают в стандартных сборках llama.cpp. Модель распространяется по лицензии Apache-2.0.

fedric95/Qwen2-7B-GGUF — набор GGUF-квантизаций базовой языковой модели Qwen2-7B, опубликованный пользователем fedric95. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через llama.cpp. В метаданных указаны английский язык и задача text-generation. Модель содержит около 7 млрд параметров и представлена в вариантах BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K. Размер файлов варьируется от 3,02 до 15,2 ГБ. Более сильная квантизация обычно требует меньше памяти, но может снижать качество: например, значение perplexity на wikitext-2-raw-v1.test составляет 7,3817 для Q8_0, 7,4796 для Q4_K_M и 10,5122 для Q2_K. Для отдельных вариантов приведены результаты WinoGrande, HellaSwag и MMLU в режиме zero-shot. Сильные стороны модели — широкий выбор уровней квантизации и возможность подбора компромисса между размером, требованиями к памяти и качеством. Ограничения включают отсутствие данных о длине контекста, мультимодальности, дополнительных языках и конкретных требованиях к аппаратному обеспечению; приведённые результаты не описывают все реальные сценарии применения. Лицензия — Apache-2.0.

Dohyeon1/Qwen3-30B-A3B-M-SMoE-ngroups96-no-permutation — языковая модель для генерации текста и диалоговых сценариев, доступная через библиотеку Transformers. По идентификатору модель относится к семейству Qwen3 и использует вариант разреженной Mixture-of-Experts-архитектуры; в метаданных указано 2,6 млрд параметров и контекст до 40 960 токенов. Модель предназначена для продолжения текста, генерации ответов в чатах и интеграции в приложения на базе Transformers. Тег conversational указывает на ориентированность на диалоговое применение, а safetensors — на формат хранения весов. В README отсутствуют сведения о разработчике, лицензии, языках обучения, датасетах, результатах оценки и подтверждённых сценариях безопасного использования.

Qwen3.6-27B NVFP4 GGUF — версия модели Qwen3.6-27B, подготовленная mudler в формате GGUF для запуска через llama.cpp и LocalAI. В репозитории размещён единый файл весом около 25,5 ГБ; тензоры NVFP4 сохранены без повторной квантизации в целочисленный формат. Базовая модель указана как unsloth/Qwen3.6-27B-NVFP4. Модель предназначена для генерации текста и диалогового использования в локально развёрнутых системах. В README описан запуск с paged attention на Blackwell GPU, включая GB10 и DGX Spark; на другом оборудовании возможна деквантизация NVFP4 с более низкой скоростью. Формат GGUF и конфигурация LocalAI упрощают развёртывание, а заявленные показатели скорости и памяти измерены на Blackwell-системах. Лицензия в метаданных обозначена как other; конкретные условия следует сверить с лицензией исходной модели и файлами репозитория. В карточке нет сведений о поддерживаемых естественных языках или длине контекста.

Qwen3.6-27B-Uncensored-MagicQuant-MTP-GGUF — GGUF-квантизированная языковая модель на базе llmfan46/Qwen3.6-27B-uncensored-heretic-v2-Native-MTP-Preserved. Релиз подготовлен magiccodingman с использованием конфигураций MagicQuant, а базовые форматы квантования и инструменты предоставлены llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, где требуется менее ограниченное поведение модели. Доступно несколько вариантов квантования MagicQuant и llama.cpp с размерами примерно от 8,92 до 27,70 ГБ. Наиболее крупный вариант MQ-Q6_K_1 имеет размер 27,70 ГБ и заявленное значение KLD 0,003838; также представлены варианты Q5, Q4, Q3 и Q2. В модели сохранена поддержка MTP, однако MTP-тензоры квантовались в Q8_0 из-за неполной поддержки imatrix и MTP в llama.cpp на момент подготовки релиза. Указаны архитектура Qwen3.6 и размер 27B параметров, но сведения о языках, максимальном контексте и точном наборе модальностей отсутствуют; по описанию это текстовая модель. Сильной стороной релиза является подбор и локальная проверка конфигураций квантования MagicQuant, направленный на сохранение качества при уменьшении размера. При этом репозиторий является клоном финальных конфигураций из другого выпуска, а не результатом полного собственного поискового конвейера MagicQuant; заявленные метрики относятся к пересобранным вариантам. Качество и требования к памяти зависят от выбранного кванта, а низкобитные варианты могут заметнее терять качество. Модель распространяется по лицензии Apache-2.0.

mradermacher/Qwen3.8-27B-thinkingcap-abliterated-i1-GGUF — набор квантизованных GGUF-версий модели hotdogs/Qwen3.8-27B-thinkingcap-abliterated. Квантизацию выполнил mradermacher; исходная модель связана с датасетом hotdogs/thinkingcap-sft-qwen38-27b. Модель предназначена для генерации текста, рассуждений и задач, где важны эффективное мышление и экономное использование токенов. В метаданных также указана поддержка изображений, однако для работы с визуальными входами могут потребоваться отдельные файлы mmproj из статического репозитория. Модель относится к семейству Qwen и содержит около 27 миллиардов параметров, но точная архитектура и размер контекстного окна в README не указаны. Заявлен английский язык. Репозиторий предоставляет варианты квантизации i1 с различными форматами и размерами примерно от 11 до 22,5 ГБ, включая Q2_K, Q3, IQ3, IQ4, Q4, Q5 и Q6. Более качественные варианты требуют больше памяти, тогда как компактные версии позволяют снизить требования к оборудованию, но могут заметнее терять качество; конкретные характеристики скорости и точности не приведены. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, подробного описания базовой архитектуры, контекстного окна или рекомендаций по аппаратным требованиям, поэтому пригодность для конкретных задач следует проверять экспериментально.

Qwen3.8-27B-Uncensored-W4A16-AutoRound — квантизированная версия модели Qwen3.8-27B-Uncensored от orcarouter, созданная с использованием Intel AutoRound. Она основана на Qwen/Qwen3.8-27B и представляет собой abliterated-производную с существенно удалённым защитным выравниванием. Модель предназначена для исследовательских задач, включая интерпретируемость, исследования безопасности ИИ, red teaming, оценку моделей и интеграцию в собственные защищённые системы. Модель поддерживает работу с текстом и изображениями, языки English и Chinese, а также контекст до 262 144 токенов. Используется архитектура Qwen3.8 с сохранённой vision tower и MTP-головой для speculative decoding. Квантизация W4A16 выполнена методом AutoRound: основные линейные слои используют 4-битные веса и 16-битные активации, а vision tower, lm_head, embed_tokens и отдельные проекции GatedDeltaNet сохранены в bf16. Для запуска рекомендуется vLLM; заявлены показатели 0,9052 на GSM8K, 0,761 на MMLU-Pro и 0,880 на MMLU. Сильными сторонами являются большой контекст, поддержка изображений, сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение значительной части исходных возможностей после квантизации. Ограничения включают возможное снижение качества из-за квантизации и abliteration, а также отсутствие эффективных встроенных защитных механизмов: модель может выполнять вредоносные, незаконные или неэтичные запросы. Её не следует предоставлять конечным пользователям без собственной системы безопасности. Лицензия — Apache-2.0; ответственность за использование и последствия вывода несёт пользователь.

taurusduan/Qwen3.8-Whittle-MoE-27B-A17.8B-GGUF — это квантизированная GGUF-версия модели Whittle MoE 27B (A18B), разработанной logic65 на базе Qwen3.8-27B. Модель представляет собой постфактум сформированную mixture-of-experts-архитектуру с 27 млрд параметров, из которых около 17,8 млрд относятся к активным параметрам. В каждом слое используются 64 маршрутизируемых экспертных блока, а для каждого токена активируются 16 из них. Основное назначение — генерация текста и диалоговые сценарии с использованием llama.cpp и совместимых инструментов. Доступно несколько уровней квантизации: от Q8_0 размером около 28,7 ГБ до Q3_K_M размером около 13,9 ГБ, что позволяет выбирать компромисс между качеством и требованиями к памяти. Для версии с визуальными возможностями предусмотрен отдельный проектор mmproj-qwen38.gguf размером около 0,9 ГБ, однако подробные сведения о поддерживаемых изображениях, языках и размере контекстного окна в карточке не указаны. Версия v2.2.1 исправляет проблему преждевременного завершения рассуждений внутри блока chain-of-thought, но не устраняет слабости при точном подсчёте элементов, длинных списках и повторяющихся фрагментах. Сильными сторонами являются MoE-архитектура с относительно умеренным числом активных параметров, несколько вариантов квантизации и улучшенное завершение ответов при включённом рассуждении. Ограничения включают сохраняющуюся склонность к повторениям, недостаточную надёжность при генерации списков длиной более 45 элементов и отсутствие гарантии точного количества элементов. Модель распространяется по лицензии Apache-2.0; репозиторий содержит именно квантизированные сборки базовой модели.