II.8Инженерия данных и аналитика

CollectiveCognition-v1.1-Mistral-7B-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель на базе Mistral-7B-Instruct-v0.1, созданная слиянием весов Mistral-7B-Instruct-v0.1 и uukuguy/CollectiveCognition-v1.1-Mistral-7B-dare-0.85 методом SLERP. Модель разработана для генерации текста и ответов на запросы в диалоговом формате. Архитектура — плотная авторегрессионная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов; файлы опубликованы в формате safetensors с точностью bfloat16. Модель подходит для чат-ботов, ответов на инструкции и продолжения текста. В карточке не заявлены специализированные области или языки, поэтому назначение следует считать общим. Лицензия — Apache-2.0.

DeepSeek-V4-Flash-0731-Pruned-155B-A13B-GGUF — неофициальная производная модель, созданная сообществом на основе DeepSeek-V4-Flash-0731 и GGUF-сборки Unsloth. Она не выпущена и не одобрена DeepSeek. Модель предназначена для генерации текста и локального запуска через llama.cpp, прежде всего на Apple Silicon с 64 ГБ памяти, включая сценарии агентного программирования и задач SWE-bench. Это MoE-модель примерно со 155,5 млрд параметров и около 13 млрд активных параметров на токен. В 40 основных MoE-слоях число маршрутизируемых экспертов сокращено с 256 до 128, а первые три hash-слоя сохраняют все 256 экспертов. Веса представлены в квантизации IQ3_XXS; используется GGUF. Основная сборка требует специальной модификации llama.cpp, тогда как альтернативная ZP256 совместима с обычной версией llama.cpp, но работает медленнее. Для ускорения поддерживается speculative decoding с отдельной моделью DSpark. Главное преимущество — возможность полностью разместить основную сборку на GPU 64-гигабайтного Mac mini M4 Pro и получить существенно более высокую скорость по сравнению с частичной выгрузкой исходной модели: до 21,2 токена в секунду при коротком контексте и 14,3–16,6 токена в секунду при агентном контексте 8–32 тыс. токенов. На подмножестве SWE-bench Verified из 100 задач модель решила 77,5% задач против 84,0% у официальной FP8-версии, поэтому pruning сопровождается заметным снижением качества. Калибровочная imatrix исходной модели отдельно для обрезанной версии не проверялась. Лицензия — MIT. Для работы основной сборки требуются совместимые патченные llama.cpp и настройка лимита выделяемой GPU-памяти macOS; заявленная производительность относится к конкретной конфигурации Mac mini M4 Pro 64 ГБ и может отличаться на другом оборудовании.

Experiment28M7_YamT3qm7xp — объединённая модель генерации текста на архитектуре Mistral, созданная путём слияния automerger/Experiment28M7-7B и automerger/YamT3qm7xp-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста по запросу и работы с длинными текстовыми контекстами. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Falcon-H1-3B-Instruct — многоязычная генеративная языковая модель семейства Falcon-H1, разработанная TII. Это причинная decoder-only модель с гибридной архитектурой Transformer и Mamba; в метаданных указано 2,2 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения. Модель можно запускать через Transformers, vLLM и llama.cpp. В карточке приведены результаты сравнительной оценки на общих тестах, включая BBH и ARC-C. Указана лицензия Falcon-LLM License; её условия следует учитывать перед использованием и распространением.

FuseQwQen-7B — объединённая разговорная языковая модель от bunnycore на архитектуре Qwen2. Она создана методом линейного слияния нескольких моделей, включая FuseChat-Qwen-2.5-7B-Instruct, QwQ-LCoT-7B-Instruct, cybertron-v4-qw7B-UNAMGS и модель с адаптером Persona. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленный контекст — до 32 768 токенов. Модель предназначена для диалога и генерации ответов, в том числе с опорой на инструкции и рассуждения. В карточке приведены результаты Open LLM Leaderboard, однако данных недостаточно, чтобы подтвердить конкретный уровень качества в отдельных сценариях. Использование предполагает библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана.

qwp4w3hyb/gemma-2-27b-it-iMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Gemma 2 27B IT, разработанной Google. Модель предназначена для генерации текста и выполнения задач по текстовым инструкциям на английском языке. В основе лежит модель Google Gemma 2 27B IT с размером 27 миллиардов параметров. Доступен широкий набор вариантов квантизации от Q8_0 до IQ1_S, включая экспериментальные типы с суффиксом _L. Для снижения потерь качества при квантизации использована importance matrix, рассчитанная на специализированном калибровочном наборе данных. Файлы подготовлены с использованием llama.cpp с учётом исправлений, связанных с финальным logit soft-capping, sliding window и токенизатором. Основное преимущество модели — выбор вариантов GGUF для запуска в llama.cpp с разным компромиссом между качеством, размером и требованиями к ресурсам; importance matrix должна улучшать сохранение качества после квантизации. Ограничения включают зависимость характеристик от выбранного типа квантизации и отсутствие в предоставленной карточке подробностей о контекстном окне, архитектурных параметрах, мультимодальности и результатах тестирования. Лицензия указана как gemma.

gemma-3-12b-it-heretic — модифицированная версия Google Gemma 3 12B Instruct, опубликованная пользователем saidutta69 и созданная с помощью Heretic 1.4.0. Модель предназначена для локальных агентов, диалоговых приложений, генерации текста, ответов на вопросы по изображениям и исследований механизмов выравнивания и отказов моделей. Она сохраняет мультимодальность базовой модели: работает с текстом и изображениями; заявлен английский язык. Модель рассчитана на запуск через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Это модель примерно на 12,2 млрд параметров с архитектурой Gemma 3 и поддержкой инструкций. Вариант heretic получен не дообучением, а направленным редактированием весов attention output-проекций и MLP down-проекций методом abliteration. Цель изменения — подавить поведение, связанное с отказами, сохранив знания и следование инструкциям базовой модели. Для запуска рекомендуются GPU с 16–24 ГБ памяти; доступны полновесные BF16-файлы и GGUF-квантизации Q4_K_M и Q5_K_M. Точный размер контекстного окна в README не указан. По заявленным тестам, модель отказала в 40 из 100 проверочных adversarial-запросов против 99 отказов у базовой Gemma 3 12B Instruct; KL-дивергенция относительно базы составила 0,1006. Сильной стороной является сочетание мультимодальных возможностей Gemma 3 с существенно сниженным количеством отказов. Ограничения включают неполное устранение отказов, более широкое изменение поведения по сравнению с некоторыми другими abliteration-моделями, унаследованные от базовой модели фактические ограничения и смещения, а также отсутствие дополнительной фильтрации безопасности. README предупреждает о рисках неограниченного публичного развертывания. Лицензия — Gemma, унаследованная от базовой модели; условия приведены в связанной лицензии Google.

Mungert/granite-3.3-8b-instruct-GGUF — это GGUF-кเวантованная версия инструкционной модели Granite 3.3 с примерно 8 млрд параметров, основанная на IBM Granite 3.3 8B Base. Модель предназначена для генерации текста и запуска локального inference через совместимые инструменты, включая сценарии на устройствах с ограниченной видеопамятью, CPU и edge-оборудовании. Основная особенность репозитория — варианты ultra-low-bit quantization с использованием метода IQ-DynamicGate, который распределяет точность по слоям и защищает embeddings и output layers. Доступны форматы с экстремально низкой разрядностью, включая IQ1 и IQ2, а также другие варианты квантования. Такие форматы существенно снижают требования к памяти, сохраняя больше качества по сравнению со стандартным 1–2-битным квантованием; однако точность всё равно ниже, чем у полноразмерных или высокоточных вариантов, а прирост эффективности зависит от конкретного формата и оборудования. В README приведены результаты тестов на Llama-3-8B-Instruct с контекстом 2048 токенов, поэтому эти показатели нельзя напрямую считать характеристиками Granite-модели. Языки, точный максимальный контекст, поддерживаемые модальности и подробные результаты именно для данной модели не указаны. Лицензия заявлена как Apache 2.0.

harkov000/hermes-stheno-8B-v0.1 — текстовая диалоговая модель на архитектуре Llama, созданная слиянием SLERP моделей NousResearch/Hermes-3-Llama-3.1-8B и Sao10K/Llama-3.1-8B-Stheno-v3.4 с помощью mergekit. Модель содержит 7,5 млрд параметров, работает через Transformers и принимает текст для генерации продолжений и диалоговых ответов; поддерживает интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и диалогового использования. В качестве базовых компонентов объединены модели семейства Llama 3.1 8B: Hermes 3 и Stheno v3.4. Лицензия в предоставленных данных не указана.

TelperionAI Huihui-Qwen3.8-27B-abliterated-INT4-AWQ-GPTQ — квантованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated. Модель построена с использованием llm-compressor и предназначена для запуска и генерации текста с меньшими требованиями к памяти, в том числе через vLLM. Калибровка выполнена на данных, сгенерированных самой abliterated-моделью, с примерами кода, математики, STEM, диалогов и многоязычных запросов. Основой является смешанная квантализация INT4 W4A16: большинство MLP-слоёв используют асимметричную INT4-квантализацию с размером группы 32, а отдельные компоненты сохраняются в INT8 или BF16. Attention-компоненты, GDN-слои, эмбеддинги, нормализации, выходная голова и vision tower используют более высокую точность. Размер весов на диске составляет около 25,1 ГБ. Поддерживаются AWQ-масштабирование и GPTQ-компенсация ошибок; заявлена совместимость с GPU архитектуры Turing и новее без необходимости FP8 или FP4. По результатам внутреннего сравнения с исходной BF16-версией модель показывает 96,45% совпадения top-1 токенов и медианное расхождение генерации на 41-м токене. При этом оценка проведена только на одном корпусе и без downstream-бенчмарков, поэтому качество на прикладных задачах не установлено. Vision tower не квантован, но модель оценивалась как текстовая; эффективность speculative decoding с MTP-головой не измерялась. Модель унаследовала от базовой версии удалённые направления отказа, поэтому её поведение в части отказов отличается от стандартной модели Qwen. Лицензия — Apache-2.0.

LFM2-1.2B — компактная языковая модель, разработанная Liquid AI для работы на периферийных устройствах и локального развертывания. Это плотная авторегрессионная модель семейства LFM2 с 1,1 млрд параметров. Архитектура сочетает 10 блоков коротких свёрток с двойными затворами и 6 блоков группового внимания GQA. Модель принимает текст и генерирует текст; предусмотрены шаблон диалога в стиле ChatML и интерфейс для вызова инструментов. Контекст по метаданным каталога — до 128 000 токенов. Модель рассчитана на многошаговые диалоги, агентные сценарии, извлечение данных, RAG и творческое письмо. Liquid AI заявляет о высокой скорости и экономном использовании памяти на CPU, GPU и NPU, что подходит для смартфонов, ноутбуков и автомобильных систем. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. README рекомендует дообучать модель под узкие задачи и не рекомендует полагаться на неё в задачах, требующих глубоких знаний или навыков программирования. Лицензия обозначена в метаданных как other; конкретные условия следует проверять в репозитории модели.

virtuanista/LFM2.5-8B-A1B-Uncensored-GGUF — это версия языковой модели LFM2.5-8B-A1B от Liquid AI без встроенного поведения, направленного на отказ от ответов. virtuanista выполнил abliteration, квантование и подготовку модели в формате GGUF для локального запуска. Модель предназначена для генерации текста, работы в качестве локального ассистента, следования инструкциям и задач, требующих рассуждений, при этом сохраняет блоки рассуждений <think>...</think>. Модель использует гибридную архитектуру, объединяющую короткие свёрточные блоки shortconv/LIV, внимание GQA и слои MoE, а не классический чистый Transformer. Заявлен контекст до 128K токенов. Доступны квантованные варианты IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 4,6 до 9 ГБ, что позволяет выбирать между требованиями к памяти и качеством. Модель поддерживает запуск через llama.cpp и Ollama; README не указывает поддерживаемые языки. Сильные стороны — локальная и приватная работа, несколько вариантов квантования, высокая заявленная длина контекста и сохранение возможностей базовой модели после модификации. Ограничение версии заключается в отсутствии стандартных защитных барьеров: она отвечает с меньшим количеством фильтров, поэтому требует осторожного применения и не гарантирует безопасность или достоверность результатов. Модель распространяется по LFM Open License v1.0: коммерческое использование разрешено при годовой выручке менее 10 млн долларов, исследовательское и некоммерческое использование не ограничено; при перераспределении необходимо сохранять уведомления об авторских правах и атрибуцию Liquid AI.

RedHatAI/Llama-2-7b-dolphin-open_platypus — плотная языковая модель на архитектуре Llama 2 с 6,6 млрд параметров, дообученная Neural Magic и Cerebras для следования инструкциям. Обучение использовало сочетание наборов данных Platypus, Open Orca и Dolphin. Модель предназначена для генерации текста и выполнения инструкций в сценариях вопросно-ответного взаимодействия и других задачах общего назначения. Она принимает текст и генерирует текст, имеет контекст длиной 4096 токенов и доступна в формате safetensors для запуска через Transformers; для ускоренного инференса с разреженностью README предлагает nm-vllm или deepsparse. В README приведены незаполненные значения результатов бенчмарков, поэтому количественная оценка качества по этой карточке невозможна. Лицензия в предоставленных сведениях не указана.

bunnycore/Llama-3.2-3B-RP-DeepThink — объединённая диалоговая языковая модель, созданная с помощью mergekit методом linear merge. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; также в объединение вошли bunnycore/Llama-3.2-3B-All-Mix и prithivMLmods/Codepy-Deepthink-3B. Модель основана на архитектуре LlamaForCausalLM, содержит 3,2 млрд параметров и работает с текстом; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и ответов в диалоге, включая сценарии, где полезны смешанные возможности объединённых моделей. Карточка приводит результаты Open LLM Leaderboard, в том числе IFEval 71,44 и BBH 23,76. Доступна в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

MeliodasPercival_01_ShadowT3q — объединённая модель на архитектуре Mistral с 7,1 млрд параметров, созданная путём слияния моделей automerger/MeliodasPercival_01-7B и automerger/ShadowT3q-7B. Она предназначена для генерации текста и диалогов, в том числе с использованием контекста длиной до 32 768 токенов. Модель принимает текст и выдаёт текст. Веса опубликованы в формате Safetensors. Репозиторий распространяется по лицензии Apache-2.0. В карточке не описаны специальные предметные области или отдельные ограничения качества.

Карточка модели yejingfu/Meta-Llama-3.2-1B на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Карточка модели Ayush-1722/Meta-Llama-3-8B-Instruct-Summarize-v0.2-24K-LoRANET-Merged на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

duyntnet/Mistral-7B-Instruct-v0.3-imatrix-GGUF — набор квантизированных вариантов модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и представленной в формате GGUF с использованием imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая выполнение инструкций, ответы на вопросы и сценарии с вызовом функций или инструментов. Модель относится к семейству Mistral и имеет размер 7B параметров согласно идентификатору. Это текстовая instruct-модель с поддержкой форматов и библиотек, совместимых с GGUF; README также показывает использование через mistral-inference и Hugging Face Transformers. Длина контекста, точные варианты квантизации, аппаратные требования и дополнительные модальности не указаны. К сильным сторонам относятся компактный размер по сравнению с более крупными языковыми моделями, возможность локального запуска в квантизированном виде и поддержка инструкций и function calling. Ограничения включают заявленную языковую поддержку только для английского, отсутствие данных о качестве, бенчмарках и контекстном окне, а также возможные потери качества, зависящие от выбранного уровня квантизации. В карточке указана лицензия «other», но её конкретные условия не раскрыты.

Unsloth/Mistral-Nemo-Instruct-2407-GGUF — это GGUF-версия инструкционной модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для запуска в совместимых средах, поддерживающих формат GGUF, а также для диалоговых сценариев, генерации текста и выполнения инструкций. В README указано, что она связана с экосистемой Transformers и поддерживает английский язык. Из доступных данных следует, что модель относится к семейству Mistral Nemo и имеет размер 12B параметров, однако сведения о точной архитектуре, максимальном контексте, модальностях и конкретных вариантах квантования отсутствуют. Формат GGUF удобен для локального инференса и последующей работы с оптимизированными представлениями модели, но характеристики скорости и потребления памяти зависят от используемого варианта файла и программного окружения. Модель может быть полезна для локальных чат-ботов, ассистентов и экспериментов с дообучением: README описывает инструменты Unsloth для более быстрого fine-tuning с меньшим потреблением памяти и экспортом в GGUF. При этом заявленные ускорение и экономия памяти относятся к процессу дообучения в Unsloth, а не обязательно к инференсу этой конкретной модели. Лицензия — Apache-2.0.

Это набор GGUF-квантизаций модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем mistrjirka с использованием форматов PXA/PXQ. Модель имеет около 9 млрд плотных параметров, архитектуру qwen35 и нативный контекст до 262 144 токенов. Она предназначена для генерации и анализа текста, а исходная модель также поддерживает обработку изображений при наличии совместимого мультимодального проектора, который в этом репозитории не поставляется. Доступны варианты с разной степенью сжатия: от PXQ2 и PXQ3 до рекомендованного PXQ4, повышающего качество PXQ4-HQ и ориентированного на качество PXQ6. Чем выше уровень, тем больше размер файла и потенциально выше точность, тогда как PXQ2 и PXQ3 рассчитаны на ограниченные ресурсы и сильнее жертвуют качеством. Преимуществами являются большой контекст и выбор компромисса между размером, качеством и скоростью декодирования. Ограничение заключается в использовании нестандартных PXQ-типов тензоров: обычные сборки llama.cpp без их поддержки, как правило, не загрузят файлы. Требуется PXA или специальная ветка mistrjirka/llama.cpp; оптимизация в первую очередь ориентирована на GPU NVIDIA Pascal и Volta, а поддержка более новых архитектур может использовать общие, менее специализированные пути. Указана лицензия MIT.

prototype-128x03 — языковая модель, созданная разработчиком shamwowzer слиянием предварительно обученных моделей при помощи mergekit. В слиянии использованы /workspace/modeler/Behemoth и /workspace/mistral-text-only; последняя указана базовой моделью. Применён метод Multi-SLERP, итоговые веса сохранены в формате safetensors с точностью bfloat16. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 123,4 млрд параметров. Она предназначена для генерации текста и диалогового общения; максимальный контекст составляет 262 144 токена. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

CultriX/Qwen2.5-14B-Brocav6 — объединённая языковая модель на архитектуре Qwen2 для генерации текста и диалогового общения. По README, CultriX создал её с помощью mergekit, применив метод della_linear и CultriX/Qwen2.5-14B-Wernickev3 как базу; в объединение также вошли несколько моделей семейства Qwen2.5, включая варианты для математики и диалога. Модель содержит 14 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Метаданные указывают поддержку чата и интерфейса вызова инструментов. Репозиторий содержит веса в формате safetensors; библиотека для работы — Transformers. Модель подходит для генерации ответов в диалоге, продолжения текста и других задач, решаемых текстовыми генеративными моделями. Документация не приводит специальных результатов оценки или подробных ограничений, поэтому качество на конкретных задачах следует проверять отдельно. Лицензия в предоставленных данных не указана.

dfurman/Qwen2-72B-Orpo-v0.1 — диалоговая языковая модель, созданная как дообучение Qwen/Qwen2-72B-Instruct на 1,5 тыс. примеров из набора mlabonne/orpo-dpo-mix-40k. Это плотная архитектура Qwen2ForCausalLM с 71,5 млрд параметров; модель опубликована в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и многоходовых диалогов, включая ролевые сценарии, рассуждения, задачи с агентными возможностями и поддержание связности на длинном контексте. В метаданных указан английский язык. Карточка приводит результаты Open LLM Leaderboard: среднее значение 43,32 и 78,80 для IFEval (0-shot). Лицензия обозначена как other, поэтому условия её использования следует проверять в карточке модели.

unsloth/Qwen3-0.6B-GGUF — GGUF-версия языковой модели Qwen3-0.6B, разработанной командой Qwen от Alibaba Cloud и подготовленной Unsloth. Это авторегрессионная causal language model с 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и 28 слоями. Модель предназначена для локального запуска и интеграции с llama.cpp, Ollama и совместимыми интерфейсами, а также для дообучения и экспорта в различные форматы. Модель поддерживает переключение между режимами thinking и non-thinking: первый ориентирован на сложные задачи рассуждения, математику и программирование, второй — на более эффективный общий диалог. Заявлены возможности instruction following, многошагового диалога, генерации кода, творческого письма, ролевого взаимодействия и работы с внешними инструментами. Контекстное окно составляет 32 768 токенов, используется Grouped Query Attention с 16 головами для Q и 8 для KV. Qwen3 заявляет поддержку более 100 языков и диалектов, однако в метаданных этой карточки указан язык en. К сильным сторонам относятся компактный размер, поддержка двух режимов рассуждения, задачи агентного взаимодействия и мультиязычность. Ограничения, конкретные результаты бенчмарков, требования к оборудованию и показатели производительности для этой версии в README не приведены; из-за малого размера модели её качество следует проверять на целевых задачах. Карточка указывает лицензию Apache-2.0.

Qwen3-30B-A3B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для оригинальной модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию набора выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в локальных приложениях и сервисах, поддерживающих GGUF. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат совместим с llama.cpp и рядом инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, candle и другие. Архитектура, число активных параметров, модальности, языки и размер контекста в README не указаны. Сильная сторона модели — возможность локального запуска и выбора уровня квантизации в зависимости от доступного оборудования. Ограничения связаны с тем, что качество и производительность конкретного варианта зависят от выбранной разрядности и совместимого программного окружения. Лицензия в предоставленных данных не указана.

Qwen3.5-4B-AWQ — это квантизированная версия языковой модели Qwen/Qwen3.5-4B, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых и инструкционных сценариев, локального инференса и развёртывания на потребительских GPU. Указаны поддерживаемые языки English и Chinese, а также интеграция с Transformers и vLLM. Модель использует квантизацию AWQ INT4 по схеме W4A16_ASYM с размером группы 128 и zero point. Калибровка выполнена на 512 примерах OpenPlatypus с максимальной длиной последовательности 1024 токена посредством llm-compressor; формат хранения — compressed-tensors. Размер модели составляет около 3,13 ГБ, а потребление VRAM при загрузке — около 3,06 ГБ, что примерно в 2,5–2,6 раза меньше базовой BF16-версии. Это позволяет запускать её на одной видеокарте с 8 ГБ памяти. В заявленных оценках нулевого выстрела модель получила 77,69% на PIQA, 68,75% на Winogrande, 71,65% на HellaSwag, 73,53% на ARC-Easy и 51,71% на ARC-Challenge; средний результат — 68,67%. Сильными сторонами являются существенно сниженные требования к памяти и сохранение заметной производительности в задачах здравого смысла и школьных научных вопросов. Ограничение состоит в том, что результаты приведены только для квантизированной версии и не сопоставлены в идентичных условиях с BF16-моделью, поэтому влияние квантизации точно не установлено. Распространяется по лицензии Apache-2.0.

bernquant/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — это 27-миллиардная модель семейства Qwen3.6 в формате GGUF, созданная на базе DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Модель разработана в рамках совместной работы автора, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием Unsloth, многоэтапного fine-tuning и merge нескольких обученных версий. Указаны языки English и Chinese; заявлена поддержка vision, однако подробности о мультимодальной архитектуре и формате входных данных не приведены. Модель предназначена для широкого круга задач: следования инструкциям, решения проблем, reasoning, программирования, творческого письма, fiction и roleplaying. Авторы заявляют об улучшении общего интеллекта, instruction following и reasoning по сравнению с базовой моделью, а также о высоких результатах на ряде бенчмарков. Доступны обычные и MTP-варианты GGUF, включая NEO IMATRIX-квантизации; часть выходного тензора хранится в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance рекомендуется использовать обычную квантизацию. К ограничениям относятся отсутствие подробных спецификаций контекстного окна, точного перечня поддерживаемых модальностей, требований к памяти и результатов независимой оценки. Модель позиционируется как uncensored и heretic, поэтому её поведение и фильтрация могут отличаться от стандартных версий Qwen. Заявления о превосходстве над другими моделями основаны на описании авторов и не подтверждены приведёнными в README полными методиками тестирования. Лицензия — Apache-2.0.

Bolsjay24/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая языковая модель на базе Qwen3.6-27B, разработанная в сотрудничестве автора модели, Nightmedia, TeichAI, armand0e и trohrbaugh; сборка и тонкая настройка выполнялись с использованием Unsloth. Модель создана как многоэтапная fine-tune и merge-модель с применением наборов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets, а также Fable-, Claude Opus-, GPT5- и других обучающих материалов. Заявлены версии в форматах GGUF с обычным и MTP-квантованием, включая 4- и 8-битные варианты, а также NEO IMATRIX-кванты с частично сохранённой точностью выходного тензора. Модель предназначена для широкого спектра задач: следования инструкциям, решения проблем, рассуждений, программирования, творческого письма, ролевых сценариев и работы с изображениями. Среди заявленных характеристик — улучшенные instruction following, общее понимание и reasoning, поддержка vision, а также языки English и Chinese. В README утверждается, что модель превосходит базовую Qwen3.6-27B в шести из семи тестов и сопоставима с ней в седьмом, однако конкретные значения тестов и независимая методика подтверждения не приведены. Сильными сторонами заявлены высокая производительность на потребительском оборудовании, сохранение возможностей исходной модели, развитое рассуждение и хорошее качество даже у низкоразрядных квантов. Ограничения включают отсутствие подробных сведений о размере контекста, точной архитектуре, системных требованиях и фактических результатах бенчмарков; заявления о «нецензурируемом» поведении также указывают на возможное отсутствие стандартных ограничений безопасности. Лицензия — Apache-2.0.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Final-GGUF — мультимодальная модель в формате GGUF, основанная на HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель разработана автором LuffyTheFox с применением метода Genesis — посттренировочной числовой коррекции тензоров без дополнительного обучения или тонкой настройки. В README также упоминается исходная разработка Qwen и Tongyi Lab Alibaba Group. Модель предназначена для диалоговых сценариев, генерации текста, задач программирования и работы с изображениями благодаря заявленной поддержке vision и pipeline image-text-to-text. Указана архитектура MoE с 35 млрд параметров и 3 млрд активных параметров, однако размер контекста в README не приведён. Заявлены английский, китайский и мультиязычный режимы работы. Доступны режимы с рассуждением и без него, а также рекомендации по настройкам генерации и запуску на GPU. К заявленным сильным сторонам относятся отсутствие отказов в указанном тесте из 465 запросов, повышенная стабильность, ясность контекста и следование инструкциям после коррекции тензоров. При этом модель позиционируется как uncensored, поэтому может не применять стандартные ограничения безопасности. Фактическое качество, устойчивость, требования к памяти и поддержка конкретных мультимодальных сценариев зависят от выбранной квантизации и среды запуска. Модель распространяется по лицензии Apache-2.0.

Модель llamafy/Qwen-Qwen2.5-7B-llamafied — версия Qwen2.5-7B, преобразованная в формат Llama для совместимости с программами, поддерживающими этот формат. В метаданных указаны 7,1 млрд параметров, плотная архитектура с классом LlamaForCausalLM, библиотека Transformers и формат весов safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; также заявлен интерфейс вызова инструментов. Она поддерживает несколько языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Родная длина контекста — 4096 токенов. Лицензия в предоставленных данных не указана.