II.8Инженерия данных и аналитика

Llama3.3-70B-CogniLink-i1-GGUF — квантизированная GGUF-версия модели Daemontatox/Llama3.3-70B-CogniLink, подготовленная mradermacher. Это текстовая языковая модель семейства Llama с 70 миллиардами параметров, ориентированная на генерацию текста, выполнение инструкций и задачи, требующие рассуждений. Модель обучалась с использованием наборов данных Daemontatox/Deepthinking-COT и gghfez/QwQ-LongCoT-130K-cleaned; заявленный язык — английский. Поддержка других языков, мультимодальность и размер контекстного окна в README не указаны. Модель предназначена для локального запуска в приложениях и средах, совместимых с форматом GGUF. Доступно множество вариантов квантизации размером примерно от 15,4 до 58 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством; README отмечает, что вариант i1-Q4_K_M является быстрым и рекомендуемым, а некоторые низкобитные варианты имеют пониженное качество. К ограничениям относятся возможная потеря качества из-за квантизации, высокие требования к ресурсам у 70B-версии и отсутствие опубликованных в README количественных результатов тестирования. Модель распространяется по лицензии Apache-2.0.

Llama-3-8B-Ultra-Instruct-GGUF — квантованные версии инструкционной языковой модели Llama-3-8B-Ultra-Instruct. Исходная модель связана с elinas/Llama-3-8B-Ultra-Instruct и базируется на Undi95/Meta-Llama-3-8B-Instruct-hf; квантования подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, где важны автономность и умеренные требования к памяти. Это текстовая модель с примерно 8 млрд параметров, представленная в формате GGUF и совместимая с llama.cpp. Доступны варианты квантования от Q8_0 до IQ1_M размером примерно от 2,16 до 8,54 ГБ. Более качественными считаются Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4; низкобитные версии экономят память, но снижают качество. В README не указаны языки, размер контекста, поддержка других модальностей и результаты бенчмарков. Для работы следует использовать специальный chat-шаблон Llama 3 с ролями system, user и assistant. Модель подходит для локальных чат-ботов, генерации и преобразования текста, а также других задач следования инструкциям. Сильные стороны — широкий выбор квантований, возможность запуска на ограниченных ресурсах и сохранение высокого качества в старших вариантах. Ограничения связаны с потерями качества при сильном квантовании; варианты Q3 и ниже имеют заметно более низкое качество, а IQ1_M не рекомендуется. Лицензия указана как llama3.

Loxa-4B — языковая модель на 4 млрд параметров, опубликованная frameai. Она построена на плотной архитектуре семейства Llama и предназначена для генерации текста; в карточке также описаны сценарии классификации, ответов на вопросы, перевода и суммаризации. Модель поддерживает контекст до 131 072 токенов и работает через библиотеку Transformers; доступны веса в формате safetensors и интерфейсы чата и вызова инструментов. Модель рассчитана на исследовательскую и разработческую работу с текстом и кодом. Автор заявляет о работе на CPU и видеокартах GTX, однако не приводит проверяемых бенчмарков или подробностей обучения; заявленные 96% точности нельзя однозначно интерпретировать. Возможны предвзятые или фактически неверные ответы, поэтому результаты следует проверять, особенно в критически важных сценариях. Лицензия в предоставленных данных не указана.

Meta-Llama-3-8B-Instruct-GGUF — языковая модель для генерации текста, созданная Meta и представленная сообществом lmstudio-community в формате GGUF. Она основана на Meta-Llama-3-8B-Instruct и предназначена для диалоговых приложений, ответов на вопросы, следования инструкциям и других задач текстовой генерации. Указан английский язык и тип применения text-generation. Модель имеет 8 миллиардов параметров и относится к семейству Llama 3. В предоставленных данных не указаны точная архитектура, размер контекстного окна, доступные варианты квантования и дополнительные модальности, поэтому эти характеристики нельзя определить надёжно. Формат GGUF ориентирован на локальный запуск совместимыми средствами, включая приложения класса LM Studio. Модель может быть полезна для локальных текстовых помощников и других сценариев, где требуется выполнение инструкций на английском языке. Ограничения включают неизвестные параметры производительности, отсутствие подтверждённых мультиязычных возможностей и потенциальные ошибки или нежелательные ответы, характерные для генеративных языковых моделей. Использование регулируется Meta Llama 3 Community License: при распространении материалов или продуктов необходимо соблюдать условия лицензии, требования к атрибуции, Acceptable Use Policy и прочие ограничения Meta.

MiniCPM5-2B-Claude-Fable5-heretic — языковая модель для генерации текста и агентских сценариев, созданная RACER IS OP на основе SauravMahalik/MiniCPM5-2B-Claude-Fable5. Родительская модель получена дообучением openbmb/MiniCPM5-2B на агентских трассах, дистиллированных из Claude Fable-5 и других передовых моделей, а затем в этой версии поведение отказов было подавлено методом Heretic v1.4.0 посредством направленного редактирования весов, без дополнительного дообучения. Модель предназначена для многошагового следования инструкциям, диалогов, вызова функций и инструментов, а также разработки локальных и автономных агентов. Она поддерживает английский и китайский языки, имеет архитектуру Llama и около 2,57 млрд параметров. Доступны версии Safetensors и GGUF различных уровней квантования, благодаря чему модель рассчитана на запуск на потребительских GPU, CPU, Apple Silicon и небольших устройствах через llama.cpp, Ollama, LM Studio или Jan. Размер контекста в README не указан. К сильным сторонам относятся компактный размер, сохранение заявленных способностей к использованию инструментов и агентскому диалогу, а также значительно сниженное количество отказов по сравнению с родительской моделью: 3 из 100 против 89 из 100 в приведённом авторами тесте. При этом модель является uncensored-вариантом без исходных защитных ограничителей, поэтому её ответы требуют дополнительной проверки и мер безопасности. Приведённые показатели основаны на тестах авторов и не являются независимой оценкой; влияние абляции и квантования на качество может различаться. Модель распространяется по лицензии Apache-2.0.

JANGQ-AI/MiniMax-M2.7-JANG_3L — квантованная версия MiniMax M2.7 от Jinho Jang (JANGQ), подготовленная для запуска на компьютерах Mac с Apple Silicon через MLX. Это языковая MoE-модель для диалогов, генерации текста, рассуждений и работы с инструментами. Исходная модель MiniMaxAI/MiniMax-M2.7 содержит 228,7 млрд параметров; в этой сборке применена смешанная точность со средним размером около 3,08 бита и объёмом около 89 ГБ. Внимание и выходной слой сохранены в 8-битной точности, эмбеддинги — в 4-битной, а большая часть экспертных MLP-слоёв сжата до 3 бит; маршрутизатор экспертов хранится в float16. Метаданные каталога указывают 2,9 млрд параметров, поэтому размер модели в них расходится с описанием исходной модели в README. Модель предназначена для локального диалогового использования, сложных рассуждений и сценариев с вызовом инструментов. Она поддерживает контекст до 196 608 токенов и использует режим рассуждений перед ответом. README приводит результаты MMLU для профиля JANG_3L: 191 из 200 вопросов (95,5%), однако это оценка автора карточки, а результаты сравнения с исходной моделью отдельно не представлены. Для запуска требуются Mac с Apple Silicon и не менее 128 ГБ объединённой памяти; рекомендуется MLX Studio с загрузчиком JANG, поскольку стандартный mlx_lm не поддерживает эту смешанную точность. Автор указывает, что температура должна быть 1,0: жадная генерация и температура 0 могут привести к бесконечным циклам рассуждений. Лицензия MiniMax M2.7 запрещает коммерческое использование без предварительного письменного разрешения MiniMax.

Это сборка Mistral 7B Instruct v0.2 от Mistral AI, подготовленная Mozilla AI в формате llamafile. В её основе — плотная диалоговая модель Mistral, дообученная для генерации текста по инструкциям; базовая версия содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий включает варианты квантования разной разрядности, в том числе с заметной потерей качества на самых компактных настройках. Модель подходит для локального чат-общения, ответов на вопросы и выполнения текстовых инструкций через llama.cpp и совместимые интерфейсы. Формат llamafile упрощает запуск на обычных системах с ARM64 и AMD64; конкретные требования к памяти и качество зависят от выбранного файла. Модель не имеет встроенных механизмов модерации. Лицензия — Apache-2.0.

Mistral-7B-Instruct-v0.3-quantized.w4a16 — квантизированная версия языковой модели Mistral-7B-Instruct-v0.3, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов, генерации текста и выполнения инструкций. Она принимает текст и генерирует текст, поддерживает чатовый формат взаимодействия и рассчитана на работу через vLLM или Transformers. Модель использует архитектуру Mistral-v0.3 и содержит 7 миллиардов параметров; точная длина контекста в README не указана. Веса линейных слоёв внутри трансформерных блоков сжаты до INT4 с применением симметричной групповой квантизации и размером группы 128. Это уменьшает объём дискового хранения и требования к памяти GPU примерно на 25% по сравнению с представлением FP16. Квантизация выполнена с помощью AutoGPTQ. На OpenLLM benchmark версии 1 модель получила средний результат 65,08 против 66,42 у неквантизированной версии, что указывает на небольшое снижение качества при более экономичном размещении и запуске. Основные ограничения — ориентация на английский язык и отсутствие заявленной поддержки других языков; использование за пределами применимого законодательства не допускается. Лицензия Apache-2.0 разрешает коммерческое и исследовательское применение при соблюдении её условий. Дата выпуска — 11 июля 2024 года, версия 1.0.

Mistral-Nemo-Instruct-2407-FP8 — квантованная версия текстовой instruction-модели Mistral-Nemo-Instruct-2407, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов и чат-приложений. Весовые коэффициенты и активации линейных операторов в трансформерных блоках переведены в формат FP8 с использованием симметричной по-тензорной квантизации. Оптимизация сокращает число битов на параметр с 16 до 8, примерно вдвое уменьшает размер на диске и требования к GPU-памяти. Модель рассчитана на эффективный инференс с vLLM версии 0.5.0 и выше; в README для развертывания указан контекст до 4096 токенов. По данным OpenLLM Leaderboard v1, средний результат составляет 71,28 против 71,61 у неквантованной версии, что указывает на небольшую потерю качества при существенном снижении требований к ресурсам. К ограничениям относятся ориентация на английский язык и запрет использования в языках, отличных от английского, а также необходимость учитывать ограничения применимого законодательства. Модель распространяется по лицензии Apache 2.0. Дата выпуска — 18 июля 2024 года, версия 1.0.

RedHatAI/Mixtral-8x7B-Instruct-v0.1 — разговорная instruct-модель, опубликованная Red Hat AI на основе Mistral AI Mixtral-8x7B-Instruct-v0.1. Она предназначена для диалога и генерации текста по запросам, например для ответов на вопросы и объяснения понятий. Модель использует архитектуру Mixtral с разреженной экспертной маршрутизацией (MoE), содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст; в карточке заявлены английский, французский, итальянский, немецкий и испанский языки. README описывает развёртывание с vLLM, Red Hat Enterprise Linux AI и OpenShift AI. Модель распространяется по лицензии Apache-2.0. В README указано, что у неё нет встроенных механизмов модерации, поэтому сгенерированные ответы могут требовать отдельной фильтрации.

mT5-large — многоязычная модель Google на архитектуре T5 для преобразования текста в текст. Она содержит около 608,4 млн параметров и предварительно обучена на корпусе mC4, охватывающем 101 язык. Для выполнения прикладных задач модель необходимо дообучить на соответствующих данных. Модель предназначена как основа для последующей настройки под задачи генерации и преобразования текста, например перевода, суммаризации и ответов на вопросы. Она поддерживает многоязычные сценарии; среди языков корпуса есть русский и английский. В репозитории доступны веса PyTorch, TensorFlow и Flax. Лицензия — Apache-2.0.

Muse-Glimmer-30B-CoreAI — это квантованный текстовый декодер модели Meta Muse-Glimmer-30B, подготовленный для запуска в Apple Core AI, преемнике Core ML. Модель предназначена для локальной генерации текста на устройствах Apple с macOS 27 и соответствующей поддержкой Core AI; заявлены сценарии диалога, работы с кодом, пошаговых рассуждений и вызова инструментов. Перцептивный энкодер исходной агентной VLM в комплект не входит, поэтому данная версия работает только с текстом. Модель имеет около 30 млрд параметров; используется формат Core AI .aimodel и 4-битная квантизация int4hu. Размер артефакта составляет 16,35 ГБ. В описании упоминается окно контекста до 2048 токенов и запуск на GPU или Neural Engine через Apple Core AI. На Mac Studio с M4 Max заявлена скорость декодирования около 26,69 токена в секунду без спекулятивного декодирования, а для отдельных задач с n-gram drafting — до 53,71 токена в секунду. Спекулятивное декодирование не требует дополнительных весов и, по приведённым тестам, сохраняет побайтно идентичный результат. Сильными сторонами являются локальный запуск, сравнительно небольшой для 30B-модели размер, поддержка Apple Silicon и высокая скорость генерации; результаты зависят от сценария, длины генерации, охлаждения устройства и параметров спекулятивного декодирования. Ограничения включают отсутствие визуального энкодера, ограниченное контекстное окно, зависимость производительности от оборудования и отсутствие универсальности приведённых бенчмарков. Модель распространяется по лицензии Apache-2.0.

OLMo-2-1124-7B-SFT — языковая модель Allen Institute for AI (AI2), представляющая собой версию OLMo 2 7B с supervised fine-tuning на варианте набора Tülu 3. Плотная авторегрессионная архитектура OLMo 2 содержит 6,9 млрд параметров; модель работает с текстом, поддерживает диалоговый режим и принимает контекст длиной до 4096 токенов. Основной язык — английский. Модель предназначена для диалогов и широкого круга текстовых задач, включая математические рассуждения, ответы на вопросы и выполнение инструкций. Она обучалась на смеси общедоступных, синтетических и созданных людьми данных, включая набор Tülu 3. Для загрузки и запуска используется библиотека Transformers; веса доступны в формате PyTorch. Лицензия — Apache 2.0. В README отмечено, что у OLMo-2 ограничено обучение безопасности: модель может выдавать проблемный контент, особенно при соответствующих запросах; автоматическая фильтрация ответов не встроена.

facebook/opt-iml-max-30b — большая языковая модель семейства OPT, разработанная Meta AI и дообученная по инструкциям в рамках проекта OPT-IML. Версия OPT-IML-Max обучалась на примерно 2000 задачах обработки естественного языка из восьми бенчмарков, включая Super-NaturalInstructions, FLAN и PromptSource. Модель предназначена для генерации текста по инструкциям и выполнения разнообразных языковых задач. Это плотная авторегрессионная модель с архитектурой OPTForCausalLM и 39,8 млрд параметров; максимальный контекст составляет 2048 токенов. Модель распространяется в формате PyTorch. По оценке авторов, OPT-IML превосходит базовую OPT на ряде оценок. Как и другие большие языковые модели, она может выдавать фактически неверные ответы, токсичный текст и стереотипные формулировки. В метаданных указана лицензия other; конкретные условия следует проверять на странице модели.

jaromer/outsourc-e-Qwen3.8-27B-Unleashed-GGUF — это квантованная GGUF-версия uncensored-модели Qwen3.8-27B. В основе лежит JonathanColetti/Qwen3.8-27B-Uncensored; файлы подготовлены с использованием подхода Unsloth Dynamic 3.0, а карта динамического распределения битов применена к этим весам с соответствующей importance matrix. Модель предназначена для генерации текста и может использоваться локально через совместимые инструменты, включая llama.cpp. Модель содержит около 27 млрд параметров, поддерживает текстовую модальность, английский и китайский языки и контекст до 262 144 токенов. Доступно девять уровней квантования, включая UD-IQ1_M, UD-IQ2_S, UD-IQ3_XXS, UD-Q3_K_XL и UD-IQ4_XS. Динамическое распределение битов сохраняет более высокую точность в чувствительных тензорах и сильнее сжимает менее критичные, что, по заявленным измерениям, позволяет варианту UD-Q3_K_XL превзойти протестированные варианты Q4 по perplexity при меньшем размере. Для него также заявлена проверенная работа с длинным контекстом и извлечение данных на 250 806 токенах. Сильными сторонами являются uncensored-характер модели, широкий выбор квантов, эффективное соотношение качества и размера, а также поддержка очень длинного контекста. Ограничения включают зависимость скорости и качества от конкретного уровня квантования, оборудования и настроек запуска; приведённые показатели измерены на RTX 4090 с llama.cpp и не гарантируют аналогичные результаты в других конфигурациях. Для некоторых квантов полный набор тестов скорости и извлечения ещё не завершён. Модель распространяется по лицензии Apache 2.0.

Phi-3-medium-4k-instruct-IMat-GGUF — квантизированная версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft. Релиз подготовлен пользователем legraphista с использованием llama.cpp и представлен в формате GGUF для локального запуска и генерации текста. Модель предназначена для диалоговых сценариев, выполнения инструкций и других задач текстовой генерации. Исходная модель использует формат BF16, а репозиторий содержит варианты с разными уровнями точности и размером от 4,13 до 27,92 ГБ: FP16, BF16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантизации. Для ряда вариантов применена IMatrix-квантизация, позволяющая уменьшить размер модели с сохранением качества по сравнению с обычной квантизацией. Указаны мультиязычная поддержка и контекст до 4096 токенов; доступна только текстовая модальность. Преимущества модели — широкий выбор вариантов квантизации, возможность подбора соотношения качества и требований к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают потерю качества при использовании наиболее компактных вариантов и высокие требования к ресурсам для полноточных версий; конкретные языки, архитектурные детали и результаты оценки в README не указаны. Модель распространяется по лицензии MIT.

MaziyarPanahi/Phi-4-mini-instruct-GGUF — это набор квантованных файлов в формате GGUF для исходной модели microsoft/Phi-4-mini-instruct. Базовую модель разработала Microsoft, а квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Набор содержит варианты с квантованием 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов. Архитектура, количество параметров, поддерживаемые языки и размер контекста в предоставленных данных не указаны. Ключевые преимущества — доступность нескольких уровней квантования и совместимость с широким набором локальных средств запуска, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Ограничения связаны с потерями качества, возможными при низкобитном квантовании, а также с зависимостью характеристик производительности от выбранного варианта и оборудования. Лицензия в README не указана.

MaziyarPanahi/pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана методом Slerp из mistralai/Mistral-7B-Instruct-v0.1 и TokenBender/pic_7B_mistral_Full_v0.2; в конфигурации указан формат bfloat16, а файлы репозитория представлены в safetensors. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Её контекстное окно составляет 32 768 токенов. Карточка не сообщает о специализированной предметной области или отдельных языковых возможностях. Модель распространяется по лицензии Apache-2.0.

INTELLECT-3-GGUF — набор квантизированных версий языковой модели INTELLECT-3, разработанной Prime Intellect. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, задач рассуждения, агентских сценариев и применений, связанных с reinforcement learning и verifiers; запуск возможен через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В репозитории представлены файлы в формате GGUF с уровнями квантизации от Q8_0 до вариантов Q2 и IQ. Размеры файлов составляют примерно от 44,71 до 113,61 ГБ. Более высокие уровни, включая Q6_K, Q5_K_M и Q5_K_S, обеспечивают близкое к исходному качество, тогда как низкие уровни экономят память за счёт качества. README также отмечает архитектурную принадлежность к mixture-of-experts и поддержку английского языка, однако точные размеры модели, параметры контекста и полный набор модальностей не указаны. Модель ориентирована на локальный запуск и предлагает выбор между качеством, требованиями к памяти и скоростью инференса. Ограничениями являются значительный объём файлов даже для компактных вариантов и потенциальное снижение качества при использовании низких уровней квантизации. Распространение выполняется по лицензии MIT; базовая модель указана как PrimeIntellect/INTELLECT-3.

ProCreations_grug-27b-GGUF — это GGUF-квантизация модели grug-27b, разработанной ProCreations. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; базовая модель связана с датасетами ProCreations/grug-think-v3-10k и ProCreations/grug-think. Модель ориентирована на задачи рассуждений, экономного использования токенов, агентских сценариев и работы с инструментами. В карточке также указана модальность image-text-to-text и поддержка английского языка. Модель содержит 27 миллиардов параметров. Доступны варианты от BF16 до различных уровней квантизации, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и более компактные форматы. Высококачественные варианты обеспечивают близкое к исходной модели качество, а менее точные требуют меньше оперативной памяти и подходят для локального запуска на ограниченных ресурсах. Файлы предназначены для использования с llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другими совместимыми инструментами. В README не указаны архитектура исходной модели, размер контекстного окна, точные мультимодальные возможности и результаты бенчмарков, поэтому их нельзя оценить по имеющимся данным. Для работы требуется приложение с поддержкой соответствующей модели и формата prompt; в качестве лицензии указана Apache-2.0.

Qwen3-4B-Instruct-2507-NVFP4 — это квантизированная версия инструкционной языковой модели Qwen/Qwen3-4B-Instruct-2507, опубликованная под идентификатором llmat/Qwen3-4B-Instruct-2507-NVFP4. Квантизация выполнена с помощью llmcompressor по схеме NVFP4: она применяется к линейным слоям, а слой lm_head исключён. Для калибровки использовано 512 образцов, максимальная длина последовательности при калибровке составляла 2048 токенов. Модель предназначена для генерации текста и диалоговых сценариев с применением инструкций, включая развёртывание через backend vLLM и OpenAI-совместимый сервер. В README не указаны точные поддерживаемые языки, максимальная длина контекста исходной модели, модальности или архитектурные детали помимо квантизации и принадлежности к семейству Qwen. Основное преимущество — потенциально более эффективное по ресурсам выполнение благодаря NVFP4-квантизации; возможным ограничением является влияние квантизации на качество, однако количественные результаты оценки не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP-RFA_S — это смешанная малобитная квантованная версия модели Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-MTP. Базовую модель разработал DavidAU совместно с Nightmedia, TeichAI, armand0e и trohrbaugh; репозиторий квантования поддерживает tcclaviger. Модель основана на Qwen3.6 с 27 млрд параметров и предназначена для широкого круга задач: следования инструкциям, решения задач, рассуждений, программирования, творческого письма, сторителлинга и ролевого взаимодействия. В карточке заявлена поддержка английского и китайского языков, а также текстово-графического сценария, однако размер контекста не указан. Версия RFA_S использует смешанную точность: основные dense MLP-слои, часть attention-блоков и MTP-блок квантованы в RFA 4-bit, линейное и gated-delta attention — в RFI int8 W8A8, а отдельные компоненты, включая vision tower, embeddings и lm_head, сохранены в bf16. Всего квантовано 405 модулей, общий размер составляет около 22,97 ГБ. Такой подход уменьшает требования к памяти по сравнению с менее агрессивной сборкой, сохраняя часть компонентов в более высокой точности. Ключевые ограничения связаны с совместимостью: требуется специальный образ tcclaviger/vllm:dev или более новый runtime с поддержкой RFA/RFI и оборудования RDNA 4 (gfx12xx); работа на другом оборудовании не подтверждена. Это не самостоятельная дообученная архитектура, а численно изменённая квантованная сборка родительской модели. Лицензия указана как Apache-2.0.

RodKykis/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — мультимодальная модель на базе Qwen3.6-27B, представленная в формате GGUF. Она создана как результат многоэтапного дообучения и слияния моделей при участии RodKykis, DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh; при обучении использовались, в частности, наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель поддерживает английский и китайский языки, а также обработку изображений, однако точный размер контекстного окна в README не указан. Основное назначение модели — универсальная работа с инструкциями, решение задач, рассуждения, генерация кода, творческое письмо, художественная проза и roleplay. Заявлены улучшенные instruction following, общее решение задач и reasoning. Модель позиционируется как uncensored и heretic-вариант без заявленного изменения базовых возможностей Qwen; при этом README содержит маркетинговые заявления о превосходстве над рядом базовых моделей, которые не следует считать независимой проверкой качества. Репозиторий включает обычные и MTP-варианты GGUF-квантов, выполненные с использованием NEO IMATRIX; часть выходного тензора сохранена в 16-битной точности. Для MTP-вариантов рекомендуется температура не выше 1 и отключённый repetition penalty; при низком уровне token acceptance советуется использовать обычные кванты. Доступны варианты для различных ограничений памяти и конфигураций AMD/Vulkan. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR выпустила GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled, дообученной на базе Qwen/Qwen3.6-35B-A3B с дистилляцией рассуждений Claude 4.7 Opus. Это текстовая MoE-модель для диалогов и генерации ответов; архитектура использует 35 млрд параметров, около 3 млрд из которых активны на токен. Контекст составляет 262 144 токена, поддержка изображений отсутствует. Эксперты квантизированы в MXFP4, остальные веса — в Q8_0, веса маршрутизатора хранятся в F32; файл GGUF занимает около 18,87 ГБ. Модель можно запускать через llama.cpp, например как сервер для диалогового приложения. Лицензия — Apache 2.0.

Nickyang выпустил производную версию Qwen3.6-35B-A3B, созданную методом RAZOR — без градиентного дообучения удалена половина маршрутизируемых экспертов в каждом MoE-слое. В модели оставлено 128 из 256 экспертов на слой; размер составляет 19,4 млрд параметров, или 19,0 млрд без модуля MTP, при примерно 3 млрд активных параметров на токен. Остальные веса, включая внимание, общий эксперт, эмбеддинги, языковую голову и оставшиеся строки маршрутизатора, сохранены. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Она использует архитектуру Qwen3.5 MoE и формат safetensors с весами bfloat16. Для запуска требуется версия Transformers со встроенной поддержкой qwen3_5_moe. README не сообщает контекстное окно и языковой охват этой производной модели. Удаление экспертов сокращает объём хранимых экспертных весов, сохраняя примерно прежние вычисления на токен. Обрезка с потерями: ответы могут отличаться по разнообразию, форматированию и завершению, даже если точность на задачах в основном сохраняется; поведение вне конечного многодоменного калибровочного набора не охарактеризовано. Лицензия — Apache-2.0.

lued/Qwen3.8-27B-INT8-W8A16-MTP — это квантизированная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель не является дообученной версией: в ней применена числовая квантизация для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Она предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, а также для инференса с ускорением speculative decoding посредством MTP. Используется формат W8A16: веса представлены в INT8, а активации — в FP16 или BF16; размер группы квантизации — 128, применяется симметричная data-free RTN-квантизация. Сохраняются vision tower, управляющие механизмы reasoning, BF16 MTP head и контекстное окно до 262 144 токенов. Модель поддерживает FP8 E4M3 KV-кэш; заявлена возможность расширения контекста до 1 млн токенов через YaRN на уровне исходной модели, однако приведённая конфигурация памяти этого не поддерживает. Сильной стороной является высокая близость к BF16-версии: заявлены 99,36% совпадения top-1 и меньший дрейф весов по сравнению с официальной FP8-версией. Ограничения связаны с требованиями к памяти и текущей стабильностью многопоточного обслуживания: на проверенной версии vLLM параллельные запросы могут приводить к сбоям движка. Производительность зависит от длины контекста и принятия черновых токенов MTP; при длинных запросах время до первого токена существенно возрастает. Данные о функциональном качестве, использовании инструментов, генерации JSON, программировании и мультимодальных возможностях в карточке не приведены. Модель распространяется по лицензии Apache 2.0.

timteh673/Qwen3.8-27B-Opus-Reasoning-Control-BF16 — мультимодальная модель для диалога и рассуждений, созданная timteh673 на основе Qwen/Qwen3.8-27B. Это дообученный QLoRA-чекпойнт, объединённый с базовой моделью и опубликованный в формате BF16 для Transformers; архитектура Qwen3_5ForConditionalGeneration объединяет текстовую часть на 27 млрд параметров и визуальный энкодер. Модель принимает текст и изображения и выдаёт текст; заявленный предел контекста — 262 144 токена. Вариант служит контрольным чекпойнтом для сравнения с версией Abliterix и резервной моделью семейства, а не официальной базовой моделью Qwen. Он предназначен для многошаговых рассуждений, диалога и анализа изображений. В локальных тестах проекта контрольная версия чаще отказывала на вредоносных запросах и уступила выбранной версии семейства по ряду метрик, но была сильнее на полном наборе задач по коду. Эти результаты не являются официальными бенчмарками и могут не переноситься на другие условия. Модель распространяется по лицензии Apache-2.0; BF16-чекпойнт велик и требует значительной памяти ускорителя.

Qwen3.8-27B-Quark-AWQ-INT4-W4A16 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная с использованием AMD Quark компанией Advanced Micro Devices, Inc. Модель предназначена для задач генерации текста и, согласно метаданным карточки, относится к классу image-text-to-text. Подробные сведения о поддерживаемых языках и полном наборе модальностей не указаны. Используется 4-битное квантизирование весов по алгоритму AWQ с группой размера 128 (W4A16): веса представлены в INT4, активации сохраняются в BF16. Калибровка выполнена на 128 образцах с длиной последовательности 512 токенов. Размер базовой модели — 27B параметров. В тестах модель сохранила близкую к исходной BF16-версии производительность на GSM8K, Wikitext и однопоточных сценариях BFCL; однако результаты зависят от режима генерации и настроек оценки. Основное преимущество — снижение требований к памяти за счёт квантизации при сохранении большей части качества базовой модели. Ограничения включают возможные потери точности по сравнению с BF16-версией и необходимость совместимого inference runtime с поддержкой схемы W4A16Int4, например соответствующей конфигурации vLLM и AMD Quark. Базовая модель распространяется по лицензии Apache 2.0; для модификаций указаны авторские права Advanced Micro Devices, Inc. за 2026 год.

PrimeIntellect/Qwen3-8B — копия модели Qwen/Qwen3-8B с шаблоном чата, поддерживающим многоходовые диалоги и вызовы инструментов. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста в формате диалога. Модель принимает текст и выдаёт текст; её контекстное окно составляет 40 960 токенов. Модель основана на Qwen/Qwen3-8B-Base и адаптирована для использования с совместимым с вызовом инструментов шаблоном чата. Репозиторий распространяется в формате Safetensors; библиотека для работы — Transformers. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-GGUF — набор GGUF-квантизаций базовой модели Qwen3.8-Flash-Next, разработанной Qwen и сконвертированной с помощью llama.cpp пользователем 6block. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, включая llama.cpp. В README указана поддержка английского и китайского языков. Модель имеет 180 млрд параметров: MoE-ядро объёмом 125 млрд параметров с 48 слоями и 512 экспертами, из которых для токена выбираются 10 экспертов и один общий, а также 51-миллиардная PLE n-граммная таблица. Используется гибридное внимание: линейное внимание Gated DeltaNet чередуется с блоками Qwen Sparse Attention и дополняется hyper-connections. Заявленная длина контекста — до 262 тысяч токенов. Один слой MTP для чернового прогнозирования был исключён при конвертации. Доступны варианты BF16, IQ4_XS, IQ3_XXS, IQ2_XS-layered и IQ1_M-layered размером примерно от 76,4 до 329,7 ГиБ. Квантизация откалибрована с использованием imatrix; каждый вариант поставляется в восьми shards. Layered-варианты сильнее сжимают PLE-таблицу и сохраняют более высокую точность критичных компонентов, что по данным README улучшает показатель perplexity по сравнению с равномерной квантизацией при сопоставимом или меньшем размере. Основные ограничения — очень большой объём файлов, необходимость загрузки всех восьми частей и зависимость от совместимого ПО и доступной памяти. Модель распространяется по Qwen Community License 1.0, а не по MIT.