I.11Классификация, ранжирование и сопоставление

Midnight-Miqu-103B-v1.0 — языковая модель, созданная sophosympatheia методом passthrough-слияния слоёв Midnight-Miqu-70B-v1.0 с самой собой. Это плотная авторегрессионная модель семейства Llama на 102,9 млрд параметров, распространяемая в формате safetensors для Transformers; карточка заявляет контекст до 32 тыс. токенов и возможность диалогового использования. Модель предназначена для генерации текста и ответов в чате с длинным контекстом. В карточке приведены ссылки на отдельные сторонние квантованные сборки GGUF и EXL2; сам репозиторий содержит safetensors. Лицензия указана как other, поэтому условия использования следует сверить с файлами и сведениями лицензии репозитория. README отсылает к карточке базовой Midnight-Miqu-70B-v1.0 за подробностями применения, поэтому конкретные языки, качество и ограничения здесь не уточнены.

openbmb/MiniCPM3-4B-GGUF — это набор файлов модели MiniCPM3-4B в формате GGUF, разработанной командой OpenBMB. Репозиторий содержит варианты minicpm3-4b-fp16.gguf и minicpm3-4b-q4_k_m.gguf. Модель предназначена для локального запуска в совместимой с GGUF инфраструктуре; конкретные сценарии применения, архитектура, размер контекста и поддерживаемые модальности в представленном README не указаны. Известно, что заявлены английский и китайский языки, а базовой моделью является openbmb/MiniCPM3-4B. Варианты FP16 и Q4_K_M различаются способом хранения и уровнем квантования, что может влиять на требования к памяти и качество работы. Лицензия и ограничения использования в README не указаны. Для подробностей по применению предлагается обратиться к репозиторию OpenBMB/MiniCPM.

Карточка модели NostraEmpire/mirror-smollm2-1.7b-instruct на Hugging Face совпадает с карточкой HuggingFaceTB/SmolLM2-1.7B-Instruct, поэтому описание составлено по ней. SmolLM2-1.7B-Instruct — компактная языковая модель Hugging Face на 1,7 млрд параметров, дообученная на базе HuggingFaceTB/SmolLM2-1.7B. Это плотный Transformer-декодер семейства Llama для генерации текста и диалогов; модель поддерживает контекст до 8192 токенов и рассчитана на запуск на устройстве. Версия Instruct прошла supervised fine-tuning и Direct Preference Optimization. Она предназначена для следования инструкциям, переписывания и суммаризации текста, а также вызова функций. Модель ориентирована прежде всего на английский язык; репозиторий содержит веса Safetensors и формат ONNX. Лицензия — Apache-2.0. По сравнению с предыдущей версией семейства улучшены следование инструкциям, знания, рассуждения и математика, однако ответы могут содержать фактические ошибки, быть логически непоследовательными или отражать смещения обучающих данных. Важную информацию следует проверять; модель не заменяет экспертную оценку.

Mistral-7B-v0.1-flashback-v2-instruct — шведско-английская инструктивная языковая модель timpal0l, созданная дообучением timpal0l/Mistral-7B-v0.1-flashback-v2 на машинно переведённом наборе инструкций OpenHermes 2.5. Она предназначена для диалогов и генерации ответов на инструкции; использовать её можно, например, через библиотеку Transformers.

Mistral-grok-instract-2-7B-slerp — объединённая автором модель для генерации текста и диалоговых ответов. Она создана методом slerp через LazyMergekit на основе mistralai/Mistral-7B-Instruct-v0.2 и HuggingFaceH4/mistral-7b-grok; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и рассчитана на диалоговый режим. Модель можно применять для ответов на инструкции, ведения диалога и генерации текста. В репозитории представлены веса в форматах Safetensors и GGUF. Лицензия — MIT. Отдельные сведения о сравнительной точности или результатах оценки в карточке не приведены.

Molmo 7B-O — открытая мультимодальная модель семейства Molmo, разработанного Allen Institute for AI. Она принимает изображения и текстовые запросы и генерирует текстовые ответы, например описания, ответы на вопросы о содержимом изображения и результаты визуального анализа. Модель обучена на парных данных изображений и текста PixMo и использует языковую основу OLMo и визуальный энкодер OpenAI CLIP. Это предварительная версия Molmo с плотной архитектурой и 11,2 млрд параметров. Нативный контекст составляет 4096 токенов. В карточке приведены результаты на наборах для визуальных вопросов и ответов, понимания диаграмм и документов, распознавания текста на изображениях, математики и подсчёта объектов. Модель доступна в формате safetensors и предназначена для диалогового взаимодействия с изображениями. Модель опубликована под лицензией Apache-2.0. README предупреждает, что она может испытывать трудности с прозрачными изображениями; для корректной обработки изображения должны быть в RGB.

Moonlight-16B-A3B-Instruct-MXFP4_MOE-GGUF — квантованная в формате GGUF модель Moonlight-16B-A3B-Instruct, опубликованная пользователем noctrex. Это чат-модель для генерации текста и выполнения инструкций на основе архитектуры Mixture-of-Experts; она имеет 16 млрд общих и около 3 млрд активных параметров. Модель предназначена для диалогов и генерации ответов на текстовые запросы. Вариант MXFP4_MOE использует квантование MXFP4 и распространяется в формате GGUF. Сведения о поддерживаемых языках, длине контекста и лицензии в предоставленных данных отсутствуют.

Kimi-K2-Thinking-GGUF — это набор квантованных GGUF-версий языковой модели Kimi-K2-Thinking, разработанной moonshotai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска через llama.cpp, LM Studio и другие совместимые проекты, включая локальный инференс. В набор входят варианты квантования Q8_0, Q6_K, Q5_K_M, Q4_K_M, IQ4_XS и другие, с размером файлов примерно от 283 до 1090 ГБ среди указанных версий. Более крупные варианты обычно обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но заметно уступают по качеству; README рекомендует, в частности, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS в зависимости от доступных ресурсов. Сведения об архитектуре, числе параметров, поддерживаемых языках, модальностях и размере контекста в карточке отсутствуют. Преимущество набора — широкий выбор квантований и совместимость с экосистемой llama.cpp. Ограничениями являются очень большие требования к дисковому пространству и памяти даже у наиболее компактных вариантов, а также возможное снижение качества при низком уровне квантования. Формат prompt не указан. Для модели заявлена лицензия modified-MIT, при этом в метаданных также указано значение other; перед использованием следует проверить условия лицензии исходной модели moonshotai/Kimi-K2-Thinking.

debisoft/mpt-7b-8k-instruct-peft-compatible — версия MPT-7B-Instruct-8k, подготовленная на основе eluzhnica/mpt-7b-8k-instruct-peft-compatible. Модель разработана MosaicML и дообучена для выполнения инструкций, в частности для ответов на вопросы и суммаризации длинных документов. В обучении использовались Dolly HHRLHF и наборы данных для математики, диалогов, вопросов по документам и других задач. Это плотный decoder-only трансформер MPTForCausalLM с 6,7 млрд параметров и 32 слоями. Архитектура использует FlashAttention и ALiBi без позиционных эмбеддингов. Модель предназначена для генерации текста; заявлен контекст 8k токенов в названии и описании исходной модели. Для загрузки через Transformers требуется доверенное выполнение пользовательского кода. Лицензия — CC-BY-SA-3.0. Модель подходит для ответов на вопросы и краткого изложения длинных текстов, однако может выдавать фактически неверные, предвзятые или оскорбительные ответы. README не сообщает о специальной поддержке русского языка; основные обучающие данные описаны как англоязычные.

zelk12 выпустил MT1-Gen4-GI-gemma-2-9B — объединение двух предварительно обученных языковых моделей с помощью метода SLERP и инструментария mergekit. Это плотная авторегрессионная модель семейства Gemma 2 с 9 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; базовой моделью в конфигурации слияния указана zelk12/MT1-Gen4-GP-gemma-2-S4S5-9B. Модель принимает текст и генерирует текст, поддерживая контекст до 8192 токенов. Данные не описывают специализацию по предметной области или отдельные языки; явные сведения о лицензии отсутствуют, поэтому условия использования следует уточнить в карточке модели и условиях базовых моделей. Слияние объединяет веса моделей, но само по себе не гарантирует улучшения качества или одинакового поведения во всех задачах.

zelk12/MT-Gen3-gemma-2-9B — объединённая авторами модель на базе Gemma 2, собранная методом SLERP с помощью mergekit из zelk12/MT-Gen3-GB-gemma-2-9B и zelk12/MT-Gen3-IMMMUMA-gemma-2-9B. Это плотная языковая модель с 9 млрд параметров для генерации текста и диалогового взаимодействия; она принимает текст и формирует текстовые ответы. Модель доступна в формате safetensors для Transformers, а README также содержит раздел о статических квантованных сборках GGUF. Контекст — до 8192 токенов. В карточке приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH, но описание сценариев обучения и целевой специализации объединённой модели отсутствует. Для использования доступны веса модели; лицензия в предоставленных данных не указана.

gkraker04/Nanbeige4.2-3B-GGUF — это набор квантованных версий компактной языковой модели Nanbeige4.2-3B, разработанной Nanbeige. Модель предназначена для генерации текста, агентских сценариев и задач, требующих многошагового рассуждения. Она построена на архитектуре Looped Transformer, поддерживает английский и китайский языки и распространяется в формате GGUF для запуска в совместимых средах, включая llama.cpp с поддержкой архитектуры Nanbeige. Репозиторий содержит варианты квантования от Q8_0 до Q2_K и IQ-семейства размером примерно от 1,36 до 4,13 ГБ; исходная версия bf16 занимает 7,77 ГБ. В качестве компромисса между качеством и требованиями к памяти рекомендуется Q4_K_M размером около 2,40 ГБ. Квантование выполнено с использованием importance matrix, что помогает сохранять качество при уменьшении размера. Для Q4_K_M заявлены близкие к bf16 показатели perplexity, однако результаты зависят от типа квантования: при сильном уменьшении разрядности заметно ухудшаются многошаговое рассуждение и точность. Модель подходит для локального запуска на устройствах с ограниченными ресурсами, генерации текста, программирования и экспериментальных агентских приложений. Точные характеристики контекстного окна, сведения о мультимодальности и подробные ограничения исходной модели в README не указаны; по представленным данным это текстовая, а не мультимодальная модель. Репозиторий распространяется по лицензии Apache 2.0.

Nanbeige4-3B-Base — базовая языковая модель из семейства Nanbeige четвёртого поколения, разработанная командой Nanbeige. Модель содержит 3,5 млрд параметров, построена на плотной архитектуре Llama и предназначена для генерации текста и дальнейшей адаптации под прикладные задачи, например через supervised fine-tuning. В обучении использовался корпус из веб-текстов, книг, кода и научных статей, дополненный синтетическими данными для вопросов и ответов и рассуждений. Модель принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В карточке указаны английский и китайский языки. Разработчики сообщают о сильных результатах после дообучения на математических задачах и тестах на научные знания, в отдельных сравнениях превосходящих модели большего размера. Это базовый чекпойнт, поэтому для диалогового использования может потребоваться дополнительная настройка. Модель распространяется по лицензии Apache-2.0. Как и другие вероятностные языковые модели, она может выдавать ошибочную или неожиданную информацию, а также предвзятые или дискриминационные ответы. Разработчики не гарантируют отсутствие такого контента.

Noromaid-7b-v0.1.1-Mistral-7B-Instruct-v0.1 — диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.1 и NeverSleep/Noromaid-7b-v0.1.1 методом SLERP. Модель содержит 7,1 млрд параметров, представлена в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста по инструкциям и ведения диалогов. Её можно применять для ответов на вопросы, написания текстов и интерактивных чат-сценариев. Карточка не сообщает специальных предметных областей или перечня поддерживаемых естественных языков. Модель распространяется по лицензии Apache-2.0. Качество ответов и безопасность генерации могут зависеть от запроса; сведений о специальных мерах защиты или оценках качества в карточке нет.

NVIDIA Nemotron 3.5 Lightning 30B-A3B GGUF — это набор общественных GGUF-квантизаций базовой модели NVIDIA Nemotron 3.5 Lightning 30B-A3B-BF16, опубликованный пользователем vcruz305. Модель предназначена для генерации текста и локального запуска через совместимые движки, включая llama.cpp. Она использует MoE-архитектуру с заявленным размером 30B-A3B и стандартной 52-слойной инференс-моделью. При преобразовании в GGUF дополнительная MTP prediction head была удалена; опубликованные файлы прошли проверку загрузки и генерации. Доступны варианты от смешанных низкобитных квантизаций 2.47 BPW и 2.97 BPW до MXFP4_MOE, IQ4_NL, Q4_0, Q5_0 и Q8_0. Размер файлов составляет примерно от 9,76 до 33,59 ГБ, поэтому требования к видеопамяти зависят от выбранной квантизации, длины контекста, KV-кэша и настроек запуска. Для систем с 24 ГБ VRAM подходят MXFP4_MOE, IQ4_NL и Q4_0, а Q8_0 рассчитан преимущественно на видеокарты с 40–48 ГБ памяти и более. Языки, максимальная длина контекста и мультимодальные возможности в README не указаны. Сильные стороны набора — широкий выбор компромиссов между качеством, размером и скоростью, поддержка локального инференса и успешные тесты на видеокартах с разным объёмом памяти. Для агентных сценариев автор рекомендует MXFP4_MOE: в описанных детерминированных тестах она показала лучший результат. Ограничения включают зависимость производительности от оборудования и версии llama.cpp, необходимость частичной выгрузки на GPU для некоторых конфигураций, а также отсутствие формального сравнительного теста качества. Модель распространяется по лицензии openmdw-1.1; это сторонние квантизации базовой модели, а не оригинальный релиз NVIDIA.

Omega AI 14B — диалоговая языковая модель семейства Omega AI, основанная на дообученной Qwen/Qwen3-14B. Это плотная причинная модель архитектуры Qwen3 с 14 млрд параметров; репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогов, а метаданные также указывают интерфейс вызова инструментов. Контекст составляет 40 960 токенов. Модель подходит для диалоговых помощников и генерации ответов на текстовые запросы. README называет её рабочим кандидатом, но не приводит результатов оценки качества или подробных рекомендаций по применению. Условия использования и атрибуции исходной модели Qwen3-14B сохраняются; отдельная лицензия Omega AI в карточке не указана.

OpenBuddy-mistral-7b-v13.1 — многоязычная чат-модель проекта OpenBuddy на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для диалогов и генерации текста; заявлены языки китайский, английский, французский, немецкий, японский, корейский, итальянский и русский. Модель принимает текст и генерирует текст, длина контекста составляет 32 768 токенов. Модель распространяется под лицензией Apache 2.0. В README отмечено, что ответы могут быть ошибочными, вредными или оскорбительными; модель не следует использовать для критически важных решений в медицине, управлении потенциально опасными системами, финансах и праве. Она предоставляется без гарантий.

Ornith-1.5-35B-A3B-ROCmFPX-AGENT-GGUF — это квантованный вариант мультимодальной модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель распространяется в формате GGUF и предназначена для генерации текста, работы с изображениями, агентских сценариев и вызова инструментов. Она использует архитектуру Mixture-of-Experts с 256 экспертами и примерно 3 млрд активных параметров, а также встроенную MTP-голову для speculative decoding. В репозитории представлены варианты Q6_0 и Q8_0 ROCmFPX AGENT, размером примерно 30,89–34,74 GiB и с повышенной точностью отдельных компонентов, включая output.weight, что ориентировано на качество tool calling и принятия speculative draft. В комплект входит vision projector. Проверена работа с текстом и изображениями; заявлены контекст 4096 токенов и поддержка мультимодального ввода, однако перечень языков отдельно не указан. Модель оптимизирована для AMD Strix Halo, включая Ryzen AI MAX+ 395 с 128 ГБ объединённой памяти, и требует сборки llama.cpp с поддержкой ROCmFPX и ROCm 7.2.4. Она не загружается в стандартные llama.cpp, Ollama или LM Studio. Встроенный MTP в измерениях не ускорил, а замедлил генерацию, поэтому его применение ограничено экспериментальными сценариями. Лицензия — Apache-2.0.

Ornith-Agents-A1 — объединённая мультимодальная модель, созданная автором карточки с помощью mergekit методом task arithmetic на базе Qwen/Qwen3.5-35B-A3B и с включением InternScience/Agents-A1 и deepreinforce-ai/Ornith-1.0-35B. Архитектура относится к семейству Qwen 3.5 MoE; метаданные указывают поддержку диалога и обработки изображений, а основной сценарий по pipeline_tag — генерация текста по текстовому и визуальному вводу. Модель предназначена для диалога, анализа изображений и агентных задач. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка не сообщает размер модели, длину контекста и поддерживаемые естественные языки.

Orpomis-Prime-7B-it — диалоговая языковая модель, созданная saucam с помощью Mergekit из kaist-ai/mistral-orpo-beta, NousResearch/Hermes-2-Pro-Mistral-7B и mistralai/Mistral-7B-Instruct-v0.2. Это плотная модель семейства Mistral с 7,1 млрд параметров; веса опубликованы в формате safetensors, контекст составляет до 32 768 токенов. Модель предназначена для генерации текста в диалоге и ответов на инструкции. Её можно использовать для чат-ботов, ответов на вопросы и написания текстов по запросу; README показывает запуск через Transformers и шаблон чата. В карточке не заявлена специализация на конкретном языке или предметной области. Качество ответов и поведение могут различаться в зависимости от запроса и параметров генерации; README не приводит результатов оценки. Условия лицензии в предоставленных данных не указаны.

duyntnet/Phi-3-medium-4k-instruct-imatrix-GGUF — набор GGUF-квантизаций модели Phi-3-Medium-4K-Instruct, разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая ответы на вопросы, объяснения и решение задач. Она рассчитана прежде всего на использование в формате чата и поддерживает английский язык. Исходная модель относится к семейству Phi-3 и имеет контекст до 4K токенов; README также указывает размер словаря токенизатора до 32 064 токенов. В данном репозитории представлены квантизированные варианты с использованием imatrix в формате GGUF, совместимые с llama.cpp после указанного в README коммита. Конкретные уровни квантования и размер параметров в предоставленных данных не указаны. Сильными сторонами являются инструкционно-ориентированное поведение, поддержка многоходовых диалогов и возможность локального запуска через совместимые инструменты для GGUF. Ограничения включают англоязычную специализацию, контекст в 4K токенов и возможное снижение качества, зависящее от выбранного уровня квантования. Для работы могут потребоваться актуальные версии поддерживающего ПО и корректный chat format. Лицензия указана как other; дополнительные условия лицензирования в README не приведены.

Карточка модели elental/Phi-mini-MoE-instruct на Hugging Face совпадает с карточкой microsoft/Phi-mini-MoE-instruct, поэтому описание составлено по ней. Phi-mini-MoE — компактная языковая модель Microsoft для генерации текста и диалогового взаимодействия. Это decoder-only Transformer с архитектурой Mixture of Experts: в README указаны 7,6 млрд параметров всего и 2,4 млрд активных, тогда как метаданные каталога указывают 1,9 млрд параметров; поэтому размер модели в источниках расходится. Модель сжата и дистиллирована из общей базовой модели Phi-3.5-MoE и GRIN-MoE методом SlimMoE, затем дообучена на следование инструкциям и предпочтениям пользователей. Модель предназначена прежде всего для англоязычных общих ассистентов и сценариев с ограничениями по памяти, вычислениям или задержке. Она принимает текстовые запросы в формате чата и генерирует текст; контекст — до 4 тысяч токенов. Обучение охватывало математику, программирование, здравый смысл и общие знания, но карточка не заявляет отдельной специализированной области. Основной язык — английский; другие языки поддерживаются хуже. Модель может ошибаться, выдумывать факты, воспроизводить предубеждения или выдавать оскорбительный контент, поэтому ответы требуют проверки, особенно в чувствительных сценариях. Данные публичных источников имеют срез по октябрь 2023 года. Лицензия — MIT.

pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral AI и TokenBender. В README указан метод слияния SLERP, а метаданные относят архитектуру к плотным моделям Mistral с классом MistralForCausalLM. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно применять для чат-ботов, составления текстов и ответов на вопросы в текстовом интерфейсе. В README перечислены исходные модели и настройки слияния; данные о поддерживаемых естественных языках и специализированных областях применения не приводятся. Лицензия — Apache-2.0.

Mungert/Qwen2.5-7B-Instruct-1M-GGUF — это GGUF-версия инструкционной языковой модели Qwen2.5-7B, разработанная Mungert на базе Qwen/Qwen2.5-7B. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск на устройствах с ограниченными ресурсами, локальный инференс на CPU и системах с небольшим объёмом GPU-памяти. В названии заявлена поддержка контекста до 1 миллиона токенов, однако подробные характеристики реализации этого контекста в README не приведены. Модель относится к классу текстовых генеративных моделей, имеет около 7 миллиардов параметров и распространяется в формате GGUF. README также описывает ультранизкобитные варианты квантования с динамическим распределением точности IQ-DynamicGate, ориентированные на снижение потребления памяти; приведённые бенчмарки относятся к Llama-3-8B и не подтверждают показатели именно этой модели. В метаданных указан английский язык. Сильная сторона модели — возможность эффективного локального запуска благодаря квантованию и потенциально большому контекстному окну. Ограничения включают возможное снижение точности при низкобитном квантовании, отсутствие подробных данных об архитектуре, фактическом размере контекста и результатах тестирования именно для Qwen2.5-7B-Instruct-1M-GGUF. Лицензия — Apache-2.0.

Qwen2.5-Omni-7B — мультимодальная модель семейства Qwen, разработанная командой Qwen компании Alibaba. Она использует архитектуру Thinker-Talker для сквозной обработки текста, изображений, аудио и видео и потоковой генерации текста и естественной речи. Временные позиционные представления TMRoPE синхронизируют видеокадры со звуком. Модель предназначена для мультимодального диалога в реальном времени, включая голосовое и видеообщение, распознавание и понимание речи, анализ изображений и видео, следование инструкциям на слух и генерацию речи. Карточка сообщает о результатах на тестах мультимодального рассуждения, понимания видео, речи и перевода; модель работает через Transformers и хранит веса в формате safetensors. Модель принимает текст, изображения, аудио и видео, а выдаёт текст и аудио. В README не приведены сведения о лицензии, позволяющие назвать её условия: метаданные указывают лицензию «other».

ZuzeTt/Qwen3-4B-Thinking-2507-Heretic-Imatrix-GGUF — это GGUF-квантизации модели Qwen3-4B-Thinking-2507-Heretic, созданной becnic на основе Qwen3-4B-Thinking-2507. Репозиторий подготовлен ZuzeTt с использованием llama.cpp версии b7120 и предназначен для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к каузальным языковым моделям для генерации текста и задач рассуждения. Она содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к embedding, и имеет 36 слоёв. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Доступны варианты от f16 до Q2_K размером примерно от 1,67 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Ключевая особенность — модификация Heretic с применением abliteration. По приведённому сравнению, модель демонстрирует 6 отказов из 100 против 96 из 100 у исходной Qwen3-4B-Thinking-2507, при KL-дивергенции 0,06 относительно оригинала. Это может расширять применимость модели к запросам, которые исходная версия чаще отклоняет, но также повышает риск нежелательной или небезопасной генерации. В README не указаны размер контекста, результаты комплексных бенчмарков, мультимодальные возможности и подробные рекомендации по аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

daniloreddy/Qwen3.5-4B_GGUF — набор GGUF-квантизированных версий языковой модели Qwen3.5-4B, разработанной командой Qwen. Модель предназначена для генерации текста и локального запуска на потребительском оборудовании, мобильных и периферийных устройствах, а также системах с ограниченным объёмом памяти. Она совместима с llama.cpp и связанными экосистемами, включая LM Studio, Jan и Text Generation WebUI. В репозитории представлены варианты FP16, Q8_0, Q5_K_M, Q4_K_M и Q4_K_S, полученные из официальных весов FP16 с использованием llama-quantize и K-квантизации. Размер базовой модели составляет 4 млрд параметров. Вариант Q4_K_M рекомендован как компромисс между скоростью и качеством, Q4_K_S ориентирован на минимальное потребление памяти и высокую пропускную способность, а FP16 сохраняет максимальную точность исходных весов. Качество рассуждений, связность и точность ограничены масштабом базовой модели; сведения о поддерживаемых языках, модальностях и исходном размере контекста в README не указаны. Модель распространяется по лицензии Apache 2.0.

rodrigomt/Qwen3.5-4B-Uncensored-Aggressive — мультимодальная диалоговая модель на архитектуре Qwen3.5, опубликованная в виде весов safetensors для использования с Transformers, vLLM, SGLang и совместимыми средами. Это конверсия релиза Qwen3.5-4B-Uncensored-HauhauCS-Aggressive, созданного на базе Qwen/Qwen3.5-4B; в README вариант описан как агрессивный и с удалёнными отказами. Модель принимает текст и изображения, а архитектура и конфигурация репозитория также предусматривают обработку видео. Контекст составляет 262144 токена. Она предназначена для диалога и мультимодальных запросов; метаданные также отмечают интерфейс вызова инструментов. Репозиторий содержит веса в формате safetensors, преобразованные из GGUF. Для работы требуется достаточно свежая версия программного стека с поддержкой Qwen3.5. Лицензия в предоставленных источниках не указана.

Qwen3.5-9B-abliterated-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, подготовленная tutuchen2000 на основе abliterated-варианта lukey03/Qwen3.5-9B. Модель предназначена для локального запуска через Ollama, llama.cpp и другие совместимые движки вывода. Она поддерживает текстовые сценарии, а специальная vision-версия — обработку изображений вместе с текстом. Доступны текстовые сборки Q4_K_M размером около 5,2 ГБ и F16 размером около 17 ГБ, а также vision-сборка Q4_K_M размером около 6,1 ГБ. Vision-вариант сохраняет встроенный мультимодальный vision-энкодер исходной Qwen3.5-9B; архитектура Qwen3.5 использует нативную мультимодальность с ранним объединением данных. Заявлены поддерживаемые языки: английский, китайский, японский, корейский, французский, немецкий и испанский. Модель имеет около 9 млрд параметров, но размер контекста в README не указан. Главная особенность — удаление отказов от ответа методом abliteration: применены три прохода ортогональной проекции и последующее QLoRA-дообучение для устойчивых категорий отказов. В тесте README модель ответила на 18 из 18 проверочных запросов, тогда как базовая модель не ответила ни на один. Это может быть полезно для исследовательских, образовательных и локальных сценариев, требующих минимального количества встроенных ограничений, однако отсутствие отказов повышает риск небезопасных или неправомерных ответов и требует самостоятельного контроля со стороны пользователя. Модель распространяется по лицензии Apache-2.0. Для vision-функций требуется Ollama версии 0.17.1 или новее; текстовая сборка vision не поддерживает.

nDimensional выпустил конверсию Qwen3.5-9B Uncensored в формате safetensors на основе объединённой модели HauhauCS/Qwen3.5-9B-Uncensored-HauhauCS-Aggressive и Qwen/Qwen3.5-9B. Это плотная мультимодальная модель на 9 млрд параметров с гибридной архитектурой: 24 слоя GDN и 8 стандартных слоёв внимания. Она предназначена для диалога и обработки изображений; поддерживает интерфейс вызова инструментов. В описании базовой Qwen3.5 также указаны рассуждения, программирование и агентные задачи. Конверсия сохраняет веса в BF16 и предназначена для Transformers, vLLM и других фреймворков, не поддерживающих исходный формат GGUF. В README отмечены изменения весов отдельных тензоров языковой модели; энкодер изображений, токенизатор и перечисленные эмбеддинги и MLP-слои совпадают с базовой моделью. В конфигурации отключено предсказание нескольких токенов. Карточка указывает английский и китайский языки. Лицензия — Apache-2.0.