I.14Автоматизация процессов и AI-агенты

bartowski/meta-llama_Llama-4-Scout-17B-16E-Instruct-old-GGUF — это квантованная версия инструкционно дообученной модели Llama 4 Scout, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения пользовательских инструкций; конкретные прикладные сценарии в README не перечислены. Из доступных данных известны обозначения 17B и 16E в названии модели, а также принадлежность к семейству Llama 4 Scout. Модель относится к классу text-generation, однако сведения о точной архитектуре, размере контекста, поддерживаемых языках, модальностях, вариантах квантования и требованиях к ресурсам отсутствуют. К потенциальным сильным сторонам относятся инструкционное дообучение и возможность использования в экосистеме GGUF, совместимой с рядом локальных средств запуска. Ограничения и фактическое качество зависят от конкретной квантовки и среды инференса; количественные характеристики и результаты тестирования не указаны. Модель распространяется на условиях Llama 4 Community License от Meta. Лицензия предусматривает требования к атрибуции, отображению надписи «Built with Llama», соблюдению Acceptable Use Policy и особые коммерческие условия для продуктов с более чем 700 миллионами ежемесячных активных пользователей.

openbmb/MiniCPM3-4B-GGUF — это набор файлов модели MiniCPM3-4B в формате GGUF, разработанной командой OpenBMB. Репозиторий содержит варианты minicpm3-4b-fp16.gguf и minicpm3-4b-q4_k_m.gguf. Модель предназначена для локального запуска в совместимой с GGUF инфраструктуре; конкретные сценарии применения, архитектура, размер контекста и поддерживаемые модальности в представленном README не указаны. Известно, что заявлены английский и китайский языки, а базовой моделью является openbmb/MiniCPM3-4B. Варианты FP16 и Q4_K_M различаются способом хранения и уровнем квантования, что может влиять на требования к памяти и качество работы. Лицензия и ограничения использования в README не указаны. Для подробностей по применению предлагается обратиться к репозиторию OpenBMB/MiniCPM.

MiniCPM-o-2_6-GGUF — квантованная в формате GGUF версия мультимодальной модели MiniCPM-o-2_6, разработанной командой OpenBMB. Квантизацию выполнил bartowski на основе llama.cpp версии b4585. Модель предназначена для мультимодального взаимодействия, включая анализ изображений, оптическое распознавание текста, работу с несколькими изображениями и видео, а также задачи, связанные с речью и аудио: распознавание речи, синтез речи, клонирование голоса и потоковые голосовые диалоги в реальном времени. Модель поддерживает изображения с произвольным соотношением сторон объёмом до 1,8 млн пикселей, например 1344×1344. Она заявлена как end-to-end omni-модальная и мультиязычная; README также указывает поддержку vision, audio и speech, но не перечисляет конкретные языки, размер модели, точную архитектуру или максимальную длину текстового контекста. Формат GGUF и совместимость с llama.cpp делают модель ориентированной на локальный запуск, включая сценарии на мобильных устройствах, однако требования к памяти и производительность зависят от варианта квантизации и оборудования. Сильными сторонами являются сочетание обработки изображений, видео, аудио и речи, поддержка потокового мультимодального взаимодействия и работа с изображениями высокого разрешения. Возможные ограничения — зависимость качества и скорости от квантизации и локальной инфраструктуры, а также риск неточных или неподходящих ответов, характерный для мультимодальных моделей. В README не указана лицензия модели, поэтому условия её использования следует уточнять в документации оригинальной модели MiniCPM-o-2_6 и соответствующего GGUF-файла.

bhenrym14/mistral-7b-platypus-fp16 — плотная языковая модель Mistral на 7,1 млрд параметров, созданная на основе mistralai/Mistral-7B-v0.1. Автор дообучил её на инструкциях из набора garage-bAInd/Open-Platypus, используя объединённый QLoRA-адаптер ранга 64. Модель предназначена для генерации текста в ответ на инструкции и запросы; в карточке приведены результаты тестов ARC, HellaSwag и MMLU. Модель рассчитана на контекст до 32 768 токенов и использует архитектуру MistralForCausalLM. Для работы карточка рекомендует загрузку через Transformers; на момент её написания требовалась версия библиотеки из исходного кода. Обучение велось с устаревшим системным промптом Airoboros версии ниже 2.0, что важно учитывать при подготовке запросов. Это дообученная модель, а не исходная разработка автора репозитория. В карточке не приведены сведения о лицензии, поэтому условия использования следует проверять у базовой модели и в репозитории. Описанные бенчмарки не гарантируют качество на произвольных задачах; автор также отмечает, что скользящее оконное внимание и размер модели могут ограничивать её конкурентоспособность при работе с длинным контекстом.

Moonlight-16B-A3B-Instruct-Bruno — чат-модель rawcell, полученная модификацией MoonshotAI Moonlight-16B-A3B-Instruct методом MoE gate abliteration с настройкой Bruno. Она предназначена для генерации текста и ответов на инструкции; модификация снижает частоту отказов. Модель использует архитектуру Mixture-of-Experts: 16 млрд параметров всего и около 3 млрд активных. По метаданным, контекст составляет 8192 токена; модель работает через Transformers и распространяется в формате safetensors. В README сообщается о проверке на MMLU, HellaSwag и GSM8K, а также о снижении отказов на тестовом наборе запросов. Эти результаты приведены авторами карточки и не гарантируют аналогичное качество в других сценариях. Для запуска указаны минимум 32 ГБ VRAM с квантизацией и рекомендация от 48 ГБ VRAM. Лицензия — Apache-2.0.

bigscience/mt0-small — многоязычная модель BigScience для выполнения инструкций на естественном языке. Это вариант mT5-small, дообученный на смеси задач xP3; архитектура кодировщик-декодировщик MT5, размер — 157,4 млн параметров. Модель принимает текстовые инструкции и генерирует текстовые ответы, в том числе для задач перевода, классификации по инструкции, объяснения понятий и написания историй. Модель рассчитана на выполнение разнообразных задач без специального обучения под каждую из них и демонстрирует перенос между языками и задачами в zero-shot-сценариях. Карточка приводит примеры на нескольких языках и указывает, что модель понимает языки предобучения mC4 и дообучения xP3; метаданные перечисляют поддерживаемые языки. Доступны веса PyTorch, safetensors и ONNX. Лицензия — Apache-2.0. Качество зависит от формулировки запроса: стоит ясно обозначать границы входного текста и задавать нужный язык и контекст. Модель не гарантирует точность ответов на всех задачах и языках.

zelk12/MT3-Gen5-BMU-gemma-2-9B — слитая модель Gemma 2 на 9 млрд параметров, созданная автором репозитория с помощью mergekit методом SLERP из двух предварительно обученных моделей. Она предназначена для генерации текста и диалогового общения; такие модели можно применять для ответов на запросы и создания связного текста. Модель использует архитектуру Gemma2ForCausalLM, работает с текстом и поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors; в конфигурации слияния указан тип bfloat16. Карточка не описывает специальные языковые или предметные специализации, поэтому модель следует считать общего назначения. Лицензия в предоставленных данных не указана.

zelk12/MT3-Gen5-BMU-gemma-2-9B_v1 — языковая модель для диалогов и генерации текста, созданная слиянием двух предварительно обученных моделей с помощью SLERP и mergekit. В основе лежат zelk12/MT3-Gen5-MU-gemma-2-Av4dG-9B_v1 и zelk12/MT3-Gen5-BB-gemma-2-RAv0.1MT2-9B_v1. Модель использует плотную архитектуру Gemma 2 с 9 млрд параметров и работает с контекстом до 8192 токенов. Она предназначена для текстовых запросов и выдаёт текст; метаданные отмечают поддержку диалогового режима. Репозиторий содержит веса в формате safetensors и предназначен для Transformers. Карточка не описывает специальные прикладные области, поддерживаемые языки или отдельные ограничения качества. Лицензия в предоставленных данных не указана.

zelk12/MT4-Gen5-IBMUMM-gemma-2-9B — объединённая модель на основе Gemma 2, созданная с помощью mergekit методом SLERP из zelk12/MT4-Gen5-IB-gemma-2-9B и zelk12/MT4-Gen5-MUMM-gemma-2-9B. Это плотная авторегрессионная языковая модель с 9 млрд параметров для генерации текста и диалогового взаимодействия; она принимает текст и выдаёт текст. Контекст составляет до 8192 токенов, файлы модели представлены в формате safetensors. Модель подходит для диалогов и генерации ответов или другого текста в пределах поддерживаемого контекста. README описывает способ слияния, но не приводит сравнительных оценок качества или подробностей специализации исходных моделей, поэтому конкретные преимущества слияния установить нельзя. В метаданных указана лицензия Gemma; используйте модель в соответствии с условиями лицензии базового семейства Gemma 2.

Guile/nbeerbower_BigBubba-Qwen3.6-27B-GGUF — это квантизированная GGUF-версия модели BigBubba-Qwen3.6-27B, разработанной nbeerbower и подготовленной bartowski с использованием llama.cpp. Модель предназначена для генерации текста и обработки изображений совместно с файлом mmproj, поэтому может применяться в текстовых и мультимодальных сценариях. Указаны английский и китайский языки. Модель содержит 27,4 млрд параметров, поддерживает MTP и imatrix. Доступны варианты от BF16 и Q8_0 до более компактных Q3- и IQ-квантизаций; рекомендуемым универсальным вариантом называется Q4_K_M размером 17,77 ГБ, а Q6_K и Q6_K_L обеспечивают более высокое качество при большем потреблении памяти. Среди сильных сторон — широкий выбор форматов, поддержка изображений и возможность локального запуска через совместимые инструменты llama.cpp. Ограничения включают значительные требования к памяти, зависимость мультимодальной работы от отдельного mmproj-файла и возможное снижение качества в менее точных квантизациях. Лицензия — Apache-2.0.

OsaurusAI публикует JANG_6M — мультимодальную квантизированную сборку NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning для запуска на Apple Silicon через MLX. Это гибридная архитектура Mamba-2, attention и MoE: в README указаны 31 млрд параметров всего и около 3 млрд активных, тогда как метаданные каталога сообщают 1,9 млрд параметров. Контекст составляет 262 144 токена. Модель принимает текст, изображения и видео; базовая модель также поддерживает аудио, но README этой сборки не подтверждает работу аудиовхода. Сборка рассчитана на диалог, рассуждения и анализ мультимодальных входных данных, включая изображения и видео. Квантизация смешанная: экспертные слои занимают 6 бит, а часть других компонентов — 8 бит; башни зрения и речи оставлены в fp16. README указывает поддержку изображений через RADIO и видео через выборку кадров и EVS. Лицензия — NVIDIA Open Model License; сведения о дополнительных условиях лицензии в карточке не приведены.

NeuralsirkrishnaShadow_Experiment26Experiment26 — слитая автором карточки модель на архитектуре Mistral, объединяющая automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment26Experiment26-7B. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов; размер модели — 7,1 млрд параметров. Модель принимает текстовые запросы и выдаёт текст. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

NeuralTrix-7B-dpo-laser — языковая модель от Kquant03, созданная объединением моделей mlabonne/OmniBeagle-7B, flemmingmiguel/MBX-7B-v3 и AiMavenAi/AiMaven-Prometheus с помощью LazyMergekit и последующим обучением DPO. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров; она генерирует текст по текстовому запросу и поддерживает контекст до 32 768 токенов. Модель подходит для диалогов, ответов на вопросы и других задач генерации текста. В конфигурации слияния также указан mistralai/Mistral-7B-v0.1 как базовая модель; DPO упоминается в карточке, но использованный набор данных не приведён. Модель распространяется по лицензии Apache-2.0.

Neuron-V1-14B-Instruct-i1-GGUF — квантизированная версия инструкционной языковой модели Neuron-V1-14B-Instruct, разработанной Neura-Tech-AI и подготовленной в формате GGUF пользователем mradermacher. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях, поддерживающих GGUF, включая сценарии с ограниченными ресурсами и различными уровнями квантования. Модель содержит 14 миллиардов параметров, относится к текстовым моделям и, судя по указанным тегам, использует архитектуру Qwen2. Заявлена поддержка английского и хинди. Длина контекста и дополнительные модальности не указаны. Репозиторий предлагает варианты квантования от сверхкомпактных IQ1 до более качественного Q6_K; наиболее сбалансированным автор считает i1-Q4_K_S, а i1-Q4_K_M отмечен как быстрый и рекомендуемый. Более сильная квантовка требует больше памяти, тогда как низкие уровни могут заметно снижать качество. Преимущество модели — широкий выбор GGUF-вариантов для подбора компромисса между размером, скоростью и качеством, а также наличие imatrix-файла для создания собственных квантов. Ограничения — отсутствие в README результатов тестирования, данных о длине контекста и подробностей обучения, поэтому качество в конкретных задачах оценить нельзя. Указана лицензия Apache-2.0.

Это GGUF-квантизированная версия языковой модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет около 8 миллиардов параметров и поддерживает текстовую модальность. В README указан английский язык, а контекстное окно и дополнительные архитектурные характеристики не приведены. Доступны варианты от BF16 до различных уровней квантования GGUF: более крупные варианты обеспечивают более высокое качество, а компактные Q4 и Q3 подходят для систем с ограниченным объёмом памяти. Для работы рекомендуется использовать указанный формат prompt с шаблоном Llama 3. Сильной стороной модели является широкий выбор квантований, позволяющий адаптировать размер и качество под доступное оборудование; для большинства сценариев рекомендуются варианты Q4–Q6. Ограничения включают возможное снижение качества при низких уровнях квантования, отсутствие сведений о мультиязычности и контекстном окне, а также необходимость совместимого локального ПО и достаточного объёма памяти. Модель распространяется по NVIDIA Open Model License; ссылка на лицензию указана в карточке.

Omost-Dolphin-2.9-Llama3-8B — языковая модель Omost на архитектуре Llama 3, объединяющая основу llama3-8b с instruct-предобучением Dolphin 2.9. Модель содержит 7,5 млрд параметров, использует плотную архитектуру и опубликована в формате Safetensors с точностью fp16. Для диалога она принимает текст и генерирует текст; заявленная длина контекста составляет 8192 токена. Модель предназначена для диалоговых сценариев и генерации ответов по текстовым запросам. В метаданных указаны библиотека Transformers и возможность чата. Карточка не сообщает отдельные целевые отрасли или поддерживаемые естественные языки. Лицензия в предоставленных сведениях не указана.

OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT-GGUF — это набор GGUF-квантизаций языковой модели OpenBuddy-R1-0528-Distill-Qwen3-32B-Preview0-QAT, разработанной OpenBuddy и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. В основе лежит 32-миллиардная модель семейства Qwen3, представленная в нескольких вариантах точности: от BF16 до Q3 и различных Q4–Q8-квантизаций. README указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Формат GGUF и варианты квантизации позволяют выбирать между качеством, размером файлов и требованиями к оперативной памяти; рекомендуемым универсальным вариантом назван Q4_K_M размером 19,76 ГБ, а Q6_K и Q6_K_L — высококачественными вариантами. Сильные стороны модели — широкий выбор квантизаций, возможность локального запуска и сохранение высокого качества в старших вариантах. Ограничения включают значительные требования к памяти даже для компактных вариантов, а также отсутствие в README сведений о размере контекста, конкретных возможностях рассуждения, мультимодальности и результатах benchmark-тестов. Распространение указано по лицензии Apache-2.0.

MaziyarPanahi/openbuddy-zephyr-7b-v14.1-Mistral-7B-Instruct-v0.1-GGUF — квантизированная версия текстовой языковой модели OpenBuddy Zephyr 7B v14.1 на базе Mistral-7B-Instruct-v0.1. Модель подготовил и квантизировал MaziyarPanahi. Файлы распространяются в формате GGUF, предназначенном для локального запуска с llama.cpp и совместимыми приложениями и библиотеками. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через локальные графические интерфейсы, серверы и Python-библиотеки. В метаданных указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством вывода. К сильным сторонам относятся компактность 7B-модели, возможность локального использования и широкий выбор уровней квантизации. К ограничениям относятся потенциальная потеря качества при низкой разрядности, зависимость производительности от используемого клиента и оборудования, а также отсутствие в README данных о размере контекстного окна, результатах тестирования и мультимодальных возможностях; по представленным данным модель является текстовой. Лицензия — Apache 2.0.

sonthenguyen/OpenHermes-2.5-Mistral-7B-mt-bench-DPO-recovered — разговорная языковая модель на архитектуре Mistral, представленная в формате safetensors. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и возможность чата; модель предназначена для генерации текста в диалогах и других текстовых сценариях. В README описано дообучение методом DPO с LoRA: ранг адаптера 16, коэффициент LoRA 16 и dropout 0,05. Базовая модель в предоставленных данных не названа. Модель выпущена под лицензией Apache-2.0. Языки обучения и качество на конкретных задачах не описаны.

bartowski/p-e-w_Llama-3.1-8B-Instruct-heretic-GGUF — это квантизированная версия инструкционной модели Llama 3.1 с примерно 8 млрд параметров, опубликованная в формате GGUF. Базовая модель разработана Meta, а квантизацию выполнил bartowski; обозначение heretic указывает на вариант модели, но README не содержит подробностей о внесённых изменениях. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и другие задачи обработки естественного языка. В метаданных указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Поддерживается только текстовая модальность. Сведения о конкретном методе и уровне квантизации, длине контекста, требованиях к памяти и результатах тестирования в README отсутствуют. Ключевое преимущество модели — сочетание инструкционного обучения, относительно компактного размера и формата GGUF, удобного для локального запуска совместимыми средствами. Ограничения включают возможное снижение качества из-за квантизации, отсутствие подтверждённых характеристик варианта heretic и неполную информацию о производительности. Использование регулируется Llama 3.1 Community License от Meta с требованиями к атрибуции, маркировке «Built with Llama», соблюдению Acceptable Use Policy и специальными условиями для распространения; перед применением необходимо проверить полный текст лицензии.

Pixtral 12B GGUF — нативно мультимодальная модель для работы с текстом и изображениями, разработанная Mistral-Community. Представлена в формате GGUF и предназначена для локального запуска, в том числе с использованием совместимых инструментов на базе llama.cpp и LM Studio. Квантизацию выполнил bartowski на основе релиза llama.cpp b5173. Модель подходит для сценариев, где требуется анализ изображений вместе с текстовыми запросами и генерация текстовых ответов по мультимодальному контексту. Она поддерживает контекст длиной до 128 000 токенов и изображения переменного размера. В README не указаны точные языки, варианты квантизации, требования к аппаратному обеспечению или результаты тестирования, поэтому производительность и качество зависят от конкретной сборки и среды запуска. Лицензия модели — Apache 2.0. Следует учитывать, что это квантизированная версия, поэтому её характеристики могут отличаться от исходной модели pixtral-12b; README также не содержит подробного описания ограничений, безопасности и типичных ошибок модели.

Q2.5-Veltha-14B-0.5-GGUF — GGUF-квантизированная версия модели Q2.5-Veltha-14B-0.5, созданная на базе djuna/Q2.5-Veltha-14B-0.5 и подготовленная пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и может запускаться через llama.cpp и LM Studio. В README указан специальный шаблон диалога с ролями system, user и assistant. Модель имеет размер 14B параметров; доступны варианты от F16 до Q3_K_XL, включая Q4_K_M, Q5_K_M, Q6_K и Q8_0. Для наиболее распространённых сценариев рекомендуется Q4_K_M, а варианты Q5 и Q6 обеспечивают более высокое качество при большем потреблении памяти. Точные архитектура, размер контекста, поддерживаемые языки и мультимодальные возможности в README не указаны. По опубликованным результатам Open LLM Leaderboard модель получила 77,96% строгой точности на IFEval, 50,32% на BBH, 33,84% exact match на MATH уровня 5, 15,77% на GPQA, 14,17% на MuSR и 47,72% на MMLU-PRO. Эти показатели характеризуют качество на отдельных тестах, но не гарантируют аналогичную эффективность в прикладных задачах. Информация о лицензии в README отсутствует.

Qwen2.5-14B-Instruct-IMat-GGUF — это GGUF-квантизированная версия текстовой instruction-модели Qwen2.5-14B-Instruct, первоначально разработанной командой Qwen. Квантизацию выполнил legraphista с использованием llama.cpp и IMatrix-калибровки. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, совместимых с llama.cpp и форматом GGUF. В метаданных указан английский язык; модальность — текстовая. Модель основана на варианте размером 14B параметров с исходным типом данных BF16. Доступны версии от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая варианты с IMatrix для ряда низкобитных квантизаций. Это позволяет выбирать между качеством, размером файла и требованиями к памяти: размер доступных файлов составляет примерно от 5,77 до 29,55 ГБ. Размер контекста, архитектурные детали и результаты тестирования в README не указаны. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка локального запуска и применение IMatrix в низкобитных вариантах, что может помочь сохранить качество при уменьшении размера модели. Ограничения включают возможную потерю качества из-за квантизации, особенно в наиболее компактных вариантах, а также отсутствие в предоставленных данных подробных бенчмарков и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-4B-8bit — языковая модель для генерации текста, представленная в формате MLX. Она создана сообществом mlx-community на основе модели Qwen/Qwen3-4B, разработанной командой Qwen, и предназначена для запуска и инференса с использованием библиотеки mlx-lm, прежде всего в экосистеме MLX. Модель имеет размер 4 млрд параметров и 8-битное представление весов, что уменьшает требования к памяти по сравнению с полноразмерной версией и делает её подходящей для локального запуска на совместимом оборудовании. Основной сценарий использования — продолжение и генерация текста по промпту; README также показывает возможность применения chat template для диалогового взаимодействия. Сведения об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна в предоставленных данных отсутствуют. Для работы требуется библиотека mlx-lm версии, совместимой с форматом модели; конвертация выполнена с использованием mlx-lm 0.24.0. К ограничениям относятся зависимость от экосистемы MLX и возможная потеря точности, связанная с 8-битным представлением. Модель распространяется по лицензии Apache 2.0.

AtomicChat/Qwen3-4B-DFlash-GGUF — это текстовая генеративная модель в формате GGUF, созданная Atomic Chat на основе оригинальных весов z-lab/Qwen3-4B-DFlash-b16. Модель предназначена для локального и полностью офлайн-использования в llama.cpp, Ollama, LM Studio, Jan и приложении Atomic Chat, включая диалоговые сценарии и генерацию текста. Согласно README, модель имеет плотную decoder-архитектуру DFlashDraftModel, 5 слоёв, 32 attention heads и 8 KV heads, словарь из 151 936 токенов и контекст до 40 960 токенов. Поддерживается только текстовая модальность. В карточке указано 0,5 млрд параметров, а доступный квант Q8_0 занимает около 0,6 ГБ; при этом название базовой модели содержит обозначение 4B, поэтому размер следует трактовать с осторожностью. Ключевая особенность репозитория — самостоятельная квантизация Atomic Chat с использованием importance matrix для каждого варианта, что должно сохранять качество исходной модели при низкой разрядности. Ограничения включают отсутствие мультимодальности и необходимость применять шаблон чата Qwen3 через параметр --jinja; без него возможны некорректно сформированные диалоговые ходы. В README также рекомендована temperature 0.0. Исходная модель выпущена Z Lab по лицензии MIT, квантизированная версия подготовлена Atomic Chat.

ZuzeTt/Qwen3-4B-Thinking-2507-Heretic-Imatrix-GGUF — это GGUF-квантизации модели Qwen3-4B-Thinking-2507-Heretic, созданной becnic на основе Qwen3-4B-Thinking-2507. Репозиторий подготовлен ZuzeTt с использованием llama.cpp версии b7120 и предназначен для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к каузальным языковым моделям для генерации текста и задач рассуждения. Она содержит около 4 млрд параметров, из которых 3,6 млрд не относятся к embedding, и имеет 36 слоёв. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Доступны варианты от f16 до Q2_K размером примерно от 1,67 до 8,05 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Ключевая особенность — модификация Heretic с применением abliteration. По приведённому сравнению, модель демонстрирует 6 отказов из 100 против 96 из 100 у исходной Qwen3-4B-Thinking-2507, при KL-дивергенции 0,06 относительно оригинала. Это может расширять применимость модели к запросам, которые исходная версия чаще отклоняет, но также повышает риск нежелательной или небезопасной генерации. В README не указаны размер контекста, результаты комплексных бенчмарков, мультимодальные возможности и подробные рекомендации по аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

LWWZH/Qwen3.5-4B-int4-OpenVINO — версия мультимодальной модели Qwen3.5-4B, подготовленная для OpenVINO и сжимающая веса преимущественно до int4. В карточке указано, что исходная Qwen3.5-4B разработана командой Qwen; метаданные связывают этот репозиторий с Qwen/Qwen3.5-4B. Это плотная причинная языковая модель с визуальным энкодером, рассчитанная на диалог и понимание изображений. Модель подходит для ответов на вопросы по изображениям, визуального анализа, диалоговых сценариев и задач рассуждения. Архитектура исходной модели включает 4 млрд параметров и 32 слоя; нативная длина контекста составляет 262 144 токена с возможностью расширения до 1 010 000. README заявляет поддержку 201 языка и диалекта. Модель по умолчанию работает в режиме рассуждений; для обслуживания в высоконагруженных сценариях карточка рекомендует специализированные движки инференса. Сжатие весов в этой версии распределено между int4 и int8, преимущественно int4 с размером группы 128. Лицензия — Apache-2.0. README относится к исходной модели и не приводит отдельных результатов оценки или ограничений именно сборки OpenVINO, поэтому её производительность и совместимость следует оценивать в целевом окружении.

Карточка модели SYGNITOR/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED на Hugging Face совпадает с карточкой DavidAU/Qwen3.5-9B-Claude-4.6-HighIQ-THINKING-HERETIC-UNCENSORED, поэтому описание составлено по ней. DavidAU собрал эту мультимодальную модель на базе Qwen3.5-9B-heretic-v2: автор сообщает о дообучении через Unsloth на дистиллированном наборе рассуждений Claude 4.6. Модель принимает текст и изображения и генерирует текст; карточка заявляет поддержку vision и диалогового режима. В README указаны 9 млрд параметров, архитектура Qwen3.5 с языковой моделью и vision encoder, а также контекст 262 144 токена с возможностью расширения. Заявленная основная область применения — рассуждения, диалог и анализ изображений; автор также приводит результаты на нескольких тестах и сообщает о снижении отказов. README рекомендует квантизацию не ниже Q4_K_S или IQ3_S с imatrix. Видео не тестировалось. Указанные языки карточки — английский и китайский; более широкая языковая поддержка описана для исходной модели Qwen3.5, но отдельно для этого дообучения не подтверждена. Модель распространяется по лицензии Apache-2.0.

RobinsonLabs Qwen3.5-REAP-212B-A17B-abliterated-GGUF — набор GGUF-квантизаций текстовой MoE-модели, производной от OpenMOSE/Qwen3.5-REAP-212B-A17B. Базовая модель получена сокращением числа экспертов Qwen3.5-397B-A17B-A17B на 48% методом REAP и содержит 212 млрд параметров всего, из которых около 17 млрд активны. Публикацию подготовила RobinsonLabs. Модель предназначена для генерации текста и локального запуска через совместимое ПО, включая llama.cpp. Архитектура qwen35moe включает 60 декодерных слоёв: 45 слоёв с линейным вниманием DeltaNet и 15 слоёв с полным вниманием, 267 экспертов MoE и размер скрытого состояния 4096. Представлен только текстовый путь, без vision mmproj; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Модель подвергнута abliteration — ортогонализации весов для снижения жёстких отказов на запросы, связанные со взрослым и творческим контентом. При этом заявлено сохранение защитных механизмов против самоповреждения и содействия реальным противоправным действиям. Доступны imatrix-взвешенные варианты от Q5_K_M размером около 150 ГБ до IQ2_XXS размером около 56 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Ограничения включают очень большой объём файлов, зависимость качества от выбранной квантизации и маркировку not-for-all-audiences. Лицензия Apache-2.0 унаследована от базовой модели.

Qwen3.6-27B-Abliterated-Heretic-Uncensored-GGUF — это GGUF-версия модели Qwen3.6-27B, разработанной командой Qwen, с удалённым на уровне весов поведением отказа от ответов. Релиз подготовлен с использованием Heretic-style MPOA pipeline с сохранением магнитуд весов и конвертирован в формат GGUF для запуска в совместимых средах, включая llama.cpp и LM Studio. Модель предназначена для генерации текста, а при подключении соответствующего vision projector также поддерживает работу с изображениями и видео. Модель представляет собой плотную vision-language архитектуру объёмом 27,8 млрд параметров с 64 слоями, hidden size 5120 и гибридным механизмом внимания: три слоя linear attention и один слой full attention в каждой группе из четырёх слоёв. Текстовые GGUF-файлы поставляются в вариантах от Q2_K до Q8_0, включая BF16; для мультимодального режима используются совместимые проекторы mmproj в форматах F16 или BF16. Заявленный контекст запуска в примере составляет 32768 токенов, однако README не указывает гарантированный максимальный размер контекста и список поддерживаемых языков. К сильным сторонам относятся низкое заявленное отклонение от базовой модели по KL divergence (0,0251), широкий выбор уровней квантования и возможность локального мультимодального развертывания. По приведённым проверкам, частота отказов существенно ниже, чем у исходной модели: 1 из 25 и 3 из 100 запросов против 20 из 25 и 92 из 100 соответственно. При этом удаление защитного поведения означает повышенные риски небезопасных или нежелательных ответов, а качество и ресурсоёмкость зависят от выбранного варианта квантования. Релиз распространяется по лицензии Apache-2.0, унаследованной от базовой модели.