I.14Автоматизация процессов и AI-агенты

GPT4All-Community/Meta-Llama-3.1-8B-Instruct-128k-GGUF — это конвертированная и квантизированная GGUF-версия Meta-Llama-3.1-8B-Instruct. Модель подготовлена пользователем 3Simplex для использования в GPT4All; для работы требуется GPT4All версии 3.1.1 или новее. Базовая модель разработана Meta, однако в README не указаны дополнительные сведения о разработчике исходной модели. Модель предназначена для генерации текста и диалоговых сценариев с системными и пользовательскими сообщениями. Заявлена длина контекста до 131 072 токенов, что позволяет обрабатывать длинные документы и продолжительные диалоги. Известно, что модель содержит 8 миллиардов параметров и использует инструкционную настройку, но сведения о поддерживаемых языках и модальностях отсутствуют. К преимуществам относятся большой контекст и возможность локального использования через GPT4All. Модель не является официально курируемой и поддерживаемой Nomic: в README указано, что требуется дополнительное тестирование и обратная связь, поэтому качество и стабильность следует оценивать в конкретных задачах. Лицензия обозначена как llama3.1; перед использованием необходимо ознакомиться с её условиями.

MLX-Community/Meta-Llama-3.1-8B-Instruct-4bit — это 4-битная квантизованная версия инструкционно дообученной языковой модели Meta Llama 3.1, адаптированная сообществом mlx-community для запуска с использованием MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель относится к семейству Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README размер контекстного окна не указан. Квантизация до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с полноразмерной версией. Модель разработана для практического применения в локальных и ресурсоограниченных средах, но README не содержит подробных результатов тестирования, сведений о производительности или известных ограничениях качества. Распространение и использование регулируются Llama 3.1 Community License от Meta; она предусматривает соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и дополнительные требования к атрибуции и перераспространению. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

Ministral-8B-Instruct-2410-GGUF — квантизированная версия инструкционной языковой модели Ministral-8B-Instruct-2410, разработанной Mistral AI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и прикладные сценарии на поддерживаемых языках: английском, французском, немецком, испанском, итальянском, португальском, китайском, японском, русском и корейском. Из доступных данных известен размер базовой модели — 8B параметров; сведения о конкретном типе квантизации, архитектуре, размере контекста и численных характеристиках отсутствуют. Ключевые достоинства модели — инструкционная настройка, мультиязычность и возможность использования квантизированной сборки в совместимой с GGUF инфраструктуре. При этом README не содержит результатов тестирования, поэтому качество на отдельных языках и задачах оценить нельзя; также не указаны точные требования к памяти и производительности. Модель распространяется по Mistral AI Research License (MRL-0.1), которая ограничивает использование модели, производных моделей и результатов исследовательскими целями и устанавливает дополнительные требования к распространению, атрибуции и уведомлению о модификациях.

MaziyarPanahi/Mistral-7B-Instruct-v0.2 — инструктивно дообученная версия языковой модели Mistral-7B-v0.2, опубликованная Maziyar Panahi на основе модели Mistral AI. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, рассчитанная на диалог и выполнение инструкций. Она принимает текстовые запросы в формате Mistral Instruct и генерирует текстовые ответы; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы, создания и редактирования текстов и других сценариев генерации текста. В README говорится, что версия Instruct служит демонстрацией возможностей дообучения базовой модели. Карточка предупреждает, что у модели нет встроенных механизмов модерации, поэтому сгенерированные ответы могут требовать дополнительной проверки. Модель распространяется под лицензией Apache-2.0.

Magistral-Small-2507-GGUF — это набор квантованных версий языковой модели Magistral-Small-2507, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Доступны варианты от исходных BF16-весов размером около 47,15 ГБ до квантований Q8_0, Q6, Q5, Q4, Q3 и IQ3/IQ4 размером примерно от 9,91 до 25,05 ГБ. Более высокие уровни квантования обычно обеспечивают лучшее качество, а более компактные варианты снижают требования к оперативной памяти. В README не указаны архитектурные параметры, размер модели в миллиардах параметров, поддерживаемые языки, длина контекста, мультимодальность и лицензия. Сильной стороной набора является широкий выбор компромиссов между качеством, размером файлов и требованиями к ресурсам; варианты Q6 и Q5 отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как стандартный вариант для большинства сценариев. Ограничения зависят от выбранного квантования: компактные Q3-варианты могут заметно уступать по качеству, а для крупных версий требуется значительный объём памяти. Условия лицензирования в предоставленных данных не указаны.

Mistral-C2F — диалоговая языковая модель, разработанная авторами проекта Mistral-C2F на основе Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, обученная с использованием обучения с подкреплением на основе обратной связи от людей (RLHF). Для усиления аналитических и рассуждательных способностей авторы применили двухэтапный подход Coarse to Fine: выход Coarse Actor объединяется с инструкционной моделью, чтобы перенести подробные рассуждения и уточнить ответы. Модель предназначена для диалогов, интеллектуальных помощников и исследований в области языковых моделей, машинного обучения и обработки естественного языка. Она принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В README авторы отмечают улучшение разговорных и аналитических способностей и снижение токсичных ответов по сравнению с базовой моделью, однако не приводят здесь подробностей оценки. Модель распространяется по лицензии MIT; README указывает, что лицензия совпадает с лицензией базовой Mistral-7B-v0.1.

Mistral-Nemo-12B-ArliAI-RPMax-v1.1-GGUF — это набор GGUF-квантизированных файлов модели Mistral-Nemo-12B-ArliAI-RPMax-v1.1, разработанной ArliAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться, в частности, в LM Studio с шаблоном запроса <s>[INST]{prompt}[/INST]. Доступны варианты от исходных весов F16 размером 24,50 ГБ до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ4_XS/IQ3_M; размеры файлов варьируются примерно от 5,72 до 24,50 ГБ. Старшие варианты квантизации обеспечивают качество, близкое к исходному, а младшие подходят для систем с ограниченным объёмом оперативной памяти, но могут заметно уступать в качестве. Отдельные варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. В README не указаны модальности, языки и размер контекста. Распространение заявлено по лицензии Apache-2.0.

Mistral-Nemo-Instruct-2407-FP8 — инструкционная авторегрессионная плотная transformer-модель объёмом 12 млрд параметров, разработанная совместно Mistral AI и NVIDIA. Репозиторий Furiosa AI содержит вариант модели RedHatAI/Mistral-Nemo-Instruct-2407-FP8, подготовленный для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. Модель принимает текст и генерирует текст, поддерживает диалоги с ролями system, user и assistant и предназначена для обычной, нерассуждающей генерации ответов в ассистентских сценариях. Линейные веса слоёв Transformer статически квантизованы в FP8, активации динамически квантизуются в FP8 для каждого токена во время инференса, а KV-кэш сохраняется в 16-битной точности. На RNGD используется tensor parallelism с размером 16 PE, что соответствует двум картам RNGD. Основной поддерживаемый стек в этом репозитории — Furiosa-LLM, однако исходная модель также может запускаться через vLLM, SGLang и Transformers. Указан английский язык; сведения о размере контекста и других языках отсутствуют. Модель подходит для чат-ботов, генерации текста и интеграции через OpenAI-совместимый API. К её сильным сторонам относятся инструкционная настройка, FP8-квантизация для эффективного инференса и поддержка специализированного ускорителя FuriosaAI RNGD. Ограничения включают нерassуждающий характер модели, зависимость данного варианта от Furiosa-LLM и оборудования RNGD, а также отсутствие в предоставленных данных подробных оценок качества. Лицензия — Apache-2.0.

Mistral-Small-24B-Instruct-2501-GGUF — это набор квантизованных версий инструкционной языковой модели Mistral-Small-24B-Instruct-2501, подготовленный пользователем bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и другие совместимые проекты. Исходная модель имеет размер 24 млрд параметров; в README не указаны подробности её архитектуры и длина контекста. Доступны варианты с точностью от f32 и f16 до различных методов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Размер файлов варьируется примерно от 11 до 94 ГБ, что позволяет выбирать между качеством и требованиями к памяти. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Модель является текстовой и не поддерживает мультимодальный ввод по приведённым данным. Сильная сторона набора — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти; варианты Q5 и выше позиционируются как высококачественные, а Q4 — как подходящие для большинства сценариев. Более компактные варианты требуют меньше памяти, но могут заметно уступать по качеству. Для работы необходим совместимый рантайм, например llama.cpp или LM Studio, и ресурсы, соответствующие размеру выбранного файла. Лицензия — Apache 2.0.

Mixtral SlimOrca 8X7B — языковая модель для генерации текста, разработанная OpenOrca и представленная TheBloke в формате GGUF с квантованием. Модель основана на Mixtral-SlimOrca-8x7B и обучена с использованием набора данных Open-Orca/SlimOrca. Она предназначена для диалоговых сценариев и других задач генерации текста, включая локальный запуск через совместимые инструменты. Модель относится к архитектуре Mixtral и имеет конфигурацию 8x7B; точный размер активируемой части, поддерживаемые языки и максимальная длина контекста в README не указаны. Для взаимодействия используется шаблон ChatML с системными и пользовательскими сообщениями. GGUF-файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти и качеством; рекомендован вариант Q4_K_M как сбалансированный. К сильным сторонам относятся возможность запуска на CPU и совместимых GPU, несколько уровней квантования и поддержка llama.cpp, KoboldCpp, LM Studio и llama-cpp-python при указанных в README версиях. Ограничения включают заметную потерю качества у наиболее агрессивных вариантов квантования, высокие требования к оперативной памяти у старших вариантов и ограниченную совместимость с другими клиентами. Лицензия модели — Apache 2.0.

MyAwesomeModel — модель из репозитория dfdgdg333/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers. В метаданных Hugging Face она классифицирована как модель для извлечения признаков и связана с архитектурой BERT; README при этом описывает обновлённую версию как модель с улучшенными рассуждениями, пониманием текста, генерацией кода и диалогами. Согласно README, модель предназначена для сложных задач рассуждения, математических и логических задач, ответов на вопросы, классификации текста, анализа тональности, суммаризации, перевода, генерации кода и диалогов. Также заявлены поддержка системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска. Для запуска рекомендуется температура 0,6. К сильным сторонам относятся заявленные улучшения рассуждений, снижение частоты галлюцинаций и широкие результаты на бенчмарках, включая математику, программирование и понимание языка. Однако метаданные указывают pipeline-задачу feature-extraction, а README не содержит надёжных сведений о размере модели, длине контекста, поддерживаемых естественных языках или точной конфигурации архитектуры. Модель распространяется по лицензии MIT.

MaziyarPanahi/NeuralHermes-2.5-Mistral-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она поддерживает контекст до 32 768 токенов и обучена работать с форматом диалогов ChatML. Карточка указывает английский язык и возможности чата и следования инструкциям. Модель распространяется по лицензии Apache-2.0. Как и другие модели этого размера, качество её ответов может зависеть от формулировки запроса; README не приводит результатов сравнительных оценок.

NeuralOmniWestBeaglake-7B — объединённая модель для генерации текста на архитектуре Mistral, созданная с помощью LazyMergekit из WestBeagle-7B, Beaglake-7B и NeuralOmniBeagle-7B. В конфигурации указан mistralai/Mistral-7B-v0.1 как базовая модель; слияние выполнено методом DARE-TIES с параметрами плотности и весов для компонентов. Модель предназначена для генерации текста и диалоговых сценариев. Она содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Лицензия — CC-BY-NC-4.0, допускающая использование с указанием авторства и ограничивающая коммерческое применение.

NVIDIA-Nemotron-Nano-9B-v2-FP8-dynamic — это квантизированная FP8-версия языковой модели NVIDIA-Nemotron-Nano-9B-v2, опубликованная Red Hat на базе модели NVIDIA. Модель предназначена для генерации и преобразования текста, включая работу через совместимый с OpenAI API сервер vLLM и развёртывание в Red Hat AI Inference Server или Red Hat OpenShift AI. Модель использует архитектуру NemotronHForCausalLM, принимает текст на вход и генерирует текст. Квантизация FP8 применяется к весам и активациям линейных операторов в блоках Transformer; это уменьшает число битов на параметр с 16 до 8 и примерно на 50% сокращает требования к дисковому пространству и памяти GPU. Заявлены языки English, Spanish, French, German, Italian и Japanese. Размер исходной модели составляет 9B параметров; длина контекста в README не указана. Сильные стороны модели — сниженные требования к хранению и GPU-памяти при сохранении текстовых возможностей базовой модели, а также проверенная совместимость с vLLM 0.10.1.1, RHOAI 2.25 и RHAIIS 3.2.2. Ограничения включают отсутствие в README результатов бенчмарков и подробностей о качестве после квантизации, а также отсутствие поддержки иных модальностей: указаны только текстовые входы и выходы. Модель распространяется по NVIDIA Open Model License; лицензия обозначена как other, а её условия приведены по ссылке NVIDIA.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель относится к классу текстовых генеративных моделей и имеет размер 7B параметров. Доступны варианты от исходных BF16-весов до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ-семейств; размер файлов составляет примерно от 3,55 до 15,24 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом оперативной памяти. Для работы используется chat-шаблон с ролями system, user и assistant. Сильная сторона репозитория — широкий выбор вариантов GGUF для разного баланса качества, размера и производительности, включая варианты, оптимизированные для отдельных сценариев CPU и Apple Silicon. Ограничения, максимальная длина контекста, поддерживаемые языки, конкретные архитектурные особенности исходной модели и результаты бенчмарков в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели NVIDIA и соответствующего репозитория.

OLMoE-1B-7B-0924-Instruct — англоязычная языковая модель Allen Institute for AI (AI2), выпущенная в сентябре 2024 года. Это разреженная архитектура Mixture of Experts (MoE): в карточке указаны 1 млрд активных и 7 млрд общих параметров, а метаданные репозитория — 472,1 млн параметров. Модель дообучена с помощью SFT и DPO на базе allenai/OLMoE-1B-7B-0924-SFT; доступна в формате safetensors для Transformers и рассчитана на контекст до 4096 токенов. Модель предназначена для диалоговой генерации текста и выполнения инструкций на английском языке. По заявлению разработчиков, она показывает результаты, сопоставимые с более крупными моделями при меньших вычислительных затратах. Лицензия Apache 2.0 допускает широкое использование; README описывает также экспериментальные варианты обучения, но для этой модели указана основная preference-tuned версия.

CultriX/Qwen2.5-14B-Brocav3 — объединённая языковая модель на основе семейства Qwen2.5, созданная CultriX с помощью mergekit. В качестве базовой модели использована CultriX/Qwen2.5-14B-Wernickev3; при объединении также задействованы математические, диалоговые и другие варианты Qwen2.5-14B. Для слияния применён метод della_linear. Модель предназначена для генерации текста и диалогового общения. Её можно использовать для ответов на вопросы, составления текстов и математических запросов. Размер модели — 14 млрд параметров, архитектура — плотная Qwen2ForCausalLM; заявленная длина контекста составляет до 131 072 токенов. Модель работает через библиотеку Transformers и распространяется в формате safetensors. Карточка не описывает отдельные результаты оценки качества или специальные ограничения поведения. Лицензия в предоставленных данных не указана.

mlx-community/Qwen3-235B-A22B-4bit — это 4-битная версия модели Qwen3-235B-A22B, преобразованная в формат MLX сообществом mlx-community с использованием mlx-lm 0.24.0. Исходную модель разработала команда Qwen; README указывает базовую модель Qwen/Qwen3-235B-A22B. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm, в том числе в диалоговом режиме с применением chat template. Указаны общий размер 235B параметров и обозначение A22B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекста в README не приведены. Ключевое преимущество этой версии — 4-битное представление и адаптация к MLX, что ориентировано на запуск в совместимой MLX-среде; ограничения производительности, качества и требований к оборудованию не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-235B-A22B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения задач по инструкциям. README не содержит подробностей о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности или специализированных сценариях применения. Известно, что квантование снижает требования к памяти по сравнению с исходной моделью, а формат MLX ориентирован на эффективное выполнение на Apple Silicon. К ограничениям относятся возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

Qwen3-30B-A3B-Thinking-2507-MLX-4bit — это 4-битная квантованная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm и оптимизировано для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и локального запуска в сценариях, где важны совместимость с экосистемой Apple и сниженное потребление памяти по сравнению с полноразмерной версией. Архитектура, поддерживаемые языки, размер контекстного окна, модальности и специализированные задачи в README не указаны. Известно, что модель относится к семейству Qwen3 и имеет конфигурацию 30B-A3B, а 4-битное представление обеспечивает более эффективное развертывание, потенциально с компромиссом между требованиями к ресурсам и точностью. Модель распространяется по лицензии Apache-2.0. Следует учитывать, что квантованная версия может наследовать ограничения исходной модели, включая вероятность неточных, вредных или неподходящих ответов.

Qwen3.6-35B-A3B-Abliterated-Heretic-MLX-4bit — локальная MLX-версия модели Qwen3.6-35B-A3B, подготовленная пользователем Youssofal на базе аблитерированного BF16-чекпойнта. Модель относится к семейству Qwen3.5 MoE и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и коротких программных фрагментов на устройствах Apple Silicon через mlx-lm. Модель использует разреженную архитектуру Mixture of Experts с общим размером около 35 млрд параметров и обозначением A3B. Применена высококачественная 4-битная смешанная квантизация с учётом чувствительности отдельных слоёв; часть проекций хранится с повышенной точностью 6 бит. В репозитории сохранены компоненты обработки изображений и видео, vision tower и процессорные файлы, поэтому вариант может поддерживать мультимодальные сценарии в совместимых MLX-рантаймах Qwen3.6. Поддерживаемые языки и размер контекста в README не указаны. Ключевая особенность — удаление базового поведения отказа на уровне весов с помощью пайплайна Heretic, поэтому модель отвечает на значительную часть запросов, которые исходная модель отклоняла. В проверке на 25 маркерных запросах она отказала в 3 случаях; также прошла локальные проверки общего чата, краткого рассуждения и генерации кода. Это одновременно является ограничением: встроенные защитные отказы ослаблены или удалены, поэтому модель требует осторожного применения и самостоятельных мер безопасности. В README также не приведены результаты комплексных бенчмарков качества. Распространение указано под лицензией Apache-2.0. Модель ориентирована прежде всего на локальный запуск на Apple Silicon и требует совместимой поддержки MLX для мультимодальных возможностей.

FreedomAISVR выпустила GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled, дообученной на базе Qwen/Qwen3.6-35B-A3B с дистилляцией рассуждений Claude 4.7 Opus. Это текстовая MoE-модель для диалогов и генерации ответов; архитектура использует 35 млрд параметров, около 3 млрд из которых активны на токен. Контекст составляет 262 144 токена, поддержка изображений отсутствует. Эксперты квантизированы в MXFP4, остальные веса — в Q8_0, веса маршрутизатора хранятся в F32; файл GGUF занимает около 18,87 ГБ. Модель можно запускать через llama.cpp, например как сервер для диалогового приложения. Лицензия — Apache 2.0.

Qwen3.6-35B-A3B-Q5_K_M-GGUF — это квантованная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с помощью llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в средах с высокой нагрузкой на CPU, включая сценарии использования через llama.cpp. Вариант использует квантование Q5_K_M, обеспечивающее компромисс между качеством и размером файла. Базовая модель имеет архитектуру Mixture-of-Experts и обозначение 35B-A3B, однако в README не приведены подробности о числе экспертов, активных параметрах, размере контекста, поддерживаемых языках и точных модальностях. Метаданные указывают на сценарий image-text-to-text, но дополнительных сведений о работе с изображениями нет. Сильная сторона этой версии — баланс качества и требований к ресурсам по сравнению с менее или более сильно квантованными вариантами. Ограничения связаны с потерями качества, характерными для квантования, а также с отсутствием в README данных о производительности, совместимости и рекомендуемых ресурсах. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Abliterated-GSQ-Orca-GGUF — экспериментальная GGUF-модель на 27 млрд параметров, разработанная автором репозитория ayozhee для локального запуска. Она основана на GSQ-RCO IQ2_S-MTP и объединяет его квантованные веса с выборочно заменёнными матрицами из orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации текста, рассуждений, решения математических задач и программирования на совместимых локальных средах, включая llama.cpp. Abliteration снижает склонность модели к отказам, но может влиять на поведение и безопасность ответов. Файл имеет формат GGUF, размер около 9,61 ГБ, использует смешанное квантование IQ2_S и включает MTP для спекулятивного декодирования. Токенизатор и большая часть тензоров сохранены из исходной GSQ-модели; всего заменена 131 матрица. Тестирование проводилось на RTX 3060 с 12 ГБ памяти: модель показала скорость декодирования около 35,65 токена/с на коротких запросах и успешно прошла заявленные проверки генерации. В небольшом локальном сравнении она получила 27/30 в IFEval, 30/30 в GSM8K и 30/30 после нормализации извлечения в HumanEval. Модель ориентирована на пользователей, которым нужен компактный локальный вариант для ограниченных GPU. Заявленный настроенный предел контекста составляет 16 384 токена, при этом отдельное измерение проводилось с историей на 30,6 тыс. токенов; производительность при полностью занятом контексте 65 тыс. токенов не оценивалась. Результаты основаны на небольших выборках и единичных запусках, поэтому не заменяют полноценные бенчмарки. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-GGUF — неофициальный релиз модели, подготовленный chimingw на основе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Релиз представляет собой конвертацию и квантизацию исходной модели в формате GGUF без дополнительного обучения, дообучения, слияния или изменения выравнивания. Модель предназначена для локального запуска через совместимый runtime, включая llama.cpp; размещённый на Hugging Face хостинг inference отключён. Архитектура указана как Qwen3_5ForConditionalGeneration с типом qwen3_5 и размером 27B параметров. Это мультимодальная vision-language модель с поддержкой текста и изображений, английского и китайского языков, а также заявленной интеграцией function calling. Максимальный контекст по метаданным составляет 262 144 позиции, однако фактическая доступная длина зависит от runtime и объёма памяти. В комплект входят варианты квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M, а также отдельный BF16 мультимодальный проектор; для использования нужные файлы и split-части необходимо хранить вместе. Сильными сторонами релиза являются большой контекст, мультимодальность, несколько вариантов компромисса между качеством и требованиями к памяти и сохранение исходного BF16 набора файлов. Поведение при работе с текстом, изображениями, рассуждениями, инструментами и длинным контекстом зависит от выбранного варианта, клиента, prompt format, runtime и аппаратных ресурсов. Заявления исходного автора о характеристиках uncensored-модификации не были независимо проверены создателем GGUF-релиза и не являются результатами оценки данных артефактов. Модель распространяется по Apache License 2.0 согласно заявленной лицензии источника.

Plana-Chan/Qwen3.8-27B-Uncensored-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.8-27B, опубликованный Plana-Chan для запуска в llama.cpp и совместимых средах. Модель предназначена для генерации текста, диалоговых и прикладных сценариев, где требуется локальный запуск, а также для обработки изображений при использовании совместимого vision runtime и отдельного vision-проектора. Поддерживаются английский и китайский языки. Модель использует архитектуру Qwen3_5ForConditionalGeneration с 64 слоями, словарём из 248 320 токенов, одним MTP-слоем и контекстом до 262 144 токенов. Сохранена MTP-head для speculative decoding, доступны варианты с объединённой draft-моделью и отдельными target/draft-файлами. Представлены квантизации IQ2_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0; размер основных файлов составляет примерно от 10,6 до 29 ГБ. Для изображений предоставляется mmproj в формате F16. Ключевая особенность — существенно сниженное поведение отказа, полученное методом abliteration без дообучения и дополнительных данных; полностью отказы не устранены. Возможны компромиссы квантизации, особенно у IQ2_M, а эффективность speculative decoding зависит от acceptance rate draft-head. README не приводит полных сведений о целевых бенчмарках и фактических требованиях к оборудованию. Распространение указано по лицензии Apache-2.0.

TheDrainFlorist/Qwen3.8-27B-VQ-4.5bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.8-27B, разработанной Qwen. Модель предназначена для генерации текста и, при использовании совместимого mlx-vlm, обработки изображений. Сборка ориентирована на локальный запуск на устройствах Apple Silicon через MLX и сохраняет совместимость со стандартным mlx-lm без патчей. Модель содержит 27 млрд параметров и использует векторное квантование с эффективностью около 4,5 бит на вес; размер чекпойнта составляет примерно 14,45 GiB, включая vision tower в формате bf16. В метаданных указан английский язык, однако полный набор поддерживаемых языков и размер контекстного окна не приведены. Для загрузки требуется версия mlx-lm с поддержкой параметра model_file, а для работы с изображениями — mlx-vlm версии 0.6.16 или новее. Главное преимущество сборки — заметно меньший размер при качестве, близком к bf16 и немного лучшем, чем у указанной локальной 4-битной affine-квантизации: согласие по наиболее вероятному токену составляет 90,1%, а расхождение с bf16-версией — 40,3 millinats на токен. Ограничения включают зависимость от Apple Silicon и совместимых версий MLX, необходимость корректной загрузки встроенного runtime, а также снижение точности по сравнению с bf16 и более качественными 6- и 8-битными вариантами. Лицензия — Apache-2.0.

Qwen3.8-9B-Distill-Uncensored-Heretic-MTPLX-Q6G64 — мультимодальная модель семейства Qwen3.8, опубликованная xy10086. Она создана на основе petruhonk/Qwen3.8-9B-Distill-uncensored-heretic, который, в свою очередь, происходит от empero-ai/Qwen3.8-9B-Distill. Модель предназначена для обработки текста и изображений, включая понимание скриншотов и распознавание текста на изображениях, а также для генерации ответов на английском и китайском языках. Основная языковая часть содержит около 9 миллиардов параметров и сжата методом аффинной 6-битной квантизации с размером группы 64. Зрительная башня и компоненты MTP для speculative decoding сохранены в формате BF16; поддерживаются 15 MTP-тензоров и рекомендованная глубина MTP 2. Модель оптимизирована для Apple Silicon и формата MLX/MTPLX. Рекомендуемое окно контекста — 32768 токенов, максимальная длина ответа — 8192 токена. Сильными сторонами являются мультимодальность, поддержка ускоренного speculative decoding, совместимость с Apple Silicon и высокая скорость генерации в заявленных тестах. Ограничения включают зависимость от MTPLX и MLX, а также требования к памяти и соответствующему программному окружению. Модель имеет пониженный уровень отказов вследствие удаления ограничений цензуры, но это не означает большей фактической точности; результаты в медицинских, юридических, финансовых и других критически важных сценариях необходимо проверять независимо. Модель распространяется по лицензии Apache-2.0; для использования следует также учитывать требования к атрибуции и лицензированию исходных моделей.

Qwen3.8-Flash-Next-W4A16 — это 4-битная версия модели Qwen3.8-Flash-Next, опубликованная aixiaoma и предназначенная для запуска на потребительских GPU NVIDIA Ampere. Модель использует INT4-квантизацию W4A16 с группами по 128 элементов, симметричными масштабами и форматом compressed-tensors. Архитектурно это мультимодальная модель image-text-to-text с MoE-компонентом: квантифицированы основные экспертные и attention-матрицы, тогда как чувствительные компоненты, включая vision encoder, эмбеддинги, маршрутизатор, GDN/linear attention, PLE-таблицы и MTP-модуль, сохранены в BF16. Точные размеры, список поддерживаемых языков и параметры контекстного окна в README явно не приведены, однако указано, что исходная BF16-модель имеет около 335 ГБ, а квантифицированная версия занимает около 168 ГБ на диске. Модель предназначена для диалоговых и мультимодальных сценариев, включая обработку изображений и текста, а также инференс с длинным контекстом. Она запускается через специальную сборку vLLM с поддержкой qwen4_exp, Marlin kernels и PLE offload. На конфигурации из 4 RTX 3090 поддерживается контекст до 96 тысяч токенов, а на 8 RTX 3090 — полный заявленный контекст до 262 тысяч токенов. MTP-модуль сохранён в BF16, поэтому доступно speculative decoding; по данным авторов, для однопоточного декодирования это даёт прирост примерно на 57 процентов. К сильным сторонам относятся возможность запуска на широко распространённых GPU Ampere без поддержки FP8, сохранение качества на заявленном наборе greedy-тестов на уровне базовой модели и существенное сокращение объёма GPU-памяти за счёт выгрузки 102 ГБ PLE-таблиц в оперативную память. Ограничения включают высокие требования к оборудованию и минимум около 110 ГБ свободной оперативной памяти, обязательное использование expert parallelism, специальные параметры Docker и vLLM, а также необходимость отключить torch.compile из-за проблем с компиляцией на Ampere. Лицензия указана как qwen-community-1.0; также отмечена связь с базовой моделью Qwen3.8-Flash-Next.

Модель vito95311/Qwen3-Omni-30B-A3B-Thinking-GGUF-INT8FP16 — квантованная версия Qwen3-Omni-30B-A3B-Thinking от автора vito95311, опубликованная в формате GGUF для запуска через llama.cpp и Ollama. В основе лежит мультимодальная модель Qwen3-Omni с архитектурой смеси экспертов и режимом рассуждения; в README указан размер исходной модели 31,7 млрд параметров. Репозиторий содержит варианты Q8_0 с весами INT8 и F16, а также отдельный файл FP16. Версия предназначена прежде всего для генерации текста, рассуждений, диалога и написания кода на локальном оборудовании. Карточка описывает поддержку китайского и английского языков и заявляет многоязычность. Исходная модель принимает текст, изображения, аудио и видео и может формировать текстовые и аудиовыходы, однако автор предупреждает, что мультимодальные функции в llama.cpp и Ollama могут быть недоступны или работать с ухудшением; в текущей упаковке следует ориентироваться на текстовые сценарии. Квантование уменьшает требования к памяти по сравнению с исходной моделью, но README не приводит независимой проверки заявленных показателей качества и скорости. Для использования указана лицензия Apache 2.0; базовая модель сохраняет условия лицензии Qwen3-Omni.