I.1Поиск и навигация по информации

Matter-0.1-7B-boost-DPO-preview — диалоговая языковая модель на архитектуре Mistral, разработанная 0-hero. Это версия Matter 7B Boost, дообученная методом DPO на наборе Matter, составленном из более чем 35 датасетов и охватывающем свыше 6 млрд токенов. Модель содержит 7,1 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Модель предназначена для диалоговой генерации текста и работы в формате ChatML. В README также заявлена поддержка вызова функций, позволяющая использовать её в приложениях с инструментами. Метаданные указывают английский язык; модель опубликована в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Возможные ограничения включают ошибки и выдуманные ответы, характерные для генеративных языковых моделей; качество вызова функций зависит от корректного форматирования запросов и обработки специальных токенов.

Это версия Meta Llama 3.1 Instruct с 70 млрд параметров, преобразованная в формат MLX сообществом mlx-community из meta-llama/Llama-3.1-70B-Instruct. Она предназначена для генерации текста в диалогах и работы в сценариях ассистента; метаданные также указывают интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM и контекст до 131 072 токенов. По карточке поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Репозиторий содержит веса safetensors, а README описывает конвертацию в MLX с помощью mlx-lm 0.18.2. Лицензия — llama3.1; использование регулируется условиями лицензии Meta Llama 3.1. Большой размер модели требует значительных вычислительных ресурсов; фактическая скорость и доступная длина контекста зависят от оборудования и конфигурации.

GPT4All-Community/Meta-Llama-3.1-8B-Instruct-128k-GGUF — это конвертированная и квантизированная GGUF-версия Meta-Llama-3.1-8B-Instruct. Модель подготовлена пользователем 3Simplex для использования в GPT4All; для работы требуется GPT4All версии 3.1.1 или новее. Базовая модель разработана Meta, однако в README не указаны дополнительные сведения о разработчике исходной модели. Модель предназначена для генерации текста и диалоговых сценариев с системными и пользовательскими сообщениями. Заявлена длина контекста до 131 072 токенов, что позволяет обрабатывать длинные документы и продолжительные диалоги. Известно, что модель содержит 8 миллиардов параметров и использует инструкционную настройку, но сведения о поддерживаемых языках и модальностях отсутствуют. К преимуществам относятся большой контекст и возможность локального использования через GPT4All. Модель не является официально курируемой и поддерживаемой Nomic: в README указано, что требуется дополнительное тестирование и обратная связь, поэтому качество и стабильность следует оценивать в конкретных задачах. Лицензия обозначена как llama3.1; перед использованием необходимо ознакомиться с её условиями.

MLX-Community/Meta-Llama-3.1-8B-Instruct-4bit — это 4-битная квантизованная версия инструкционно дообученной языковой модели Meta Llama 3.1, адаптированная сообществом mlx-community для запуска с использованием MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель относится к семейству Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README размер контекстного окна не указан. Квантизация до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с полноразмерной версией. Модель разработана для практического применения в локальных и ресурсоограниченных средах, но README не содержит подробных результатов тестирования, сведений о производительности или известных ограничениях качества. Распространение и использование регулируются Llama 3.1 Community License от Meta; она предусматривает соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и дополнительные требования к атрибуции и перераспространению. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

Карточка модели rombodawg/Meta-Llama-3.1-8B-reuploaded на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

Это GGUF-квантизированная версия модели Devstral-Small-2507, разработанной Mistral AI и подготовленной пользователем bartowski. Квантизация выполнена с помощью llama.cpp release b5856 и метода imatrix. Модель предназначена для локального запуска через llama.cpp, LM Studio и другие совместимые проекты. В карточке указана мультимодальная категория image-text-to-text, однако подробные сведения об архитектуре, количестве параметров и поддерживаемом контексте не приведены. Заявлена поддержка множества языков, включая английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, украинский и другие. Доступны варианты от BF16 до различных уровней квантизации; размеры файлов составляют примерно от 10 до 47 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти. Основные преимущества версии — возможность локального запуска, широкий выбор компромиссов между качеством и требованиями к памяти, а также совместимость с экосистемой llama.cpp. Ограничения включают отсутствие в README подробных данных о характеристиках исходной модели, результатах оценки и требованиях к оборудованию; качество заметно зависит от выбранного варианта квантизации. Модель распространяется по лицензии Apache-2.0.

Unsloth/Mistral-Nemo-Instruct-2407-GGUF — это GGUF-версия инструкционной модели Mistral Nemo, опубликованная Unsloth. Модель предназначена для запуска в совместимых средах, поддерживающих формат GGUF, а также для диалоговых сценариев, генерации текста и выполнения инструкций. В README указано, что она связана с экосистемой Transformers и поддерживает английский язык. Из доступных данных следует, что модель относится к семейству Mistral Nemo и имеет размер 12B параметров, однако сведения о точной архитектуре, максимальном контексте, модальностях и конкретных вариантах квантования отсутствуют. Формат GGUF удобен для локального инференса и последующей работы с оптимизированными представлениями модели, но характеристики скорости и потребления памяти зависят от используемого варианта файла и программного окружения. Модель может быть полезна для локальных чат-ботов, ассистентов и экспериментов с дообучением: README описывает инструменты Unsloth для более быстрого fine-tuning с меньшим потреблением памяти и экспортом в GGUF. При этом заявленные ускорение и экономия памяти относятся к процессу дообучения в Unsloth, а не обязательно к инференсу этой конкретной модели. Лицензия — Apache-2.0.

bamec66557/Mistral-Nemo-VICIOUS_MESH-12B-2407 — языковая модель, созданная разработчиком bamec66557 слиянием моделей VICIOUS_MESH-12B-BETA и VICIOUS_MESH-12B-OMEGA методом SLERP с помощью mergekit. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 12,1 млрд параметров. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс для вызова инструментов. Нативная длина контекста — 131 072 токена. Карточка приводит результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH, но они не гарантируют качество для конкретных задач. Модель распространяется в формате safetensors по лицензии Apache-2.0. В предоставленной карточке не перечислены поддерживаемые естественные языки и конкретные ограничения применения.

Mixtral-8x7B-Instruct-v0.1 — инструктивная языковая модель Mistral AI на архитектуре Mixtral с разреженной смесью экспертов (MoE). Это дообученная версия Mixtral-8x7B-v0.1 для диалогов и генерации ответов по запросу. Модель принимает текст и выдаёт текст; в карточке заявлен контекст до 32 768 токенов. Для запуска README показывает токенизатор mistral-common и библиотеку mistralinference, а метаданные также указывают поддержку vLLM. Модель подходит для чат-ботов, ответов на вопросы и генерации текста по инструкциям. В карточке она названа демонстрацией возможностей дообучения базовой модели. Указанные языки — английский, французский, итальянский, немецкий и испанский; специализация на каком-либо одном языке не заявлена. README предупреждает, что встроенных механизмов модерации нет. Лицензия — Apache-2.0.

OsaurusAI подготовила сборку JANG_4M модели Nanbeige4.2-3B для генерации текста и диалога. Это плотный Looped Transformer с 22 слоями, которые дважды проходят по общим весам, что даёт эффективную глубину 44 слоя. Веса квантованы для Apple Silicon: используются 4-битные affine routed-веса и 8-битное внимание; размер файлов составляет 2,9 ГБ. Модель насчитывает около 3,2 млрд параметров по метаданным; README указывает 4,17 млрд параметров исходной архитектуры. Контекст — до 256K токенов, основные языки — английский и китайский. Сборка предназначена для рассуждений, диалогов и агентных сценариев с вызовом инструментов. Для корректной работы требуется загрузчик, поддерживающий циклическое выполнение слоёв и 44 позиции KV-кэша; обычный универсальный загрузчик может выдавать неверные ответы. В README приведены измерения скорости и сравнение точности квантования на Apple Silicon, но они относятся к указанной конфигурации и тестам. Лицензия — Apache-2.0.

Ornith-1.5-35B-A3B-REAP-20pct — разреженная MoE-модель для генерации текста, программирования и вызова инструментов, созданная oxfrug на основе Ornith-1.5-35B-A3B от ornith-ai. Модель предназначена для локального и самостоятельного развёртывания, особенно в сценариях кодирования, диалогового взаимодействия и tool calling. В метаданных указан английский язык. Модель использует гибридную архитектуру GatedDeltaNet + MoE с 40 слоями. После удаления 20% экспертов в каждом слое осталось 205 экспертов вместо 256, при этом для каждого токена активны 8 экспертов. Активный объём параметров составляет около 3B на токен, размер BF16-весов — примерно 56 ГБ вместо 67 ГБ у базовой модели. Общие эксперты, vision tower, эмбеддинги и lm_head не изменялись; архитектура обозначена как Qwen3_5MoeForConditionalGeneration, поэтому модель поддерживает текстово-мультимодальный интерфейс базовой архитектуры. Для работы требуются transformers версии 5.8.1 или новее; для vLLM заявлена конфигурация с контекстом до 262144 токенов. Главное преимущество — экономия около 11 ГБ дискового пространства при сохранении примерно 3B активных параметров на токен и совместимость с transformers и vLLM. Ограничения связаны с потерей качества из-за pruning: модель не является lossless-копией и не является квантизированной или дообученной. Для этого чекпойнта не проводились полноценные тесты SWE-bench, Terminal-Bench и GPQA, а опубликованные результаты родственной модели нельзя переносить на него. Калибровка выполнялась на последовательностях длиной 1024 токена, что также может повышать риск ухудшения специализированных возможностей, включая tool calling. Модель распространяется по лицензии MIT. Она требует значительных ресурсов: это не вариант для одной видеокарты на 24 ГБ; для длинного контекста в vLLM рекомендуется конфигурация с двумя GPU по 80 ГБ. Форматы GGUF для данного pruning в README не заявлены.

ChaoticNeutrals/Prima-LelantaclesV5-7b — слитая методом DARE TIES текстовая модель на архитектуре Mistral, опубликованная ChaoticNeutrals. В объединение вошли Test157t/Pasta-Lake-7b и Test157t/Prima-LelantaclesV4-7b-16k; README указывает, что обе модели использованы с весом 1. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и рассчитана на генерацию текста с контекстом до 32 768 токенов по метаданным.

ThomasBaruzier/Qwen2.5-72B-Instruct-GGUF — набор GGUF-квантизаций 72-миллиардной инструкционно настроенной языковой модели Qwen2.5-72B-Instruct. Квантизации подготовлены ThomasBaruzier с использованием llama.cpp и метода imatrix, а для калибровки применён файл Bartowski. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций в локальных приложениях, совместимых с llama.cpp. Это текстовая autoregressive-модель без заявленной поддержки изображений или других модальностей. В README указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Представлено множество вариантов квантизации от IQ1_S до Q8_0 с размером файлов примерно от 21,6 до 78,5 ГБ; варианты позволяют выбирать компромисс между требованиями к памяти, скоростью и сохранением качества. В таблице README для доступных вариантов приведены значения perplexity и accuracy, причём более низкая perplexity соответствует лучшему результату. Сильной стороной набора является широкий выбор квантизаций и наличие измерений качества для их сравнения. Ограничения включают существенные требования к оперативной или видеопамяти даже у наиболее сжатых вариантов, возможную потерю качества из-за квантизации и отсутствие данных о размере контекстного окна, архитектурных деталях и производительности на конкретном оборудовании. Модель распространяется по лицензии Qwen; точные условия следует уточнять в лицензии базовой модели Qwen/Qwen2.5-72B-Instruct.

Qwen2-57B-A14B — базовая большая языковая модель серии Qwen2, разработанной командой Qwen. Это декодерная модель на архитектуре Transformer с разреженной смесью экспертов (MoE): всего 57 млрд параметров, из которых 14 млрд активируются при одном проходе. Модель предназначена для дальнейшего обучения и оценки возможностей в генерации и понимании текста, ответах на вопросы, рассуждениях, математике, программировании и многоязычных задачах. Модель принимает текст и генерирует текст; карточка указывает контекст до 131 072 токенов и адаптивный к разным естественным языкам и кодам токенизатор. В README не советуют использовать базовую версию для прямой генерации и рекомендуют сначала провести дополнительное обучение, например SFT, RLHF или продолжение предобучения. Для загрузки архитектуры Qwen2MoE требуется Transformers версии 4.40.0 или новее. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

Qwen-2.5-7B-Deep-Stock-v2 — слитая разговорная языковая модель от bunnycore, созданная методом Model Stock с помощью mergekit. В качестве основы использована fblgit/cybertron-v4-qw7B-UNAMGS; в слияние также вошли FuseChat-Qwen-2.5-7B-Instruct, Intelligence-R1-Distill-7B, DeepSeek-R1-Distill-Qwen-MFANN-Slerp-7b и предыдущая версия модели. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров, работает через Transformers и принимает текст для генерации текста в диалоговом формате. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. Подходит для диалогов и генерации ответов; слияние с моделями для инструкций и дистиллятами DeepSeek-R1 предполагает ориентацию на следование инструкциям и рассуждения, однако README не приводит оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана. Как и у других слитых моделей, качество и стабильность ответов могут зависеть от запроса; фактические пределы контекста и поддержка вызова инструментов зависят от используемого окружения.

Qwen-2.5-Aether-SlerpFusion-7B — слитая текстовая модель на архитектуре Qwen2, созданная ZeroXClem с помощью mergekit и метода SLERP. Она объединяет Locutusque/StockQwen-2.5-7B и allknowingroger/QwenSlerp8-7B; размер модели составляет 7,1 млрд параметров, контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая создание контента, суммаризацию, перевод и чат-ботов. README также предлагает использовать её для юридических, медицинских и технических задач, однако не приводит специализированных оценок или подтверждения качества в этих областях. Модель принимает текст и генерирует текст; метаданные указывают английский и китайский языки. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

MaziyarPanahi/Qwen3-32B-GGUF — это набор квантованных файлов модели Qwen3-32B в формате GGUF. Исходную модель разработала команда Qwen, а конвертацию и публикацию квантованных вариантов выполнил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые приложения и библиотеки. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов; возможны ускорение на GPU и предоставление OpenAI-совместимого API в зависимости от используемого ПО. Карточка не содержит подробностей об архитектуре, количестве параметров исходной модели, поддерживаемых языках, размере контекста, мультимодальности, результатах оценки или конкретных ограничениях качества. Условия лицензирования в README также не указаны, поэтому их следует уточнить на странице исходной модели Qwen/Qwen3-32B и публикации квантованных файлов.

Qwen3.5-122B-A10B-REAP-20-abliterated-GGUF — это набор GGUF-квантизаций разреженной MoE-модели, созданный Robinson Labs на основе 0xSero/Qwen3.5-99B, которая, в свою очередь, получена из Qwen/Qwen3.5-122B-A10B. Из исходной модели удалено около 20% экспертов: сохранено 205 из 256, что уменьшило общий размер примерно со 122B до 99B параметров при сохранении бюджета около 10B активных параметров. Модель предназначена для генерации текста и запуска в совместимом программном обеспечении, включая llama.cpp. Архитектура — qwen35moe, модель содержит 48 слоёв и использует стандартное предсказание одного токена без Multi-Token Prediction (MTP/NextN). Доступны варианты GGUF с квантованием от Q6_K до IQ2_XS, с размером файлов примерно от 81,3 до 29,5 ГБ; квантизация выполнена с использованием importance-matrix на общем калибровочном наборе. Языки, размер контекстного окна и поддерживаемые модальности в README не указаны. Модель сохраняет основные возможности исходной архитектуры при меньшем числе экспертов, а вариант REAP-20 должен иметь больше ёмкости и больший размер, чем REAP-30. Дополнительно выполнена abliteratation — ортогонализация весов для снижения жёстких отказов на запросы для взрослого и творческого контента; защитные ограничения против самоповреждения и содействия реальным противоправным действиям, согласно описанию, сохранены. Это не универсальная модель для всех аудиторий, а крупная по требованиям к памяти система, причём качество зависит от выбранного уровня квантования. Лицензия — Apache-2.0, унаследованная от базовой модели.

Youssofal/Qwen3.6-35B-A3B-Abliterated-Heretic-GGUF — это GGUF-релиз модифицированной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений; запуск возможен через llama.cpp с использованием совместимого мультимодального projector-файла. Релиз создан с применением Heretic для удаления исходного паттерна отказов на уровне весов. Модель использует разреженную MoE-архитектуру с 35,95 млрд общих параметров и примерно 3 млрд активных параметров на токен. В составе 40 текстовых слоёв, 256 маршрутизируемых экспертов и 8 активных экспертов на токен; семейство архитектуры — qwen3_5_moe. Доступны варианты BF16, Q8_0, Q6_K и Q4_K_M, различающиеся качеством и требованиями к ресурсам. Языки и точный размер контекстного окна в README не указаны. Сильной стороной релиза является сохранение мультимодальной архитектуры и общего профиля возможностей базовой модели при значительно меньшей склонности к отказам: в указанной проверке модель отказала в 1 из 25 запросов против 22 из 25 у оригинала. Это одновременно является ограничением и фактором риска: встроенное поведение отказа удалено, поэтому модель может отвечать на запросы, которые базовая версия отклоняла, и требует самостоятельного контроля безопасности. Релиз распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwen3.6-35B-A3B-GGUF — квантизированная версия модели Qwen3.6-35B-A3B, разработанной Qwen и представленной в формате GGUF организацией ggml-org. Модель предназначена для запуска через совместимые инструменты, включая llama.app; в карточке она классифицирована как image-text-to-text, что указывает на поддержку сценариев преобразования изображений и текста в текст, однако подробности о реализованных модальностях не приведены. Известно, что исходная модель связана с Qwen/Qwen3.6-35B-A3B и z-lab/Qwen3.6-35B-A3B-DFlash. Обозначение 35B-A3B указывает на заявленные размеры модели, но архитектура, фактическая схема активации параметров, контекстное окно, языки и варианты квантизации в README не описаны. Сильными сторонами являются формат GGUF и возможность локального запуска через совместимую инфраструктуру; ограничения включают отсутствие подробных характеристик, оценок качества и требований к ресурсам. Модель распространяется по лицензии Apache-2.0 и автоматически преобразована с использованием инструментария ggml-org/convert.

Avesed/Qwen3.6-35B-A3B-INT8-W8A8 — квантизированная версия Qwen/Qwen3.6-35B-A3B, разработанная на базе модели Qwen. Это гибридная Mixture-of-Experts-модель для генерации текста, рассчитанная прежде всего на англоязычные и китайскоязычные сценарии. Архитектура включает 256 экспертов с выбором 8 экспертов на токен и примерно 3 млрд активных параметров, GatedDeltaNet для линейного внимания, vision tower и MTP head, однако назначение и характеристики визуальных возможностей в карточке подробно не описаны. Квантизация выполнена в формате INT8 W8A8: веса экспертных FFN преобразованы в симметричный INT8 по каналам, а активации квантизуются динамически для каждого токена. Чувствительные к качеству компоненты, включая self-attention, маршрутизатор, shared expert, GatedDeltaNet, lm_head, embeddings, vision tower и MTP head, сохранены в формате bfloat16. По заявлению автора, такая схема обеспечивает почти отсутствие потерь качества и предназначена для более эффективного развертывания модели. Модель поддерживается сервером vLLM с INT8 MoE-путём и рассчитана на видеокарты Ampere с архитектурами sm_80 и sm_86; в примере запуска используется tensor parallelism на двух устройствах. Ограничения включают отсутствие в README данных о размере контекста, точном общем числе параметров, поддерживаемых визуальных задачах и результатах тестирования именно этой версии. Лицензия — Apache-2.0.

LibertAIDAI/Qwen3.6-35B-A3B-NVFP4-GGUF — это GGUF-квантизация мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Alibaba Qwen и адаптированной LibertAI для работы с llama.cpp. Модель предназначена для генерации текста, рассуждений и обработки изображений и видео совместно с vision-проектором mmproj. Заявленный язык — английский. Модель использует гибридную архитектуру attention и SSM с механизмом Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активируются на каждом токене; предусмотрено 40 слоёв и 256 экспертов, из которых активны 8. Маршрутизируемые экспертные FFN-тензоры представлены в формате NVFP4, а attention, shared experts, SSM-блоки linear_attn и embeddings используют обычные варианты GGUF-квантизации. Доступны варианты с Q4_K_M, Q8_0 и BF16 для неэкспертных тензоров; для мультимодального ввода требуется отдельный vision-проектор F16 размером около 861 МБ. Основное преимущество NVFP4-варианта — уменьшенный размер и высокая скорость на NVIDIA Blackwell, особенно для версии Q4_K_M; на RTX 5090 она показала до 223 токенов в секунду при генерации. При этом для этой MoE-модели стандартный GGUF Q4_K_M в некоторых сценариях пакетной обработки быстрее NVFP4-варианта, поэтому выигрыш NVFP4 зависит от оборудования и режима работы. На старых GPU поддержка NVFP4 работает через альтернативные kernels и не даёт заявленного преимущества Blackwell. Контекст модели в README не указан. Распространение выполняется по лицензии Apache 2.0. Для запуска необходимы llama.cpp и соответствующий GGUF-файл; мультимодальный режим дополнительно требует vision-проектор.

Qwen3.6-35B-A3B-Q5_K_M-GGUF — это квантованная версия модели Qwen3.6-35B-A3B, разработанная сообществом Qwen и преобразованная пользователем Abiray в формат GGUF с помощью llama.cpp. Модель предназначена для локального запуска на потребительском оборудовании и в средах с высокой нагрузкой на CPU, включая сценарии использования через llama.cpp. Вариант использует квантование Q5_K_M, обеспечивающее компромисс между качеством и размером файла. Базовая модель имеет архитектуру Mixture-of-Experts и обозначение 35B-A3B, однако в README не приведены подробности о числе экспертов, активных параметрах, размере контекста, поддерживаемых языках и точных модальностях. Метаданные указывают на сценарий image-text-to-text, но дополнительных сведений о работе с изображениями нет. Сильная сторона этой версии — баланс качества и требований к ресурсам по сравнению с менее или более сильно квантованными вариантами. Ограничения связаны с потерями качества, характерными для квантования, а также с отсутствием в README данных о производительности, совместимости и рекомендуемых ресурсах. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-50 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B для генерации текста. Модель разработана RedHatAI и построена на архитектуре Qwen3_5MoeForCausalLM с экспертной архитектурой MoE. Она принимает текст и генерирует текст, предназначена для задач вывода больших языковых моделей и развертывания через vLLM. В модели применена смешанная квантизация NVFP4/FP4: веса и активации линейных слоёв MoE-экспертов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Также заявлено REAP-сокращение экспертов на 50%, что уменьшает размер на диске и потребление GPU-памяти квантизированных слоёв примерно на 75% с дополнительным выигрышем за счёт разреженности. Модель рассчитана на инференс с vLLM, включая tensor parallelism и expert parallelism. Размер модели, длина контекста, поддерживаемые языки и точные модальные возможности в README не указаны. Основные преимущества — существенное снижение требований к памяти и объёму хранения при сохранении исходной архитектуры и готовность к эффективному инференсу на поддерживаемом оборудовании. Ограничения связаны с потерями качества, возможными для агрессивной квантизации и pruning; README сообщает о сравнительной оценке, но не приводит её результаты. Также имеется несогласованность: в названии и описании указано 50% REAP Pruning, а в разделе создания модели — 25%. Лицензия в README не указана.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-GGUF — неофициальный релиз модели, подготовленный chimingw на основе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Релиз представляет собой конвертацию и квантизацию исходной модели в формате GGUF без дополнительного обучения, дообучения, слияния или изменения выравнивания. Модель предназначена для локального запуска через совместимый runtime, включая llama.cpp; размещённый на Hugging Face хостинг inference отключён. Архитектура указана как Qwen3_5ForConditionalGeneration с типом qwen3_5 и размером 27B параметров. Это мультимодальная vision-language модель с поддержкой текста и изображений, английского и китайского языков, а также заявленной интеграцией function calling. Максимальный контекст по метаданным составляет 262 144 позиции, однако фактическая доступная длина зависит от runtime и объёма памяти. В комплект входят варианты квантизации Q8_0, Q6_K, Q5_K_M и Q4_K_M, а также отдельный BF16 мультимодальный проектор; для использования нужные файлы и split-части необходимо хранить вместе. Сильными сторонами релиза являются большой контекст, мультимодальность, несколько вариантов компромисса между качеством и требованиями к памяти и сохранение исходного BF16 набора файлов. Поведение при работе с текстом, изображениями, рассуждениями, инструментами и длинным контекстом зависит от выбранного варианта, клиента, prompt format, runtime и аппаратных ресурсов. Заявления исходного автора о характеристиках uncensored-модификации не были независимо проверены создателем GGUF-релиза и не являются результатами оценки данных артефактов. Модель распространяется по Apache License 2.0 согласно заявленной лицензии источника.

Qwen3.8-27B-GPTQ-Int4-sym-G128-MTP-BF16 — квантизированный производный вариант модели Qwen/Qwen3.8-27B, опубликованный пользователем mikeinnyc. Это не дообученная модель: дополнительное обучение не проводилось, а GPTQ-квантизация выполнена непосредственно из исходного чекпойнта BF16. Модель предназначена для генерации текста и развёртывания через Transformers и vLLM, включая сценарии с OpenAI-совместимым API и Open WebUI. Она ориентирована на запуск на Intel Arc Pro B70 с использованием vLLM XPU, speculative decoding и unquantized MTP draft path. В контролируемом тестировании на одной Intel Arc Pro B70 32 GB конфигурация G128 поддерживала контекст до 161 000 токенов с FP8 KV-кэшем. Ключевые характеристики: GPTQ INT4 с симметричной квантизацией и group size 128, без квантизации LM head и MTP-тензоров; размер загрузки составляет около 19,6 ГБ, модель хранится в пяти файлах safetensors. Сильными сторонами являются уменьшенный объём памяти по сравнению с BF16, поддержка очень длинного контекста и возможность ускорения генерации с помощью MTP. Ограничения включают зависимость от совместимой конфигурации vLLM XPU и специальных патчей для проверенного сценария на Intel Arc Pro B70; заявленные характеристики производительности относятся именно к этому окружению. Модель распространяется по лицензии Apache-2.0.

Mirai’s Qwen3.8-27B Medium Quantization — это 4-битная квантованная версия модели Qwen3.8-27B, подготовленная Mirai Labs для эффективного локального запуска на устройствах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования, включая агентские задачи, диалоги и работу с длинным контекстом; подробности об исходной архитектуре, языках и размере контекста в представленном описании не указаны. Модель использует асимметричную целочисленную 4-битную квантизацию с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные Random Hadamard Transforms. Квантование выполнено после обучения и дополнено quantization-aware distillation. По сочетанию размера и KL-дивергенции разработчики относят чекпойнт к Pareto-фронту; по уровню квантизации и размеру он сопоставим с Unsloth UD-Q4_K_M. Сильная сторона модели — компромисс между качеством и эффективностью при локальном инференсе на Apple silicon. Основные ограничения заключаются в текущей поддержке только Apple silicon и необходимости использовать совместимое программное обеспечение, например пакет mirai или сборку uzu. Лицензия — Apache-2.0. Для архитектурных характеристик, языков, контекстного окна, оценок и ограничений следует обращаться к карточке исходной модели Qwen3.8-27B.

Qwen3-8B-Base-SFT-R-64 — базовый чекпойнт размером 7,6 млрд параметров, подготовленный David6995 как общая основа для доменных экспертных моделей семейства Qwen3-8B. Это плотная авторегрессионная языковая модель архитектуры Qwen3ForCausalLM; репозиторий содержит полные веса BF16, конфигурацию и токенизатор в формате safetensors. Модель работает с текстом, поддерживает чатовый интерфейс и интерфейс вызова инструментов, а её родной контекст составляет 65 536 токенов. Чекпойнт предназначен для использования как общая база при создании или применении доменных экспертов Qwen3-8B и для генерации текста. Указана лицензия Apache-2.0. README не приводит сведений о конкретных доменах экспертов или оценках качества этой версии.

Yanun/Swift-Qwen3.8-27b-oQ4e-mtp — мультимодальная модель класса 27B, разработанная на основе Swift-Qwen3.8-27b от UkisAI и преобразованная в формат MLX. Она предназначена для обработки текстовых и визуальных входных данных с генерацией текста, включая сценарии, где требуется анализ изображений совместно с текстовыми инструкциями. Модель имеет плотную текстовую архитектуру с 64 слоями, чередующуюся линейную и полную attention: 48 слоёв используют linear attention, 16 — full attention. Размер скрытого состояния составляет 5120, размер feed-forward слоя — 17408, словарь содержит 248 320 токенов, а заявленный предел контекста — 262 144 токена, хотя фактическая длина зависит от настроек среды выполнения и доступной памяти. Vision encoder включает 27 слоёв, скрытое состояние размером 1152, 16 attention heads и обрабатывает изображения через патчи 16×16. В составе также есть один multi-token prediction (MTP) слой. Чекпойнт использует смешанную квантизацию oQ4e: базовые веса квантизированы до 4 бит, для 187 модулей заданы переопределения на 5 бит, а отдельные компоненты MTP сохранены в BF16. Это уменьшает требования к хранению и вычислениям по сравнению с полноразмерной моделью, но итоговая производительность и доступная длина контекста зависят от MLX-совместимого runtime и объёма памяти. Поддерживаемые языки и специализированные сильные стороны в README не указаны. Модель распространяется на условиях Swift Open License v1.0; конвертация не изменяет условия лицензии исходной модели.

TernaryQuench-Qwen3.8-27B-GGUF — это сжатая версия языковой модели Qwen3.8-27B, подготовленная penkia с использованием проекта TernaryQuench. Базовая модель разработана командой Alibaba Qwen. Модель предназначена для локального текстового вывода и совместима с llama.cpp и Ollama; заявлена поддержка генерации текста, структурированного JSON и tool calling. Модель содержит 27 млрд параметров. В большинстве матриц декодера применено ternary-кодирование с тремя значениями весов: −scale, 0 и +scale; первые 62 слоя хранятся в формате Q2_K, последние два слоя — в BF16, а embeddings и output head — в Q4_1. Файл занимает около 10,86 ГБ, при этом требуется дополнительная память для runtime и context cache; в примере запуска указан контекст до 32 768 токенов. Сжатие снижает качество относительно исходной BF16-модели: средняя точность в пяти zero-shot задачах составила 72,28% против 74,35% у Qwen3.8-27B BF16, а perplexity на WikiText-2 — 12,8569 против 7,7471 у 4-битной версии. Модель рассчитана на эффективный локальный инференс, но приведённые проверки не подтверждают надёжность сложных многошаговых агентских сценариев. Лицензия — Apache-2.0.