I.14Автоматизация процессов и AI-агенты

TheRains/Qwen2.5-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с использованием llama.cpp и предназначена для локального запуска через llama.cpp в задачах генерации текста и диалогового взаимодействия. Модель имеет 32 миллиарда параметров в варианте квантизации Q4_K_M. В карточке указана поддержка английского языка и текстовая модальность; сведения о размере контекстного окна и других языках отсутствуют. Модель можно использовать через llama-cli или llama-server, в том числе на совместимом CPU и GPU-оборудовании при соответствующей сборке llama.cpp. Основные преимущества — локальное выполнение, совместимость с экосистемой llama.cpp и уменьшенные требования к памяти по сравнению с полноразмерной версией. Ограничения связаны с квантизацией, а также с отсутствием в карточке подробных данных о качестве, производительности и поддерживаемых сценариях. Лицензия — Apache-2.0.

chatpig/qwen2.5-vl-7b-it-gguf — модель в формате GGUF, основанная на Qwen/Qwen2.5-VL-7B-Instruct, разработанной командой Qwen. Она предназначена для генерации текста и преобразования изображений и текста в текст, а также может использоваться как текстовый энкодер. Модель ориентирована на мультимодальные сценарии, включая работу с текстовыми и визуальными входными данными, и совместима с ComfyUI-GGUF и gguf-node. В README также указана поддержка моделей и рабочих процессов, использующих qwen-image-gguf. Размер базовой модели составляет 7B параметров; сведения о поддерживаемых языках, длине контекста, конкретной архитектуре, требованиях к ресурсам, ограничениях качества и рекомендуемых сценариях применения не приведены. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-32B-MLX-8bit — языковая модель для генерации текста, представленная сообществом lmstudio-community и созданная на основе Qwen/Qwen3-32B. Модель преобразована в формат MLX с использованием mlx-lm версии 0.24.0 и предназначена для запуска и генерации текста в экосистеме MLX, в том числе через библиотеку mlx-lm с поддержкой чат-шаблона, если он задан в токенизаторе. Ключевые характеристики модели — размер базовой модели 32B параметров, 8-битное представление и специализация на текстовой генерации. Формат MLX ориентирован на использование в совместимой среде, однако README не содержит сведений о поддерживаемых языках, длине контекста, архитектуре, мультимодальности, производительности и ограничениях. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-4B-Thinking-2507-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Thinking-2507, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.2. Исходная модель опубликована организацией Qwen. Модель относится к классу text-generation и предназначена для генерации текста и диалогового взаимодействия. Модель рассчитана на запуск через библиотеку mlx-lm, включая загрузку токенизатора и применение chat template для диалоговых запросов. Из README известно, что она использует формат MLX и имеет размер исходной модели 4B параметров; применяется 4-битное представление. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальных возможностях не указаны, поэтому модель следует рассматривать как текстовую. Ключевое преимущество — адаптация к экосистеме MLX и уменьшенное 4-битное представление, что может снизить требования к памяти при локальном запуске. Ограничения README не описывает: отсутствуют данные о качестве, производительности, скорости, специализации модели и известных рисках. Лицензия — Apache-2.0.

onnx-community/Qwen3.5-0.8B-ONNX — это ONNX-версия постобученной мультимодальной модели Qwen3.5-0.8B, разработанной командой Qwen. Модель предназначена для обработки текста и изображений, генерации ответов, визуального понимания, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и специализированного дообучения. Веса и конфигурация совместимы с Hugging Face Transformers.js и ONNX Runtime. Модель представляет собой авторегрессионную языковую модель с vision encoder и содержит около 0,8 млрд параметров. Архитектура сочетает Gated Delta Networks и разреженную Mixture-of-Experts; языковая часть включает 24 слоя, скрытое измерение 1024 и нативный контекст до 262 144 токенов. Заявлена поддержка 201 языка и диалекта. Благодаря небольшому размеру модель ориентирована на относительно эффективный запуск и разработку, но по возможностям и качеству уступает более крупным моделям, а заявленные мультимодальные и языковые характеристики требуют проверки на конкретных задачах. Модель распространяется по лицензии Apache-2.0. README не содержит полного описания ограничений, требований к аппаратному обеспечению и подробных результатов именно для всех поддерживаемых сценариев.

Qwen3.5-2B-text-only — текстовый вариант семейства Qwen3.5, опубликованный Principled Intelligence. Это плотная авторегрессионная языковая модель с архитектурой Qwen3_5ForCausalLM и примерно 1,7 млрд параметров. Из чекпойнта удалены веса визуального энкодера, поэтому он занимает меньше места и требует меньше видеопамяти, чем исходная мультимодальная версия. Модель предназначена для генерации текста и диалогов; заявленная длина контекста составляет 262 144 токена. Чекпойнт сохранён в формате safetensors и рассчитан на запуск через HuggingFace Transformers версии 5.2.0 или новее. По карточке, он сохраняет токенизатор, шаблон диалога и поведение генерации исходной модели, но не принимает изображения. Лицензия — Apache 2.0. Авторы описывают публикацию как лабораторный эксперимент, а поддержку vLLM, SGLang, llama.cpp, Ollama и других движков пока не заявляют.

Qwen3.5-9B-Unredacted-MAX — дообученная мультимодальная модель семейства Qwen от prithivMLmods, основанная на Qwen/Qwen3.5-9B. Она предназначена для диалогов и обработки изображений с текстом, а также для локального и облачного инференса, прототипирования, исследований следования инструкциям и тестирования устойчивости. Модель содержит 9 млрд параметров, использует плотную архитектуру Qwen3.5 и распространяется в формате safetensors для Transformers; заявлена совместимость с современными конвейерами Transformers. В карточке сообщается о модификации отказов и приводятся самоотчётные показатели поведения на 2000 тестовых запросах; это не независимый бенчмарк. Возможны неверные или непоследовательные ответы, особенно в сложных сценариях, а результаты зависят от промпта и настроек генерации. Для оптимальной производительности рекомендуется ускорение на GPU. Лицензия — Apache-2.0.

Hellohihihih/qwen35-v35-textmix-merged-full — полноразмерная объединённая текстовая причинная языковая модель на архитектуре Qwen3.5, созданная автором репозитория на основе Qwen/Qwen3.5-9B и адаптера LoRA Hellohihihih/qwen35-v30-textmix-lora. Веса адаптера объединены с базовыми весами, поэтому для запуска не требуется загружать PEFT-адаптер отдельно. Модель предназначена для генерации текста и диалогов; в тегах карточки указаны английский и корейский языки, ответы на вопросы и рассуждения. Это текстовая версия без кодировщиков изображений, аудио и видео, а также без мультимодального проектора. Модель содержит 7,2 млрд параметров, поддерживает контекст до 262 144 токенов и распространяется в формате safetensors через Transformers. Лицензия указана как other, поэтому условия использования следует уточнить в карточке репозитория.

Qwen3.6-11B-A3B-Niwaki-4bit-GGUF — это GGUF-сборка модели Qwen3.6, разработанной командой Qwen и адаптированной проектом Niwaki. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая генерацию текста, диалог, рассуждения, краткие творческие задачи и программирование. В README указаны архитектура mixture-of-experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором top-8 экспертов; общий размер модели составляет 11B параметров, активными являются примерно 3,05B. Размер промежуточного слоя экспертов уменьшен с 512 до 128, а контекстное окно соответствует базовой модели, но его точный размер не указан. Требуется актуальная версия llama.cpp с поддержкой Qwen3.6 и hybrid linear attention. Рекомендуемая сборка UD-Q3K занимает около 5,9 ГБ и использует структурно-ориентированное 4-битное квантование: постоянно активные компоненты хранятся с более высокой точностью, а маршрутизируемые эксперты — в компактном формате с калибровкой по матрицам важности. Также доступна сборка Q4_K_M размером около 7,0 ГБ. Модель показывает функциональные результаты в чат-сценариях, рассуждениях и кратком написании, однако её слабая сторона — продолжительная генерация кода: на длинных программных файлах возможны ранняя остановка и потеря связности. Для интенсивной работы с кодом README рекомендует более крупную 19B-модель. Лицензия — Apache 2.0; pruning, distillation и GGUF-сборки выполнены проектом Niwaki.

Qwen3.6-35B-A3B-REAM-192-heretic-APEX-GGUF — предварительная серия смешанных по точности GGUF-квантизаций модели keithnull/Qwen3.6-35B-A3B-REAM-192-heretic, основанной на архитектуре Qwen3.6 и разработанной сообществом вокруг Qwen. Модель распространяется в формате, совместимом с llama.cpp, и использует APEX (Adaptive Precision for EXpert Models) для MoE-aware квантизации экспертных слоёв. Доступны варианты размером примерно 12–19 ГБ с эффективной точностью около 3,80–5,91 BPW. Названия файлов с суффиксами Q3_K или Q5_K являются только подсказкой для каталогов и не отражают единственный тип квантизации: внутри используются комбинации K- и IQ-форматов, включая Q3_K, Q4_K, Q5_K, Q6_K, IQ2_S, IQ4_XS и Q8_0. Модель предназначена для локального текстового диалога и генерации текста, а также может использовать изображения при подключении совместимого vision-проектора mmproj-REAP-26B-F16.gguf через llama-server и OpenAI-совместимый chat-completions API. Архитектура сохраняет vision tower Qwen3.6-VL, совместимые скрытое пространство и токенизатор, однако опубликованные GGUF-файлы содержат только текстовые веса. Вариант Mini рассчитан на видеокарты с 16 ГБ VRAM, а I-Compact позиционируется как вариант для повседневного использования в классе размера стандартной Q4_K_M. Сильные стороны серии — MoE-ориентированная смешанная точность, наличие вариантов с imatrix-калибровкой и разные компромиссы между качеством, размером и скоростью декодирования. При этом релиз является preview: для этой APEX-рецептуры ещё не опубликованы измерения perplexity, KL-divergence и академических бенчмарков; проверка ограничивалась оценкой Heretic, качественной проверкой пяти промптов на BF16-весах и базовыми тестами связности генерации. Модель распространяется по лицензии Apache-2.0.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Final-GGUF — мультимодальная модель в формате GGUF, основанная на HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель разработана автором LuffyTheFox с применением метода Genesis — посттренировочной числовой коррекции тензоров без дополнительного обучения или тонкой настройки. В README также упоминается исходная разработка Qwen и Tongyi Lab Alibaba Group. Модель предназначена для диалоговых сценариев, генерации текста, задач программирования и работы с изображениями благодаря заявленной поддержке vision и pipeline image-text-to-text. Указана архитектура MoE с 35 млрд параметров и 3 млрд активных параметров, однако размер контекста в README не приведён. Заявлены английский, китайский и мультиязычный режимы работы. Доступны режимы с рассуждением и без него, а также рекомендации по настройкам генерации и запуску на GPU. К заявленным сильным сторонам относятся отсутствие отказов в указанном тесте из 465 запросов, повышенная стабильность, ясность контекста и следование инструкциям после коррекции тензоров. При этом модель позиционируется как uncensored, поэтому может не применять стандартные ограничения безопасности. Фактическое качество, устойчивость, требования к памяти и поддержка конкретных мультимодальных сценариев зависят от выбранной квантизации и среды запуска. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — модель семейства Qwen3.8 с 27 млрд параметров, опубликованная TheCluster. Она преобразована в формат MLX из KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS с использованием mlx-vlm 0.6.13. По метаданным модель предназначена для сценариев image-text-to-text и поддерживает работу с текстом и изображениями в совместимых фреймворках. Модель использует смешанное квантование: большинство тензоров представлены в 8-битном аффинном формате с размером группы 32, а отдельные важные тензоры сохранены в bf16. Итоговая точность составляет 9,450 бит на вес, что снижает требования к памяти по сравнению с полноразмерной моделью, но может ограничивать качество относительно исходной версии. Заявлена поддержка множества языков, включая английский, китайский, русский, испанский, французский, немецкий, японский, корейский, арабский, украинский и другие; размер контекста в README не указан. Модель ориентирована на универсальные задачи генерации и анализа с заявленным режимом без ограничений содержательного характера. По умолчанию reasoning_effort установлен в low, чтобы избегать избыточного рассуждения. Для режима рассуждений рекомендуются temperature 1.0, top_p 0.95 и top_k 20, а для instruct-режима — temperature 0.7, top_p 0.80, top_k 20 и presence_penalty 1.5. Повышение presence_penalty может уменьшать повторения, но иногда приводит к смешению языков и снижению качества. Лицензия — Apache-2.0.

Brooooooklyn/Qwen3.8-27B-MXFP4-mlx — это квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX для Apple Silicon. Модель предназначена для генерации текста, работы с изображениями и текстом, а также задач программирования. Она относится к семейству Qwen3.5 и использует плотную языковую архитектуру из 64 слоёв: 48 слоёв с линейным вниманием и 16 слоёв с полным вниманием. В составе также есть BF16 vision tower и один слой MTP для ускоренного спекулятивного декодирования. Веса используют смешанную weight-only квантизацию: MXFP4 с группами по 32 элемента для части FFN-слоёв и MXFP8 с группами по 32 элемента для остальных основных модулей, включая attention, lm_head и последние восемь FFN-слоёв. Эмбеддинги, нормализации, vision tower, MTP-подсистема и другие исключённые тензоры сохранены в BF16. Контекстное окно и полный список поддерживаемых языков в представленном описании не указаны. Модель рассчитана на локальный запуск в экосистеме MLX и требует @mlx-node/lm и @mlx-node/core версии 0.0.10 или новее. К преимуществам относятся существенное уменьшение размера весов и совместимость с Apple Silicon, однако README не содержит результатов оценки качества, производительности, работы с длинным контекстом или изображениями, поэтому эти характеристики не подтверждены. Квантизация не использует калибровочные данные и не гарантирует эквивалентность NVIDIA NVFP4 или калиброванным схемам W4A4/W8A8. Исходная модель распространяется по лицензии Apache-2.0; вклад в возможности и обучение принадлежит Qwen Team, рецепт квантизации разработан Unsloth.

WaveCut/Qwen3.8-27B-MXFP8-CRACK-NInfer — артефакт модели в формате .ninfer, подготовленный для движка NInfer компанией или пользователем WaveCut на основе community fine-tune dealignai/Qwen3.8-27B-MXFP8-CRACK и базовой модели Qwen/Qwen3.8-27B. Модель предназначена для локального инференса на одной CUDA-видеокарте, поддерживает текстовые и визуальные входные данные и может использоваться через CLI либо совместимый с OpenAI/Anthropic сервер NInfer для генерации и задач понимания изображений. Точные прикладные возможности fine-tune в README не раскрыты. Архитектура соответствует Qwen3.8-27B; артефакт содержит 1118 тензоров и 6 ресурсов интерфейса, включая токенизатор, chat template и конфигурации препроцессора. Используется профиль NInfer groupwise-int с групповой квантизацией, включающей Q4/Q5/Q6/W8 и BF16; исходные веса были деквантизированы в BF16 и повторно квантизированы, поэтому возможна немного меньшая точность по сравнению с нативной BF16-версией того же fine-tune. Максимальный контекст зависит от конфигурации и оборудования: в примере запуска указан 16384 токена, а вариант ninfer-3090 заявляет до 171K токенов INT8-контекста на RTX 3090. Основное преимущество — запуск 27-миллиардной мультимодальной модели на одной видеокарте с оптимизированным CUDA/C++-движком; артефакт проверен пробным запуском с согласованным выводом. Основные ограничения — зависимость от NInfer, CUDA и совместимой видеокарты, специализация upstream-движка на RTX 5090-классе и одна GPU, а также потенциальная потеря качества из-за двойной квантизации. Для RTX 3090 рекомендуется отдельная ветка ninfer-3090. В README не указаны языки модели и точные значения параметров или размер контекста официальной архитектуры. Лицензия — Apache-2.0, как у указанного артефакта и upstream-моделей.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

Ar4ikov/Qwen3.8-27B-Uncensored-AWQ-W4A16-ASYM — 4-битная AWQ-квантованная версия мультимодальной модели orcarouter/Qwen3.8-27B-Uncensored. Модель предназначена для генерации и анализа текста и изображений, включая сценарии с поддержкой reasoning и спекулятивного декодинга. Разработчик квантованного варианта — Ar4ikov; исходная модель разработана orcarouter. Модель содержит 27B параметров и использует гибридную архитектуру Qwen3.8-27B: 64 слоя с комбинацией Gated DeltaNet и Gated Attention, vision-башню и MTP-голову. Применяется схема W4A16_ASYM с 4-битными весами, group size 128 и BF16-активациями; размер модели сокращён примерно с 52 до 19 ГБ. Поддерживаются мультимодальные входы, контекст до 262 144 токенов и режимы reasoning_effort low, medium и xhigh. Vision-башня, эмбеддинги, lm_head, чувствительные SSM-гейты и MTP-голова сохранены в BF16. Основное преимущество — существенное снижение размера при сохранении визуальной части и совместимость с нативной загрузкой в vLLM, а также потенциально в SGLang. Реальная экономия памяти доступна в рантаймах с INT4-ядрами; transformers распаковывает веса обратно в BF16. Качество на изображениях должно быть близко к исходной модели, но в текстовой части возможна деградация из-за квантования. Бенчмарк-валидация не проводилась, проверена только связность генерации, поэтому модель требует собственных оценок перед production-использованием. Распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; заявлена поддержка английского, китайского и других языков. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и без стандартного отказного поведения. Модель представляет собой плотную causal language model на 27 млрд параметров с vision encoder, 64 слоями, размером скрытого состояния 5120, FFN-размером 17408 и словарём из 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживается нативный контекст 262 144 токена с возможностью расширения до 1 000 000 токенов. Встроенный NextN/MTP сохранён, а FastMTP 32K предоставляется как отдельный профиль ускорения; заявлено ускорение генерации до 3,02 раза для документов и до 1,93 раза для рассуждений относительно режима без MTP. К сильным сторонам относятся широкий набор текстовых, визуальных и видеосценариев, длинный контекст, несколько вариантов квантования и совместимость с GGUF-совместимыми средами, включая llama.cpp и LM Studio. Aggressive-профиль может быть менее подходящим для надёжно контролируемых агентских задач, поскольку ориентирован на отсутствие отказов; README также не приводит подробностей о качестве на стандартных бенчмарках. Распространение указано по лицензии Apache-2.0.

Qwen3.8-Flash-Next-GGUF — набор GGUF-квантизаций базовой модели Qwen3.8-Flash-Next, разработанной Qwen и сконвертированной с помощью llama.cpp пользователем 6block. Модель предназначена для генерации текста и локального запуска в совместимых инструментах, включая llama.cpp. В README указана поддержка английского и китайского языков. Модель имеет 180 млрд параметров: MoE-ядро объёмом 125 млрд параметров с 48 слоями и 512 экспертами, из которых для токена выбираются 10 экспертов и один общий, а также 51-миллиардная PLE n-граммная таблица. Используется гибридное внимание: линейное внимание Gated DeltaNet чередуется с блоками Qwen Sparse Attention и дополняется hyper-connections. Заявленная длина контекста — до 262 тысяч токенов. Один слой MTP для чернового прогнозирования был исключён при конвертации. Доступны варианты BF16, IQ4_XS, IQ3_XXS, IQ2_XS-layered и IQ1_M-layered размером примерно от 76,4 до 329,7 ГиБ. Квантизация откалибрована с использованием imatrix; каждый вариант поставляется в восьми shards. Layered-варианты сильнее сжимают PLE-таблицу и сохраняют более высокую точность критичных компонентов, что по данным README улучшает показатель perplexity по сравнению с равномерной квантизацией при сопоставимом или меньшем размере. Основные ограничения — очень большой объём файлов, необходимость загрузки всех восьми частей и зависимость от совместимого ПО и доступной памяти. Модель распространяется по Qwen Community License 1.0, а не по MIT.

SherlockID365/Qwen3-VL-8B-Instruct-quantized.w4a16 — квантизированная версия мультимодальной vision-language модели Qwen/Qwen3-VL-8B-Instruct. В карточке не указан отдельный разработчик производной версии; базовая модель связана с семейством Qwen. Модель предназначена для задач, требующих обработки текста и визуальных данных, включая мультимодальные инструкции и анализ изображений. Модель содержит около 8 миллиардов параметров и использует архитектуру с визуальной частью, которая не подвергалась преобразованию при квантизации. Линейные слои квантизированы методом AWQ в формате W4A16: веса представлены 4 битами, активации сохраняются в формате FP16, используется group_size=128, zero_point=true и версия gemm. Контекстное окно и точный перечень поддерживаемых языков в README не указаны. Ключевое преимущество версии — уменьшенное потребление памяти и потенциально более высокая эффективность инференса по сравнению с полноточной моделью, что удобно для запуска через совместимые инструменты, включая vLLM. Ограничения связаны с потерями точности, возможными для 4-битной квантизации, а также с зависимостью от поддержки формата AWQ и используемого программного окружения. Модель распространяется по лицензии Apache-2.0.

Mungert/QwenLong-L1-32B-GGUF — это GGUF-квантизированная версия языковой модели QwenLong-L1-32B, созданная на основе DeepSeek-R1-Distill-Qwen-32B. Модель предназначена для генерации текста и задач, требующих работы с длинным контекстом и рассуждениями; в метаданных она обозначена как long-context и large-reasoning-model. При подготовке использовался llama.cpp, а среди связанных данных указан набор Tongyi-Zhiwen/DocQA-RL-1.6K. Главная особенность представленной версии — поддержка вариантов квантования с низкой разрядностью, включая 1–2-битные схемы IQ-DynamicGate. Этот подход распределяет точность по слоям модели и защищает критически важные компоненты, чтобы снизить потери качества при уменьшении размера. По приведённым тестам на Llama-3-8B DynamicGate уменьшал perplexity по сравнению со стандартным 1–2-битным квантованием, сохраняя сопоставимую скорость инференса; эти результаты не являются прямым бенчмарком данной 32B-модели. Модель подходит для развёртывания на системах с ограниченной GPU-памятью, CPU и edge-устройствах, а также для исследований ультранизкоразрядного квантования. Компромиссами являются возможное снижение точности по сравнению с полноформатными версиями и зависимость результата от выбранного варианта квантования и аппаратной поддержки. Лицензия — Apache-2.0. Точный размер модели, поддерживаемые языки и заявленное максимальное окно контекста в README не указаны.

Qwen_Qwen3-30B-A3B-Instruct-2507-GGUF — это набор GGUF-квантизаций языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной Qwen и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp, LM Studio и совместимые проекты. Для взаимодействия используется шаблон prompt формата ChatML с ролями system, user и assistant. Модель имеет архитектуру Mixture-of-Experts с общим размером 30B параметров и 3B активных параметров, однако README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Доступны варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4, Q3 и IQ, с размерами файлов примерно от 13 до 61 ГБ. Более качественные варианты требуют больше памяти, а малые квантизации предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Сильной стороной является широкий выбор квантизаций, включая варианты с imatrix, позволяющие подобрать баланс между качеством, размером и скоростью локального вывода; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как оптимальный вариант для большинства сценариев. Ограничения связаны с высокими требованиями к оперативной памяти даже у компактных вариантов и возможной потерей качества при использовании низких разрядностей. Лицензия в представленном README не указана.

SmolLM3-3B-Base — базовая языковая модель семейства SmolLM3, опубликованная Unsloth как дообученная версия HuggingFaceTB/SmolLM3-3B-Base. Это декодерный Transformer с архитектурой SmolLM3 и 3,1 млрд параметров; модель предназначена для генерации и продолжения текста, в том числе для задач рассуждения и работы с длинным контекстом. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Модель обучалась на веб-текстах, коде, математике и данных для рассуждений. Контекст конфигурации — 65 536 токенов; в README описана экстраполяция до 128 000 токенов с YaRN. Хорошо подходит как открытая базовая модель для экспериментов и дальнейшей настройки. Поддерживаемые языки включают английский, французский, испанский, итальянский, португальский, китайский, арабский и русский; для русского, китайского и арабского в README отмечено меньше обучающих данных, чем для основных языков. Генерация может содержать фактические ошибки, логические несоответствия и предубеждения, поэтому важные сведения следует проверять. Лицензия — Apache 2.0.

SynthIA-7B-v1.3-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi объединением mistralai/Mistral-7B-Instruct-v0.2 и uukuguy/SynthIA-7B-v1.3-dare-0.85 методом SLERP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в диалоговом формате. Модель принимает текст и выдаёт текст; контекст составляет до 32 768 токенов. Её можно применять для чат-ботов, ответов на инструкции, черновиков и суммаризации текста. В карточке указана лицензия Apache-2.0. README не приводит сравнительных оценок качества или подробных ограничений, поэтому результаты следует проверять на целевых задачах.

T3qm7xPercival_01-7B — объединённая модель для генерации текста, созданная Maxime Labonne методом SLERP из nlpguy/T3QM7X и AurelPx/Percival_01-7b-slerp. Она основана на архитектуре Mistral с плотной декодерной моделью на 7,1 млрд параметров и принимает контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Веса представлены в формате safetensors, при объединении использована точность bfloat16. Лицензия — Apache-2.0.

Tralalabs_Pythia-6.9B-Instruct-v1-Merged-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Pythia-6.9B-Instruct-v1-Merged, разработанной Tralalabs и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалоговых сценариев, работы в качестве чат-ассистента и агентских приложений. Доступны варианты от BF16 до различных уровней квантизации, что позволяет выбирать между качеством, размером файлов и требованиями к оперативной памяти. Модель поддерживается инструментами llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другими совместимыми приложениями. Модель обучалась с использованием наборов данных OpenAssistant Guanaco и Tulu v2 SFT Mixture. Заявлена поддержка английского, испанского, немецкого, русского, японского, французского, польского, вьетнамского, китайского, венгерского, корейского, каталонского и баскского языков. Точная архитектура, размер контекстного окна и формат инструкций в README не указаны; для выбора шаблона промпта рекомендуется обратиться к странице исходной модели. Сильной стороной является широкий выбор квантизаций, включая рекомендуемые варианты Q4_K_M, Q5_K_M и Q6_K, позволяющие запускать модель локально при разных аппаратных ресурсах. Ограничения включают отсутствие описания точных характеристик, бенчмарков и prompt format, а также возможное снижение качества в наиболее компактных вариантах. Распространение указано по лицензии Apache-2.0.

Triangulum-5B — диалоговая языковая модель prithivMLmods для генерации текста и многоязычных сценариев. Это плотная авторегрессионная модель семейства LLaMA с архитектурой LlamaForCausalLM и примерно 4,9 млрд параметров; для работы с Transformers требуется версия 4.43.0 или новее. Контекст составляет до 8192 токенов. Модель предназначена для генерации контента, диалога и ответов на вопросы, суммаризации, анализа текста, перевода и локализации. В карточке заявлены обучение на синтетических данных с длинными цепочками рассуждений, supervised fine-tuning и RLHF. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель представлена в формате safetensors и доступна для запуска через Transformers; README также описывает запуск варианта через Ollama. Лицензия — CreativeML Open RAIL-M. Карточка не приводит результаты оценок качества, поэтому заявленные возможности рассуждения не следует считать подтверждением превосходства на конкретных задачах.

WizardLM-13B-V1.2 — полноразмерная текстовая модель с архитектурой Llama, разработанная командой WizardLM и обученная на базе Llama 2 13B. Модель предназначена для генерации ответов на инструкции и многоходового диалога; в карточке приведён шаблон общения в стиле Vicuna. Число параметров — 12,9 млрд, контекст — 4096 токенов. Модель подходит для диалоговых помощников, ответов на вопросы и выполнения сложных текстовых инструкций. В README приведены результаты внутренних оценок MT-Bench, AlpacaEval и WizardLM Eval; авторы отмечают, что тестирование выполнялось самостоятельно и результаты ожидали проверки. Репозиторий содержит веса PyTorch. Лицензия — Llama 2 License.

MaziyarPanahi/WizardLM-2-8x22B-GGUF — это набор файлов модели в формате GGUF для базовой модели microsoft/WizardLM-2-8x22B, разработанной Microsoft и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы и создание подробных, полезных и вежливых ответов ассистента. Файлы подходят для запуска с совместимыми инструментами, включая llama.cpp; репозиторий содержит шардированные варианты модели. Доступны квантизированные варианты с разной разрядностью: 2-, 3-, 4-, 5-, 6- и 8-битные GGUF-файлы. Исходная архитектура, общее число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель относится к текстовым, мультимодальность не заявлена. Разные уровни квантизации позволяют выбирать компромисс между размером файлов, требованиями к памяти и качеством, однако конкретные характеристики каждого варианта не приведены. Лицензия — Apache 2.0. Для использования требуется совместимое программное обеспечение, а параметры запуска зависят от выбранного файла квантизации и средства инференса.

YamT3qm7xp_YamOgno — объединённая методом слияния модель семейства Mistral от MaziyarPanahi, созданная на основе automerger/YamT3qm7xp-7B и automerger/YamOgno-7B. Она предназначена для генерации текста и поддерживает контекст длиной до 32 768 токенов. Модель содержит 7,1 млрд параметров и распространяется в формате Safetensors по лицензии Apache 2.0.

ALLaM-7B-Instruct-preview-GGUF — это набор GGUF-квантизаций инструкционной языковой модели ALLaM-7B-Instruct-preview, разработанной ALLaM-AI и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и выполнения инструкций, включая арабские и англоязычные сценарии. Доступен запуск через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Модель содержит около 7 миллиардов параметров; README не уточняет её архитектуру, максимальную длину контекста, формат промптов и дополнительные модальности, поэтому она описывается как текстовая. Набор включает варианты от BF16 до Q3 и IQ3-квантизаций с размерами примерно от 3,11 до 14 ГБ. Варианты Q6 и Q5 отмечены как обеспечивающие очень высокое или высокое качество, а Q4 — как оптимальные для большинства сценариев по соотношению качества и размера. Основные преимущества — поддержка локального запуска, широкий выбор квантизаций и возможность подобрать вариант под доступную оперативную память. Более агрессивные квантизации уменьшают требования к памяти, но могут снижать качество генерации; некоторые форматы имеют статус legacy или не рекомендуются. Модель распространяется по лицензии Apache-2.0.