I.14Автоматизация процессов и AI-агенты

Qwen3.5-9B-NVFP4 — квантизированная версия модели Qwen3.5-9B, разработанной командой Qwen и опубликованной в репозитории apolo13x. Это мультимодальная модель формата image-text-to-text: она принимает текст и изображения, а генерирует текстовые ответы. Модель предназначена для диалоговых сценариев, анализа изображений и решения текстовых задач. Веса и активации сжаты до формата NVFP4 (4-bit) с помощью llm-compressor. Для калибровки использовано 512 образцов из набора nvidia/Nemotron-Post-Training-Dataset-v2, включая 256 примеров с рассуждением и 256 без него. Размер модели уменьшен с 18,0 до 11,5 ГБ, примерно в 1,6 раза; заявленное среднее восстановление точности составляет 97,3%. Максимальная длина последовательности при калибровке — 4096 токенов. По результатам оценки в режиме рассуждений модель набрала в среднем 86,11% против 88,36% у исходной Qwen3.5-9B: 74,24% на GPQA Diamond, 92,69% на IFEval и 91,39% на MMLU-Redux. Квантизация снижает требования к хранению и инференсу, но может приводить к некоторой потере качества относительно исходной модели. Указана поддержка vLLM 0.17.0 и reasoning parser qwen3. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-imatrix-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B, подготовленная liodon-ai с использованием калибровки importance matrix (iMatrix). Базовую модель разработала команда Qwen компании Alibaba Cloud. Модель предназначена для локальной генерации текста, диалогов и выполнения инструкций через llama.cpp, Ollama, LM Studio и Jan. Модель использует MoE-архитектуру с 35 млрд параметров, из которых активно 3,5 млрд, и поддерживает контекст до 128K токенов. Доступны варианты квантизации от Q2_K до Q8_0, включая i-кванты IQ2_M, IQ3_M и IQ4_XS. iMatrix-калибровка повышает связность и качество следования инструкциям при низкой разрядности по сравнению со стандартной квантизацией, сохраняя меньший размер файлов. Ограничения зависят от выбранного варианта: более сильная квантизация снижает качество, а для запуска требуются от 6 до 36,9 ГБ памяти в зависимости от файла. Лицензия Apache 2.0.

Qwen3.8-27B-NVFP4-MTP-VL-GGUF — пользовательская GGUF-сборка базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Сборка предназначена для локального запуска через llama.cpp и Ollama и объединяет языковую модель с поддержкой изображений и видео, механизмом MTP для ускоренного спекулятивного декодирования и отдельным F16 CLIP-проектором для обработки зрения. Это не официальный checkpoint в формате Transformers, а квантованная упаковка сообщества. Языковая часть и MTP используют NVFP4, выходные и embedding-слои — Q5_K, размер языкового файла составляет около 14,6 ГиБ, а проектор занимает около 888 МиБ. Нативный контекст модели — 262 144 токена; в GGUF добавлены метаданные статического YaRN с коэффициентом 4, позволяющие запрашивать окно до 1 048 576 токенов без изменения весов. Поддерживаются английский и китайский языки. Сильные стороны — существенно меньшие требования к памяти по сравнению с BF16, сохранение визуальных возможностей и MTP, а также совместимость с локальными рантаймами. Для работы требуются сборки, поддерживающие архитектуру qwen35, NVFP4, mmproj и draft-mtp. Окно в миллион токенов требует очень большого объёма памяти для KV-кэша, а статический YaRN может ухудшать качество на коротких запросах, поэтому для обычного диалога рекомендуется меньший контекст. Модель распространяется по лицензии Apache License 2.0.

Qwen3.8-27B-ROCmI4-MTP-GGUF — это конвертированная и квантизированная версия базовой модели Qwen/Qwen3.8-27B, опубликованная пользователем cafonez. Модель представлена в формате GGUF и предназначена для локального запуска через совместимые сборки ROCmFPX на оборудовании AMD, прежде всего Strix Halo с архитектурой gfx1151. Репозиторий содержит языковую модель и дополнительный мультимодальный проектор для обработки изображений и видео; для текстовых сценариев проектор не требуется. Модель имеет архитектуру qwen35, около 27,32 млрд параметров, контекст до 262 144 токенов и квантизацию весов Q4_0_ROCMI4. В основной файл встроена одноступенчатая голова NextN/MTP, поэтому отдельная draft-модель не нужна. Она ориентирована на генерацию и обработку текста, включая программирование, структурированные данные и диалоги, а при подключении mmproj также поддерживает мультимодальные входы с изображениями и видео. README не указывает перечень поддерживаемых языков. Сильными сторонами являются большой контекст, снижение требований к памяти благодаря четырёхбитной квантизации, встроенный MTP и возможность ускоренного пути W4A4 на совместимом оборудовании AMD. Ограничения связаны с экспериментальным характером ROCmI4/IU4, необходимостью специальной сборки ROCmFPX и совместимого GPU; стандартные сборки llama.cpp не ожидаются совместимыми. Путь W4A4 может быть быстрее, но добавляет потери из-за четырёхбитной квантизации активаций, а эффективность MTP зависит от характера текста. Модель распространяется по лицензии Apache-2.0.

georgehenney/Qwen3-8B-heretic — производная от Qwen/Qwen3-8B-Base разговорная языковая модель на архитектуре Qwen3, доработанная методом abliteration для снижения частоты отказов. В приведённом сравнении она отказывает в 8 случаях из 100 против 86 у исходной модели; это результат конкретной оценки, а не гарантия поведения во всех запросах. Модель предназначена для генерации текста и диалогов, включая рассуждения, следование инструкциям, написание кода и многоязычные задачи, унаследованные от Qwen3. Она имеет 7,6 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 40 960 токенов. Метаданные указывают поддержку чата, а карточка базовой модели описывает переключение режимов рассуждения и поддержку более 100 языков и диалектов. Модель распространяется в формате Safetensors через Transformers по лицензии Apache-2.0. Снижение числа отказов может ослабить защитное поведение; показатели и возможности базовой Qwen3 не следует считать независимо подтверждёнными для этой производной модели.

Tess-2.0-Llama-3-8B — универсальная языковая модель с диалоговой настройкой, разработанная в серии Tess; вычислительные ресурсы для обучения предоставила KindoAI. Модель дообучена на базе meta-llama/Meta-Llama-3-8B и содержит около 7,5 млрд параметров. Она использует архитектуру LlamaForCausalLM, формат весов safetensors и шаблон диалога Llama 3 с контекстом до 8192 токенов. Модель предназначена для общения с пользователем, выполнения инструкций, генерации текста и помощи с задачами по программированию и общего назначения. Для настройки использовали около 100 тысяч примеров кода и общих задач из набора Tess-2.0; обучение длилось одну эпоху с низкой скоростью обучения, чтобы сохранить разнообразие ответов. Модель описана как малоограниченная и часто следующая инструкциям. Лицензия — Llama 3. Модель может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или другой неподходящий контент; важные сведения следует проверять.

Карточка модели CollectionStudio/Trinity-Mini на Hugging Face совпадает с карточкой arcee-ai/Trinity-Mini, поэтому описание составлено по ней. Trinity Mini — открытая по весам разговорная языковая модель от Arcee AI, дообученная на базе arcee-ai/Trinity-Mini-Base. Это MoE-модель семейства AFMoE с 26 млрд параметров и 3 млрд активных параметров; в README указаны 128 экспертов, из которых активны 8 и один общий. Модель предназначена для диалогов и задач рассуждения, включая математику и программирование. Модель обучена на 10 трлн токенов. Длина контекста составляет 128 тыс. токенов. Метаданные указывают поддержку английского, испанского, французского, немецкого, итальянского, португальского, русского, арабского, хинди, корейского и китайского языков. Для запуска заявлена совместимость с Transformers, vLLM, llama.cpp, LM Studio и API. Указанная в README лицензия — OpenMDW-1.1; метаданные классифицируют лицензию как other.

Mihaiii создал прореженную версию модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo: из исходных 7,24 млрд параметров удалены шесть слоёв, и в результате осталось около 5,93 млрд параметров. Модель основана на плотной архитектуре Mistral и предназначена для генерации текста; в метаданных также указан контекст длиной до 32 768 токенов. Модель подходит для диалоговых ответов, следования инструкциям и генерации кода. В карточке перечислены обучающие датасеты Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; это указывает на широкий набор инструкционных и кодовых сценариев, но не гарантирует качество для каждой задачи. Модель опубликована в формате Safetensors по лицензии Apache-2.0.

unsloth/gemma-3n-E2B-it-unsloth-bnb-4bit — это квантизированная 4-битная instruction-tuned версия модели Gemma 3n E2B, подготовленная Unsloth на базе google/gemma-3n-E2B-it. Исходную модель разработала Google DeepMind. Gemma создана как семейство компактных открытых моделей для эффективного запуска, в том числе на устройствах с ограниченными ресурсами. Модель предназначена для диалогов, ответов на вопросы, обработки и суммаризации документов и других задач генерации текста. Семейство Gemma 3n поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текста, однако в данном README для этой версии отдельно указано, что в текущей конфигурации поддерживается только текст. Максимальный контекст составляет 32K токенов; заявленная языковая поддержка включает английский, а обучение проводилось на данных более чем на 140 разговорных языках. Ключевая особенность Gemma 3n — технология выборочной активации параметров, обеспечивающая эффективный размер около 2B параметров при меньших требованиях к ресурсам. Формат Unsloth bnb 4bit снижает требования к памяти, но может сопровождаться потерей точности по сравнению с полноточной версией. Для корректной работы рекомендуется использовать chat template Gemma 3n и параметры temperature 1.0, top_k 64 и top_p 0.95. Модель распространяется по лицензии Gemma; условия использования определяются официальными Terms of Use Google.

duyntnet/granite-3.0-2b-instruct-imatrix-GGUF — GGUF-квантизации модели Granite-3.0-2B-Instruct, разработанной командой Granite компании IBM. Модель дообучена на базе Granite-3.0-2B-Base с использованием открытых наборов данных для обучения инструкциям, синтетических данных, supervised fine-tuning, обучения с подкреплением для выравнивания и объединения моделей. Она содержит около 2 миллиардов параметров и предназначена для генерации текста по инструкциям. Модель подходит для создания ассистентов и бизнес-приложений, суммаризации, классификации и извлечения текста, ответов на вопросы, Retrieval Augmented Generation (RAG), задач, связанных с кодом, function calling и многоязычного диалога. Поддерживаются английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые интерфейсы, включая KoboldCPP, Ollama, text-generation-webui, GPT4All и Jan. К сильным сторонам относятся компактный размер, широкий набор прикладных сценариев, структурированный чат-формат и поддержка 12 языков. README не содержит сведений о длине контекста, конкретных вариантах квантизации, требованиях к оборудованию или результатах бенчмарков, поэтому производительность и ограничения в этих аспектах оценить нельзя. Для исходной модели указана лицензия Apache 2.0; для данного репозитория в метаданных отмечена лицензия other, без дополнительных пояснений.

RedHatAI/granite-3.1-8b-instruct-quantized.w4a16 — это квантизированная версия текстовой инструкционной модели ibm-granite/granite-3.1-8b-instruct с архитектурой Granite 3.1 и примерно 8 млрд параметров. Модель разработана на основе IBM Granite; квантизацию выполнила Neural Magic. Она принимает текст и генерирует текст, ориентирована на диалоговые сценарии, ответы на вопросы и другие задачи text-to-text. В карточке указан английский язык. Модель использует квантизацию весов и активаций до INT4; для линейных операторов внутри трансформерных блоков квантизированы только веса. По сравнению с исходным представлением это примерно на 75% уменьшает размер на диске и требования к видеопамяти, что делает модель более подходящей для эффективного инференса. Она подготовлена для запуска с vLLM версии 0.5.2 и выше и совместима с Red Hat AI Inference Server, Red Hat Enterprise Linux AI и Red Hat OpenShift AI. На OpenLLM benchmark v1 модель получила средний результат 69,81 против 70,30 у неквантизированной версии, что указывает на небольшое снижение качества после сжатия. Модель предназначена для развертывания на GPU и использования через vLLM, включая OpenAI-совместимый сервер. Максимальный контекст модели в README явно не указан; приведенные значения длины контекста относятся к примерам конфигурации запуска. Лицензия — Apache License 2.0.

Granite 4.2 30B GGUF — квантизированная версия языковой модели IBM Granite 4.2 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.2-30b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев и вызова инструментов. Модель содержит около 29 млрд параметров и работает с текстовыми входными данными. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. В карточке не указаны архитектура и размер контекстного окна. Спекулятивное декодирование не поддерживается. Для работы предусмотрен специальный шаблон запросов с системными и пользовательскими сообщениями, а также секцией рассуждений <think>. Главное преимущество этой версии — выбор множества вариантов квантизации с разным соотношением качества, размера и требований к памяти: от BF16 и Q8_0 до компактных вариантов Q2 и IQ3. В README наиболее сбалансированным вариантом назван Q4_K_M размером 18,03 ГБ, а варианты Q5 и Q6 характеризуются как высококачественные. При этом снижение разрядности может ухудшать качество ответов, особенно у компактных вариантов, а для запуска требуются значительные ресурсы. Лицензия модели — Apache-2.0.

Hyper-Yi-1.5-9B — объединённая плотная авторегрессионная языковая модель семейства Yi-1.5, опубликованная bunnycore. Она создана методом Model Stock с помощью mergekit на основе 01-ai/Yi-1.5-9B и объединяет веса четырёх вариантов Yi-1.5-9B, включая модели для инструкций и чата. Модель содержит 8,6 млрд параметров, построена на архитектуре LlamaForCausalLM и рассчитана на генерацию текста с контекстом до 4096 токенов. Модель предназначена для диалогов и генерации ответов по текстовым инструкциям; базовая модель также ориентирована на рассуждения, математику и программирование. В репозитории указаны веса safetensors и библиотека Transformers. Сведения о лицензии и языках в предоставленных источниках отсутствуют.

IsValorum публикует эту сборку Iris-mini-MTP APEX-I-MiniPlus — квантованную в GGUF версию MoE-модели на архитектуре qwen35moe, предназначенную для генерации текста в диалоге. Веса содержат около 35 млрд параметров, из которых, по README, примерно 3,2 млрд активируются на токен; размер файла составляет 14,84 ГБ, а заявленная средняя точность квантования — 3,42 BPW. Модель сохраняет встроенную голову Multi-Token Prediction для спекулятивного декодирования. Сборка рассчитана на генерацию текста, включая рассуждения, математику и код. README описывает выборочное квантование слоёв и компонентов, а также запуск через llama.cpp; для некоторых конфигураций заявлена работа с контекстом до 256 тысяч токенов. Метаданные указывают поддержку 13 языков, включая русский, английский, китайский, японский и арабский. Репозиторий распространяется по лицензии Apache-2.0. Это прежняя итерация MiniPlus, а не текущая спецификация разработчика. Приведённые в README показатели скорости, качества, принятия предсказанных токенов и использования памяти являются заявлениями автора и зависят от оборудования и настроек; заявленные результаты не следует считать независимой оценкой.

Карточка модели d-matrix/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

PocketWeights Llama 3.1 8B Instruct abliterated GGUF — это квантизированная версия модели Meta-Llama-3.1-8B-Instruct-abliterated, разработанной huihui-ai на базе архитектуры Meta Llama 3.1. Модель распространяется в форматах GGUF с вариантами квантизации IQ3_M, Q4_K_M и Q6_K, что позволяет запускать её локально на потребительском оборудовании, включая видеокарты с 4–8 ГБ VRAM и компьютеры Apple Silicon. Модель предназначена для генерации текста, диалогов, ролевых сценариев, творческого письма, работы с кодом, анализа репозиториев, создания синтетических данных и исследовательских задач. Заявлена поддержка контекста до 128K токенов, благодаря чему она подходит для обработки длинных документов и многоходовых диалогов. Основной язык и полный набор поддерживаемых языков в README не указаны. К сильным сторонам относятся компактность, возможность автономного запуска, несколько уровней компромисса между качеством и требованиями к памяти, а также отсутствие стандартных отказов и ограничений, характерных для выровненных моделей. Это одновременно является существенным ограничением: модель лишена защитных механизмов, поэтому требует осторожного применения, особенно при работе с потенциально опасными запросами. Качество зависит от выбранного уровня квантизации. Модель распространяется по Meta Llama 3.1 Community License.

Ming-Lite-Omni v1.5 — мультимодальная модель семейства BailingMM, выпущенная командой inclusionAI. Она предназначена для понимания изображений, документов, видео и речи, а также для синтеза речи, генерации и редактирования изображений. В README указано 20,3 млрд параметров, из которых 3 млрд активны в блоке Mixture-of-Experts; модель построена на Ling-lite-1.5 и развивает Ming-Lite-Omni. Модель рассчитана на мультимодальные сценарии: анализ визуальных последовательностей, распознавание и понимание текста в документах и диаграммах, понимание речи и генерация речи в реальном времени, а также создание и редактирование изображений. Разработчики сообщают об улучшениях понимания длинных видео и согласованности при генерации и редактировании изображений. В README приведены сравнительные результаты на ряде бенчмарков, но они не гарантируют качество на конкретных данных. Репозиторий содержит файлы ONNX и Safetensors. Лицензия — MIT. Карточка не сообщает длину контекста и список поддерживаемых естественных языков; README упоминает расширение речевых данных, включая диалекты, без указания языковых кодов.

Mistral-7B-Instruct-v0.2-GGUF — это квантизированная GGUF-версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI (mistralai) и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через LlamaEdge. Она использует шаблон запросов mistral-instruct и поддерживает контекст до 4096 токенов. Модель содержит около 7 миллиардов параметров и работает только с текстом. Доступны варианты квантизации от 2 до 8 бит в формате GGUF, различающиеся размером файлов и компромиссом между требованиями к памяти и качеством: от 3,08 ГБ для Q2_K до 7,7 ГБ для Q8_0. В README не указаны поддерживаемые языки и подробности архитектуры. Варианты с низкой разрядностью требуют меньше ресурсов, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S обозначены как сбалансированные или рекомендуемые. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. Модель распространяется по лицензии Apache-2.0, однако конкретные условия использования отдельных вариантов следует соотносить с лицензией исходной модели.

TheBloke/Mistral-7B-Instruct-v0.2-GPTQ — это GPTQ-квантизированная версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной к распространению TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая работу через text-generation-webui, KoboldAI, LoLLMS Web UI и Hugging Face Text Generation Inference. Модель относится к семейству Mistral, содержит около 7 млрд параметров и работает с текстом. В репозитории представлены варианты квантования с разными параметрами; основной вариант использует 4-битное GPTQ-квантование, group size 128, Act Order и занимает около 4,16 ГБ. Для запросов рекомендуется шаблон «<s>[INST] {prompt} [/INST]». Квантование снижает требования к видеопамяти и облегчает локальный запуск, но может немного уменьшать точность по сравнению с исходной моделью и ограничивает совместимость средой выполнения. Указана поддержка Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA; для macOS рекомендуются версии GGUF. Лицензия — Apache 2.0.

MaziyarPanahi/Mistral-Large-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной компанией Mistral AI. Репозиторий содержит квантизированные варианты исходной модели, включая уровни 2-, 3-, 4-, 5-, 6- и 8-битной квантизации. Модель предназначена для генерации текста и выполнения задач по инструкциям, а формат GGUF ориентирован на локальный запуск и эффективное использование ресурсов. Файлы совместимы с llama.cpp и рядом связанных инструментов и приложений, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Поддерживаются сценарии локального диалога, генерации текста и интеграции через программные библиотеки или API-совместимые серверы. Ключевые характеристики исходной архитектуры, количество параметров, поддерживаемые языки, размер контекста и мультимодальные возможности в README не указаны. Сильными сторонами являются несколько вариантов квантизации и широкая совместимость с экосистемой GGUF; при этом степень потери качества и требования к памяти зависят от выбранного уровня квантизации. Лицензия в представленном описании не указана.

jondurbin/nontoxic-bagel-34b-v0.2 — экспериментальная чат-модель Джона Дарбина, полученная дообучением Yi-34B-200K с использованием набора Bagel и частичного DPO. Она предназначена для диалогов, ответов на вопросы, следования инструкциям, написания текстов и кода, математических задач и ролевого общения. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. При обучении использовались разнообразные наборы данных для диалогов, чтения с пониманием, программирования, математики и ролевых сценариев. Модель принимает текст и генерирует текст; README описывает форматы запросов Vicuna, Llama 2, Alpaca и ChatML. Карточка характеризует эту версию как довольно сильно цензурированную. Указана лицензия other, поэтому условия использования следует уточнять в карточке модели и у правообладателя.

Ovis2.5-9B — мультимодальная модель семейства Ovis2.5, разработанная командой AIDC-AI. Она сочетает визуальный энкодер NaViT для обработки изображений в исходном переменном разрешении с языковой моделью Qwen3-8B; размер модели — 9 млрд параметров. Модель принимает текст и изображения и генерирует текст, поддерживает контекст до 40 960 токенов и рассчитана прежде всего на английский и китайский языки. Модель предназначена для визуальных вопросов и ответов, мультимодальных рассуждений, понимания видео, распознавания текста и анализа документов, таблиц, форм, графиков и диаграмм. Режим размышления с самопроверкой и пересмотром ответа можно включать при выводе, увеличивая задержку ради потенциально более точного ответа на сложные запросы. В README заявлен средний результат 78,3 в мультимодальном наборе OpenCompass и сильные результаты в задачах понимания изображений и документов. Модель распространяется по лицензии Apache-2.0. README предупреждает, что разработчики не гарантируют полного отсутствия проблем с авторскими правами или неподобающим содержимым.

thesven/Phi-3.5-mini-instruct-awq — это сторонняя AWQ-квантизованная версия Microsoft Phi-3.5-mini-instruct, опубликованная пользователем thesven. Базовая модель разработана Microsoft и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и задач NLP, включая многоязычные сценарии. Репозиторий содержит 4-битные веса в формате Safetensors с AWQ и требует custom code для архитектуры Phi-3. Модель имеет около 4 млрд параметров, архитектуру decoder-only causal language model Phi3ForCausalLM, 32 слоя, 32 attention heads и заявленный контекст до 128K токенов. Это текстовая, а не мультимодальная модель; в карточке базовой модели заявлена многоязычная поддержка, включая английский, немецкий, испанский, французский, японский, русский, тайский и китайский. Квантизация уменьшает размер репозитория примерно до 2,28 ГБ и предназначена для более компактного локального запуска, однако для самой AWQ-версии отдельные результаты качества и подробные ограничения не опубликованы. Лицензия и условия использования у репозитория thesven явно не указаны. Для базовой Microsoft Phi-3.5-mini-instruct указана лицензия MIT. Поэтому при использовании квантизованной версии следует отдельно проверить права на распространение самой производной сборки и учитывать ограничения базовой модели, включая возможные пробелы многоязычного качества и необходимость тестирования в конкретном приложении.

Phi-3.5-mini-instruct-GGUF — это GGUF-квантизированная версия языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и преобразованной компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Она запускается с использованием совместимого ПО, в частности LlamaEdge версии 0.14.0 и выше, с шаблоном запросов phi-3-chat. В README указана поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16, размером примерно от 1,42 до 7,64 ГБ. Более компактные варианты требуют меньше памяти, но могут заметно терять в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с хорошим балансом размера и качества, при этом f16 обеспечивает отсутствие дополнительного квантования. Модель удобна для локального запуска и развёртывания в средах с ограниченными ресурсами, однако качество и требования к памяти зависят от выбранного варианта квантования. README не содержит подробностей об архитектуре, точном числе параметров, поддерживаемых языках и отдельных результатах оценки. Распространение осуществляется по лицензии MIT, унаследованной от исходной модели Microsoft.

kaitchup/Phi-3-mini-4k-instruct-gptq-4bit — это 4-битная GPTQ-квантизованная версия Phi-3 Mini-4K-Instruct, опубликованная пользователем kaitchup на Hugging Face и основанная на модели Microsoft. Она предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи по работе с кодом, математикой, рассуждениями и общими знаниями, при локальном или серверном запуске с меньшими требованиями к памяти. Исходная Phi-3 Mini-4K-Instruct представляет собой плотную decoder-only Transformer-модель примерно на 3,8 млрд параметров, дообученную с применением supervised fine-tuning и Direct Preference Optimization. Модель работает с текстовыми входами и поддерживает контекст до 4K токенов; основной язык — английский, при этом в метаданных также указан французский. Вариант из указанного репозитория использует 4-битное GPTQ-представление, что уменьшает размер и требования к памяти, но может снижать точность и качество по сравнению с полной точностью. Сильные стороны — компактность, возможность запуска на более доступном оборудовании и хорошие для своего размера результаты в задачах следования инструкциям, рассуждений и программирования. Ограничения включают короткое окно контекста, преимущественно англоязычную ориентацию, возможные ошибки и галлюцинации, а также потери качества из-за квантизации. Для опубликованной версии в карточке модели условия лицензирования явно не указаны; исходная модель Microsoft распространяется по лицензии MIT.

Qwen3.5-text-4B-bnb-4bit — текстовая языковая модель, разработанная techwithsergiu на базе Qwen3.5-text-4B, производной от Qwen3.5-4B команды Qwen. Модель предназначена для генерации и обработки текста, диалоговых сценариев и последующего дообучения с использованием LoRA или QLoRA. Поддерживает режимы с включённым и выключенным рассуждением перед ответом. Модель содержит текстовый backbone размера 4B и использует 4-битную BNB NF4-квантизацию с double quantization; вычисления выполняются в bfloat16, а веса lm_head сохранены в bf16 для стабильности и качества вывода. Визуальная башня удалена, поэтому модель принимает только текст и не поддерживает обработку изображений. Ключевое преимущество — сниженное потребление видеопамяти: заявлено около 3,12 ГБ против 9,32 ГБ у исходной f16-модели. Контекстное окно и перечень поддерживаемых языков в README не указаны. Модель особенно ориентирована на текстовое LoRA-дообучение с Unsloth, TRL и PEFT; такая конфигурация проверена на видеокарте RTX 3070 с 8 ГБ памяти. Ограничения связаны с отсутствием мультимодальности, а документация по полноценному LoRA-дообучению на момент публикации ещё не завершена. Модель распространяется по лицензии Apache-2.0.

techwithsergiu/Qwen3.5-text-9B-bnb-4bit — текстовая производная модели Qwen3.5-9B, подготовленная разработчиком techwithsergiu на основе text-only версии techwithsergiu/Qwen3.5-text-9B. Модель предназначена для генерации текста и диалоговых сценариев, а также для адаптации под специализированные задачи с помощью LoRA и QLoRA. Поддерживает режимы прямого ответа и пошагового рассуждения, указанные в README. Модель имеет размер 9B параметров и использует текстовый backbone, без visual tower, поэтому принимает только текстовые входные данные и не предназначена для обработки изображений. Backbone подвергнут 4-битному квантованию BNB NF4 с double quantization и вычислениями в bfloat16; веса lm_head сохранены в bf16 для повышения качества и стабильности вывода. Такое представление уменьшает требования к видеопамяти по сравнению с полноразмерной версией и упрощает использование в text-only LoRA fine-tuning. К ограничениям относятся отсутствие мультимодальных возможностей и отсутствие в README точных сведений о поддерживаемых языках и размере контекстного окна. Документация по тонкой настройке отмечена как находящаяся в разработке, хотя inference проверен, а применение с Unsloth и QLoRA заявлено как основной сценарий обучения. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-Omnimerge-v4-GGUF — квантизированная версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, созданная автором ManniX-ITA. Это объединённая модель на базе Qwen3.6-27B, дополненная результатами слияния трёх дообученных вариантов. Модель распространяется в формате GGUF и предназначена для локального запуска с помощью llama.cpp. Модель имеет архитектуру Qwen3.5 и около 27,78 млрд параметров. Доступны варианты от F16 до низкобитных IQ- и Q-квантизаций, включая Q2_K, Q4_K_M, Q6_K и Q8_0. Заявлены возможности рассуждений, работы с кодом и изображениями; в карточке указано поддерживаемое описание языка English. Контекстное окно и точный перечень поддерживаемых визуальных входов не указаны. Сильными сторонами заявлены улучшенные результаты в задачах программирования и научного рассуждения по сравнению с некоторыми базовыми и предыдущими версиями Omnimerge, а также специальная модификация MLP-слоёв для повышения устойчивости механизма рассуждений. Качество зависит от выбранной квантизации, а приведённые бенчмарки измерялись при разных настройках генерации и не всегда напрямую сопоставимы. Для ускоренного декодирования доступен отдельный MTP-вариант репозитория, не входящий в эту модель. Лицензия — Apache-2.0.

Qwen3.6-27B-Seven-i1-GGUF — это квантизированная версия текстово-визуальной модели Qwen3.6-27B-Seven, подготовленная mradermacher на основе модели nightmedia/Qwen3.6-27B-Seven. Распространяется в формате GGUF с imatrix-квантами различного уровня сжатия, размером примерно от 11 до 22,5 ГБ. В README также указано наличие отдельных mmproj-файлов для поддержки изображений; конкретные параметры мультимодальной архитектуры не раскрыты. Заявлена поддержка английского, китайского, японского и испанского языков, а также контекста до 1M токенов, однако точные технические характеристики базовой модели в карточке не приведены. Модель предназначена для диалогов, генерации текста, программирования, математических и STEM-задач, исследовательских сценариев, творческого и художественного письма, сторителлинга и ролевых взаимодействий. К сильным сторонам относятся широкий выбор квантов, возможность подобрать баланс между размером, скоростью и качеством, а также наличие imatrix-вариантов; для некоторых конфигураций в README отдельно рекомендуются IQ-кванты и i1-Q4_K_M как быстрый вариант. Ограничения связаны с потерями качества при сильном сжатии, отсутствием подробных результатов тестирования и неполным описанием архитектуры и фактического размера контекста. Модель распространяется по лицензии Apache-2.0.

barozp/Qwen3.6-28B-REAP20-A3B-GGUF — набор GGUF-квантизаций модели, созданной на основе 0xSero/Qwen3.6-28B-REAP20-A3B, которая, в свою очередь, является вариантом Qwen3.6-35B-A3B от Qwen с удалением 20% экспертов методом REAP (Router-weighted Expert Activation Pruning). Модель предназначена для генерации текста, диалоговых сценариев, программирования, рассуждений и работы со знаниями, включая локальный запуск через llama.cpp, LM Studio, Jan или Ollama. Указан английский язык. Это разреженная MoE-модель с гибридной архитектурой Qwen3.6, объединяющей Gated DeltaNet и Mixture of Experts. Она содержит около 28 млрд параметров, из которых примерно 3 млрд активны на токен; всего используется 205 экспертов, 8 из которых активируются для каждого токена. Контекст составляет до 262 144 токенов. Репозиторий предоставляет варианты от BF16 до 2-битных и IQ-квантизаций; рекомендуемый вариант Q4_K_M занимает около 17 ГБ и обеспечивает баланс качества и размера. Для него заявлены требования от 20 ГБ VRAM при полном запуске на GPU либо около 24 ГБ RAM при работе только на CPU. Сильные стороны модели — уменьшенный размер по сравнению с исходной MoE-моделью, сохранение примерно 3 млрд активных параметров на токен, широкий выбор квантизаций и совместимость с локальными инструментами на базе llama.cpp. Более сильное сжатие уменьшает требования к памяти, но может снижать качество генерации; точные результаты бенчмарков, поддержка других языков и практические ограничения качества в README не приведены. Распространение заявлено по лицензии Apache 2.0.