I.14Автоматизация процессов и AI-агенты

Qwen2.5-32B-AGI-GGUF — это GGUF-квантизация модели Qwen2.5-32B-AGI, подготовленная разработчиком bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая LM Studio. Указаны языки Chinese и English, однако подробное описание исходной модели и её специализации в README отсутствует. Модель основана на архитектуре Qwen2.5 и содержит 32B параметров. Доступны варианты от F16 до низкобитных форматов Q2 и Q3, а также варианты Q4–Q8, что позволяет выбирать между качеством ответов и требованиями к памяти. Рекомендуемыми названы некоторые варианты Q4–Q6; отдельные сборки оптимизированы для ARM-процессоров и требуют соответствующих аппаратных инструкций. Контекстное окно, поддерживаемые модальности, точные сценарии применения и дополнительные характеристики не указаны. Распространение заявлено по лицензии Apache-2.0. Ограничения связаны прежде всего с потерей качества при агрессивной квантизации и различиями в требованиях к памяти; низкобитные варианты подходят для устройств с ограниченными ресурсами, но могут заметно уступать более крупным форматам.

bartowski/Qwen2.5-3B-GGUF — набор GGUF-квантизованных вариантов базовой языковой модели Qwen2.5-3B, опубликованный и квантизованный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через совместимые инструменты, включая llama.cpp и LM Studio; в README также указан специальный формат промпта с ролями system, user и assistant. Доступны варианты от полного формата F32 размером 12,35 ГБ до сильно сжатых вариантов IQ3_M размером 1,49 ГБ. Большинство сборок используют квантизацию Q4–Q8, а некоторые сохраняют embedding- и output-веса в формате Q8_0 для потенциального улучшения качества. Для ARM-процессоров предусмотрены отдельные варианты Q4_0_4_4, Q4_0_4_8 и Q4_0_8_8; их совместимость зависит от поддержки соответствующих инструкций. Более качественные варианты требуют больше оперативной памяти, а компактные варианты снижают требования к памяти ценой качества. Модель относится к текстовым, поэтому README не подтверждает поддержку изображений, аудио или других модальностей. Языки, размер контекста, конкретные архитектурные характеристики базовой модели и результаты бенчмарков в предоставленных данных не указаны. Лицензия также не указана, поэтому условия коммерческого и иного использования следует уточнять в исходном репозитории Qwen/Qwen2.5-3B и у опубликованного набора.

bunnycore/Qwen2.5-3B-Model-Stock-v3 — объединённая разработчиком bunnycore языковая модель семейства Qwen2 для генерации текста и диалогов. Модель создана линейным слиянием с помощью mergekit моделей PowerInfer/SmallThinker-3B-Preview и bunnycore/Qwen2.5-3B-Model-Stock-v2; веса сохранены в формате safetensors. Модель содержит 3,1 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и поддерживает контекст до 32 768 токенов. Она предназначена для чат-взаимодействия и генерации текста. В карточке указана лицензия Apache-2.0.

Qwen2.5-7B-Instruct-Q4_K_M-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, преобразованная пользователем paultimothymooney в формат GGUF с помощью llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp в командной строке или в режиме сервера. Модель имеет размер 7B параметров и использует квантизацию Q4_K_M, что рассчитано на более экономичное использование памяти по сравнению с полноразмерной версией. Указана поддержка английского языка и текстовая модальность. В примере запуска серверу передаётся контекст размером 2048 токенов, однако максимальный размер контекста в карточке отдельно не указан. К сильным сторонам относятся совместимость с экосистемой llama.cpp, возможность локального развёртывания и сниженные требования к ресурсам благодаря квантизации. Ограничения связаны с тем, что карточка не содержит подробных сведений о качестве, бенчмарках, аппаратных требованиях и полном наборе поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

legraphista/Qwen2-7B-IMat-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen2-7B, разработанной командой Qwen. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В репозитории представлены варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. В метаданных указан английский язык. Квантизация выполнена legraphista с использованием llama.cpp версии b3091. Для ряда низко- и среднебитных вариантов применена IMatrix, предназначенная для улучшения сохранения качества при уменьшении разрядности; для некоторых вариантов доступны статические квантизации без IMatrix. Размер файлов варьируется примерно от 2,60 до 15,24 ГБ. Контекстное окно, точная архитектура базовой модели, мультимодальные возможности и результаты сравнительных тестов в предоставленных данных не указаны. Главное преимущество набора — широкий выбор форматов для запуска модели на оборудовании с различным объёмом памяти и возможность локального использования. Ограничения связаны с компромиссом квантизации: более компактные варианты могут уступать полноточным по качеству, стабильности и точности ответов, однако конкретные потери не измерены. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3-14B-MLX-8bit — это 8-битная версия модели Qwen3-14B, разработанная сообществом lmstudio-community и преобразованная в формат MLX из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях локального инференса на совместимом оборудовании Apple MLX. В README указаны архитектура Qwen3-14B, размер 14B параметров, формат MLX и 8-битное представление весов. Модель поддерживает диалоговый режим через chat template, если он доступен в токенизаторе. Данные о языках, размере контекста, поддерживаемых модальностях, производительности и конкретных требованиях к оборудованию не приведены. Ограничения также отдельно не описаны; практические характеристики зависят от исходной модели, реализации MLX и используемой системы. Модель распространяется по лицензии Apache-2.0. Для использования требуется библиотека mlx-lm; README приводит пример загрузки модели и генерации текста через Python API.

MaziyarPanahi/Qwen3-30B-A3B-GGUF — это набор файлов модели в формате GGUF для базовой модели Qwen3-30B-A3B, разработанной командой Qwen. Квантованием и публикацией файлов занимался MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и другими совместимыми решениями, что позволяет использовать модель с GPU-ускорением, локальными графическими интерфейсами или API-серверами. Архитектура, число параметров базовой модели, поддерживаемые языки, модальности и размер контекста в README не указаны. К сильным сторонам относятся широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. Ограничения зависят от выбранного варианта квантования и конкретного средства запуска; подробности о качестве, производительности, лицензии и требованиях к оборудованию в предоставленных данных отсутствуют.

Qwen3-4B-GGUF — квантизированная GGUF-версия языковой модели Qwen3-4B, разработанной Qwen и подготовленной квантизацией компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через LlamaEdge. README указывает поддержку английского языка, текстовую модальность и контекстное окно до 128 000 токенов. Доступны варианты с квантизацией от 2 до 8 бит, а также f16, размером примерно от 1,67 до 8,05 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между размером и качеством, тогда как низкобитные варианты экономят память, но могут заметно терять в качестве. Для работы используются шаблоны prompt type chatml и qwen3-no-think; поддерживаются режимы с рассуждением и без него. Модель можно запускать как сервис или командное приложение LlamaEdge при наличии совместимой версии. Лицензия указана как qwen-research; подробные условия приведены в лицензии исходной модели Qwen/Qwen3-4B. README не содержит сведений о точной архитектуре, обучающем наборе данных, результатах тестирования или ограничениях безопасности, поэтому эти характеристики нельзя достоверно оценить по представленным данным.

Qwen3-4B-Instruct-2507-GGUF — это набор файлов модели в формате GGUF для Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью. Модель содержит вариант с примерно 4 миллиардами параметров и распространяется в формате GGUF с уровнями квантизации 2-, 3-, 4-, 5-, 6- и 8-bit. Этот формат ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения. GGUF может упростить запуск модели на локальных системах с использованием CPU и GPU, однако конкретные требования к памяти, производительность, контекстное окно, поддерживаемые языки и модальности в README не указаны. Сильные стороны модели — компактный размер, наличие нескольких уровней квантизации и широкая совместимость с локальными средствами инференса. Квантизация может снизить требования к ресурсам, но способна повлиять на качество по сравнению с исходной моделью; степень этого влияния зависит от выбранного варианта. Лицензия и условия использования в предоставленных данных не указаны.

lmstudio-community/Qwen3-4B-MLX-4bit — это 4-битная версия модели Qwen3-4B, разработанная сообществом lmstudio-community и преобразованная в формат MLX из базовой модели Qwen/Qwen3-4B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, включая сценарии диалогового взаимодействия с применением chat template. Из README известно, что модель использует архитектуру и характеристики базовой Qwen3-4B, однако точные параметры, поддерживаемые языки, размер контекста и мультимодальные возможности здесь не указаны. Ключевая особенность этой версии — 4-битное представление и формат MLX, что ориентировано на эффективный локальный запуск в совместимой среде. Ограничения, качество на конкретных задачах и требования к оборудованию в README не описаны. Лицензия — Apache-2.0.

Jackrong/Qwen3.5-0.8B-Claude-4.6-Opus-Reasoning-Distilled-GGUF — языковая модель для генерации текста и структурированного рассуждения, созданная Jackrong на основе Qwen/Qwen3.5-0.8B. Она дообучена методом Supervised Fine-Tuning с применением LoRA и Unsloth на отфильтрованных наборах данных с дистиллированными цепочками рассуждений, включая материалы, связанные с Claude Opus, а также специализированные датасеты Qwen. Модель предназначена для офлайн-аналитики, программирования, математики и задач, требующих пошагового логического анализа. Она обучена формировать рассуждение в тегах <think> и затем выдавать итоговый ответ. Заявлена поддержка английского, китайского и корейского языков, текстовый режим работы и контекстное окно до 16 384 токенов. Благодаря небольшому размеру 0,8 млрд параметров модель ориентирована на относительно эффективный локальный запуск, однако README не содержит сведений о конкретной GGUF-квантизации и требованиях к оборудованию. К сильным сторонам относятся структурированное пошаговое рассуждение, обработка многоэтапных задач и снижение избыточных повторов в рассуждениях. Ограничения включают обычный для авторегрессионных моделей риск галлюцинаций и необходимость проверки фактов; заявленные возможности не гарантируют точность решений. Модель обозначена как экспериментальная и предназначенная для обучения, академических исследований и технического изучения. Лицензия — Apache-2.0.

DazzlingShadow/Qwen3.5-122B-A10B-heretic-ARA — постобученная мультимодальная модель диалога на архитектуре Qwen3.5 MoE, опубликованная в формате Transformers. Abliteration изменяет поведение отказов: в приведённом сравнении модель отказала в 0 из 100 запросов против 88 из 100 у исходной Qwen/Qwen3.5-122B-A10B. Модель принимает текст и изображения и генерирует текст; она подходит для диалога, визуального понимания и ответов на вопросы по изображениям. Модель содержит 122 млрд параметров, из которых активируется около 10 млрд; архитектура включает 48 слоёв и разреженный Mixture of Experts. Контекстное окно — 262 144 токена, с заявленным расширением до 1 010 000. В карточке исходного семейства заявлена поддержка 201 языка и диалекта, однако языковая таблица в README опущена. Весы доступны в safetensors и совместимы с Transformers и рядом движков инференса. Лицензия — Apache-2.0.

voodooquant/Qwen3.5-2B-MTP-Voodoo — это GGUF-квантизированная версия базовой мультимодальной модели Qwen3.5-2B-Base, созданная Voodoo Quant. Модель предназначена для исследовательских и прикладных сценариев, связанных с обработкой текста и изображений, включая мультимодальное понимание, рассуждения, программирование и агентские задачи. Базовая модель рассчитана преимущественно на дообучение, эксперименты с in-context learning и разработку, а не на непосредственное диалоговое использование без дополнительной настройки. Модель представляет собой причинную языковую модель с vision encoder, объединяющую Gated Delta Networks, разреженную Mixture-of-Experts и Gated Attention. Она содержит около 2 млрд параметров, 24 слоя, скрытую размерность 2048 и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Архитектура обучалась с использованием multi-step training (MTP). Квантизация Voodoo Quant выбирает уровни сжатия отдельно для разных тензоров; заявлено снижение perplexity до 89% по сравнению с обычными схемами квантизации. Чекпойнты работают в неизменённом Llama.cpp и не являются дообученными версиями исходной модели. Сильными сторонами являются мультимодальность, большой контекст, относительно компактный размер и оптимизация GGUF для эффективного локального запуска. Ограничения включают необходимость учитывать особенности конкретного уровня квантизации, а также то, что README не приводит подробных количественных результатов, требований к памяти и аппаратных рекомендаций. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen3.6-27B-MLX-4bit — 4-битная квантованная версия модели Qwen3.6-27B, разработанной Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для запуска на устройствах с Apple Silicon. Модель предназначена для задач генерации текста и обработки связок изображение—текст, включая сценарии локального запуска через совместимые инструменты. В карточке указана принадлежность к классу image-text-to-text, однако подробные сведения о поддерживаемых языках, размере контекстного окна и полном наборе мультимодальных возможностей не приведены. Ключевая особенность модели — 4-битное представление, снижающее требования к памяти по сравнению с полноформатной версией и подходящее для локального использования на Apple Silicon. Ограничения включают возможную потерю качества из-за квантования, а также отсутствие в предоставленных данных конкретных результатов тестирования и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Axon-MLQT — квантованная версия Qwen3.8-27B в формате GGUF, подготовленная Jaesoo Park из AXON Sovereign Intelligence Lab. Модель предназначена для диалоговой генерации текста и запуска локально через llama.cpp, Ollama или llama-cpp-python; в карточке также заявлены сценарии рассуждения и программирования. Весовая матрица упакована в тритовые значения {-1, 0, +1}; итоговый файл занимает 6,43 ГБ. README сообщает о тестировании на потребительской видеокарте, но приведённые показатели производительности и сохранения качества являются заявлениями автора. Модель основана на Qwen/Qwen3.8-27B; лицензия — Apache-2.0. Метаданные указывают на диалоговые возможности и задачу генерации текста.

Qwen3.8-27B-ZeroRefusal-UD-IQ4_XS-MTP-GGUF — независимый community-релиз GGUF-модели, основанный на Qwen/Qwen3.8-27B и junafinity/Qwen-3.8-27B-Uncensored. Модель предназначена для локального запуска через llama.cpp, включая текстовые и мультимодальные сценарии с обработкой изображений. Релиз оптимизирован для видеокарты RTX 5060 Ti с 16 ГБ VRAM и не является официальным продуктом Qwen, Unsloth, llama.cpp или ZeroFuse. Модель использует архитектуру qwen35, содержит 866 тензоров и 65 блоков, имеет размер 27B параметров и квантизацию Unsloth Dynamic V3 UD-IQ4_XS с эффективной точностью 4,25 bpw. Поддерживаются китайский и английский языки. Заявлена исходная длина контекста 262 144 токена, а проверенный производственный профиль рассчитан на 73 728 токенов. В состав входит native MTP/NextN-слой, поэтому отдельная draft-модель не требуется. Для работы с изображениями необходим отдельный F16 vision-проектор. Сильные стороны модели — высокая скорость локального вывода, поддержка MTP, совместимость с 16-ГБ видеокартами и мультимодальный режим. В измерениях на RTX 5060 Ti достигалась скорость до 41,67 токена/с в одном потоке и совокупно около 65,67 токена/с в двух потоках. Модель относится к ZeroRefusal/uncensored-вариантам и может генерировать небезопасный, незаконный или ошибочный контент; результаты теста на отказах не являются гарантией качества или безопасности. Конфигурация имеет очень малый запас VRAM и чувствительна к драйверам, версиям CUDA и фоновой нагрузке. Распространяется по лицензии Apache-2.0, при этом необходимо учитывать лицензии и условия использования исходных моделей, датасетов и инструментов.

cygnal/Qwen3.8-Flash-Next-Heretic2-IQ4XS-Halogen — это квантованная GGUF-сборка Qwen3.8-Flash-Next, подготовленная для Halogen Flash Server разработчиком cygnal. Исходные веса модели прошли abliteration методом direction-removal в Heretic v1.3.0, затем были переквантованы в смешанном формате: преимущественно IQ4_XS для экспертных весов, Q8_0 для плотных слоёв и IQ4_NL для per_layer_token_embd.weight. Архитектура qwen4exp использует гибрид DeltaNet, SSM и attention; заявлено около 166 млрд параметров всего и 27 млрд активных на токен. Модель предназначена для диалоговой генерации текста и может принимать изображения при подключении отдельного vision tower. Сборка оптимизирована для Halogen Flash Server и AMD Strix Halo с ROCm; в README приведены измерения производительности на Radeon 8060S и требования примерно к 117 ГБ объединённой памяти. Видео не поддерживается. Для использования нужны совместимые сервер и аппаратное обеспечение; vision tower и MTP head поставляются отдельно. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next-MXFP4-FP8 — экспериментальная квантизованная сборка модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель распространяется в формате Hugging Face Transformers и предназначена для задач генерации текста, агентских сценариев и мультимодального ввода с изображениями и видео. В README также указана поддержка вызова инструментов и рассуждений через соответствующие парсеры vLLM. Архитектура включает гибридное внимание с Gated DeltaNet и Qwen Sparse Attention, Gated Residual и N-gram Embedding; базовая модель использует Mixture-of-Experts-компоненты. В этой сборке MTP, attention, N-gram и KV-cache представлены в FP8, а experts — в MXFP4. Общий размер весов составляет около 125,8 ГБ. Конфигурация рассчитана на контекст до 524 288 токенов, поддерживает до 20 изображений и одного видео на запрос; языки и точное число параметров в README не указаны. Сильными сторонами являются экономичное хранение и вычисления за счёт квантизации, оптимизации для длинного контекста, FP8 KV-cache, prefix caching, chunked prefill и speculative decoding. Основные ограничения — запуск заявлен только на GPU AMD AI PRO R9700, требуется специализированный dev-образ vLLM и конфигурация с четырьмя GPU; модель имеет экспериментальный статус. Квантизация выполнена методом Quark RTN, поэтому точность может быть ниже, чем у будущих GPTQ/AWQ-сборок. README рекомендует использовать обновлённую GPTQ Protected Model. Лицензия указана как Apache-2.0 с license_name qwen-community-1.0.

evsinlb/Qwen3.8-Flash-Next-oQ4e-fp16-mtp — это 4-битная MLX-квантизированная версия Qwen3.8-Flash-Next, разработанной командой Qwen. Сборка подготовлена с использованием oQ/oMLX и предназначена для запуска на Apple Silicon, прежде всего M1 и M2. Модель относится к архитектуре qwen4_exp и поддерживает генерацию текста, а также встроенные компоненты для работы с изображениями. Модель использует MoE-архитектуру с 512 экспертами и маршрутизацией top-10, 48 слоями и гибридом линейного и полноформатного внимания. В ней присутствует таблица PLE n-грамм объёмом 51,2 млрд параметров, Lightning MTP-голова, 4-битные веса с отдельными 5-битными улучшениями для чувствительных тензоров и контекст до 262 144 токенов. Размер модели на диске составляет около 99,82 GiB в 21 шарде; компоненты vision и MTP сохранены. Сильная сторона сборки — обработка длинных документов: она подходит для пакетного суммирования, извлечения данных и одноразового анализа больших текстов. На M2 Ultra заявлена высокая скорость предварительной обработки, около 525 токенов в секунду при контексте 8K, тогда как генерация выполняется примерно со скоростью 23–25 токенов в секунду. Ограничениями являются очень большой объём памяти, зависимость производительности от режима размещения PLE-таблицы и аппаратной платформы, а также сравнительно невысокая скорость декодирования для интерактивных сценариев. Модель распространяется по лицензии Apache 2.0. Формат — MLX safetensors; для запуска требуется совместимое окружение oMLX/MLX и достаточный объём оперативной памяти, поскольку только постоянно резидентная часть занимает около 70 GiB, а полное размещение модели требует примерно 100 GiB.

Это квантованная в формате MXFP4 версия модели Qwen3-Next-80B-A3B-Thinking, подготовленная noctrex и опубликованная в формате GGUF. Она предназначена для генерации текста и диалогового использования; базовая модель — причинная MoE-модель Qwen для сложных рассуждений и работы с длинным текстовым контекстом. В названии базовой модели указано 80B параметров, из которых 3B активны; точную длину контекста доступные данные не сообщают. Для запуска требуется совместимая версия llama.cpp; автор рекомендует использовать актуальную версию. GGUF и MXFP4 позволяют запускать квантованную модель в совместимой среде, однако квантование может влиять на точность по сравнению с исходными весами. Лицензия в предоставленных данных не указана.

RedHatAI/Qwen3-VL-32B-Instruct-NVFP4 — квантизированная мультимодальная instruction-модель, разработанная Red Hat на основе Qwen/Qwen3-VL-32B-Instruct. Она принимает текст и изображения, а генерирует текст, поэтому предназначена для визуально-языковых сценариев: анализа и описания изображений, ответов на вопросы по визуальному содержимому, работы с диаграммами и общего текстового общения. Модель можно развернуть через vLLM и использовать через OpenAI-совместимый API. Архитектура модели — Qwen3VLForConditionalGeneration, размер базовой модели — 32B параметров. Для весов и активаций применяется NVFP4-квантизация с групповой квантизацией весов и динамической групповой квантизацией активаций; визуальные компоненты и некоторые отдельные слои не квантизируются. По данным README, это сокращает размер на диске и требования к GPU-памяти примерно на 75% по сравнению с представлением с 16 битами на параметр, что является главным преимуществом версии. При этом README не содержит сведений о поддерживаемых языках, точном контекстном окне и количественных результатах оценки, хотя модель проверялась на задачах ChartQA и MMLU. Лицензия — Apache-2.0. Для запуска в примере рекомендуется vLLM с tensor parallelism на двух GPU; фактические требования зависят от конфигурации оборудования и используемого программного окружения. Квантизация может снижать точность по сравнению с исходной моделью, однако конкретные потери качества в README не указаны.

Qwen1.5-32B-Chat GGUF — набор квантизированных версий диалоговой языковой модели Qwen/Qwen1.5-32B-Chat, разработанный сообществом Featherless AI Quants. Модель предназначена для генерации текста и ведения диалогов; формат GGUF подходит для локального запуска и совместимых инструментов инференса, поддерживающих этот формат. В набор входят варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0. Размеры файлов или наборов файлов составляют примерно от 11,7 до 33,0 ГБ, что позволяет выбирать компромисс между требованиями к памяти и сохранением качества. Модель относится к текстовой модальности; сведения о языках, архитектуре, размере контекста, результатах оценки и конкретных сценариях применения в README не указаны. Сильной стороной является наличие нескольких уровней квантизации для адаптации запуска под доступные аппаратные ресурсы. Ограничения включают значительные требования к памяти даже для наиболее компактных вариантов, а также возможные потери качества из-за квантизации. Лицензия в представленном README не указана.

Это квантованные версии модели Qwen3.5-122B-A10B от Qwen, подготовленные bartowski в формате GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена для задач генерации текста и обработки изображений с текстом, однако README не содержит подробного описания поддерживаемых сценариев, языков или возможностей мультимодального ввода. Основой служит модель с заявленным размером 122B и обозначением A10B; точная архитектура, размер контекста и перечень модальностей в README не раскрыты. Доступны варианты квантования от Q8_0 до Q3_K и IQ3/IQ4, размером примерно от 59 до 133 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а менее точные варианты требуют меньше оперативной памяти. Квантование выполнено с использованием imatrix и llama.cpp; также добавлена поддержка MTP-слоёв при использовании совместимой версии llama.cpp и параметра draft-mtp. Модели можно запускать через llama.cpp, ramalama, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и LoLLMs. Рекомендуемый шаблон запросов использует формат Qwen с разделителями ролей и секцией <think>. Распространение указано по лицензии Apache-2.0. Ограничения включают высокие требования к памяти, зависимость от поддержки модели в конкретном инструменте и снижение качества при выборе более агрессивного квантования.

SFGEMOMNISCIEN-Mistral-ties — текстовая генеративная модель на архитектуре Mistral с 7,1 млрд параметров, созданная объединением моделей через mergekit методом TIES. В README указана NeuralHermes-2.5-Mistral-7B и базовая модель Warit2/SFGEMOMNISCIEN; каталог характеризует NeuralHermes как диалоговую модель, дообученную для выполнения инструкций и генерации текста. Модель предназначена для генерации текста и ответов в диалогах по текстовым запросам. Заявленная длина контекста — 32 768 токенов. Файлы представлены в формате safetensors; лицензия — Apache-2.0. Карточка не сообщает результаты оценки качества или конкретные ограничения применения.

SmallThinker-4BA0.6B-Instruct — языковая модель с открытыми весами, разработанная IPADS и Школой искусственного интеллекта Шанхайского университета Цзяо Тун совместно с Zenergize AI. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами и генерации ответов в диалоговом формате. Это плотная по типу каталожной архитектуры модель семейства SmallThinker с архитектурой Mixture-of-Experts: всего 4 млрд параметров, из которых активируются 0,6 млрд; в метаданных указано 1,3 млрд параметров. Модель принимает текст, поддерживает контекст до 32 768 токенов и обучена преимущественно на английском языке. Разработчики сообщают о механизмах разреженной маршрутизации и внимания, рассчитанных на снижение вычислительных затрат, памяти и задержек при локальном инференсе. Модель подходит для диалоговых помощников, ответов на вопросы, рассуждений и генерации кода; в README приведены результаты тестов по математике, знаниям и программированию. Показатели тестов не гарантируют точность в практических сценариях. Ответы могут содержать ошибки, предвзятость или устаревшие сведения, поэтому их следует проверять. Лицензия — Apache-2.0.

SOLAR-0-70b-16bit — языковая модель компании Upstage для генерации текста и выполнения инструкций в диалоге. Это дообученная на основе Llama 2 модель с плотной архитектурой LlamaForCausalLM и 68,7 млрд параметров. Карточка указывает английский язык; модель рассчитана на работу через HuggingFace Transformers. Метаданные задают контекст 4096 токенов, а авторы сообщают о возможности обрабатывать более 10 тысяч входных токенов с настройкой rope_scaling. Модель подходит для ответов на вопросы, диалогов и выполнения текстовых инструкций общего назначения. Upstage оценивала её на ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. В описании не заявлены специализированные прикладные области или мультимодальные возможности. Для дообученных чекпойнтов указана лицензия CC BY-NC-4.0, ограничивающая коммерческое использование.

Swallow-MS-7b-v0.1 — языковая модель TokyoTech-LLM на основе Mistral-7B-v0.1, дообученная на продолжение предобучения с добавлением преимущественно японских данных. Это плотная авторегрессионная модель семейства Mistral с 7,2 млрд параметров и контекстом до 4096 токенов. Расширенный японский словарь токенизатора позволяет компактнее представлять японский текст и ускорять инференс. Модель предназначена для генерации текста на японском и английском языках и может применяться для вопросов и ответов, чтения и понимания текста, суммаризации, перевода, математических рассуждений и генерации кода. README приводит результаты оценки на японских и английских бенчмарках, включая задачи перевода между японским и английским. Разработчики отмечают, что модель находится на раннем этапе исследований и разработки и не настроена для надёжного следования человеческим намерениям или требованиям безопасности. Модель распространяется по лицензии Apache-2.0.

Tarek07_Legion-V2.1-LLaMa-70B-GGUF — это набор GGUF-квантизаций текстовой генеративной модели Legion-V2.1-LLaMa-70B, разработанной Tarek07. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix; исходная модель доступна как Tarek07/Legion-V2.1-LLaMa-70B. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты с разным уровнем сжатия и качеством: от Q8_0 размером около 75 ГБ до Q2_K размером около 26 ГБ. Рекомендуемыми указаны, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS; варианты с более низкой разрядностью требуют меньше оперативной памяти, но снижают качество. Известно, что модель имеет размер 70 миллиардов параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Для работы следует использовать формат подсказок, совместимый с шаблоном Llama 3.3, с секциями system, user и assistant. Лицензия указана как llama3.3; дополнительные условия исходной модели в README не приведены.

Карточка модели migtissera/Tess-2.0-Mixtral-8x7B на Hugging Face совпадает с карточкой migtissera/Tess-2.0-Mixtral-8x7B-v0.2, поэтому описание составлено по ней. Tess-2.0-Mixtral — языковая модель общего назначения из серии Tess, разработанной migtissera. Она обучена на базе mistralai/Mixtral-8x7B-v0.1 и использует архитектуру MixtralForCausalLM с разреженной архитектурой MoE. Модель предназначена для генерации текста и диалогов; формат запросов включает роли SYSTEM, USER и ASSISTANT. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. В репозитории размещены веса в формате safetensors, лицензия — Apache-2.0. В карточке указано, что модель uncensored; она может выдавать неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или неподходящий контент, поэтому результаты следует проверять.

THUDM_GLM-4-9B-0414-GGUF — это квантизированная версия языковой модели GLM-4-9B-0414, разработанной командой THUDM. Конвертацию и квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель содержит около 9 млрд параметров, поддерживает китайский и английский языки и распространяется в формате GGUF. Доступны варианты от bf16 до низкобитных Q2–Q8-квантизаций с размером файлов примерно от 4,2 до 18,8 ГБ. Более качественные варианты Q5–Q8 обеспечивают близкое к исходной модели качество, тогда как Q3 и Q2 экономят память, но снижают качество. В README размер контекстного окна, архитектура и поддерживаемые модальности не указаны; по приведённому формату и назначению это текстовая авторегрессионная модель. Сильной стороной являются разнообразие вариантов квантизации и возможность запуска на локальном оборудовании с ограниченными ресурсами. Ограничения включают компромисс между размером, потреблением памяти и качеством, а также отсутствие данных о результатах оценки и контекстном окне. Для работы требуется совместимый llama.cpp-стек и соответствующий формат prompt: [gMASK]<sop><|system|>, <|user|>, <|assistant|>. Модель распространяется по лицензии MIT.