I.14Автоматизация процессов и AI-агенты

Mistral-Small-Instruct-2409-IMat-GGUF — это GGUF-квантизированная версия модели Mistral-Small-Instruct-2409, разработанной Mistral AI. Квантизацию выполнил legraphista с использованием llama.cpp версии b3785 и метода IMatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая локальный запуск через совместимые инструменты экосистемы llama.cpp. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты в форматах BF16, F16, Q8_0, Q6_K, Q5_K, Q5_K_S, Q4_K, Q4_K_S, IQ4_NL, IQ4_XS, Q3_K, Q3_K_L, Q3_K_S и Q2_K; размеры файлов варьируются примерно от 8,27 до 44,50 ГБ. IMatrix применяется к ряду вариантов с более сильным сжатием, включая Q4, Q3 и Q2, что позволяет уменьшить требования к хранению при сохранении качества, насколько это возможно для выбранного уровня квантизации. Сильная сторона модели — наличие большого выбора степеней квантизации для подбора компромисса между качеством, размером файла и требованиями к аппаратным ресурсам, а также поддержка нескольких языков. Ограничения конкретного варианта зависят от уровня квантизации: более компактные файлы могут уступать исходной BF16-модели в точности и качестве генерации. В README не указаны архитектурные параметры, число параметров, размер контекста и результаты бенчмарков. Модель распространяется по лицензии Mistral Research License 0.1 (MRL-0.1).

MixTAO-7Bx2-MoE-Instruct-v7.0 — инструктивная языковая модель семейства Mixtral, опубликованная пользователем mixtao на Hugging Face. Она использует архитектуру смеси экспертов (MoE) и предназначена для генерации текста в ответ на инструкции и сообщения в чате. Карточка описывает шаблон диалога, в котором роли system, user и assistant задают контекст и порядок реплик. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель можно применять для диалога, ответов на вопросы и других задач генерации текста. README приводит результаты Open LLM Leaderboard, включая среднюю оценку 76,55 и оценки на отдельных тестах рассуждения и понимания текста. Лицензия — Apache-2.0. Языки обучения или целевого применения в доступных данных не обозначены.

cloudyu/Mixtral_7Bx4_MOE_24B — языковая модель Cloudyu для генерации текста, построенная на архитектуре Mixtral с разреженной смесью экспертов (MoE). В README указано, что модель создана с помощью mergekit путём объединения пяти моделей на базе Mistral 7B: Q-bert/MetaMath-Cybertron-Starling, mistralai/Mistral-7B-Instruct-v0.2, teknium/Mistral-Trismegistus-7B, meta-math/MetaMath-Mistral-7B и openchat/openchat-3.5-1210. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы; README приводит результаты оценивания на ARC и HellaSwag. Для неё опубликованы веса в формате Safetensors, а лицензия CC BY-NC 4.0 ограничивает коммерческое использование. README также сообщает, что модель была улучшена с помощью DPO в отдельном репозитории cloudyu/Pluto_24B_DPO_200; это описание относится к последующей модели, а не меняет способ происхождения данного чекпойнта.

Neutrino-Instruct — авторегрессионная языковая модель с архитектурой декодера Transformer и 7,1 млрд параметров, разработанная Fardeen NB. Это дообученная для диалога и следования инструкциям версия Neutrino. Модель распространяется в форматах GGUF и safetensors; GGUF рассчитан на локальный запуск через llama.cpp и Ollama. Контекст — до 32 768 токенов, архитектура использует grouped-query attention и RoPE. Модель предназначена для чат-ботов, диалоговых помощников, ответов на вопросы, суммаризации и выполнения инструкций, в том числе в локальных сценариях без отправки данных на внешние сервисы. В карточке заявлена поддержка английского языка; качество работы на других языках не оценивалось. Модель общего назначения, не имеет доступа к интернету или внешним источникам знаний. Модель может выдавать правдоподобные, но неверные ответы, а также отражать предвзятость обучающих данных. Специальное обучение безопасности и независимая оценка не проводились; для медицинских, юридических, финансовых и других ответственных решений модель не предназначена. Лицензия — Apache-2.0.

DeepHermes-3-Llama-3-3B-Preview-GGUF — набор GGUF-квантизованных версий языковой модели DeepHermes-3-Llama-3-3B-Preview, разработанной NousResearch и подготовленной квантизацией bartowski с использованием llama.cpp. Модель предназначена для генерации текста, диалогов и выполнения инструкций; среди заявленных сценариев — чат, reasoning, roleplaying, function calling и генерация JSON. Указана поддержка английского языка и формата prompt, совместимого с Llama 3 и ChatML-подобной структурой ролей. Модель имеет около 3 млрд параметров и работает с текстовой модальностью. Доступны варианты от BF16 до различных уровней квантизации Q8, Q6, Q5, Q4 и Q3 размером примерно от 1,9 до 6,4 ГБ, что позволяет запускать её локально через llama.cpp, LM Studio и другие совместимые проекты, в том числе на устройствах с ограниченной памятью. Более сильные стороны — компактность, широкий выбор квантизаций и пригодность для локального inference; при этом это preview-версия, а квантизация может снижать качество по сравнению с исходными весами. Размер контекстного окна и дополнительные языки в README не указаны. Лицензия обозначена как llama3.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это набор квантованных GGUF-версий языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, разработанной NVIDIA. Квантование выполнил NANI-Nithin с использованием инструментов llama.cpp и автоматизированного конвейера на Modal. Модель предназначена для генерации текста и локального инференса на CPU или GPU. Она использует архитектуру Mixture-of-Experts (MoE) с конфигурацией A3B и поддерживает английский язык. Доступны варианты F16, Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, Q4_0, Q3_K_L, Q3_K_M, Q3_K_S и Q2_K с разным соотношением качества, размера и требований к памяти. В README размер контекста и точные требования к RAM или VRAM не указаны. Сильная сторона модели — возможность запуска в популярных GGUF-совместимых средах, включая llama.cpp, Ollama и LM Studio, а также выбор уровня квантования. Q4_K_M рекомендуется как наиболее сбалансированный вариант по скорости, размеру и качеству. Более сильное сжатие уменьшает требования к памяти, но приводит к заметному снижению качества; для MoE-модели необходимо заранее проверить доступные RAM и VRAM. Модель распространяется по лицензии Apache-2.0.

Nemotron-Cascade-8B-GGUF — это квантованная версия языковой модели Nemotron-Cascade-8B, разработанной NVIDIA и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, рассуждений и задач общего назначения; в карточке указаны сценарии локального запуска через LM Studio, llama.cpp и совместимые проекты. Заявленный язык — английский. Модель содержит 8 миллиардов параметров. Доступны варианты с точностью от BF16 до Q2 и различными форматами квантования, включая Q8_0, Q6_K, Q5_K_M, Q4_K_M и IQ4_XS. Размер файлов составляет примерно от 3,9 до 16,4 ГБ. Квантование выполнено с использованием imatrix на базе llama.cpp; для работы рекомендуется применять шаблон диалога с поддержкой маркера /think. Сильной стороной является выбор вариантов между качеством и требованиями к памяти, включая варианты, рекомендованные автором как близкие к исходному качеству. Сведения о размере контекста, архитектуре, дополнительных модальностях и результатах бенчмарков в README не приведены. Модель распространяется по лицензии NVIDIA Open Model License; в карточке указана лицензия other и приведена ссылка на её текст. Условия лицензии следует учитывать отдельно перед использованием и распространением.

OLMo 2 32B Instruct — англоязычная открытая языковая модель Allen Institute for AI, выпущенная в марте 2025 года. Это плотная авторегрессионная модель семейства OLMo 2 с 31,7 млрд параметров, принимающая текст и генерирующая текст; длина контекста составляет 4096 токенов. Модель предназначена для диалогов и выполнения инструкций, а также для решения математических задач и оценки следования инструкциям. Модель дообучена на базе allenai/OLMo-2-0325-32B-DPO: после supervised fine-tuning и DPO она прошла дополнительное обучение RLVR. Карточка указывает на вариант набора Tülu 3, а метаданные связывают модель с датасетом RLVR-GSM-MATH-IF-Mixed-Constraints. Веса доступны в формате safetensors для Transformers. Лицензия — Apache 2.0. Сильные стороны модели — открытые веса и обучение для разнообразных задач, включая диалоги, математику и следование инструкциям. Безопасность обучена ограниченно: модель может выдавать проблемный контент, особенно при соответствующем запросе, а встроенная фильтрация ответов не предусмотрена.

OpenAi-GPT-oss-20b-HERETIC-uncensored-NEO-Imatrix-gguf — это текстовая генеративная модель в формате GGUF, разработанная DavidAU на базе p-e-w/gpt-oss-20b-heretic. Согласно карточке, модель использует архитектуру Mixture of Experts с 20B параметров и 24 экспертами. Она предназначена для локального запуска и доступна в вариантах IQ4_NL, Q5_1 и Q8_0 с применением Imatrix, DI-Matrix или TRI-Matrix-квантизации. Модель ориентирована на генерацию текста, чат, программирование и генерацию кода, рассуждения, решение задач, мозговой штурм, творческие сценарии и общее использование. Указан английский язык и заявлена поддержка контекста до 128k токенов. Автор отмечает улучшения производительности благодаря NEO, Horror и NEOCode-наборам данных, а также различия между квантизациями: Q5_1 описывается как более стабильная в некоторых сценариях, тогда как IQ4_NL может давать более необычные и спонтанные ответы. Ключевая особенность модели — удаление отказов и ограничений, обозначенное автором как uncensored и decensored. Это может быть полезно для свободных творческих и исследовательских сценариев, но одновременно означает отсутствие встроенных защитных механизмов и повышенный риск небезопасных или нежелательных ответов. В карточке не приведены независимые бенчмарки, точные требования к памяти, аппаратные рекомендации или подробные измерения качества, поэтому производительность и практическая скорость зависят от выбранной квантизации и оборудования. Модель распространяется по лицензии Apache-2.0.

OpenInstruct Mistral-7B — языковая модель, выпущенная автором репозитория и дообученная на VMware/open-instruct с вычислительными ресурсами Higgsfield AI. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, предназначенная для генерации ответов на инструкции и диалоговых сценариев. В README указан формат запросов Alpaca; метаданные указывают контекст длиной до 32 768 токенов и английский язык. Модель подходит для ответов на вопросы, выполнения текстовых инструкций и генерации диалоговых ответов. В карточке приведены результаты оценки на бенчмарках рассуждений и здравого смысла, однако они не гарантируют качество в конкретном применении. Модель распространяется по лицензии Apache-2.0; базовая модель — mistralai/Mistral-7B-v0.1.

OrcaMaid V2 Fix 13B 32K — языковая модель для генерации текста и выполнения инструкций, разработанная ddh0. Представлена в формате GGUF и квантована TheBloke для запуска на CPU и GPU через llama.cpp и совместимые приложения. Модель относится к семейству Llama и имеет около 13 миллиардов параметров; заявлено контекстное окно до 32 000 токенов. Сведения о языках обучения и поддерживаемых модальностях отсутствуют, поэтому модель следует рассматривать как текстовую. Модель предназначена для диалогов, ответов на инструкции, генерации и продолжения текста, а также сценариев локального запуска, включая использование через text-generation-webui, KoboldCpp, GPT4All, LM Studio и другие совместимые инструменты. GGUF доступен в вариантах квантования от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью и качеством, однако более сильное квантование может снижать точность ответов. В README не приведены независимые оценки качества, подробности датасета или конкретные сильные стороны модели. Лицензия указана как microsoft-research-license, при этом автор README отмечает возможное одновременное действие лицензии исходной модели и Meta Llama 2 License. Условия такого двойного лицензирования требуют дополнительной проверки в репозитории исходной модели перед использованием.

Ornith-1.5-35B-A3B-MagicQuant-GGUF — набор GGUF-квантизаций модели Ornith-1.5-35B-A3B, подготовленный проектом MagicQuant на базе модели ornith-ai. Это мультимодальная модель для задач image-text-to-text, способная обрабатывать изображения и текст; для работы с изображениями требуется отдельный vision projector mmproj в формате GGUF. Лицензия — MIT. Модель использует архитектуру qwen3_5_moe с примерно 35 млрд параметров, из которых около 3 млрд активируются на одном токене. В ней предусмотрено 256 экспертов, из которых маршрутизируются 8, а также поддержка vision. Доступны варианты Q4_K_M-v2 размером 19,58 GiB, Q5_K_M размером 22,88 GiB и Q6_K-v2 размером 28,81 GiB; отдельный vision projector занимает 0,86 GiB. Данные о поддерживаемых языках и максимальной длине контекста в README не указаны. Q4_K_M-v2 рекомендован как наиболее сбалансированный вариант по размеру и скорости, тогда как Q5_K_M заявлен как самый быстрый декодер из трёх при наличии дополнительной памяти, а Q6_K-v2 обеспечивает наименьшее измеренное отклонение от BF16 среди проверенных вариантов. Гибридное распределение точности снижает объём передаваемых весов на шаг декодирования и улучшает скорость по сравнению со старыми версиями тех же уровней. Ограничения связаны с потерями качества, присущими квантизации, заметными требованиями к памяти и тем, что приведённые показатели измерялись на конкретной конфигурации AMD Strix Halo с Vulkan; они не гарантируют аналогичную производительность на другом оборудовании.

sayhan/Qwen1.5-72B-Chat-LLaMAfied — версия Qwen1.5-72B-Chat от Alibaba Cloud, преобразованная в формат архитектуры LLaMA с помощью скрипта Minami-su. Это плотная языковая модель примерно на 71 млрд параметров для генерации текста в диалогах и других сценариях работы с текстом. Она принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В карточке указаны английский и китайский языки, а формат файлов — PyTorch. Модель размещена под лицензией other; конкретные условия следует сверить с исходной лицензией Qwen1.5 и карточкой репозитория.

mergekit-community/Qwen2-1.5B-RHSD — объединённая модель на архитектуре Qwen2, созданная сообществом с помощью mergekit методом Model Stock. В основе объединения лежит trollek/Qwen2-1.5B-Instruct-Abliterated; также использованы Replete-AI/Replete-Coder-Qwen2-1.5b, cognitivecomputations/dolphin-2.9.3-qwen2-1.5b, macadeliccc/Samantha-Qwen2-1.5B и M4-ai/Hercules-5.0-Qwen2-1.5B. Модель содержит 1,5 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Модель использует плотную архитектуру Qwen2 с классом Qwen2ForCausalLM, работает через библиотеку Transformers и хранится в формате safetensors. Заявленная длина контекста — 32 768 токенов. Объединённые модели ориентированы на инструкции, программирование и диалог, однако README не приводит оценок качества или подробных результатов тестирования. Язык модели отдельно не описан в карточке и метаданных. Условия лицензирования в предоставленных данных не указаны.

RedHatAI/Qwen2.5-VL-7B-Instruct-quantized.w8a8 — это квантованная версия мультимодальной модели Qwen/Qwen2.5-VL-7B-Instruct, разработанная Neural Magic. Модель принимает текст, изображения и видео, а генерирует текстовые ответы; она предназначена для задач визуального анализа и работы с текстом, включая ответы на вопросы по изображениям, анализ документов, графиков и визуальных материалов. Модель имеет архитектуру Qwen2.5-VL-7B-Instruct и использует 8-битное квантование весов и активаций по схеме W8A8, что снижает требования к ресурсам при инференсе. В README указана поддержка английского языка, однако полный набор языков не описан. Приведённый пример рассчитан на контекст до 4096 токенов и развёртывание через vLLM версии 0.5.2 или новее; также доступна совместимая с OpenAI схема сервинга через vLLM. К сильным сторонам относятся мультимодальность, оптимизация INT8 для эффективного инференса и готовность к использованию в vLLM. Ограничения включают возможные потери качества из-за квантования, а также отсутствие в предоставленных данных подробных результатов оценки, точных требований к оборудованию и исчерпывающего описания поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

Qwen3-0.6B-MLX-4bit — компактная 4-битная версия причинной языковой модели Qwen3, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, перевода, решения математических и логических задач, написания кода и сценариев с использованием внешних инструментов. Вариант MLX ориентирован на запуск через библиотеку mlx_lm. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding-слои. Архитектура включает 28 слоёв и Grouped Query Attention с 16 головами запросов и 8 головами ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов. Модель позволяет переключаться между режимом рассуждений, генерирующим содержимое в блоке <think>, и более быстрым нерешающим режимом для повседневного диалога. К сильным сторонам относятся небольшой размер, 4-битное представление, поддержка многоязычных задач, следования инструкциям и двух режимов работы. Ограничением является существенно меньший масштаб по сравнению с крупными моделями Qwen3, поэтому для сложных задач качество может быть ниже; в README также не приведены конкретные результаты тестов и требования к оборудованию. Для режима рассуждений рекомендуются вероятностные параметры генерации, а жадное декодирование не рекомендуется из-за возможного ухудшения качества и повторов. Модель распространяется по лицензии Apache 2.0.

mlx-community/Qwen3-32B-4bit — это 4-битная квантизированная версия языковой модели Qwen3-32B, преобразованная сообществом mlx-community из исходной модели Qwen/Qwen3-32B в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с сообщениями через chat template. Ключевая характеристика модели — размер исходной модели 32B параметров и 4-битное представление, что снижает требования к памяти по сравнению с полноточной версией и делает модель подходящей для запуска в экосистеме MLX. В README не указаны поддерживаемые языки, максимальная длина контекста, точная архитектура, мультимодальные возможности и результаты оценки качества. Сильными сторонами являются совместимость с MLX и более экономичное потребление памяти благодаря квантизации. Ограничения включают возможную потерю качества из-за 4-битного представления, зависимость от инструментов mlx-lm и отсутствие в предоставленных данных подробных сведений о производительности и языковой поддержке. Модель распространяется по лицензии Apache-2.0.

Это uncensored- и decensored-версия мультимодальной модели Qwen3.5-122B-A10B, созданная независимым автором llmfan46 с использованием инструмента Heretic. Модель распространяется в формате GGUF и предназначена для локального запуска в llama.cpp, LM Studio, Ollama и других совместимых инструментах. Модель основана на архитектуре Qwen3.5 с гибридным сочетанием Gated Delta Networks и разреженной Mixture-of-Experts. Заявлены 122 млрд параметров и 10 млрд активных параметров, поддержка текста и изображений, а также 201 языка. Для работы с изображениями требуется отдельный vision projector. В репозитории доступны варианты квантования от BF16 и Q8_0 до Q2_K, что позволяет выбирать между качеством и требованиями к памяти. Также заявлено сохранение всех 785 MTP. Ключевая особенность — значительное снижение числа отказов по сравнению с исходной моделью: 8 против 92 из 100 в приведённом тесте, при KL-дивергенции 0,0856. Это делает модель подходящей для сценариев, где требуется меньше ограничений и отказов при генерации, однако одновременно снижает встроенные защитные механизмы. README не содержит точных сведений о размере контекста, поэтому этот параметр нельзя надёжно указать. Модель распространяется по лицензии Apache-2.0.

Это квантизированная модель для генерации текста brunopio/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap-Q4_K_M-GGUF, созданная на основе tvall43/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap. Модель преобразована в формат GGUF с помощью llama.cpp и проекта GGUF-my-repo. В названии и тегах указаны архитектура Qwen3.5 MoE с 14 млрд параметров и 3 млрд активных параметров, а также специализация на reasoning-задачах и дистилляции рассуждений. Разработчик базовой модели и автор исходной дистрибуции — tvall43; текущую конверсию опубликовал brunopio. Модель предназначена для текстовой генерации и запуска через llama.cpp, включая локальный CLI-интерфейс и серверный режим. Она может использоваться для диалогов, решения задач, требующих рассуждений, и других сценариев генерации текста. В карточке заявлены языки китайский, английский и корейский. Также указана подготовка на наборах данных nohurry/Opus-4.6-Reasoning-3000x-filtered и Jackrong/Qwen3.5-reasoning-700x. Ключевое преимущество модели — компактный GGUF-представитель с квантизацией Q4_K_M, удобный для локального инференса средствами llama.cpp. Ограничения заключаются в отсутствии в карточке подробных результатов тестирования, точного максимального размера контекста и характеристик производительности. В примере запуска используется контекст 2048 токенов, но это не подтверждает максимальный размер контекста модели. Модель распространяется по лицензии Apache-2.0.

Bahushruth/Qwen3.6-35B-A3B-abliterated-v4-GGUF — набор GGUF-квантизаций языковой модели, разработанный Bahushruth на базе Bahushruth/Qwen3.6-35B-A3B-abliterated-v4. Модель предназначена для генерации текста и локального запуска через llama.cpp, Ollama, LM Studio, KoboldCPP и другие совместимые среды. Это MoE-модель с 35 млрд общих параметров, 256 экспертами и 8 активными экспертами на токеном; согласно карточке, около 3 млрд параметров активны при обработке каждого токена. Данные о языках и размере контекстного окна не указаны. Доступны варианты от BF16 до 2-битных K-квантизаций и IQ-квантизаций с importance-matrix-калибровкой. Размер файлов составляет примерно 12–71 ГБ, а требования к оперативной памяти — от 16 ГБ в зависимости от варианта. Основные квантизации не содержат MTP-компонент для максимальной совместимости; отдельный BF16-вариант поддерживает Multi-Token Prediction и спекулятивное декодирование в совместимых версиях llama-server. Модель позиционируется как эффективная по вычислениям благодаря MoE-архитектуре и предлагает выбор между качеством, размером и требованиями к памяти. Вариант является «uncensored»: поведение отказа удалено методом norm-preserving abliteration, поэтому встроенные защитные ограничения ослаблены или отсутствуют. Это может быть полезно для исследовательских и экспериментальных сценариев, но повышает риски небезопасного использования и не гарантирует сохранение исходного поведения базовой модели. Модель распространяется по лицензии Apache-2.0; автор отдельно указывает, что релиз предназначен для исследований и не принимает на себя ответственность за дальнейшее использование.

Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-GGUF — квантизированная GGUF-версия модели, разработанной lordx64 и опубликованной для распространения mradermacher. Модель основана на Qwen3.6-35B-A3B и дообучена методом дистилляции рассуждений на наборе reasoning-distill-opus-4-7-max-sft. В метаданных указаны архитектура Mixture-of-Experts, поддержка LoRA и библиотека Transformers. Модель предназначена для генерации текста и задач, требующих рассуждений; заявленный язык — английский. Доступны варианты квантования от Q2_K до Q8_0, размер файлов составляет примерно от 13 до 37 ГБ. Также предоставляются дополнительные файлы mmproj для мультимодального использования, однако конкретные поддерживаемые модальности и контекстное окно в README не указаны. Более качественными считаются старшие варианты квантования, а Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые. Модель может быть полезна для локального запуска и сценариев, где важны рассуждения при ограниченных ресурсах, но квантование создаёт компромисс между размером, скоростью и качеством. Ограничения включают отсутствие подробных результатов тестирования, описания точного числа активных параметров, языкового охвата и контекстного окна. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели, разработанной на базе lordx64/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled и подготовленной mradermacher. Модель основана на архитектуре Mixture-of-Experts, имеет 35 млрд параметров с архитектурой, в которой активируется около 3 млрд параметров, и предназначена для генерации текста и задач, требующих рассуждений. Обучение выполнено методом distillation на наборе reasoning-distill-opus-4-7-max-sft; среди заявленных технологий также указаны LoRA и Unsloth. Модель ориентирована на англоязычные сценарии, включая диалоговую генерацию, решение задач с рассуждениями и другие приложения text-generation. README также обозначает её как vision model, однако подробности о поддерживаемых визуальных входах, мультимодальных возможностях, размере контекста и языках, кроме английского, не приведены. Для запуска доступны варианты GGUF-квантизации i1 с разными уровнями сжатия и размерами файлов; более компактные варианты требуют меньших ресурсов, но могут заметно уступать по качеству, тогда как IQ-квантизации в README часто рекомендуются по сравнению с аналогичными стандартными вариантами. Основные ограничения — неполные сведения о точных характеристиках, контекстном окне, требованиях к оборудованию и результатах оценки качества, а также потенциальная потеря качества при низких уровнях квантизации. Указана лицензия Apache-2.0.

Qwen3.8-27B-abliterated-GPTQ-Pro — это опубликованный groxaxo квантизованный чекпойнт на базе huihui-ai/Huihui-Qwen3.8-27B и Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, разговорных сценариев, локального и размещённого инференса, открытых оценок и воспроизводимых экспериментов. Название указывает на lineage с изменённым или сниженным уровнем фильтрации, однако не гарантирует полностью неограниченное поведение. Модель использует формат GPTQ-Pro с симметричной 4-битной квантизацией, размером группы 64 и пресетом quality. Квантизации подвергнуты 400 линейных модулей в 64 слоях; MTP-голова сохранена без квантизации для speculative decoding. Указана архитектура с 48 слоями linear attention GDN и 16 слоями full attention, а также поддержка MTP. Для обслуживания рекомендуется vLLM с tensor parallelism; документация описывает конфигурацию на двух RTX 3090. В репозитории также заявлен контекст до 260 000 токенов, но фактические требования зависят от оборудования, размера KV-кэша и числа одновременных запросов. К сильным сторонам относятся сниженное потребление памяти по сравнению с полной точностью и ускорение генерации благодаря MTP: в тесте на двух RTX 3090 скорость одного потока выросла с 71,5 до 105,5 токена в секунду при greedy decoding. На одной RTX 3090 MTP-голова вместе с чекпойнтом не помещается; качество и производительность после квантизации необходимо проверять на собственных задачах. Модель может выдавать неточные или неподходящие результаты, а изменённое поведение и сниженная фильтрация требуют дополнительного тестирования и защитных мер. Лицензия — Apache-2.0. При использовании и распространении следует также проверить лицензионные условия исходных моделей и сохранять совместимые файлы конфигурации, токенизатора, процессора и весов одной ревизии.

Sawfwair/Qwen3.8-Flash-Next-MLX-Mixed-2bit — воспроизводимая конверсия модели Qwen/Qwen3.8-Flash-Next в формат MLX, предназначенная для локального запуска на Apple Silicon Mac. Разработчик — Sawfwair, исходная модель создана Qwen. Распространяемая версия рассчитана на профиль Mac с 128 ГБ unified memory и использует смешанное квантование для снижения требований к памяти. Модель имеет архитектуру с маршрутизацией экспертов и мультимодальной поддержкой upstream-версии, включая обработку текста и изображений. Общий объём — около 180B параметров: 125B в основной модели, 51B в n-gram embedding и 4B в MTP-компоненте. 48 банков routed experts используют MLX affine Q2 с group-128, часть матриц — Q4, а embeddings, QSA indexers, routers, vision и MTP fusion heads сохранены в BF16. Нативный контекст составляет 262 144 токена, однако в mere.run v0.45.0 доступный бюджет ограничен 2 048 токенами на prompt и output вместе, а ввод изображений ещё не квалифицирован. Основные сценарии — локальная генерация текста, чат и развёртывание локального OpenAI-compatible API; встроенный MTP head может ускорять декодирование за счёт speculative decoding с проверкой целевой моделью. Для работы требуются Apple Silicon, macOS 15 или новее, около 68,08 GiB для checkpoint и совместимый Qwen4Exp-aware MLX runtime, например mere.run v0.45.0 или новее. Модель распространяется по Qwen Community License 1.0, которая включает требования к атрибуции и отображению для очень крупных коммерческих продуктов, а также отдельные лицензионные условия для некоторых коммерческих Model-as-a-Service и AI Work Assistant-сценариев.

Qwen3-VL-32B-Instruct-ultra-uncensored-heretic-GGUF — мультимодальная instruct-модель в формате GGUF, разработанная независимым автором llmfan46 на основе Qwen/Qwen3-VL-32B-Instruct. Это декензурированная версия, созданная с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA), с целью существенно уменьшить количество отказов при сохранении исходных возможностей модели. Модель предназначена для задач понимания и генерации текста по текстовым и визуальным входным данным, включая ответы на вопросы, анализ изображений и общее мультимодальное рассуждение. Размер модели — 32B параметров. Точная поддержка языков и размер контекстного окна в README не указаны. Доступны варианты квантования BF16, Q8_0, Q6_K, Q5_K_M и другие сборки GGUF, рассчитанные на разные компромиссы между качеством, размером и требованиями к ресурсам. Ключевая особенность модели — значительно меньшее число отказов: в приведённом сравнении она отказала в 4 из 100 случаев против 99 из 100 у исходной модели. При этом на PIQA точность составила 92,87% против 93,09% у оригинала, а на MMLU — 79,87% против 82,44%, что указывает на некоторое снижение результатов в отдельных задачах. Декензурированный характер может быть преимуществом для исследовательских и творческих сценариев, но одновременно означает меньшие встроенные ограничения безопасности и необходимость дополнительного контроля при использовании. В метаданных указана лицензия Apache-2.0, однако приведённая ссылка на лицензию ведёт к документации Gemma; условия использования следует проверить отдельно для базовой модели и производной версии.

QwQ-32B-GGUF — это квантизированная в формате GGUF версия языковой reasoning-модели QwQ-32B, разработанной командой Qwen. Модель предназначена для генерации текста и диалоговых сценариев, в частности для задач, требующих рассуждений. Указанный вариант подготовлен quantized_by: bartowski на основе llama.cpp release b4792 и распространяется как community-модель для LM Studio. Модель имеет размер 32B параметров, поддерживает контекст до 128 тысяч токенов и ориентирована на работу с текстом на английском языке. README не указывает поддержку изображений, аудио или других модальностей, поэтому модель следует рассматривать как текстовую. Квантизация в GGUF делает её пригодной для локального запуска в совместимом программном обеспечении, однако конкретные требования к памяти, скорость и качество зависят от выбранного варианта квантизации и оборудования. Сильными сторонами модели являются специализация на рассуждениях, большой контекст и возможность локального использования через инструменты экосистемы llama.cpp и LM Studio. Ограничениями остаются английская языковая ориентация, необходимость значительных вычислительных ресурсов для модели такого размера и возможное снижение качества по сравнению с исходной моделью из-за квантизации. README предупреждает, что модель может генерировать неточный, вредный или неуместный контент, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

Reflection-Llama-3.1-70B — текстовая языковая модель Unsloth на 69,5 млрд параметров, дообученная на Meta-Llama-3.1-70B-Instruct методом Reflection-Tuning. Она предназначена для диалогов и генерации ответов, в том числе для задач, требующих многошагового рассуждения: модель может отмечать и исправлять ошибки в ходе рассуждения, а затем выдавать итоговый ответ. Модель использует архитектуру Llama 3.1 с плотной причинно-следственной языковой сетью и контекстом до 131 072 токенов. Модель принимает текст и генерирует текст. Она следует формату чата Llama 3.1 и использует специальные токены для разделения рассуждения и ответа. В README рекомендуются temperature 0,7 и top_p 0,95; автор также предлагает добавлять к запросу фразу «Think carefully» для повышения точности. Заявления README о лидерстве в бенчмарках не подтверждены приведёнными здесь независимыми результатами. Модель распространяется по лицензии Llama 3.1; её условия следует учитывать при использовании и распространении.

SauerkrautLM Mixtral 8X7B — это языковая модель для генерации текста в формате GGUF, созданная VAGO solutions и квантизированная TheBloke. Модель основана на VAGOsolutions/SauerkrautLM-Mixtral-8x7B, дообучалась с использованием наборов данных Open-Orca/SlimOrca и argilla/distilabel-math-preference-dpo. Она предназначена для диалогов, ответов на запросы и других задач генерации текста, включая локальный запуск на CPU и GPU. Модель использует архитектуру Mixtral и доступна в вариантах GGUF с квантизацией на 2, 3, 4, 5, 6 и 8 бит. README не указывает точное число параметров активной архитектуры или размер контекста. Заявлена поддержка английского, немецкого, французского, итальянского и испанского языков. Для взаимодействия используется шаблон ChatML. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильными сторонами являются мультиязычность, возможность выбора степени квантизации и локального запуска, а также поддержка CPU и GPU-инструментов. Квантизация позволяет снизить требования к памяти, однако может уменьшать точность по сравнению с исходной моделью, особенно при более низкой разрядности. Модель предназначена только для текстовой модальности; сведения о специализированных ограничениях качества и безопасности в README не приведены. Лицензия — Apache-2.0.

Модель sfm_filtered_e2e_alignment-1k_2k_3k_4k_5k_weightedavg_merge — объединение предобученных языковых моделей, созданное с помощью mergekit и метода Linear. В качестве базовой при слиянии использована контрольная точка global_step5000; также включены контрольные точки global_step1000, global_step2000, global_step3000 и global_step4000 из серии filtered_e2e_alignment. Это плотная авторегрессионная модель семейства GPT-NeoX с 8,8 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Она принимает текст и выдаёт текст; максимальная длина контекста составляет 16 384 токена. Модель распространяется в формате safetensors и работает через Transformers. Карточка не сообщает о специальных прикладных областях или языках, поэтому её следует рассматривать как модель общего назначения. Лицензия и конкретные ограничения качества в предоставленных данных не описаны.

speechless-mistral-six-in-one-7b-orth-1.0-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 от Mistral AI и speechless-mistral-six-in-one-7b-orth-1.0 от uukuguy. Для слияния использован метод SLERP с настройками Mergekit; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Она принимает текст, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Языки, на которых модель специально обучена, в карточке не перечислены. Модель распространяется по лицензии Apache-2.0. Качество и поведение зависят от свойств исходных моделей и параметров их слияния; README не приводит отдельных результатов оценки или гарантий для конкретных сценариев.