II.11Кибербезопасность и приватность

Qwen3.6-27B-Omnimerge-v4-GGUF — квантизированная версия модели ManniX-ITA/Qwen3.6-27B-Omnimerge-v4, созданная автором ManniX-ITA. Это объединённая модель на базе Qwen3.6-27B, дополненная результатами слияния трёх дообученных вариантов. Модель распространяется в формате GGUF и предназначена для локального запуска с помощью llama.cpp. Модель имеет архитектуру Qwen3.5 и около 27,78 млрд параметров. Доступны варианты от F16 до низкобитных IQ- и Q-квантизаций, включая Q2_K, Q4_K_M, Q6_K и Q8_0. Заявлены возможности рассуждений, работы с кодом и изображениями; в карточке указано поддерживаемое описание языка English. Контекстное окно и точный перечень поддерживаемых визуальных входов не указаны. Сильными сторонами заявлены улучшенные результаты в задачах программирования и научного рассуждения по сравнению с некоторыми базовыми и предыдущими версиями Omnimerge, а также специальная модификация MLP-слоёв для повышения устойчивости механизма рассуждений. Качество зависит от выбранной квантизации, а приведённые бенчмарки измерялись при разных настройках генерации и не всегда напрямую сопоставимы. Для ускоренного декодирования доступен отдельный MTP-вариант репозитория, не входящий в эту модель. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF — семейство GGUF-квантизаций модели JonathanColetti/Qwen3.8-27B-Uncensored, подготовленное проектом ZeroDigest с использованием собственного YMQ-Compiler v2.0. Модель предназначена для генерации текста, программирования и агентных сценариев, включая выполнение API-задач в инструментах вроде RooCode и Aider. Это плотная модель на 27 млрд параметров, преобразованная из исходных BF16-файлов в смешанные по точности варианты с архитектурно-зависимой квантизацией. Сборка ориентирована на поддержку параллельного multi-token prediction (MTP) и speculative decoding, а также на работу с большими контекстами. В README упоминаются компоненты и методы, связанные с Mamba, SSM и AutoRound, однако точный размер контекстного окна, список языков и полный набор поддерживаемых модальностей не указаны; по представленным данным модель является текстовой. Доступно несколько пресетов размером примерно от 9,3 до 17 ГБ, рассчитанных на видеокарты с 12 или 16 ГБ памяти и на разные компромиссы между компактностью и качеством. Более компактные варианты подходят для ограниченной VRAM и коротких однопользовательских запросов, но могут проявлять забывание контекста, циклы форматирования и повышенный шум квантизации. Более крупные пресеты обеспечивают лучшую стабильность логики, форматирования и многошаговой работы, но требуют больше памяти. Лицензия — Apache-2.0.

Agents-A1-4B — плотная языковая модель на 4 млрд параметров от InternScience, созданная для автономного выполнения многошаговых задач. Она основана на архитектуре Qwen3.5 и дообучена для агентных сценариев: поиска, инженерной работы, научных исследований, следования инструкциям и вызова инструментов. Модель поддерживает диалог и интерфейс вызова функций; веса доступны в формате safetensors и совместимы с Transformers, vLLM и SGLang. В README заявлена длина контекста до 262 144 токенов при указанной конфигурации SGLang. Модель предназначена для разложения сложных запросов на шаги, планирования, использования внешних инструментов и ответов на научные и профессиональные вопросы. В README приведены высокие результаты на тестах поиска, агентных задач и следования инструкциям, однако это заявления разработчика, и они не гарантируют качество в конкретном приложении. Лицензия Apache-2.0.

unsloth/DeepSeek-R1-GGUF — GGUF-версия модели DeepSeek-R1, разработанной DeepSeek и подготовленной компанией Unsloth. Модель предназначена для локального запуска через llama.cpp и сценариев, требующих рассуждений, генерации и анализа текста, а также написания программного кода. В README указан английский язык; другие языки не заявлены. Модель использует архитектуру MoE и представлена в нескольких вариантах динамической квантизации: 1,58 бит, 1,73 бит, 2,22 бит и 2,51 бит. Размер файлов составляет примерно от 131 до 212 ГБ. Более точные варианты требуют больше дискового пространства, но характеризуются лучшей заявленной точностью: от Fair для 1,58-битной версии до Best для 2,51-битной. Для запуска рекомендуется llama.cpp; возможна частичная выгрузка слоёв на GPU. В примерах используется контекст 8192 токена, однако максимальный размер контекста в README не указан. К сильным сторонам относятся существенное уменьшение размера весов за счёт агрессивной квантизации, возможность локального запуска и наличие вариантов с разным компромиссом между качеством и требованиями к ресурсам. Ограничениями являются очень большой объём файлов даже у наиболее сжатых вариантов, необходимость совместимого оборудования и ПО, а также потенциальное снижение точности из-за низкой разрядности. Модель распространяется по лицензии MIT.

unsloth/DeepSeek-R1-GGUF-UD — это GGUF-квантизированная версия модели DeepSeek-R1, разработанной командой DeepSeek и подготовленной в формате динамической квантизации Unsloth Dynamic v2.0. Модель предназначена для локального запуска через llama.cpp и ориентирована на задачи рассуждений, генерации текста, программирования и диалогового использования. В README указан английский язык, библиотека Transformers и поддержка формата GGUF. Доступны варианты с эффективной разрядностью от 1,58 до 2,51 бит: UD-IQ1_S, UD-IQ1_M, UD-IQ2_XXS и UD-Q2_K_XL. Размер файлов составляет примерно от 131 до 212 ГБ. Квантизация выборочно применяет разные разрядности к компонентам MoE, чтобы сохранить больше точности по сравнению со стандартными 1-битными и 2-битными вариантами. В README приведены оценки качества от Fair до Best, однако архитектурные параметры, общее число параметров и размер контекста исходной модели не указаны; для примеров запуска используется контекст 8192 токена. Сильные стороны модели — возможность локального запуска, уменьшенный объём хранения относительно полной точности и повышенная точность благодаря динамической квантизации. Ограничениями являются очень большой размер даже у наиболее компактной версии, необходимость совместимого оборудования и llama.cpp, а также возможная потеря качества на низких уровнях квантизации. Для запуска рекомендуется использовать специальный chat template и параметр --min-p 0.05; доступна выгрузка части слоёв на GPU. Репозиторий распространяется по лицензии MIT.

DFlash-Qwen3.5-27B-Uncensored-GGUF — GGUF-квантизированная версия модели DFlash-Qwen3.5-27B-Uncensored от AEON-7, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, программирования, рассуждений, агентских сценариев, вызова функций и работы с инструментами. В README также заявлены мультимодальность и поддержка vision-language через отдельный файл mmproj. Модель имеет размер 27 млрд параметров и относится к семейству Qwen3.5 с гибридной архитектурой, сочетающей attention и linear attention; среди заявленных компонентов указаны Gated DeltaNet и block diffusion. Поддерживается английский язык, библиотека Transformers, а также совместимые с OpenAI интерфейсы и vLLM. Максимальный размер контекста в README не указан. Доступны варианты квантования GGUF от Q2_K до Q8_0 и IQ4_XS; размеры файлов составляют примерно от 10,8 до 28,7 ГБ. Варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как обеспечивающий наилучшее качество среди перечисленных. К сильным сторонам относятся широкий набор заявленных сценариев, поддержка инструментов и мультимодальности, а также возможность выбора между различными уровнями квантования для баланса качества, скорости и требований к памяти. Ограничения включают отсутствие в README точных данных о размере контекста, результатах оценки, поддерживаемых языках помимо английского и фактических возможностях мультимодального режима; для него требуется отдельный mmproj-файл. Модель распространяется по лицензии Apache-2.0.

GLM-4.7-Flash-Razor-17B-A3B-E32of64 — текстовая диалоговая MoE-модель на архитектуре GLM-4-MoE-Lite, полученная из GLM-4.7-Flash удалением методом RAZOR половины маршрутизируемых экспертов в каждом MoE-слое. В модели сохранено 32 из 64 экспертов; обучающие обновления и восстановительное дообучение не применялись. Репозиторий указывает 17 млрд параметров, а метаданные Hugging Face — 4,1 млрд; фактический размер параметров поэтому расходится между источниками. Активно около 3 млрд параметров на токен. Модель предназначена для диалоговой генерации текста и сценариев, унаследованных от GLM-4.7-Flash, включая рассуждения и программирование. Она принимает текст и выдаёт текст, поддерживает контекст до 202 752 токенов и распространяется в формате safetensors с весами bfloat16; для запуска нужна версия Transformers с реализацией glm4_moe_lite. Экспертное прореживание примерно вдвое сокращает объём хранения экспертов, при этом вычисления на токен остаются практически неизменными. Изменения генерации возможны: могут отличаться разнообразие, форматирование и поведение при завершении ответа, даже если точность задач в целом сохраняется. Модель выпущена под лицензией MIT.

MiMo-V2.6-Distill-Qwen-9B-GGUF — это квантизированная версия модели MiMo-V2.6-Distill-Qwen-9B, разработанной XiaomiMiMo и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 9 млрд параметров и предназначена для локального запуска в задачах генерации текста, программирования, агентских сценариев и использования инструментов. Также заявлена поддержка изображений, но для работы с ними требуется отдельный файл mmproj. Модель поддерживает текстовые и графические входные данные, однако сведения о языках и размере контекстного окна в README не указаны. Доступны варианты с разными уровнями квантизации — от BF16 и Q8_0 до более компактных Q3 и IQ-форматов. В качестве компромисса между качеством и требованиями к памяти рекомендуется Q4_K_M размером около 5,84 ГБ; варианты Q6 и Q8 обеспечивают более высокое качество, но требуют больше памяти. Поддержка speculative decoding отсутствует, при этом использовалась imatrix-квантизация. Для корректной работы необходимо применять указанный шаблон промпта на основе специальных токенов ChatML; модель также поддерживает передачу определений инструментов в системном сообщении. README не содержит сведений о лицензии, точной архитектуре, языковом охвате и контекстном окне, поэтому эти характеристики нельзя подтвердить.

MiniCPM5-2B — компактная плотная языковая модель с причинной архитектурой Transformer, разработанная командой OpenBMB. Модель содержит 2,2 млрд параметров по метаданным; в карточке указано точное число 2 516 756 480. Архитектура реализована как LlamaForCausalLM, модель поддерживает контекст до 131 072 токенов и предназначена для локального запуска на устройствах с ограниченными ресурсами. Модель подходит для локальных ассистентов, генерации текста, написания и анализа кода, математических рассуждений, работы с длинным контекстом, вызова инструментов и агентных сценариев. В карточке заявлены конкурентные результаты среди моделей сопоставимого размера, в частности в коде, математике, длинном контексте и использовании инструментов. Поддерживаемые языки по метаданным — английский и китайский. Для запуска описаны Transformers, vLLM и SGLang; указаны форматы BF16 и FP16. Модель выдаёт текст и не описана как мультимодальная. Ответы могут содержать ошибки, предвзятость или оскорбительный контент; выводы по чувствительным темам не являются профессиональной консультацией. Лицензия — Apache-2.0.

TheBloke/Mistral-7B-Instruct-v0.1-GPTQ — квантизированная версия Mistral 7B Instruct v0.1, разработанного Mistral AI и подготовленная TheBloke. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального или серверного вывода, включая диалоговые приложения и другие задачи обработки текста. Это языковая модель семейства Mistral с 7 миллиардами параметров, доступная в формате GPTQ для GPU-инференса. В репозитории представлены варианты 4-, 5-, 6- и 8-битной квантизации с разными параметрами group size и Act Order; основной вариант имеет размер около 4,16 ГБ, использует 4-битную квантизацию, group size 128 и поддерживает ExLlama. Для работы также предусмотрена загрузка через Transformers, однако на момент публикации требовалась версия из указанного GitHub-коммита. В README не указаны полный список поддерживаемых языков, точная архитектура контекстного окна исходной модели и конкретные результаты тестирования. К сильным сторонам относятся уменьшенный размер и сниженные требования к видеопамяти по сравнению с полноразмерной моделью, а ограничением может быть небольшая потеря точности из-за квантизации и зависимость от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

duyntnet/Mistral-NeMo-Minitron-8B-Instruct-imatrix-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA. Исходная модель создана на базе Mistral-NeMo-Minitron-8B-Base, которая была получена из Mistral-NeMo 12B с применением методов pruning и distillation, а затем дообучена в несколько этапов с помощью supervised fine-tuning и выравнивания на основе предпочтений. Модель предназначена для генерации текста, включая диалоговые сценарии, roleplay, retrieval-augmented generation и function calling. Она работает с текстом на английском языке и поддерживает контекст до 8192 токенов. Архитектура представляет собой авторегрессионный Transformer Decoder семейства Mistral-NeMo с 40 слоями, размером эмбеддингов 4096, 32 attention heads, промежуточным размером MLP 11520, Grouped-Query Attention и Rotary Position Embeddings. Формат GGUF позволяет использовать модель в совместимых локальных клиентах и интерфейсах, включая llama.cpp, KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Для оптимальных результатов рекомендуется применять специальный шаблон диалога с ролями System, User и Assistant и заданными специальными токенами. Ограничения включают поддержку только текстовой модальности и заявленного английского языка; конкретные характеристики производительности зависят от выбранного уровня квантизации и аппаратного обеспечения. Исходная модель распространяется по NVIDIA Open Model License; для данного репозитория указано обозначение лицензии other.

Muse Spark 1.1 — мультимодальная модель рассуждения от Meta, предназначенная для агентных задач. Она принимает текст, изображения, видео, аудио и PDF-документы и формирует текстовые ответы. Для модели заявлено контекстное окно в 1 млн токенов, что позволяет работать с длинными документами и мультимодальными материалами. Данных о лицензии и дополнительных ограничениях в предоставленных источниках нет.

NousResearch/Nous-Hermes-2-Yi-34B — языковая модель Nous Research, дообученная на базе 01-ai/Yi-34B. Модель содержит 33,9 млрд параметров, использует плотную архитектуру семейства Llama и предназначена для генерации текста и диалогов по инструкциям. В обучении использован датасет OpenHermes-2.5, включающий преимущественно данные, сгенерированные GPT-4, и материалы из открытых наборов данных. Модель поддерживает многоходовый чат в формате ChatML и системные инструкции, что подходит для диалоговых ассистентов, ответов на вопросы и генерации кода. Заявленная длина контекста — 4096 токенов; в карточке приведены результаты бенчмарков, но они не гарантируют качество для конкретных задач. Модель принимает и генерирует текст; язык карточки — английский. Распространяется по лицензии Apache-2.0.

microsoft/Phi-3-mini-4k-instruct-gguf — репозиторий с файлами в формате GGUF для Phi-3-Mini-4K-Instruct, разработанной Microsoft. Это компактная языковая модель для генерации текста и выполнения инструкций на английском языке, предназначенная для коммерческого и исследовательского использования, включая приложения с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также задачи рассуждения, математики, логики, понимания языка и работы с контекстом. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Она обучалась на данных Phi-3, включающих синтетические примеры и отфильтрованные общедоступные веб-данные с акцентом на качество и плотность рассуждений. Постобучение включает supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. Репозиторий предлагает варианты GGUF, включая 4-битную квантизацию Q4_K_M размером около 2,2 ГБ и FP16 размером около 7,2 ГБ. Сильными сторонами являются малый размер, эффективность в ресурсоограниченных и чувствительных к задержке сценариях, а также заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Модель не предназначена специально и не оценивалась для всех прикладных сценариев; перед использованием в ответственных областях необходимо проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT.

bartowski/Phi-3-mini-4k-instruct-GGUF — набор GGUF-квантизированных версий Phi-3-mini-4k-instruct, исходно разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи обработки естественного языка и программирования. В README указана поддержка английского языка и контекстное окно на 4K токенов; модальность — текстовая. Ключевая особенность репозитория — квантизация с использованием llama.cpp и метода imatrix. Доступны варианты от Q8_0 до очень компактных IQ1_S, что позволяет выбирать между качеством и требованиями к памяти. Наиболее высокое качество дают Q8_0 и Q6_K, а Q4- и Q3-варианты ориентированы на более экономичное локальное использование; варианты с низкой разрядностью заметно уступают по качеству, хотя некоторые из них остаются пригодными для практических задач. Модель удобна для локального запуска через совместимую инфраструктуру llama.cpp, однако конкретные требования к памяти и производительность зависят от выбранного варианта квантизации. README не содержит подробностей об архитектуре и точном числе параметров исходной модели. Распространение указано по лицензии MIT.

Qwen2.5-7B — базовая языковая модель серии Qwen2.5, разработанной командой Qwen. Это предобученная плотная авторегрессионная модель на 7,1 млрд параметров; в карточке указаны архитектура Qwen2ForCausalLM, RoPE, SwiGLU, RMSNorm и контекст до 131 072 токенов. Модель распространяется в формате Safetensors и под лицензией Apache-2.0. Модель предназначена для дальнейшей адаптации и использования как основа для генерации текста, кода и структурированных ответов. Серия поддерживает более 29 языков, включая русский и английский, и заявляет улучшения в математике, программировании, следовании инструкциям и работе с таблицами и JSON. У этой версии базовые веса предобучения: разработчик не рекомендует использовать её непосредственно для диалогов; для чат-сценариев требуется постобучение, например SFT или RLHF.

Это мультимодальная модель llmfan46 на архитектуре Qwen3.5 MoE: дообученная версия Qwen/Qwen3.6-35B-A3B с визуальным энкодером и причинной языковой моделью. В репозитории сохранены все 19 MTP-компонентов исходной модели; автор также сообщает о применении abliteration для ослабления ограничений на ответы. Модель содержит 35 млрд параметров, из которых активируются 3 млрд, и использует 40 слоёв с MoE. Нативное контекстное окно составляет 262 144 токена и может расширяться до 1 010 000 токенов. Модель предназначена для диалогов с текстом и изображениями, анализа изображений, агентного программирования, работы с репозиториями и вызова инструментов. Архитектура и карточка базовой модели указывают на мультимодальные возможности, но отдельные оценки в README приведены для исходной Qwen3.6, поэтому их нельзя считать результатами именно этой версии. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Карточка модели jondurbin/airoboros-33b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

Dolphin3.0-Mistral-24B-GGUF — это набор квантованных GGUF-версий языковой модели Dolphin3.0-Mistral-24B, разработанной cognitivecomputations и подготовленной quantized_by bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp; поддерживается формат prompt с ролями system, user и assistant. В README указан английский язык, однако полного описания языковых возможностей нет. Модель имеет 24 млрд параметров и поставляется в вариантах от F32 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 12,4 до 94,3 ГБ, поэтому требования к памяти зависят от выбранного варианта. Доступны версии, ориентированные на высокое качество, экономию памяти, работу на CPU и Apple Silicon. Среди заявленных наборов данных для обучения или дообучения — OpenCoder, Orca, NuminaMath, Hermes Function Calling, Tulu, Dolphin Coder и другие коллекции инструкций, программного кода и математических задач. Сильные стороны модели — большой размер, широкий набор обучающих данных, поддержка задач генерации текста, программирования, математики и function calling, а также возможность локального запуска с разным компромиссом между качеством и потреблением памяти. Ограничения — отсутствие в README сведений о длине контекста, архитектурных деталях, мультимодальности, результатах тестирования, системных требованиях для конкретных конфигураций и лицензии. Условия лицензирования в предоставленных данных не указаны.

GLM-4.7-Flash-RAZOR-17B-A3B-E32of64 — сжатая методом RAZOR версия диалоговой MoE-модели GLM-4.7-Flash, опубликованная Nickyang. В каждом MoE-слое оставлено 32 из 64 маршрутизируемых экспертов; отбор выполнен без градиентных обновлений и дополнительного обучения. По README, число хранимых параметров составляет 17,025 млрд, включая MTP, а параметры внимания, общего эксперта, эмбеддингов, LM-головы и оставшихся строк роутера не затронуты. Метаданные каталога указывают 4,1 млрд параметров и контекст 202 752 токена. Модель предназначена для диалоговой генерации текста, рассуждений и программирования с длинным контекстом. Для запуска требуется сборка Transformers с реализацией glm4_moe_lite; веса опубликованы в формате safetensors и хранятся в bfloat16. Лицензия — MIT. Удаление экспертов является потерей информации: ответы могут отличаться по разнообразию, форматированию и поведению при завершении, даже если точность на отдельных задачах в основном сохраняется. Качество на областях, далёких от конечного калибровочного корпуса, не охарактеризовано; перед применением модель следует оценить на целевой нагрузке.

Locutusque/Hyperion-1.5-Mistral-7B — разговорная языковая модель, опубликованная M4-ai и дообученная на наборе Hyperion-v1.5 на основе mistralai/Mistral-7B-v0.1. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на контекст до 32 768 токенов; веса доступны в формате safetensors. Модель предназначена для диалоговых ответов на сложные вопросы, научных рассуждений, генерации и понимания кода, математических и логических задач, а также работы с медицинскими текстами. В README заявлена поддержка английского языка и применение в обучающих системах, профессиональных помощниках и технических чат-интерфейсах. Качество и согласованность ответов могут варьироваться из-за неоднородного форматирования и качества разметки обучающих данных. Медицинские и другие предметные ответы требуют проверки. Модель распространяется по лицензии Apache-2.0.

K2-Horizon-375B-A23B — флагманская языковая модель семейства K2-Horizon от IFM. Это разреженная архитектура Mixture-of-Experts: в модели 375 млрд параметров, из которых 23 млрд задействуются на каждом токене. Модель принимает текст и поддерживает контекст до 524 288 токенов; карточка указывает английский язык и возможность диалогового взаимодействия. Модель предназначена для генерации текста, работы с инструментами и агентных сценариев, включая терминальные задачи и длительные многоэтапные процессы. В README заявлены конкурентные результаты на соответствующих бенчмарках. Доступны контрольные точки обучения, обучающие данные и код обучения; для запуска описаны рецепты vLLM и SGLang, а реализация Transformers проверена с указанными в карточке версиями библиотек. Веса опубликованы в формате Safetensors под лицензией Apache-2.0. Для запуска требуются значительные вычислительные ресурсы: README приводит пример обслуживания на восьми ускорителях H200. Заявленная длина контекста — 524 288 токенов; поведение обучения в реализации Hugging Face может отличаться от исходной реализации xLLM.

hugging-quants/Mixtral-8x7B-Instruct-v0.1-AWQ-INT4 — общественная квантованная версия инструкционной модели Mistral AI Mixtral-8x7B-Instruct-v0.1. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и работу в формате chat completion. Указанные языки: французский, итальянский, немецкий, испанский и английский. В основе лежит генеративная разреженная архитектура Mixture of Experts с конфигурацией 8x7B. Версия в репозитории преобразована из FP16 в INT4 с использованием AutoAWQ, GEMM-ядер, zero-point-квантования и размера группы 128. Поддерживаются Transformers, AutoAWQ и Text Generation Inference. Размер контекстного окна и точное число параметров в README не указаны. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноточной моделью при сохранении возможностей исходной Mixtral; в README также заявлено превосходство над Llama 2 70B в большинстве протестированных бенчмарков. Для загрузки чекпойнта требуется около 24 ГиБ VRAM без учета KV-кэша и CUDA Graphs, поэтому необходим запас видеопамяти. Квантование INT4 может влиять на точность по сравнению с исходной версией. Лицензия — Apache-2.0.

Muse Glimmer-30B — мультимодальная модель Meta Superintelligence Lab с плотным причинным трансформером и отдельным энкодером восприятия; версия Unsloth дообучена на базе meta-models/Muse-Glimmer-30B. Модель содержит около 29,6 млрд параметров и предназначена для локального запуска, в том числе на потребительском оборудовании. Лицензия — Apache 2.0. Модель рассчитана на агентные сценарии: многошаговое планирование, вызов инструментов, восстановление после ошибок и длительное выполнение задач. Она принимает изображения вместе с текстом и подходит для анализа скриншотов, графиков и документов, а также для программирования, генерации синтетических данных и оценки ответов других моделей. Аудио не поддерживается; видео отдельно не оптимизировано и обрабатывается покадрово. Языковое покрытие неоднородно: качество может снижаться для языков, на которых модель недостаточно оценивали. Модель может ошибаться в многошаговых рассуждениях, особенно в новых сценариях, и выдавать предвзятые или нежелательные ответы. Для агентных применений разработчикам рекомендуется проводить проверки безопасности и добавлять защитные механизмы, включая подтверждение необратимых действий.

Ornith-1.5-35B-A3B-REAP192-mxfp4-MLX — это сжатая и квантованная производная модели Ornith-1.5-35B-A3B от ornith-ai, подготовленная пользователем mchen04 для запуска на компьютерах Mac с Apple Silicon. Модель предназначена для локальной однопользовательской генерации текста, программного кода, математических ответов, JSON-вызовов инструментов и структурированного вывода через MLX или OpenAI-совместимый сервер. Модель основана на MoE-архитектуре с 35 млрд параметров и примерно 3 млрд активных параметров на токен. В ней число экспертов сокращено с 256 до 192 методом REAP, top-k уменьшен с 8 до 7, а веса преимущественно квантованы в mxfp4 с размером группы 32; общий эффективный размер составляет около 4,33 бита на параметр. Общий эксперт и маршрутизатор используют 8-битное квантование. Указан английский язык, при этом токенизатор и шаблон чата сохранены от исходной модели. Архитектура использует гибридное внимание: 10 из 40 слоёв имеют полное внимание, благодаря чему KV-кэш занимает мало памяти и допускает экономичную работу с длинным контекстом. Основное преимущество — высокая скорость и низкое потребление памяти на Mac с 24 ГБ unified memory: около 49,8 токена в секунду при декодировании, пиковое потребление примерно 14,3 ГБ и работа без постоянного обращения к swap. Модель подходит для локального программирования, математики, чат-сценариев и задач с формальным форматом вывода. Ограничения связаны с потерями от pruning и квантования, зависимостью от Apple Silicon и MLX, а также с тем, что приведённые показатели получены на конечном наборе тестов и конкретной конфигурации оборудования. Доступна по лицензии MIT.

Phi-3-mini-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Phi-3-mini-128k-instruct, разработанной Microsoft. Модель предназначена для генерации текста и диалоговых сценариев, включая обработку запросов и работу с кодом. Она поддерживает английский язык, использует формат GGUF и рассчитана на контекст до 128 000 токенов. Для работы в GaiaNet предусмотрен шаблон prompt phi-3-chat. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 1,42 до 7,64 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. Более агрессивная квантизация уменьшает требования к ресурсам, но может заметно ухудшать качество ответов. Модель ориентирована преимущественно на английские задачи; сведения о мультимодальности отсутствуют. Квантизацию выполнила Second State Inc. Лицензия — MIT.

RedHatAI/phi-4-FP8-dynamic — квантизированная версия языковой модели Microsoft Phi-4, разработанная Red Hat совместно с Neural Magic. Это текстовая causal language model на архитектуре Phi3ForCausalLM: принимает текст и генерирует текст, преимущественно на английском языке. Модель предназначена для исследовательских задач, генеративных AI-функций, диалоговых и общих текстовых сценариев, а также задач рассуждения, логики, работы с математикой и кодом в условиях ограниченных ресурсов или повышенных требований к задержке. В модели к FP8 квантизированы веса и активации линейных операторов внутри трансформерных блоков. Веса используют симметричную статическую поканальную квантизацию, а активации — симметричную динамическую потокенную квантизацию. По заявлению разработчиков, это примерно на 50% снижает требования к GPU-памяти и размер диска, а также может примерно вдвое увеличить пропускную способность матричных умножений по сравнению с представлением FP16. Для квантизации использована библиотека llm-compressor; модель оптимизирована для развертывания с vLLM и валидирована в RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5. Длина контекста в предоставленных данных не указана. Сильные стороны модели — уменьшенные требования к памяти и дисковому пространству, потенциально более высокая производительность и поддержка сценариев, где важны рассуждение, логика, низкая задержка и эффективность вычислений. Ограничения включают преимущественную ориентацию на английский язык, отсутствие специальной оценки для всех прикладных сценариев и типичные для языковых моделей риски ошибок, проблем безопасности и несправедливых результатов; перед применением в ответственных областях необходимы отдельная проверка и меры контроля. Модель выпущена под лицензией MIT.

ProCreations_grug-35b-GGUF — квантизированная версия языковой модели ProCreations/grug-35b, подготовленная bartowski с использованием llama.cpp и метода imatrix. Модель ориентирована на задачи генерации текста, программирования, агентских сценариев, использования инструментов и рассуждений. В метаданных также указан pipeline_tag image-text-to-text, однако подробности о поддерживаемых визуальных входах в README не приведены. Модель содержит около 35 млрд параметров и распространяется в формате GGUF с вариантами квантизации от BF16 и Q8_0 до более компактных Q2–Q4 и IQ-форматов. Доступны сборки размером примерно от 19 до 69 ГБ; более высокие разрядности обеспечивают лучшее качество, а компактные варианты снижают требования к оперативной памяти. README не указывает контекстное окно, языки, точную архитектуру или результаты тестирования. Сборки предназначены для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Сильными сторонами являются широкий выбор уровней квантизации и поддержка сценариев кода, агентного взаимодействия и tool use. Ограничения — отсутствие подробных сведений о мультимодальности, языках и производительности, а также значительные требования к памяти для качественных вариантов. Модель распространяется по лицензии MIT.

Qemma-redux — компактная гибридная языковая модель Convergent Intelligence LLC, построенная на объединении весов Gemma 3 и Qwen 3 и дополнительно дообученная на инструкциях и пошаговых рассуждениях. Версия Redux также прошла дополнительное слияние Qemma-sft с Qwen3-0.6B и использует масштабирование RoPE на основе YaRN. Модель имеет плотную архитектуру Gemma3ForCausalLM с компонентами Gemma для MLP и основного блока и вниманием в стиле Qwen; размер — 1 млрд параметров, базовый контекст — 32 768 токенов. Модель предназначена для диалогов, следования инструкциям, анализа, помощи с кодом и дальнейшего дообучения. В карточке указаны английский язык и лицензия OSL-3.0. Модель может галлюцинировать; её не следует использовать для критически важных медицинских, юридических или финансовых решений.

Qwen3-30B-A3B-FP8-block — квантизированная версия языковой модели Qwen3-30B-A3B, разработанная Red Hat. Это текстовая модель для генерации текста, диалоговых сценариев, решения задач общего характера и программирования. Модель построена на архитектуре Qwen3MoeForCausalLM и работает с текстом на входе и выходе; сведения о поддерживаемых языках и максимальной длине контекста в карточке не указаны. В модели применена FP8-квантизация весов и активаций линейных операторов внутри трансформерных блоков с пок блочной квантизацией весов и динамической токен-ориентированной квантизацией активаций. Квантизация снижает представление параметров с 16 до 8 бит и примерно на 50% уменьшает размер модели на диске и требования к видеопамяти. Исходная модель имеет обозначение 30B-A3B; более подробные сведения о числе активных параметров и конфигурации MoE в README не приведены. По результатам оценки на OpenLLM и наборах для генерации кода FP8-версия сохраняет близкую к исходной точность: средний результат OpenLLM V1 составил 73,52 против 73,75 у исходной модели. Основные преимущества — снижение требований к памяти и возможность развертывания через vLLM, включая использование tensor parallelism. Ограничения — возможная потеря точности из-за квантизации, отсутствие данных о языковом покрытии и контексте, а также необходимость совместимой инфраструктуры для эффективного запуска. Модель распространяется по лицензии Apache-2.0.