II.11Кибербезопасность и приватность

TheBloke/CodeLlama-70B-Instruct-GGUF — это квантизированная версия CodeLlama 70B Instruct, разработанной Code Llama и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации и понимания программного кода, а также для диалоговых сценариев с инструкциями. Она относится к семейству Llama и доступна в вариантах квантизации от 2 до 8 бит для запуска на CPU и GPU. Модель содержит около 70 миллиардов параметров и работает как текстовая модель генерации с поддержкой входных инструкций и запросов на естественном языке и коде. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Разные уровни квантизации позволяют выбирать компромисс между требованиями к памяти, скоростью и сохранением качества, однако более сильная квантизация может снижать точность ответов. В README не указаны поддерживаемые естественные языки и размер контекстного окна. Модель распространяется по лицензии Llama 2. Для работы требуется совместимый рантайм, например llama.cpp, а конкретные требования к ресурсам зависят от выбранного варианта квантизации.

ManniX-ITA/gemma-4-A4B-98e-v6-coder-it-GGUF — это набор GGUF-квантизаций модели ManniX-ITA/gemma-4-A4B-98e-v6-coder-it, созданной на основе Gemma 4 26B-A4B. Модель ориентирована прежде всего на генерацию и анализ кода, рассуждения, агентные сценарии с вызовом инструментов и задачи с изображениями. В карточке указаны английский язык и поддержка визуальных входных данных; тип конвейера — image-text-to-text. Архитектура — MoE с примерно 20,45 млрд параметров, из которых около 4 млрд активны при обработке токена; в слоях используется 98 экспертов. Модель поставляется в различных вариантах квантизации от 2 до 8 бит, а также в F16, с применением imatrix для большинства низкоразрядных вариантов. Для llama.cpp в примере использования задан контекст 32 768 токенов, а для режима рассуждений требуется параметр reasoning-budget. Сильные стороны модели — высокая эффективность в задачах программирования при существенно меньшем объёме активных параметров и широкий выбор вариантов по балансу качества, размера и требований к памяти. По приведённым тестам HumanEval+ лучшие результаты показывают Q6_K и Q8_0 — 93,29%, а рекомендуемым компромиссом названа IQ4_XS размером 11,01 ГБ; вариант IQ2_XS заметно теряет качество. Для многошаговых агентных сценариев в репозитории исправлен дефект шаблона чата, вызывавший повторение рассуждений. Модель распространяется по лицензии Gemma. Для запуска необходим совместимый движок, например llama.cpp, и корректно настроенный шаблон чата; без reasoning-budget Gemma 4 может генерировать некорректные служебные токены. Выбор конкретной квантизации определяет требования к дисковому пространству, памяти и степень сохранения исходного качества.

Карточка модели ahmed-amedo/MiMo-V2.6-Pro-RL на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Pro, поэтому описание составлено по ней. MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.

Карточка модели Viva00007363/MiMo-V2.6-Pro-RL на Hugging Face совпадает с карточкой shaikat2007/MiMo-V2.6-Pro, поэтому описание составлено по ней. MiMo-V2.6-Pro-RL — флагманская модель серии MiMo-V2.6, разработанная Xiaomi и обученная с масштабированием обучения с подкреплением для агентных сценариев и самоулучшения. Она предназначена для генерации текста, программирования, работы с инструментами и задач, где агент взаимодействует со средой и оценивает результаты своих действий. Модель построена на разреженной архитектуре Mixture of Experts. В README указаны 1,02 трлн общих и 42 млрд активируемых параметров; метаданные репозитория указывают 27,7 млрд параметров и класс MiMoV2ForCausalLM. Контекст составляет до 1 млн токенов. Модель поддерживает текст, изображения, видео и аудио, а также интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель подходит для длительных агентных запусков, анализа визуальных и аудиовизуальных материалов, программирования и работы с длинными документами или репозиториями. README приводит результаты бенчмарков, но они не гарантируют качество на конкретных задачах; развёртывание рассчитано на специализированные средства инференса и мощное оборудование. Лицензия репозитория — MIT.

Q36-35B-A3B-Opus4.7-Ablit-Heretic-OBLITERATUS-Hermes-MTP-Vision-Llama — мультимодальная модель семейства Qwen3.6-35B-A3B, опубликованная пользователем oktayd. Это производный вариант, собранный на основе Qwen3.6-35B-A3B с использованием нескольких этапов reasoning-дистилляции, ablation, Heretic и OBLITERATUS Nuclear, а также дообучения Hermes для function calling, агентских сценариев, работы с кодом, терминалом, файлами и репозиториями. Указанная в названии связь с Opus 4.7 относится только к унаследованной линии дистилляции и не означает включение проприетарной модели Claude. Модель предназначена для генерации текста, анализа изображений и текста, рассуждений, программирования, использования инструментов и агентских задач. Архитектура — mixture-of-experts Qwen3.6, представленная в GGUF как qwen35 или qwen3_5_moe: всего около 35 млрд параметров, из которых активируется около 3 млрд. Поддерживаются контекст до 262 144 токенов, английский язык и мультимодальный ввод через отдельный F16 vision projector. Доступны варианты квантования MXFP4_MOE и Q4_K_M для запуска в llama.cpp. По приведённым тестам модель особенно сильна в соблюдении сложных инструкций: в IFEval она получила 9/10 по строгим промптам и 17/18 по строгим инструкциям. На небольших выборках она показала сопоставимые с базовым сравнением результаты в HumanEval+, MMLU-Pro, GSM8K и BBH, однако уступила в MBPP+ и продемонстрировала проблемы с зацикливанием или усечением вывода в отдельных задачах MuSR. Поддержка одновременного использования Vision и MTP, финальная проверка FreeToken-сервинга и комбинированные мультимодальные сценарии ещё не подтверждены. Модель распространяется по лицензии Apache-2.0. Для работы с изображениями требуется основной GGUF-файл вместе с соответствующим vision projector; заявленная поддержка относится к llama.cpp.

Qwen2.5-Coder-32B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной модели Qwen2.5-Coder-32B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена прежде всего для генерации и анализа программного кода, диалогового взаимодействия с разработчиком и использования в сценариях с code agents. Модель обучалась с использованием до 5,5 триллиона токенов, включая исходный код, текстово-кодовые пары и синтетические данные. Заявлена поддержка длинного контекста до 128 000 токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. В метаданных указан английский язык. Формат GGUF и совместимость с llama.cpp делают модель пригодной для локального запуска в соответствующем программном обеспечении, однако конкретный уровень квантизации в README не указан. К сильным сторонам относятся специализация на программировании, ориентация на агентские сценарии и большой контекст, позволяющий работать с крупными фрагментами кода и проектными материалами. Ограничения включают отсутствие в README подробностей об архитектуре, точном варианте квантизации, требованиях к ресурсам и перечне поддерживаемых языков программирования. Для модели указана лицензия Apache 2.0.

Qwen2.5-Coder-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-Coder-32B-Instruct, разработанной Qwen и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и работы с программным кодом, включая сценарии чат-взаимодействия и задачи, где требуется понимание или создание кода. В README указан английский язык, а для общения используется шаблон ChatML. Модель имеет размер 32 млрд параметров и поддерживает контекст до 128 000 токенов при запуске через LlamaEdge. Доступны варианты с разной степенью квантизации — от Q2_K до Q8_0, а также F16; размер файлов составляет примерно от 12,3 до 34,8 ГБ, причём варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу между качеством и размером. Более сильная квантизация уменьшает требования к ресурсам, но может заметно снижать качество. Модель подходит для локального развёртывания и использования через LlamaEdge версии 0.14.14 или новее, включая запуск как сервиса или командного приложения. README не указывает мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Распространение осуществляется по лицензии Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-AWQ — это квантованная версия модели Qwen3.8-27B TURBO Fable Cold Fusion. Исходную модель и слияние весов GAIN разработал DavidAU, а квантование и упаковку выполнила Solstice-AI. Модель предназначена для программирования, агентной разработки, отладки репозиториев, решения задач на рассуждение и управления компьютером или мобильными устройствами. По данным README, заявлены поддержка английского и китайского языков, мультимодальный ввод изображений и видео, а также контекст до 262 144 токенов. Архитектура описывается как гибридная: 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а 25% — Grouped-Query Attention. Модель содержит Multi-Token Prediction для спекулятивного декодирования и поставляется с визуальным проектором mmproj-BF16.gguf. Формат — AWQ INT4 (W4A16), поэтому модель рассчитана на экономичное инференс-развёртывание с использованием Anvil, vLLM или SGLang, но квантование может снижать точность по сравнению с полноразмерными весами и требует совместимого оборудования и программного стека. README приводит высокие результаты на SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld, AndroidWorld, IFBench и ARC, однако условия и независимая воспроизводимость этих оценок требуют проверки. Указана лицензия Apache 2.0; заявленная модификация alignment-механизмов означает, что модель может иметь меньше встроенных отказов и требует осторожного применения.

Qwen3.8-Flash-Next-Uncensored-oQ5e-mtp — это MLX-квантизация модели Qwen3.8-Flash-Next-Uncensored, разработанная timteh673 на основе модели OrcaRouter, которая, в свою очередь, создана на базе Qwen/Qwen3.8-Flash-Next. Модель предназначена для исследовательских задач, red teaming, интерпретируемости, генерации текста, рассуждений, вызова инструментов, а также обработки изображений и видео. В исходной модели удалена защитная настройка, поэтому она может выполнять запросы, от которых отказывается оригинальная Qwen3.8-Flash-Next; при практическом развёртывании требуется собственная модерация. Это мультимодальная sparse MoE-модель с поддержкой режима рассуждений и MTP-головой. Она содержит около 180 млрд параметров, из которых примерно 6 млрд активируются на токен, 48 слоёв, 512 маршрутизируемых экспертов с выбором 10 экспертов и одного общего эксперта, гибридную attention-архитектуру с Gated-DeltaNet и полноформатным attention, а также vision- и video-модули. Нативный контекст составляет 262 144 токена; заявлены английский и китайский языки, при этом модель может обладать более широкими мультиязычными возможностями. Использована чувствительная к данным смешанная 5-битная квантизация oQe с importance matrix: эффективная точность составляет 5,72 бита на вес, размер — около 128,54 ГБ в 25 safetensors-фрагментах. Формат совместим со стандартным MLX и не требует пользовательских ядер или загрузчика; сборка ориентирована на Apple Silicon и позволяет запускать полный контекст на Mac с 128 ГБ памяти. Ограничения включают очень большой объём модели, зависимость от MLX и Apple Silicon, а также отсутствие встроенных гарантий безопасности из-за abliteration. Лицензия — Qwen Community License 1.0, унаследованная от upstream-модели.

Qwen3-Coder-30B-A3B-Instruct-GPTQ-Int8 — это квантизированная в формате GPTQ Int8 версия текстовой причинно-следующей языковой модели Qwen3-Coder-30B-A3B-Instruct. Базовую модель разработала команда Qwen, а данную квантизированную сборку опубликовала QuantTrio. Модель предназначена прежде всего для генерации и анализа программного кода, агентного программирования, вызова инструментов и сценариев агентного взаимодействия с браузером, а также для понимания репозиториев и работы с большими объёмами контекста. Архитектура модели — Mixture-of-Experts: 30,5 млрд параметров всего, из которых 3,3 млрд активируются при обработке запроса. Модель содержит 48 слоёв, 128 экспертов и активирует 8 экспертов; используется Grouped Query Attention с 32 головами запросов и 4 головами ключей и значений. Заявлена нативная длина контекста 262 144 токена с возможностью расширения до 1 млн токенов с помощью YaRN, однако для этой сборки в примере запуска vLLM указана длина 32 768 токенов. К сильным сторонам относятся высокая эффективность разреженной MoE-архитектуры, поддержка длинного контекста, задачи программирования и tool calling. Модель работает только в режиме без рассуждений и не формирует блоки <think></think>. Для запуска рекомендуется vLLM версии 0.10.0; пример конфигурации рассчитан на один узел с четырьмя GPU и требует включения expert parallelism. Размер файлов модели составляет около 30 ГБ, поэтому необходимы значительные аппаратные ресурсы. Распространение заявлено по лицензии Apache 2.0.

DeepSeek-R1-Distill-Qwen-14B-bnb-4bit — дистиллированная языковая модель, разработанная командой DeepSeek на основе DeepSeek-R1 и базовой архитектуры Qwen объёмом 14 млрд параметров. Данная версия подготовлена и опубликована Unsloth в 4-битном формате bnb для использования с Transformers. Модель предназначена для задач рассуждения, решения математических задач, генерации и анализа кода, а также других сценариев, требующих многошагового вывода. Дистилляция использует reasoning-поведение DeepSeek-R1, включая самопроверку, рефлексию и развернутые цепочки рассуждений. В метаданных README указан английский язык; сведения о поддержке других языков, размере контекста и мультимодальности не приведены. Ключевое преимущество версии — сниженные требования к памяти благодаря 4-битному представлению, что упрощает локальный запуск по сравнению с полноразмерной моделью. Ограничения включают возможное снижение точности из-за квантования и отсутствие в README подробных данных о бенчмарках, контекстном окне и требованиях к оборудованию. Модель распространяется по лицензии Apache 2.0.

Devstral-Small-2-24B-Instruct-2512-GGUF — квантизированная в формат GGUF версия модели Devstral-Small-2-24B-Instruct-2512 от Mistral, подготовленная ByteShape с использованием ShapeLearn. Метод ShapeLearn подбирает тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и задач, связанных с программированием, включая function calling, а также поддерживает мультимодальные сценарии с обработкой изображений. Доступны варианты с эффективной разрядностью от 2,34 до 4,04 бит на вес и размером от 6,9 до 11,9 ГБ. Качество оценивалось на BFCL-V3, LiveCodeBench V6, HumanEval, GSM8K-V, Math500, GSM8K и MMLU; в README также указана оценка vision-возможностей. Модели оптимизированы для GPU NVIDIA RTX 40-й и 50-й серий при использовании llama.cpp и могут запускаться через Ollama. Для работы с изображениями в llama.cpp необходимы файл модели и соответствующий мультимодальный projector-файл; размер контекста в приведённом примере составляет 8192 токена. Основные преимущества — широкий выбор компромиссов между качеством, скоростью и потреблением памяти, а также поддержка низкобитной квантизации и мультимодального использования. Ограничения включают возможное снижение качества на наиболее компактных вариантах и необходимость совместимого окружения для запуска; конкретные языки, полная архитектура и точные характеристики контекстного окна в README не указаны. Модель распространяется по лицензии Apache-2.0.

gemma-4-A4B-98e-v7-coder-it-GGUF — это набор GGUF-квантизаций модели ManniX-ITA/gemma-4-A4B-98e-v7-coder-it, разработанный автором ManniX-ITA на основе Gemma 4 26B-A4B. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, а также для задач, требующих рассуждений. Доступны варианты от CD-Q2_K и IQ4_XS до Q8_0 и F16 с различным размером файлов и компромиссом между качеством и требованиями к памяти. Архитектура — Gemma4 с разреженной смесью экспертов (MoE): около 20,45 млрд параметров всего и примерно 4 млрд активных параметров. Это результат pruning-кода с сокращением числа экспертов со 128 до 98 на слой. Для мультимодальных сценариев предусмотрена совместимая башня компьютерного зрения SigLIP, поставляемая отдельным файлом и не затронутая pruning; в метаданных указана поддержка image-text-to-text. В README заявлен английский язык, а контекст использования в примере llama.cpp настроен на 32 768 токенов, что не обязательно означает максимальный размер контекста модели. Сильная сторона модели — сочетание MoE-архитектуры, оптимизированной для кода, и широкого набора квантизаций, включая рекомендуемые Q4_K_M и Q4_K_S, а также компактный CD-Q2_K. По приведённым автором результатам, на HumanEval+ варианты достигают 92,68%, а на MultiPL-E — до 91%, однако эти показатели относятся к конкретным настройкам и сравнительному тестированию квантов. Ограничения включают потерю качества и возможные артефакты на низких уровнях квантизации, значительный размер старших вариантов и необходимость корректной настройки инференса. При использовании llama.cpp для режима рассуждений требуется параметр reasoning-budget; без него модель может выдавать некорректные специальные токены. Распространяется по лицензии Apache-2.0.

GLM-4.5-Air — компактная гибридная модель серии GLM-4.5 от Zhipu AI, разработанная для интеллектуальных агентов. Она объединяет генерацию текста, рассуждение, программирование и работу с инструментами; поддерживает режим обдумывания для сложных запросов и вызовов инструментов, а также режим быстрого ответа. По карточке модели, у GLM-4.5-Air 106 млрд параметров, из которых активны 12 млрд. Метаданные Hugging Face указывают архитектуру GLM4 MoE, класс Glm4MoeForCausalLM, 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговых приложений, задач программирования и агентных сценариев с использованием инструментов. Она поддерживает английский и китайский языки и распространяется в формате Safetensors; библиотека Transformers указана как основная. Лицензия MIT разрешает коммерческое использование и дальнейшую разработку. Значения общего и активного числа параметров из README расходятся с числом параметров в метаданных, поэтому размер следует считать противоречивым.

GPT-5.2 Pro — модель OpenAI, представленная как развитие GPT-5 Pro с улучшениями в агентном программировании и работе с длинным контекстом. Она предназначена для сложных задач, требующих пошаговых рассуждений, включая программирование и сценарии с использованием ИИ-агентов. Данных об архитектуре, размере, модальностях, поддерживаемых языках, длине контекста и лицензии в предоставленных источниках нет.

Laguna S 2.1-INT4 — модель компании poolside для агентного программирования и длительных многошаговых задач на локальной машине. Это текстовая text-to-text модель с поддержкой рассуждений, включая чередование размышлений и вызовов инструментов, а также возможность включать и отключать рассуждения для отдельных запросов. Модель использует архитектуру Mixture-of-Experts: 117,6 млрд параметров всего, из которых 8,5 млрд активируются на каждом токене. Она содержит 48 слоёв, 256 экспертов и один общий эксперт; в 36 слоях применяется Sliding Window Attention с окном 512 токенов, а 12 слоёв используют глобальное внимание. Per-head gating, rotary scales для отдельных слоёв и смешанное соотношение локального и глобального внимания рассчитаны на ускорение инференса и снижение требований к KV-кэшу. Контекстное окно составляет 1 048 576 токенов, KV-кэш квантизируется в FP8. Поддерживается только текстовая модальность; языки в README не указаны. К сильным сторонам относятся специализация на разработке ПО, агентных сценариях, работе с инструментами и длинном контексте, а также возможность локального запуска. Квантизированные INT4-веса занимают примерно 72 ГБ; модель поддерживается vLLM, Transformers, Ollama и llama.cpp с оговорёнными ограничениями по форматам и версиям. При использовании контекста максимальной длины возможно снижение качества. Модель распространяется по лицензии OpenMDW-1.1, разрешающей свободное использование и модификацию модели и связанных материалов в коммерческих и некоммерческих целях.

Qwen2.5-Coder-32B-Instruct-MLX-8bit — это 8-битная MLX-квантизация инструкционной модели Qwen2.5-Coder-32B-Instruct, разработанной Qwen. Квантизацию подготовил bartowski на основе инструментов mlx-examples; модель распространяется в рамках программы Community Models для LM Studio и предназначена для запуска на компьютерах Mac с Apple Silicon. Модель ориентирована на генерацию и анализ исходного кода, работу с текстом и кодом, диалоговые сценарии и использование в code agents. В README указана поддержка длинного контекста до 128K токенов с масштабированием RoPE через YaRN с коэффициентом 4.0. Объём исходной модели составляет 32B параметров, а обучение проводилось максимум на 5,5 триллиона токенов, включая исходный код, текстово-кодовые соответствия и синтетические данные. Заявленный язык — английский. К сильным сторонам относятся специализация на программировании, поддержка длинного контекста и возможность локального запуска на совместимых Mac благодаря MLX-квантизации. Ограничения включают зависимость от Apple Silicon и потенциальные ошибки, неточности или небезопасные ответы, характерные для генеративных моделей. В README также указано, что модель предоставляется третьими сторонами, а LM Studio не гарантирует её точность, надёжность или соответствие требованиям пользователя. Лицензия модели — Apache-2.0.

duyntnet/Qwen2.5-Coder-7B-imatrix-GGUF — репозиторий с imatrix-квантизациями базовой языковой модели Qwen2.5-Coder-7B, разработанной командой Qwen. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, задач code reasoning, text-code grounding, заполнения пропусков в коде и создания основы для code agents. Базовая модель не рекомендуется для обычного диалогового использования без дополнительного дообучения или постобработки. Это каузальная текстовая модель на архитектуре Transformers с RoPE, SwiGLU, RMSNorm и bias в QKV-проекциях внимания. Она содержит 7,61 млрд параметров, 28 слоёв и использует Grouped-Query Attention: 28 голов для Q и 4 для KV. Заявлена поддержка контекста до 131 072 токенов, при этом для обработки входов длиннее 32 768 токенов требуется настройка YaRN. Модель обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые данные и синтетические данные; также сохраняет возможности в математике и общих задачах. В README явно указан только английский язык. Репозиторий поддерживает использование через llama.cpp, KoboldCPP, text-generation-webui и Ollama. Лицензия обозначена как other, без дополнительных условий в представленном README, поэтому точные права и ограничения использования требуют проверки исходной лицензии Qwen2.5-Coder.

RedHatAI/Qwen3.6-27B-FP8 — открытая FP8-квантизованная версия Qwen3.6-27B, разработанной Alibaba Cloud и опубликованной в формате Hugging Face Transformers. Модель предназначена для генерации текста, рассуждений, агентного программирования, работы с репозиториями и вызова инструментов. Она совместима с Transformers, vLLM, SGLang и KTransformers. Модель представляет собой каузальную языковую модель с vision encoder, содержит 27 млрд параметров и 64 слоя. Архитектура сочетает Gated DeltaNet и Gated Attention, поддерживает мультимодальный сценарий с изображениями и имеет нативный контекст 262 144 токена, расширяемый до 1 010 000 токенов. В README не указаны поддерживаемые языки. Для вызова инструментов предусмотрена поддержка tool calling с парсером qwen3_coder; включение режима reasoning выполняется через параметры совместимого сервера. К сильным сторонам относятся оптимизация для реальных задач программирования, фронтенд-разработки, репозиторного анализа и агентных рабочих процессов, а также близкая к исходной модели производительность после мелкозернистой FP8-квантизации с размером блока 128. Ограничения включают зависимость качества и функциональности от совместимого inference-стека и настроек reasoning и tool calling; конкретные требования к оборудованию и полный набор языков в README не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-PaoAI-ROCmFP4-STRIX-BALANCED-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, подготовленная сообществом PaoAI и предназначенная для запуска через llama.cpp. Разработчики подчёркивают, что проект не связан с Alibaba или командой Qwen. Модель ориентирована на генерацию текста, включая программирование, анализ кода и выполнение задач с длинным контекстом. Модель использует гибридную архитектуру с 48 слоями линейного внимания gated-delta и 16 слоями полного внимания. Размер файла составляет около 15,01 ГБ. Веса сжаты преимущественно в ROCmFP4 примерно до 4,5 бит на параметр, а отдельные чувствительные компоненты, включая нормы, draft head и некоторые представления, сохранены в более высокой точности. Поддерживается контекст до 256K токенов по заявлению авторов, при этом модель оптимизирована для AMD Strix Halo, включая Ryzen AI Max+ 395 с графикой gfx1151, и рассчитана на работу на iGPU без offload-флагов. В карточке указан английский язык. К сильным сторонам относятся небольшие требования к памяти для модели такого размера, встроенное speculative decoding, сохранение качества после квантования и высокая производительность на совместимом оборудовании. Измерения авторов показывают близкие к исходной F16-версии результаты на стандартном тексте и успешное выполнение представленных задач по анализу и написанию кода. Ограничения связаны с узкой аппаратной специализацией ROCmFP4 и Strix Halo, зависимостью от совместимого движка и тем, что заявленные показатели производительности и качества получены авторами сборки на ограниченном наборе тестов; математически квантование является lossy. Распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3-Coder-30B-A3B-GGUF — это GGUF-квантизованная версия инструкционной модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и самостоятельно преобразованной и откалиброванной командой Atomic Chat. Модель предназначена для генерации текста и прежде всего ориентирована на программирование, агентное написание кода, использование инструментов и сценарии агентского браузинга. Она может работать полностью локально и офлайн через llama.cpp, Ollama, LM Studio, Jan и другие совместимые среды. Модель использует текстовую модальность и архитектуру Mixture-of-Experts с 30,5 млрд параметров, 48 слоями и 128 экспертами, из которых для каждого токена маршрутизируются 8. Архитектура указана как Qwen3MoeForCausalLM; используется 32 attention heads и 4 KV heads. Максимальная длина контекста составляет 262 144 токена, размер словаря — 151 936. Репозиторий содержит варианты квантования от Q2_K до Q8_0, включая кванты с importance matrix; Q4_K_M обозначен как рекомендуемый баланс размера, скорости и качества, а Q8_0 — как вариант с практически эталонным качеством. Сильными сторонами являются специализация на задачах программирования, поддержка агентских сценариев и снижение требований к памяти благодаря квантованию с importance matrix. К ограничениям относятся неизбежная потеря качества на низких уровнях квантования, значительные требования к оперативной или видеопамяти даже для компактных вариантов и необходимость включать параметр --jinja для корректного применения шаблона чата Qwen3 Coder. Модель работает только с текстом; сведения о поддерживаемых естественных языках в README не указаны. Исходная модель и производные GGUF-файлы распространяются по лицензии Apache 2.0.

Rnj-1.5-Instruct — диалоговая языковая модель Essential AI, дообученная на основе EssentialAI/rnj-1. Она содержит 8,3 млрд параметров и использует плотную архитектуру семейства Gemma 3 Text с чередованием блоков локального и глобального внимания. Окно контекста расширено до 163 840 токенов; модель рассчитана на диалоги, программирование и работу с длинными текстами, включая кодовые репозитории и научные материалы. Модель предназначена для генерации и анализа кода, понимания контекста проекта, ответов на вопросы по длинным документам и использования инструментов в диалоговом интерфейсе. В README отмечены результаты на оценках длинного контекста и SWE-Bench, но они не гарантируют аналогичного качества в конкретных задачах. Модель оптимизирована для понимания длинного контекста, а не для его продолжительной генерации: при очень длинных ответах иногда появляются бессмысленные токены. Распространяется по лицензии Apache 2.0.

CodeLlama 70B Python — большая языковая модель для генерации и работы с программным кодом, разработанная Code Llama. Данная версия представляет собой квантизированные файлы модели CodeLlama 70B Python в формате GGUF, подготовленные TheBloke на вычислительном оборудовании Massed Compute. Модель предназначена прежде всего для задач, связанных с программированием на Python, включая генерацию кода и локальный текстовый inference. Она основана на архитектуре Llama, имеет 70 миллиардов параметров и работает в режиме text-generation. В README указано, что язык модели — code; сведения о поддерживаемых естественных языках, модальностях и размере контекста не приведены. GGUF поддерживает различные уровни квантизации от 2 до 8 бит, что позволяет запускать модель с разным компромиссом между требованиями к памяти и качеством, используя llama.cpp и совместимые интерфейсы. Сильными сторонами являются специализация на программном коде, крупный размер модели и возможность CPU+GPU-инференса в локальных приложениях. Ограничениями выступают высокие требования к вычислительным ресурсам, зависящие от выбранного уровня квантизации, а также отсутствие в предоставленных данных подробных оценок качества и характеристик контекстного окна. Модель распространяется по лицензии Llama 2.

GeorgeCU/Giga-Embeddings-instruct-3B-0826-ft — модель текстовых эмбеддингов из серии Giga-Embeddings, построенная на собственной предобученной модели с архитектурой Qwen3 и двунаправленным encoder-style вниманием. Она содержит около 3,2 млрд параметров, формирует векторы размерностью 2048 и поддерживает контекст до 8192 токенов. Для получения эмбеддинга используются mean pooling по непаддинговым токенам и L2-нормализация. Модель предназначена для векторного поиска, семантического сравнения, классификации и кластеризации текстов. Она обучена контрастивным методом InfoNCE и рассчитана прежде всего на русский и английский языки. В асимметричном поиске инструкцию следует добавлять к запросу, оставляя документы без инструкции; для симметричного сравнения инструкцию можно опустить или использовать общую. README приводит результаты MTEB для русского, английского и кода. Для корректного применения нужны mean pooling и L2-нормализация: CLS- и last-token pooling дают неверные результаты. При прямом использовании transformers эти операции нужно выполнять самостоятельно; результаты могут немного различаться в зависимости от версий PyTorch и Transformers. Лицензия — MIT.

GLM-4.5-GGUF — это GGUF-версия фундаментальной языковой модели GLM-4.5, разработанной Z.ai. Модель предназначена для создания интеллектуальных агентов и объединяет возможности рассуждения, программирования и взаимодействия с инструментами. Она поддерживает генерацию текста и рассчитана прежде всего на англоязычные и китайскоязычные сценарии. GLM-4.5 — гибридная reasoning-модель с двумя режимами работы: thinking mode для сложных рассуждений и использования инструментов и non-thinking mode для быстрых ответов. В модели 355 млрд общих параметров, из которых активно используется 32 млрд; архитектура построена с применением mixture-of-experts. Контекстное окно, дополнительные модальности и точные характеристики GGUF-квантизации в README не указаны. К сильным сторонам относятся сочетание рассуждений, программирования и агентных функций, а также возможность коммерческого использования и доработки. Ограничения включают высокие требования к вычислительным ресурсам исходной модели и отсутствие в предоставленных данных подробностей о конкретной GGUF-квантизации и совместимости с оборудованием. Модель распространяется под лицензией MIT.

Laguna XS.2-NVFP4 — текстовая Mixture-of-Experts-модель компании Poolside, предназначенная для агентного программирования и длительных рабочих процессов на локальном компьютере. Модель является вариантом Laguna XS.2 с квантованием NVFP4 и FP8-кэшем ключей и значений (KV cache). Она поддерживает генерацию текста, использование инструментов и встроенное рассуждение между вызовами инструментов с возможностью включать и отключать режим рассуждения для отдельных запросов. Модель содержит 33 млрд параметров, из которых 3 млрд активируются на каждом токене, 40 слоёв и 256 экспертов с одним общим экспертом. В 30 слоях используется Sliding Window Attention с окном 512 токенов и покомпонентным управлением на уровне голов внимания, а в 10 слоях — глобальное внимание. Контекстное окно составляет 262 144 токена. Модель работает в режиме text-to-text, использует FP8-кэш KV для снижения требований к памяти и рассчитана на локальный запуск, включая компьютеры Mac с 36 ГБ оперативной памяти. Поддерживаются vLLM, Transformers, SGLang и TRT-LLM. Сильные стороны модели — сочетание большого контекстного окна, низкого числа активируемых параметров, уменьшенных требований к KV-кэшу и ориентации на задачи разработки ПО, включая работу с терминалом и многошаговые агентные сценарии. В README не указаны поддерживаемые естественные языки и подробные ограничения качества; приведённые результаты бенчмарков относятся к Laguna XS.2 в варианте BF16 и не являются прямой оценкой NVFP4. Модель распространяется по лицензии Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

Ling-2.6-1T — большая языковая модель семейства Ling, выпущенная inclusionAI. Она предназначена для сложных рабочих сценариев, включая программирование, многошаговое рассуждение и выполнение задач с инструментами. Карточка описывает гибридную архитектуру MLA и Linear Attention с MoE; метаданные указывают класс BailingMoeV2_5ForCausalLM и 59 млрд параметров. Контекст — до 262 144 токенов. Модель поддерживает диалог и интерфейс вызова инструментов, а в репозитории представлены веса safetensors в формате compressed-tensors. Модель подходит для генерации и исправления кода, агентных рабочих процессов и задач с длинным контекстом. README отмечает высокую эффективность вывода и сокращение многословных рассуждений, а также результаты на бенчмарках программирования, рассуждения и использования инструментов. Поддержка языков отдельно не перечислена; README упоминает возможные переключения языка при сложных инструкциях. Лицензия — MIT.

openbmb/MiniCPM5-1B-MLX — компактная языковая модель из серии MiniCPM5, разработанная OpenBMB. Это causal language model на архитектуре LlamaForCausalLM, адаптированная в формате MLX с 4-битным представлением для локального запуска на устройствах Apple Silicon и в условиях ограниченных ресурсов. Модель предназначена для локальных ассистентов, coding agents, генерации кода, сценариев tool use, агентских рабочих процессов и задач, требующих рассуждений. Она поддерживает английский и китайский языки, контекст до 131 072 токенов и два режима работы в одном чекпойнте: быстрый режим без рассуждений и режим с пошаговым рассуждением через параметр enable_thinking. Заявлены сильные результаты среди открытых моделей класса около 1B параметров, особенно в использовании инструментов, генерации кода и сложных рассуждениях. Модель содержит 1 080 632 832 параметра, 24 слоя, 16 attention heads для Q и 2 KV-heads в конфигурации GQA. К преимуществам относятся небольшой размер, поддержка длинного контекста и пригодность для on-device и edge-сценариев. Ограничениями являются компактный масштаб модели по сравнению с крупными LLM и ориентация MLX-версии прежде всего на устройства Apple Silicon. Модель распространяется по лицензии Apache-2.0.

MiroThinker-v1.5-30B-GGUF — это открытая агентная модель для поиска, ответов на вопросы и глубокого многошагового исследования с использованием внешних инструментов. Модель разработана командой MiroMind AI и основана на Qwen3-30B-A3B-Thinking-2507; представленная версия распространяется в формате GGUF и создана с использованием llama.cpp. Модель предназначена для задач tool-augmented reasoning, информационного поиска и долгосрочного анализа. Она поддерживает контекст до 256K токенов и рассчитана максимум на 400 вызовов инструментов в рамках одной задачи, что позволяет выполнять сложные исследовательские сценарии с многочисленными взаимодействиями со средой. В карточке указано, что модель поддерживает английский язык. Архитектура исходной модели относится к классу Mixture of Experts, однако точные параметры представленной GGUF-квантизации не указаны. К сильным сторонам относятся способность корректировать ход рассуждений на основе обратной связи среды, получать внешнюю информацию и выполнять глубокие многошаговые траектории. Для GGUF-версий применяется дополнительное повышение точности отдельных важных слоёв при квантизации, что должно улучшать точность на заданном уровне битности, но увеличивает размер файла. Ограничения включают зависимость качества от доступных инструментов, вычислительных ресурсов и выбранного варианта квантизации; сведения о мультимодальности и конкретных требованиях к оборудованию отсутствуют. Лицензия — MIT.

Ornith-1.5-35B-A3B-AWQ-FP8 — квантованная версия модели Ornith-1.5-35B-A3B, разработанной командой Ornith AI. Модель предназначена для генерации текста, программирования и агентских сценариев, включая работу с инструментами и выполнение задач в терминале. Она обучалась с использованием цикла самоулучшения, который совместно оптимизирует генерацию задач, построение scaffolding и траекторий решений с применением reinforcement learning. Модель использует архитектуру mixture-of-experts: при общем размере около 35B параметров на каждый токен активируется примерно 3B параметров. Представленная версия имеет формат AWQ-FP8 и размер около 39,76 ГБ. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. В README не указаны размер контекста и мультимодальные возможности. Сильной стороной модели является специализация на кодировании и агентских задачах: разработчики сообщают о превосходстве над сопоставимой Qwen3.6-35B-A3B и рядом плотных моделей в соответствующих бенчмарках. Ограничения, подробные требования к оборудованию и параметры инференса в карточке не приведены. Модель распространяется по лицензии MIT.