II.2Создание и понимание программного кода

OpenYourMind создала эту полноразмерную BF16-версию NVIDIA Nemotron-3-Ultra-550B-A55B с ослабленными отказами на типовых категориях запросов. По описанию автора, изменение выполнено офлайн-проекцией направления отказа на веса без дополнительного обучения и без изменения структуры базовой модели. Модель содержит 550 млрд параметров, из которых активно 55 млрд, и использует гибридную архитектуру Mamba-2, Attention и Latent-MoE; сохранены режим рассуждений enable_thinking и голова MTP для спекулятивного декодирования. Модель предназначена для диалоговой генерации текста, сложных рассуждений и технических или защитных запросов, на которые исходная модель могла отказывать. Контекст составляет 262 144 токена. Веса BF16 занимают около 1,1 ТБ и требуют мног GPU-развёртывания; автор указывает vLLM как вариант запуска. README заявляет сохранение связности, точности и многоязычной беглости, однако не приводит независимых оценок этих свойств. Лицензия — OpenMDW-1.1, унаследованная от базовой модели.

PhoneLM-1.5B — авторегрессионная языковая модель с 1,5 млрд параметров, разработанная командой mllmTeam и предварительно обученная на 1,1 трлн токенов. Она предназначена для генерации текста и диалоговых сценариев на английском языке. Модель построена на архитектуре Transformer decoder-only: 19 слоёв, скрытый размер 2560, 16 голов внимания и контекст длиной 2048 токенов. В ней используются Rotary Position Embeddings, LayerNorm, активация ReLU и токенизатор SmolLM с размером словаря 49 152. Репозиторий содержит веса в формате safetensors. В карточке приведены результаты оценок на наборах HellaSwag, WinoGrande, PIQA, SciQ, BoolQ и ARC. Модель выпущена для использования по лицензии Apache-2.0. Контекст ограничен 2048 токенами; подтверждена поддержка английского языка.

legraphista/Qwen2-7B-IMat-GGUF — это набор GGUF-квантизованных версий языковой модели Qwen2-7B, разработанной командой Qwen. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В репозитории представлены варианты с разной степенью квантизации — от BF16 и FP16 до 1–8-битных форматов, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. В метаданных указан английский язык. Квантизация выполнена legraphista с использованием llama.cpp версии b3091. Для ряда низко- и среднебитных вариантов применена IMatrix, предназначенная для улучшения сохранения качества при уменьшении разрядности; для некоторых вариантов доступны статические квантизации без IMatrix. Размер файлов варьируется примерно от 2,60 до 15,24 ГБ. Контекстное окно, точная архитектура базовой модели, мультимодальные возможности и результаты сравнительных тестов в предоставленных данных не указаны. Главное преимущество набора — широкий выбор форматов для запуска модели на оборудовании с различным объёмом памяти и возможность локального использования. Ограничения связаны с компромиссом квантизации: более компактные варианты могут уступать полноточным по качеству, стабильности и точности ответов, однако конкретные потери не измерены. Модель распространяется по лицензии Apache-2.0.

rubra-ai/Qwen2-7B-Instruct — дообученная компанией Rubra модель Qwen2-7B-Instruct для диалогов и многошагового вызова функций и инструментов. Модель основана на плотной авторегрессионной архитектуре Qwen2, содержит 8 млрд параметров и поддерживает контекст до 32 768 токенов. Она принимает текст и генерирует текстовые ответы и вызовы инструментов. Модель предназначена для чат-ботов и агентных сценариев, где ассистент выбирает функции, передаёт им аргументы, получает результаты и продолжает диалог. В README указано, что модель прошла дополнительное постобучение с замороженными параметрами и DPO на закрытом наборе данных с примерами вызова функций, диалогов и инструкций. Заявлена лицензия Apache-2.0. Модель может выдавать предвзятые или ошибочные ответы; результаты в чувствительных и критически важных сценариях требуют проверки. Языковые метаданные карточки указывают английский и китайский, но README не уточняет качество поддержки каждого языка.

Qwen3-1.7B-Base — базовая причинно-следственная языковая модель семейства Qwen3, разработанная командой Qwen. Это плотная модель с 1,7 млрд параметров и 28 слоями, предварительно обученная для продолжения текста и построения собственных решений на её основе. Архитектура использует grouped-query attention с 16 головами запросов и 8 головами ключей и значений; контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и дальнейшей адаптации под диалоговые и другие языковые сценарии. Обучение Qwen3 охватывало данные на 119 языках и включало код, STEM, рассуждения и длинные последовательности, однако карточка не уточняет языковое покрытие именно версии 1.7B-Base. Для работы рекомендуется актуальная версия библиотеки Transformers. Модель распространяется по лицензии Apache 2.0.

Qwen3-235B-A22B-Instruct-2507-4bit — языковая instruction-модель, разработанная командой Qwen и адаптированная сообществом mlx-community для формата MLX. Модель преобразована из Qwen/Qwen3-235B-A22B-Instruct-2507 с использованием mlx-lm 0.26.0 и предназначена для генерации текста по инструкциям в приложениях, работающих на MLX. В названии указаны общий размер 235B параметров, архитектура MoE с 22B активных параметров и 4-битное квантование, однако эти характеристики в представленном README явно не описаны и основаны только на идентификаторе модели. Поддерживается текстовая генерация; сведения о языках, размере контекста, модальностях, сильных сторонах и ограничениях не приведены. Для использования требуется библиотека mlx-lm и совместимое с MLX окружение. Модель распространяется по лицензии Apache-2.0. README не содержит дополнительных сведений о требованиях к оборудованию, производительности или особенностях применения.

Youssofal/Qwen3.6-35B-A3B-Abliterated-Heretic-GGUF — это GGUF-релиз модифицированной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений; запуск возможен через llama.cpp с использованием совместимого мультимодального projector-файла. Релиз создан с применением Heretic для удаления исходного паттерна отказов на уровне весов. Модель использует разреженную MoE-архитектуру с 35,95 млрд общих параметров и примерно 3 млрд активных параметров на токен. В составе 40 текстовых слоёв, 256 маршрутизируемых экспертов и 8 активных экспертов на токен; семейство архитектуры — qwen3_5_moe. Доступны варианты BF16, Q8_0, Q6_K и Q4_K_M, различающиеся качеством и требованиями к ресурсам. Языки и точный размер контекстного окна в README не указаны. Сильной стороной релиза является сохранение мультимодальной архитектуры и общего профиля возможностей базовой модели при значительно меньшей склонности к отказам: в указанной проверке модель отказала в 1 из 25 запросов против 22 из 25 у оригинала. Это одновременно является ограничением и фактором риска: встроенное поведение отказа удалено, поэтому модель может отвечать на запросы, которые базовая версия отклоняла, и требует самостоятельного контроля безопасности. Релиз распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V13-GGUF — мультимодальная модель в формате GGUF, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. В ней также использованы данные и элементы дообучения DJLougen/hermes-qwen3.5-35b-a3b-GGUF на наборе NousResearch/hermes-function-calling-v1. Модель относится к семейству Qwen и предназначена для локального запуска, диалогов, генерации текста, агентских сценариев и function calling; в метаданных заявлена поддержка обработки изображений и текста. Архитектура — MoE с заявленным общим размером 35B параметров и примерно 3B активных параметров, однако точные сведения о числе слоёв, размере контекста и используемых визуальных компонентах в README не приведены. Заявлены английский, китайский и другие языки. Автор описывает Genesis как постобработку GGUF-файла, включающую статистический анализ и коррекцию тензоров без переобучения, с целью повысить стабильность, ясность контекста и следование инструкциям. К сильным сторонам относятся uncensored-поведение, MoE-эффективность, мультимодальность и ориентация на Hermes-агентские задачи. Ограничения — отсутствие в README независимых бенчмарков, подробной оценки качества, точного контекстного окна и гарантии заявленных улучшений; результаты могут зависеть от квантования и настроек запуска. Для работы рекомендуются F16-кэш K/V, максимальная выгрузка на GPU и использование подходящего chat template. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-w4a16-llmcompressor — квантизированная версия модели Qwen3.6-35B-A3B, созданная AMD с использованием LLM Compressor и формата compressed-tensors. Модель предназначена для генерации текста и обработки изображений и текста; её архитектура обозначена как Qwen3_5MoeForConditionalGeneration. Основной сценарий использования — инференс на CPU AMD EPYC под Linux через vLLM с оптимизациями ZenDNN. Модель использует 4-битную квантизацию только весов W4A16 по алгоритму GPTQ: веса представлены в INT4, симметрично и группами по 128 параметров, а активации сохраняются в BF16. Размер весов уменьшен примерно с 67,0 до 18,1 GiB, то есть примерно на 73%. Квантизации подвергнуты, в частности, 256 маршрутизируемых MoE-экспертов, общий эксперт и проекции линейного внимания; vision tower, маршрутизатор MoE, отдельные gate-компоненты, lm_head, эмбеддинги и layer norms сохранены в BF16. В README явно указан английский язык, но сведения о полном контекстном окне отсутствуют. Сильными сторонами являются существенное сокращение объёма модели и ориентация на эффективный CPU-инференс на аппаратной платформе AMD при сохранении наиболее чувствительных к качеству компонентов в BF16. Ограничения связаны с зависимостью от совместимого стека: ZenDNN 6.1.0, ZenTorch 2.13.0.0, PyTorch 2.13.0.0, LLM Compressor 0.12.0 и vLLM 0.28.0, а также с потенциальными потерями качества, характерными для 4-битной квантизации. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3.8-2.4T-A95B-NVFP4-REAP-50 — квантизированная версия модели Qwen/Qwen3.8-2.4T-A95B для генерации текста. Модель разработана RedHatAI и построена на архитектуре Qwen3_5MoeForCausalLM с экспертной архитектурой MoE. Она принимает текст и генерирует текст, предназначена для задач вывода больших языковых моделей и развертывания через vLLM. В модели применена смешанная квантизация NVFP4/FP4: веса и активации линейных слоёв MoE-экспертов представлены в формате FP4, тогда как attention и другие неквантизированные слои сохраняют исходную точность. Также заявлено REAP-сокращение экспертов на 50%, что уменьшает размер на диске и потребление GPU-памяти квантизированных слоёв примерно на 75% с дополнительным выигрышем за счёт разреженности. Модель рассчитана на инференс с vLLM, включая tensor parallelism и expert parallelism. Размер модели, длина контекста, поддерживаемые языки и точные модальные возможности в README не указаны. Основные преимущества — существенное снижение требований к памяти и объёму хранения при сохранении исходной архитектуры и готовность к эффективному инференсу на поддерживаемом оборудовании. Ограничения связаны с потерями качества, возможными для агрессивной квантизации и pruning; README сообщает о сравнительной оценке, но не приводит её результаты. Также имеется несогласованность: в названии и описании указано 50% REAP Pruning, а в разделе создания модели — 25%. Лицензия в README не указана.

Minachist/Qwen3.8-27B-INT6-Mixed-AutoRound — это квантизированный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, разработанный пользователем Minachist. Модель предназначена для запуска через vLLM на системах примерно с 48 ГБ суммарной видеопамяти, включая сценарии с обработкой изображений, полным контекстом и включённым MTP. Модель содержит 64 языковых слоя: 48 слоёв с gated-delta linear attention и 16 слоёв с полноценным attention. Используется смешанная квантизация AutoRound в формате compressed-tensors pack-quantized с эффективной плотностью 7,30 бит на вес: отдельные компоненты работают в INT5, INT6, INT7 или INT8, а часть параметров, включая vision tower, нормы и некоторые проекции, сохранена в BF16. Заявленный максимальный контекст составляет 262 144 токена. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. По измерениям автора, на тесте WikiText-2 средняя KL-дивергенция относительно BF16-версии составила 0,001980, согласие top-1 предсказаний — 97,905%, а perplexity — 7,9183 против 7,9112 у базовой модели. Это указывает на небольшую потерю качества при существенном сокращении требований к памяти. Ограничение модели — она не загружается в стандартный vLLM: требуются версия с поддержкой 5–8-битных схем, пакет humming-kernels и патч для qwen3_5.py и qwen3_5_mtp.py. В README рекомендована лицензия Apache-2.0.

Это пакет слоёв GGUF-модели Qwen3.8-27B-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса на локальном кластере. Он создан на основе unsloth/Qwen3.8-27B-GGUF и сохраняет исходную GGUF-модель, разделённую на артефакты по слоям. Вариант квантования — Q4_K_XL. Пакет предназначен для локального приватного чата и генерации текста, в том числе на нескольких машинах, когда целиком разместить модель на одном хосте затруднительно. Через Mesh LLM модель можно предоставлять по локальному API, совместимому с OpenAI Chat Completions. Репозиторий использует библиотеку mesh-llm и формат GGUF; лицензия — Apache-2.0. В README не приведены размер контекста, точное число параметров, перечень поддерживаемых языков и подробные результаты оценки качества. Возможности и качество диалога зависят от исходной модели и конфигурации Mesh LLM.

Это пакет GGUF-слоёв модели Qwen3.8-27B-UD-Q8_K_XL, подготовленный для распределённого запуска через Mesh LLM. Пакет создан на основе unsloth/Qwen3.8-27B-GGUF и распределяет модель по артефактам отдельных слоёв для инференса на локальном кластере из нескольких машин. Модель предназначена для локального приватного чата и генерации текста, в том числе через OpenAI-совместимый API Mesh LLM. Распределение слоёв позволяет объединять вычислительные ресурсы нескольких узлов, когда полной модели недостаточно разместить на одном компьютере. Семейство — Qwen3; вариант использует GGUF-квантование UD-Q8_K_XL. Размер модели и длина контекста в предоставленных данных не указаны.

SuperQwen3.8-27b-abliterated-MLX-4bit — мультимодальная версия модели, разработанная Jiunsong для локального запуска на компьютерах Apple Silicon. Она основана на SuperQwen3.8-27b-abliterated и представляет собой встроенную MLX-квантизацию с 4-битными аффинными весами. Модель поддерживает текстовые и визуальные входы, заявлена для английского и корейского языков, а также рассчитана на рассуждения и вызов инструментов. Модель содержит 27 млрд параметров и занимает около 15 ГиБ; веса распределены по трём safetensors-файлам, размер группы квантизации — 64. Изменения abliteration встроены непосредственно в MLX-веса, поэтому отдельный адаптер при запуске не требуется. На Apple M5 Max заявлена скорость около 27 токенов в секунду при обычной авторегрессионной генерации и около 33 токенов в секунду с DFlash 2. В тестах также подтверждены мультимодальный инференс и сохранение ограниченного режима рассуждений. Сильные стороны модели — возможность локального запуска 27B-модели на Mac без серверного GPU, компактное 4-битное представление, поддержка изображений, рассуждений и инструментов, а также проверенная совместимость с MLX. При этом показатели производительности зависят от оборудования и приведены для однопоточного сценария; размер контекста в README не указан. Abliteration существенно меняет поведение отказов модели: в заявленных тестах родительские отказы на вредоносные запросы снизились с 30/32 до 0/32, поэтому модель не следует рассматривать как вариант с исходными ограничениями безопасности. Лицензия — Apache-2.0.

T-Llama — экспериментальная двуязычная языковая модель, разработанная Туаном Фамом, студентом FPTU HCM. Это плотная авторегрессионная модель семейства Llama 2 с архитектурой LlamaForCausalLM и 6,7 млрд параметров. Модель дообучена на основе meta-llama/Llama-2-7b, bkai-foundation-models/vietnamese-llama2-7b-120GB и yeen214/llama2_7b_merge_orcafamily. Модель предназначена для генерации текста и выполнения инструкций на английском и вьетнамском языках. В карточке упоминаются задачи кодирования и математики, а также результаты оценки на VMLU и Open LLM Leaderboard. Для работы рекомендуется шаблон запроса с системной инструкцией на английском языке. Контекст модели составляет 2048 токенов; веса доступны в форматах PyTorch и safetensors. Модель опубликована по лицензии Llama 2. Автор описывает её как доказательство возможности самостоятельного дообучения, поэтому заявленные результаты не следует считать гарантией качества для конкретных задач.

Zaib/Vulnerability-detection — модель классификации текста, разработанная путём дообучения mrm8488/codebert-base-finetuned-detect-insecure-code на неизвестном наборе данных. Она предназначена для выявления потенциально небезопасного или уязвимого кода по входному тексту. Модель построена на архитектуре RoBERTa, содержит около 151,8 млн параметров и распространяется в формате PyTorch. В README указан результат Loss 0,5778 на оценочном наборе, но не приведены его состав, метрики качества, схема меток и подробности обучения. Лицензия в предоставленных данных не указана.

Это GGUF-квантизированная версия языковой модели olmo-marvin-full-merged, разработанной Burnt-Toast и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально с помощью llama.cpp и совместимых приложений, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты от полноразмерных весов BF16 объёмом 64,47 ГБ до более компактных конфигураций с квантованием Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ. Квантование выполнено с использованием imatrix и llama.cpp версии b7721; некоторые варианты оптимизированы для снижения потребления памяти при сохранении качества, а наиболее качественными в README названы Q6_K_L, Q6_K и варианты Q5_K. Поддерживается шаблон диалога с ролями system, user и assistant. Архитектура, число параметров, контекстное окно, языки, мультимодальность и лицензия в предоставленных данных не указаны. Качество и требования к ресурсам зависят от выбранного варианта квантования: компактные версии экономичнее, но могут заметно уступать старшим по качеству.

Nous Consilience 40B — базовая генеративная языковая модель, разработанная Psyche Foundation и обучаемая с нуля в децентрализованном режиме через интернет. Это декодерный трансформер на архитектуре DeepSeek V3 с MLA, в плотной версии без MoE-маршрутизаторов. В модели 41,6 млрд параметров; указанная длина контекста — 2048 токенов. Модель предназначена для генерации текста и продолжения запросов в диалоговом формате. Предобучение проводилось на объединённых наборах FineWeb, FineWeb 2 и The Stack v2; в карточке заявлено около 20 трлн токенов. Модель описана как базовый чекпойнт без финального этапа annealing, поэтому её поведение может быть менее удобным для прикладного диалога, чем у версии с дополнительной настройкой. Метаданные указывают поддержку множества языков, включая английский, китайский и русский. Лицензия — CC0-1.0.

Это пакет GGUF для распределённого запуска DeepSeek-R1-Distill-Llama-70B-UD-Q4_K_XL, подготовленный Mesh LLM на основе unsloth/DeepSeek-R1-Distill-Llama-70B-GGUF. Веса разделены на артефакты по слоям, чтобы запускать модель на локальном кластере из нескольких машин, когда целый файл слишком велик для одного узла. Модель предназначена для локального приватного чат-инференса и интеграции с приложениями через локальный API Mesh LLM, совместимый с OpenAI Chat Completions. Это вариант UD-Q4_K_XL в формате GGUF; исходная модель относится к семейству DeepSeek и имеет 70 млрд параметров согласно идентификатору, однако описание пакета не приводит независимых сведений об архитектуре, языках или длине контекста. Пакет упрощает распределение вычислений между узлами, но для работы требует Mesh LLM и доступных машин кластера. Лицензия и подробные рекомендации по шаблону чата, настройкам генерации и качеству приведены в карточке исходной модели; в этом README условия лицензии не указаны.

KeinNiemand/DeepSeek-V4-Flash-0731-IK_GGUF — набор смешанных по точности GGUF-квантизаций базовой модели DeepSeek-V4-Flash-0731, разработанной DeepSeek. Квантизации созданы с использованием ik_llama.cpp и матрицы важности; модель предназначена для локального запуска задач генерации текста с уменьшенным потреблением памяти по сравнению с исходной версией. Варианты представлены в диапазоне примерно от 65,4 до 149,2 ГБ, со средней точностью от 1,841 до 4,200 бит на вес. Архитектура исходной модели включает mixture-of-experts, а маршрутизируемые тензоры MXFP4 и тензоры, полученные из FP8, квантизированы с учётом их исходного представления. Другие характеристики исходной модели, включая число параметров, поддерживаемые языки и точный размер контекста, в README не указаны; отмечено лишь наличие очень большого контекстного окна. Доступны варианты XS_IQ1_KT, IQ1_KT, IQ2_KT, IQ2_KS, IQ2_KL, IQ3_KS, IQ3_K и IQ4_KSS. Более крупные варианты обычно обеспечивают лучшее сохранение качества; среди протестированных IQ2_KL показал наилучшие значения perplexity, mean KLD и согласия top-1. IQ2_KT близок по размеру к IQ2_KS, но медленнее на CPU и при гибридном CPU/GPU-запуске. IQ3_KS, IQ3_K и IQ4_KSS в приведённых тестах не оценивались. Файлы требуют свежей сборки ik_llama.cpp с поддержкой специфичных типов тензоров IK IQK и IQT. Стандартные llama.cpp и многие приложения, включая некоторые версии LM Studio, KoboldCpp и text-generation-webui, могут их не загрузить. Необходимо явно задавать размер контекста и оставлять дополнительную память для KV-кэша и служебных буферов. Распространение указано под лицензией MIT.

Карточка модели sultthegreat/falcon-mamba-7b-instruct на Hugging Face совпадает с карточкой tiiuae/falcon-mamba-7b-instruct, поэтому описание составлено по ней. FalconMamba-7B-Instruct — англоязычная авторегрессионная языковая модель TII на архитектуре Mamba с причинным декодером. Она дообучена на инструкционных данных поверх Falcon-Mamba-7B; в метаданных указано 8,9 млрд параметров. Для обучения использовались веб-тексты RefinedWeb, технические материалы, код, математические данные и часть FineWeb-Edu. Модель предназначена для диалогов, выполнения текстовых инструкций и генерации продолжений; работает с текстом и поддерживает генерацию на английском языке. Обучение увеличивало длину контекста с 2 048 до 8 192 токенов. В карточке отмечено, что архитектура Mamba не имеет фиксированного предела дальних зависимостей при инференсе. Для ускорения рекомендуются оптимизированные ядра Mamba; модель также можно запускать в FP16 и 4-битном режиме. Карточка приводит результаты на общих языковых и рассуждательных бенчмарках, включая MMLU, GSM8K и IFEval. Модель выпущена под лицензией TII Falcon-Mamba License 2.0, обозначенной в метаданных как other; перед использованием следует проверить её условия. Карточка описывает преимущественно английское применение и не заявляет специальных возможностей для других языков.

RedHatAI/gemma-2-9b-it-FP8 — языковая модель для генерации текста на основе Google Gemma 2 9B Instruct. Квантованную версию разработала Neural Magic (Red Hat). Модель принимает текст и генерирует текст, ориентирована на диалоговые сценарии и работу в формате ассистента на английском языке. Модель использует архитектуру Gemma 2 и оптимизирована для инференса в формате FP8: в FP8 преобразованы веса и активации линейных операторов внутри трансформерных блоков. Это сокращает число бит на параметр с 16 до 8 и примерно на 50% уменьшает требования к дисковому пространству и памяти GPU. Модель предназначена для запуска с vLLM версии 0.5.1 и выше; в примере развертывания указан максимальный размер контекста 32768 токенов. По данным README, средний результат на OpenLLM Leaderboard v1 составляет 73,49 против 73,23 у исходной неквантованной модели, однако другие показатели качества не приведены. Основное ограничение — заявленная область применения ограничена английским языком; использование на других языках указано как выходящее за рамки назначения. Модель доступна для коммерческого и исследовательского использования по лицензии Gemma; применяются условия Google Gemma.

GLM-5.3-MLX-mixed-4_8bit — сборка модели GLM-5.3 от zai-org, адаптированная PipeNetwork для MLX и Apple Silicon. Это генеративная текстовая модель на архитектуре Mixture-of-Experts glm_moe_dsa с 744 млрд параметров, 256 экспертами и маршрутизацией top-8. В архитектуре используется MLA со sparse attention в стиле DeepSeek-V3.2. Модель предназначена для генерации текста и локального инференса на компьютерах Apple Silicon. Экспертные слои занимают около 724,8 млрд параметров и квантизованы в 4 бита, тогда как attention, общие эксперты, плотные слои, эмбеддинги и lm_head хранятся в 8 битах; маршрутизаторы, нормы и индексатор сохранены в исходной точности. Размер файлов составляет около 427,8 ГБ, для запуска рекомендуется Mac с 512 ГБ оперативной памяти. Сборка использует библиотеку MLX и требует специального runtime-файла glm_moe_dsa.py; указанный README рекомендует запуск через mlx-lm с включённым trust remote code. По измерениям на wikitext-2 модель имеет perplexity 2,7420, что лучше равномерной 4-битной версии, хотя смешанная квантизация требует примерно на 9 ГБ больше места. Основные ограничения — крайне высокие требования к памяти, отсутствие multi-token-prediction layer и возможное снижение качества на контекстах свыше 2048 токенов из-за особенностей sparse indexer; заявленная длина контекста в README не указана. Лицензия — GLM-5.3 license, унаследованная от исходной модели; точные условия приведены в файле LICENSE.

mlx-community/gpt-oss-20b-MXFP4-Q8 — это языковая модель для генерации текста, представленная сообществом mlx-community. Модель конвертирована в формат MLX из openai/gpt-oss-20b с использованием mlx-lm версии 0.27.0. Модель предназначена для сценариев текстовой генерации и запуска через библиотеку mlx-lm, включая диалоговое взаимодействие с применением chat template, если он поддерживается токенизатором. Из README известны размер исходной модели — 20B, формат MLX и обозначение квантования MXFP4-Q8. Сведения о точной архитектуре, поддерживаемых языках, модальностях, размере контекста, результатах оценки, сильных сторонах и ограничениях не указаны. Модель распространяется по лицензии Apache-2.0.

QuantFactory/granite-3.0-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.0-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM ibm-granite/granite-3.0-1b-a400m-instruct. Исходная модель разработана командой Granite в IBM и дообучена на открытых наборах данных для следования инструкциям, а также на внутренних синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для генерации текста и диалоговых сценариев, обработки инструкций, ответов на вопросы, рассуждений, решения математических задач, работы с кодом и задач на понимание текста. В карточке указано около 1 млрд параметров; формат GGUF и квантизация ориентированы на запуск через llama.cpp и использование с ограниченными ресурсами. Поддерживаемые модальности, точный размер контекста и перечень языков в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. В карточке приведены результаты на IFEval, MT-Bench, MMLU, HumanEval, GSM8K, PAWS-X и других тестах, однако они относятся к указанной в метаданных модели Granite-3.0-2B-Instruct, поэтому не должны напрямую интерпретироваться как показатели данной 1B-квантизированной версии. Ограничения включают уменьшенный размер модели и возможное снижение качества из-за квантизации; отдельные характеристики производительности и требования к запуску не указаны.

Keye-VL-2.0-30B-A3B-GGUF — мультимодальная модель семейства Keye, разработанная командой Kwai Keye. Она предназначена для обработки изображений, видео и текста, прежде всего для понимания длинных видеозаписей, временной локализации событий, OCR, анализа диаграмм и таблиц, визуального вопросно-ответного взаимодействия и мультимодального рассуждения. Модель также ориентирована на агентские сценарии: работу с кодом, инструментами, поиском, репозиториями и визуальной самопроверкой. Модель относится к 30B-классу и распространяется в формате GGUF с вариантами квантования BF16, F16, Q8_0 и Q4_K_M. В архитектуре используются разреженное внимание DSA (DeepSeek Sparse Attention), целевая агрегация признаков, параллелизм ViT-LM и оптимизированные вычислительные ядра, что предназначено для эффективной работы с длинными последовательностями. Заявлена поддержка контекста до 256K токенов и анализа видео продолжительностью до часа. В README явно указан английский язык; сведения о полноценной поддержке других языков отсутствуют. Сильными сторонами являются длинноконтекстное понимание видео, точная временная локализация, мультимодальное рассуждение и встроенные возможности для агентских задач. Ограничениями выступают высокие требования к ресурсам: размер файлов варьируется от 29 ГБ для Q8_0 до 58 ГБ для F16, а для работы с длинными видео и контекстом потребуется значительный объём памяти. Условия использования определяются лицензией Apache-2.0.

FineEnvs выпустила чекпойнт LFM2.5-2.6B после 1 000 шагов полного дообучения LiquidAI/LFM2.5-2.6B методом асинхронного GRPO. Модель предназначена для агентных задач анализа данных, где нужно решать задачи в среде с инструментами; обучение и оценка использовали OpenCode, Claude Code, Codex и Mini-SWE-Agent. Это плотная языковая модель с 2,6 млрд параметров и контекстом 131 072 токена. В README указана оценка pass@1 54,2% на 250 задачах SmolDataEnvs, проверенных в четырёх средах, а также на 31,1% меньше вызовов инструментов среди пар задач, решённых и базовой моделью, и чекпойнтом. Модель принимает текст и выдаёт текст; метаданные указывают английский язык и поддержку чата. Результаты получены в одном запуске на конкретном наборе задач и версиях сред; авторы отмечают, что выбор лучшего чекпойнта опирался на этот тестовый набор. Для воспроизведения результатов нужны агентная среда и инструменты, а обычный чатовый запрос не эквивалентен оценке. Веса опубликованы в safetensors; лицензия обозначена в метаданных как other, без уточнения условий в предоставленной карточке.

Bunnycore Llama-3.2-3B-ProdigyPlusPlus — объединённая диалоговая языковая модель на архитектуре Llama, созданная с помощью mergekit методом TIES. В качестве базовой модели README указывает huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли модели Bunnycore для кода, научных рассуждений, длинных рассуждений, ролевого общения и смешанных навыков. Модель предназначена для генерации текста и ответов в чате. Она содержит 3,2 млрд параметров, работает с текстом и имеет заявленный контекст до 131 072 токенов. Метаданные отмечают интерфейс вызова инструментов; фактическое качество этой возможности не описано. Модель опубликована в формате safetensors и использует библиотеку Transformers. В README приведены результаты Open LLM Leaderboard, включая средний балл 6,44, но не дано подробного описания методики или результатов по всем задачам. Сведения о лицензии в предоставленных данных отсутствуют.

MiniCPM4-MCP — диалоговая языковая модель команды MiniCPM, основанная на MiniCPM4-8B и предназначенная для выполнения запросов с помощью MCP-инструментов. Она принимает запрос пользователя и доступные инструменты, выбирает подходящие вызовы и использует их для выполнения задачи. Модель относится к плотной архитектуре MiniCPMForCausalLM, содержит 7,9 млрд параметров и поддерживает контекст до 32 768 токенов. Модель входит в семейство MiniCPM4, разработанное для эффективной работы на устройствах с ограниченными ресурсами. Карточка указывает поддержку китайского и английского языков, интерфейс чата и вызова инструментов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0. Заявленные свойства семейства не гарантируют аналогичную скорость для каждой конфигурации оборудования.

Ministral-3-14B-abliterated-GGUF — GGUF-квантизированные версии модели Ministral-3-14B-abliterated, разработанные jenerallee78 на базе Ministral-3-14B-Instruct-2512 от Mistral AI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, а также для использования в OpenAI-совместимых API-серверах и Ollama. Это мультимодальная модель, принимающая текстовые и графические входные данные. Заявлена поддержка контекста до 256K токенов; язык, указанный в карточке, — английский. Доступны варианты F16 размером около 26 ГБ и Q8_0 размером около 14 ГБ. Для обработки изображений требуется отдельный vision-проектор mmproj-F16 размером около 838 МБ. Версия F16 обеспечивает максимальное качество, а Q8_0 рассчитана на более экономичное использование памяти. Модель подвергнута abliteration — изменению внутренних представлений, направленному на удаление поведения, связанного с отказами в ответах. Это может сделать её более пригодной для исследовательских сценариев, требующих менее выраженных ограничений, но одновременно повышает риски генерации небезопасного или нежелательного контента. Для F16 указано тестирование на NVIDIA RTX PRO 6000 Blackwell с потреблением около 67 ГБ VRAM и скоростью генерации около 20–22 токенов в секунду; показатели Q8_0 обозначены как оценочные или не предоставлены. Лицензия — Apache-2.0; автор также указывает исследовательское и образовательное назначение и ответственность пользователя за соблюдение законодательства и этических норм.