II.6Документация и сопровождение разработки

GLM-4.7-Flash-UD-Q4_K_XL-layers — пакет слоёв GGUF, подготовленный Mesh LLM для распределённого запуска модели GLM-4.7-Flash на локальном кластере. Пакет получен из unsloth/GLM-4.7-Flash-GGUF: веса разделены на артефакты по слоям для распределения вычислений и памяти между несколькими машинами. Модель предназначена для локального приватного чат-инференса, в том числе на нескольких компьютерах, если полный файл GGUF не помещается на одном узле. Mesh LLM позволяет обслуживать запросы через локальный API, совместимый с OpenAI Chat Completions. В метаданных указаны GGUF и возможность chat; задача — генерация текста. Архитектурные подробности, размер контекста и перечень языков следует сверять с карточкой исходной модели. Квантизация варианта обозначена как UD-Q4_K_XL. Пакет ориентирован на запуск через Mesh LLM и сам по себе не описывает качество ответов или аппаратные требования. Условия лицензии наследуются от исходной модели unsloth/GLM-4.7-Flash-GGUF; в доступных данных они не приведены.

Карточка модели cosmicGuy/GLM-5.1 на Hugging Face совпадает с карточкой zai-org/GLM-5.1, поэтому описание составлено по ней. GLM-5.1 — флагманская модель Z.ai для агентной разработки и инженерных задач. Это языковая модель с архитектурой GLM MoE DSA и 30,4 млрд параметров; она доступна в формате safetensors и совместима с Transformers. Модель принимает текст и предназначена для генерации кода, решения задач по разработке программного обеспечения и работы с инструментами в длительных сессиях. GLM-5.1 рассчитана на сложные и неоднозначные задачи: она может разбивать работу на этапы, проводить эксперименты, анализировать результаты и менять стратегию в ходе многократных итераций. Разработчик сообщает о сильных результатах на SWE-Bench Pro, NL2Repo и Terminal-Bench 2.0. Модель поддерживает английский и китайский языки и контекст до 202 752 токенов. Для локального запуска перечислены SGLang, vLLM, xLLM, Transformers и KTransformers. Модель распространяется по лицензии MIT. Описание подчёркивает её возможности в агентных сценариях и бенчмарках, но не приводит независимых оценок качества или гарантий результата; практическая работа с инструментами зависит также от используемой системы запуска.

Карточка модели lrsbrgrn/HalluGuard-Qwen3-4B-GGUF на Hugging Face совпадает с карточкой lrsbrgrn/HalluGuard-Qwen3-4B, поэтому описание составлено по ней. HalluGuard — разработанная авторами модели небольшая рассуждающая языковая модель на 3,7 млрд параметров для проверки утверждений в системах генерации с дополненным поиском (RAG). Получив документ и утверждение, она определяет, подтверждается ли оно документом, и обосновывает ответ выдержками из источника. Предусмотрены три категории: GROUNDED, HALLUCINATED_INTRINSIC и HALLUCINATED_EXTRINSIC. Модель основана на unsloth/Qwen3-4B и дообучена с помощью LoRA и ORPO на синтетическом наборе предпочтений HalluGuard-Preferences-76k. Архитектура — плотная Qwen3ForCausalLM; вход и ответ представлены текстом. Метаданные указывают контекст до 40 960 токенов, тогда как README сообщает окно 32 768 токенов. Модель рассчитана на англоязычные задачи. Лицензия — Apache-2.0.

Mungert/InternVL3-8B-GGUF — GGUF-версия мультимодальной модели InternVL3-8B, созданной командой OpenGVLab. Модель предназначена для обработки текста и изображений, включая визуальное восприятие и рассуждение, анализ промышленных изображений, работу с GUI-агентами, инструментами и задачами 3D-восприятия. В карточке также указана поддержка многоязычных сценариев. Архитектура сочетает vision-компонент InternViT-300M-448px-V2_5 и языковую часть Qwen2.5-7B; общий класс модели — 8B параметров. Эта публикация представляет собой преобразованный формат GGUF, сгенерированный с использованием llama.cpp. Автор применил собственный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что увеличивает размер файла, но, по заявлению автора, может улучшать точность при заданном уровне квантования, особенно на низкой разрядности. Сильными сторонами являются мультимодальность, сочетание визуального анализа с языковым рассуждением и возможность локального использования в экосистеме llama.cpp благодаря формату GGUF. Ограничения включают зависимость качества, размера и требований к ресурсам от выбранного варианта квантования; конкретные поддерживаемые языки, размер контекста и результаты независимого тестирования в карточке не указаны. Для модели указана лицензия Apache-2.0, однако в метаданных также приведена ссылка на лицензию Qwen.

JAIS Family 590M Chat — созданная Inception Institute of Artificial Intelligence двуязычная языковая модель JAIS, дообученная для диалогов на арабском и английском языках. Это плотная авторегрессионная модель с примерно 590 млн параметров и контекстом до 2048 токенов; для загрузки требуется пользовательский класс модели и включение trust_remote_code=True. Модель предназначена для диалоговых помощников и генерации текста, а также может применяться для ответов на вопросы и других языковых задач на арабском и английском. Компактный размер подходит для экспериментов и приложений с ограниченными вычислительными ресурсами; семейство JAIS ориентировано на арабский язык и сохраняет сильные возможности английского. Модель распространяется по лицензии Apache 2.0. Возможны фактические ошибки, предвзятые или оскорбительные ответы; не следует полагаться на неё при принятии высокорисковых решений или использовать для обработки конфиденциальных данных. Разработчик рекомендует не предполагать равное качество для других языков и диалектов.

Ttimms/KAT-Coder-V2.5-Dev-REAP-50-NVFP4-W4A4 — это квантизированная модель для генерации кода и агентных сценариев программирования, разработанная Ttimms на базе Kwaipilot/KAT-Coder-V2.5-Dev и собственного промежуточного чекпойнта KAT-Coder-V2.5-Dev-REAP-50-bf16. Модель предназначена для интерактивной генерации, дополнения и рефакторинга кода, а также задач, связанных с автоматизированной разработкой ПО. В карточке не указаны поддерживаемые языки программирования и размер контекста. В основе используется MoE-архитектура Qwen3.5 с исходными 256 экспертами; после pruning REAP-50 осталось 128 экспертов, также была выполнена перенормировка роутера. Из модели удалена vision tower и 333 необученных тензора. Применена нативная NVFP4-квантизация W4A4: веса и активации представлены в 4-битном формате, что позволяет использовать FP4×FP4 tensor-core kernels на совместимом оборудовании Blackwell. Опубликованный вариант рассчитан прежде всего на запуск через vLLM и требует поддержки соответствующих NVFP4-ядер. По измерениям на RTX 5070 Ti модель показала медианные результаты 93,90% на HumanEval, 89,63% на HumanEval+ и 89,68% на MBPP+. Скорость декодирования составила 14,5 токена/с в eager-режиме и 119,2 токена/с в production-конфигурации PIECEWISE при batch size 1. Сильными сторонами являются компактное 4-битное представление, возможность нативных FP4-вычислений и высокое качество на тестах программирования. Ограничения — зависимость от совместимого оборудования и vLLM, более низкая скорость по сравнению с родственным вариантом NVFP4A16 на указанной конфигурации, а также заметная вариативность результатов между запусками из-за особенностей непрерывной пакетной обработки и FP4-вычислений. Модель распространяется по лицензии Apache-2.0.

KAT-Ornith-Coder-35B-A3B — специализированная гибридная MoE-модель для автономной разработки ПО с агентами вроде OpenHands, Aider и Cline. Она создана слиянием KAT-Coder-V2.5-Dev и Ornith-1.5-35B-A3B методом асимметричного DARE-TIES: модель сохраняет компоненты KAT, отвечающие за токенизацию и маршрутизацию экспертов, и использует параметры Ornith для усиления планирования и работы с контекстом репозитория. Архитектура — Qwen 3.5 MoE с гибридным вниманием; README указывает около 35 млрд параметров всего и около 3 млрд активных на токен, тогда как метаданные каталога сообщают 2,9 млрд параметров. Контекстное окно составляет 262 144 токена. Модель принимает текст, генерирует текст и код, поддерживает диалог и интерфейс вызова инструментов. В карточке заявлены английский и китайский языки. Модель предназначена для агентного программирования: анализа репозиториев, планирования многошаговых изменений, исправления ошибок и работы с инструментами разработки. Среди преимуществ, заявленных авторами, — сочетание планирования с точечными изменениями кода и сохранение синтаксиса вызовов инструментов. Приведённые в README оценки производительности описаны как целевые или ориентировочные, а не как подтверждённые результаты этой модели. Лицензия — Apache-2.0.

LFM2.5-8B-A1B-UltraCoder-L3 — экспериментальная модель для генерации и анализа кода, разработанная Susant-Achary на основе семейства LiquidAI LFM2.5-8B-A1B. Модель дообучалась в два этапа: продолженное предварительное обучение на качественном исходном коде Python из набора openbmb/UltraData-Code и supervised fine-tuning на задачах, включающих условия, рассуждения и решения. Она предназначена для программирования на Python, алгоритмического решения задач, генерации кода и использования в качестве coding assistant. Это причинная языковая модель с разреженной архитектурой Mixture-of-Experts: около 8,3 млрд параметров, из которых примерно 1,5 млрд активируются для каждого токена. Модель содержит 24 слоя и 32 эксперта, при этом для обработки токена активируются 4 эксперта. Заявленная длина контекста составляет 8 192 токена, хотя исходная модель поддерживает до 131 072 токенов. Артефакты совместимы с Hugging Face Transformers и llama.cpp; для локального запуска предоставлен вариант квантования Q4_K_M в формате GGUF. Сильная сторона модели — специализация на задачах программирования и улучшение результатов относительно базовой LFM2.5-8B-A1B в указанных тестах EvalPlus, включая HumanEval, HumanEval+, MBPP и MBPP+. Ограничения включают экспериментальный статус, фокус преимущественно на Python и заявленный контекст 8 192 токена; универсальность за пределами задач кодирования отдельно не подтверждена. В метаданных указана лицензия other, без подробного описания условий использования.

LIMI-Air — агентная языковая модель, разработанная GAIR и дообученная на базе zai-org/GLM-4.5-Air. Она предназначена для диалоговых сценариев, рассуждений и работы с инструментами в агентных приложениях; сообщения подаются в формате OpenAI chat, инструменты можно передавать отдельно. По README, базовая модель содержит около 107 млрд параметров, тогда как метаданные репозитория указывают 8,5 млрд параметров и архитектуру семейства GLM-4 MoE; заявленный контекст составляет 131 072 токена. Карточка описывает обучение на компактных курированных агентных данных GAIR/LIMI и приводит оценку на AgencyBench. Модель рассчитана на более быстрый и менее затратный запуск по сравнению с крупными вариантами LIMI, с возможным снижением качества на сложных задачах. Проверка проводилась на курированных агентных задачах, поэтому результаты могут не переноситься на другие сценарии. Для запуска в README приведены Transformers, vLLM и SGLang. Лицензия репозитория — Apache-2.0.

Fireplace 2 — чат-модель Valiant Labs, дообученная на основе Meta Llama 3.1 8B Instruct для генерации обычных ответов и структурированных результатов. Она предназначена для диалогов, в которых по запросу нужны встроенные вызовы функций, SQL-запросы, JSON-объекты или примеры визуализаций данных с matplotlib; эти форматы можно чередовать с обычным чатом. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. README описывает применение формата чата Llama 3.1 Instruct и дополнительное обучение на наборах данных для вызова функций, SQL и диалогов; в метаданных указан английский язык. Модель может иногда выдавать некорректные структурированные результаты, поэтому их следует проверять перед использованием в производственных сценариях. Репозиторий распространяется по лицензии llama3.1.

Seraphic663 выпустил полно-параметрический чекпойнт текстового ретривера для соревнования CCIR LRAT, дообученный за одну эпоху на базе Qwen/Qwen3-Embedding-0.6B. Модель создаёт нормализованные текстовые эмбеддинги и предназначена для поиска фрагментов, релевантных веб-поисковым запросам. Она использует архитектуру Qwen3 с плотной моделью примерно на 507,6 млн параметров и контекстом до 32 768 токенов; для обучения применялись длины до 128 токенов для запросов и 512 для документов. Основной язык карточки — английский. При обучении использованы только официальные пары LRAT: 96 504 записи, один положительный и пять отрицательных примеров на группу. На локальной диагностике по фиксированному набору из 500 кандидатов указаны Recall@1/5/10 0,672/0,934/0,984 и MRR 0,78037; это не официальные результаты таблицы лидеров BC-Plus. Чекпойнт содержит полные параметры модели и не требует отдельного адаптера при использовании. Файлы опубликованы в формате safetensors, лицензия — Apache-2.0.

Macaron-V1-Preview-749B — предварительная агентная модель MindLab Research, дообученная на GLM-5.1 с помощью MinT. В README она описана как модель класса 749B: база на 744B параметров и пять специализированных LoRA-адаптеров. В метаданных указаны 30,4B параметров и контекст 202 752 токена; архитектура обозначена как GLM MoE DSA, формат весов — SafeTensors. Модель предназначена для многоходовой персональной помощи: планирования, работы с поиском и календарём, вызовов инструментов, задач с кодом и терминалом, а также генерации интерфейсов по протоколу A2UI. README указывает английский и китайский языки. Работа с адаптерами организована через маршрутизатор: базовый адаптер отвечает за общий диалог, а специализированные — за агентные, программные и другие сценарии. Для полного поведения требуется совместимая среда обслуживания с маршрутизацией LoRA, инструментами, состоянием и поддержкой A2UI; простая загрузка одного адаптера не запускает всю агентную систему. Модель выпущена по лицензии MIT. README называет её исследовательским предварительным выпуском и предупреждает, что результаты зависят от инструментов, маршрутизации и рендерера, а длинные задачи ограничены вычислительными ресурсами.

Карточка модели MemTensor/MemOperator-4B на Hugging Face совпадает с карточкой MemTensor/MemOperator-0.6B, поэтому описание составлено по ней. MemOperator-0.6B — компактная причинно-следственная языковая модель MemTensor для операций с памятью в системе MemOS. Она дообучена методом SFT на основе моделей Qwen3 и предназначена для локального развертывания, в том числе в средах без доступа к интернету, с низкими затратами ресурсов и малой задержкой. В метаданных указана связь слияния с Qwen/Qwen3-0.6B, Qwen/Qwen3-1.7B и Qwen/Qwen3-4B; архитектура — плотная decoder-only модель Qwen3 с примерно 507,9 млн параметров. Для этой версии указан контекст до 40 960 токенов. Модель извлекает сведения из диалогов и документов, в том числе составляет краткие сводки фрагментов документов, а также поддерживает кластеризацию и реорганизацию связанных воспоминаний. Карточка заявляет поддержку английского и китайского языков и приводит результаты семейства MemOperator на бенчмарке locomo, но таблица содержит сравнение только версии 4B; переносить эти показатели на версию 0.6B нельзя. Разрешены загрузка через Transformers и использование с vLLM или SGLang; лицензия — Apache-2.0. Разрешение конфликтов и рассуждение об отношениях в README обозначены как находящиеся в разработке.

mentee-embed-v3 — модель для получения плотных векторных представлений текстов, разработанная Syed Syab Ahmad Shah и командой MenteE AI. Она предназначена для поиска по смыслу, сравнения предложений и многоязычного извлечения документов на английском, арабском и урду. Модель содержит 41 млн параметров и построена на 12-слойном Transformer с размерностью эмбеддингов 384. Она обучена с нуля: авторы создали собственный BPE-токенизатор, провели предварительное обучение на более чем 2,1 млн предложений и затем применили контрастивное обучение с подбором трудных отрицательных примеров. Репозиторий использует Transformers и формат safetensors; метаданные указывают контекст до 512 токенов, а README — максимальную длину последовательности 128 токенов. Модель показала результаты выше all-MiniLM-L6-v2 на описанном авторами тесте с небольшим пулом кандидатов, но уступает более крупным многоязычным базовым моделям. Качество ниже на арабском и урду, а на извлечении из Википедии она уступает предобученным конкурентам; полного набора MTEB нет. Лицензия — Apache-2.0.

Это квантованная версия MiMo-V2.6-Distill-Qwen-9B от Xiaomi MiMo, подготовленная FreedomAISVR в формате GGUF MXFP4 для запуска через llama.cpp. Исходная модель — дообученная методом SFT мультимодальная модель на 9 млрд параметров на основе Qwen3.5-9B; репозиторий распространяет её веса в более компактном формате. Модель сочетает слои Mamba-2 и полного внимания, включает визуальный энкодер и поддерживает контекст до 262 144 токенов. Для обработки изображений и видео требуется отдельный файл mmproj. Модель предназначена для агентного программирования и инженерии ПО, работы с инструментами и автоматизацией, анализа интерфейсов и изображений, связанных с кодом, а также задач кибербезопасности. README приводит результаты Xiaomi на кодовых бенчмарках, но они не были независимо проверены для этой сборки. Это исследовательская SFT-модель, представленная как отправная точка для дальнейшего обучения агентному поведению, а не как готовое производственное решение. Лицензия — MIT. К известным ограничениям относятся отсутствие весов MTP, включённый по умолчанию режим рассуждения и высокая потребность в памяти KV-кэша при длинном контексте. MXFP4 снижает точность представления весов; на GPU, отличных от NVIDIA Blackwell, производительность может быть ниже. Данных о поддерживаемых естественных языках в использованных источниках нет.

MiniMind-Rerank-MoE — компактная модель-реранкер на архитектуре Mixture-of-Experts, разработанная авторами MiniMind и дообученная на базе jingyaogong/minimind-3. Она оценивает пару «запрос — документ» как релевантную или нерелевантную, используя вероятность токена «是» как оценку релевантности. Модель предназначена для повторного упорядочивания результатов поиска и отбора документов для систем поиска с дополненной генерацией. Архитектура включает четыре эксперта с маршрутизацией top-1; в README указаны 198 млн общих параметров и 64 млн активных, а метаданные указывают 63,9 млн параметров. Контекст составляет до 32 768 токенов. Модель обучалась три эпохи на 80 тысячах пар T2Reranking. На указанном тесте C-MTEB/T2Reranking она показала MAP@10 0,604 и точность классификации 88%; авторы рекомендуют Dense-версию для ранжирования, поскольку у неё MAP@10 заметно выше. Поддерживаются китайский и английский языки. Лицензия — Apache-2.0.

Это мультиязычная модель Cross-Encoder семейства XLM-RoBERTa, дообученная авторами Sentence Transformers на MMARCO — автоматически переведённой на 14 языков версии датасета MS MARCO. Модель основана на mMiniLMv2-L12-H384, содержит 124,3 млн параметров и рассчитана на последовательности длиной до 514 токенов. Модель предназначена для повторного ранжирования результатов информационного поиска: она получает запрос и отдельный найденный фрагмент текста, оценивает их релевантность, после чего фрагменты можно отсортировать по оценкам. Подходит для этапа reranking после первичного поиска, например, в поисковой системе или конвейере RAG. Карточка отмечает поддержку 14 языков и сообщает, что модель также хорошо показала себя на других языках. Доступна в форматах PyTorch, Safetensors, ONNX и OpenVINO; для использования предусмотрена библиотека Sentence Transformers. Лицензия — Apache-2.0. Обучение на машинных переводах MS MARCO может ограничивать качество на языках и типах запросов, отличающихся от обучающих данных.

along26/mpnet-base-manglish-triplet — текстовая Sentence Transformer-модель, созданная дообучением microsoft/mpnet-base разработчиком along26 на триплетах Manglish. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения текстов по косинусному сходству. Подходит для поиска семантически близких текстов, выявления перефразирований, кластеризации и классификации текстов на основе эмбеддингов. Модель основана на MPNet и использует усреднение токенных представлений; максимальная длина последовательности — 512 токенов (514 нативных токенов по метаданным). В карточке указан английский язык. Опубликована в формате safetensors, использует библиотеку Sentence Transformers и распространяется по лицензии Apache-2.0. В README для оценки на manglish-dev и manglish-test приведена точность cosine_accuracy 0.0, поэтому качество на этих наборах вызывает сомнения; перед применением следует проверить модель на целевых данных.

Это пакет Mesh LLM с квантованной моделью Nemotron-3-Nano-30B-A3B в формате GGUF Q4_K_S, разделённой на артефакты по слоям. Его подготовила команда Mesh LLM на основе unsloth/Nemotron-3-Nano-30B-A3B-GGUF для распределённого инференса на локальном кластере: части модели можно разместить на нескольких машинах, если она не помещается на одном узле. Модель предназначена для генерации текста и диалогов через Mesh LLM, в том числе для локального приватного запуска и работы через совместимый с OpenAI API интерфейс чата. Пакет сохраняет исходное разделение GGUF и облегчает распределение вычислений между узлами. Подробности об архитектуре, размере, языках и лицензии следует сверять с карточкой исходной модели; в предоставленных данных этих характеристик нет.

sentence-transformers/nli-roberta-base — модель sentence-transformers, обученная командой Sentence Transformers. Она основана на RoBERTa и преобразует предложения и абзацы в плотные векторы размерности 768 для семантического поиска, сравнения сходства и кластеризации. Модель содержит 151,8 млн параметров, принимает текст и имеет контекстное окно 514 токенов. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO; лицензия — Apache 2.0. Модель устарела: авторы предупреждают о низком качестве получаемых эмбеддингов и рекомендуют выбрать более современные модели Sentence Transformers. Она подходит для существующих систем, которым нужна совместимость с этим чекпойнтом, но для новых задач семантического поиска или кластеризации качество следует оценить отдельно.

OpenCodeInterpreter-CL-70B — модель для генерации кода из семейства OpenCodeInterpreter, разработанного как система для интеграции языковых моделей с выполнением кода и итеративным уточнением результатов. Эта версия основана на CodeLlama-70b-Python-hf и использует плотную архитектуру LlamaForCausalLM с 68,7 млрд параметров. Модель предназначена для генерации и интерпретации кода в диалоговом формате. Подход OpenCodeInterpreter предполагает использование обратной связи от выполнения кода для улучшения результатов; README приводит сравнение семейства на HumanEval и MBPP. В карточке этой конкретной версии заявлено окно контекста 16 384 токена, указана поддержка английского языка и формат весов safetensors. Модель может применяться для помощи в программировании и создания фрагментов кода. Лицензия Apache-2.0 разрешает использование и распространение на её условиях. Приведённые в README результаты относятся к семейству и не дают отдельной оценки этой версии 70B; выполнение кода и получение обратной связи требуют соответствующей внешней среды.

Карточка модели luganoquant/OpenThinkerAgent-32B на Hugging Face совпадает с карточкой open-thoughts/OpenThinkerAgent-32B, поэтому описание составлено по ней. OpenThinkerAgent-32B — модель агентного программирования, созданная проектом OpenThoughts. Она дообучена полнопараметрическим SFT на базе Qwen/Qwen3-32B с использованием 100 тысяч примеров OpenThoughts-Agent-SFT-100K. Модель имеет плотную архитектуру Qwen3ForCausalLM и 29,7 млрд параметров; в репозитории представлены веса safetensors. Контекст составляет до 40 960 токенов. Модель предназначена для диалоговой работы над задачами разработки ПО и выполнения многошаговых агентных сценариев, включая работу в терминале и решение задач из SWE-Bench. В README приведены результаты оценки в terminus-2 и на семи агентных бенчмарках; для SWE-Bench-Verified указана точность 54,0, а для Terminal-Bench 2.0 — 26,2. Метаданные отмечают поддержку чата и кода. Данных о мультимодальном вводе или выводе нет. Модель унаследовала языковые возможности Qwen3-32B, но карточка не перечисляет конкретные естественные языки. Обучающая выборка включает траектории агентов из SWE-Smith, StackExchange SuperUser, StackExchange Tezos и IssueTasks. Модель распространяется по лицензии Apache-2.0.

Карточка модели schwyzquants/OpenThinkerAgent-32B на Hugging Face совпадает с карточкой open-thoughts/OpenThinkerAgent-32B, поэтому описание составлено по ней. OpenThinkerAgent-32B — модель агентного программирования, созданная проектом OpenThoughts. Она дообучена полнопараметрическим SFT на базе Qwen/Qwen3-32B с использованием 100 тысяч примеров OpenThoughts-Agent-SFT-100K. Модель имеет плотную архитектуру Qwen3ForCausalLM и 29,7 млрд параметров; в репозитории представлены веса safetensors. Контекст составляет до 40 960 токенов. Модель предназначена для диалоговой работы над задачами разработки ПО и выполнения многошаговых агентных сценариев, включая работу в терминале и решение задач из SWE-Bench. В README приведены результаты оценки в terminus-2 и на семи агентных бенчмарках; для SWE-Bench-Verified указана точность 54,0, а для Terminal-Bench 2.0 — 26,2. Метаданные отмечают поддержку чата и кода. Данных о мультимодальном вводе или выводе нет. Модель унаследовала языковые возможности Qwen3-32B, но карточка не перечисляет конкретные естественные языки. Обучающая выборка включает траектории агентов из SWE-Smith, StackExchange SuperUser, StackExchange Tezos и IssueTasks. Модель распространяется по лицензии Apache-2.0.

Provence-reranker-debertav3-v1 — модель Naver Labs Europe для отбора релевантного контекста в системах поиска и генерации с дополнением контекста (RAG). Она принимает вопрос и найденный фрагмент текста, оценивает релевантность предложений и удаляет предложения, не относящиеся к вопросу. Модель также сохраняет возможность ранжировать фрагменты по релевантности. Модель основана на DeBERTav3-reranker, дообученном на базе DeBERTa-v3-large, и содержит 533,8 млн параметров по метаданным Hugging Face. Она совместно кодирует предложения фрагмента, что помогает учитывать связи между ними, и автоматически выбирает предложения для сохранения по пороговому значению. Заявленный предел контекста — 512 токенов. Модель рассчитана на английский язык и может использоваться перед любой LLM для сокращения контекста и снижения шума при ответах на вопросы. В README сообщается о проверке на наборах из разных областей и о сохранении качества ответов при удалении нерелевантных предложений; результат зависит от порога сжатия и конкретного сценария. Лицензия в метаданных — CC BY-NC-ND 4.0; README также указывает CC BY-NC-ND 4.0, несмотря на упоминание ShareAlike в тексте названия лицензии.

andrzejmontano/Qwen3.5-9B-MTP-Mixed-8bit — мультимодальная модель семейства Qwen3.5 на 9 млрд параметров, подготовленная автором репозитория как смешанно-квантованная версия Qwen/Qwen3.5-9B. Она предназначена для диалога и задач «изображение—текст», включая анализ изображений и видео. Архитектура включает 32 слоя с чередованием линейного SSM-подобного внимания и полного внимания, 27-блочный визуальный трансформер и голову предсказания нескольких токенов. Модель принимает текст, изображения и видео, а выдаёт текст; в метаданных заявлены английский язык, чат и интерфейс вызова инструментов. Для экономии памяти до 8 бит квантованы только проекции MLP языковой части с размером группы 64; визуальный блок, механизмы внимания, эмбеддинги и голова MTP сохранены в BF16. Репозиторий использует формат MLX и safetensors, модель рассчитана на эффективный локальный инференс на совместимой платформе. Автор предупреждает о возможном небольшом ухудшении качества на отдельных случаях относительно BF16. Для сохранения MTP-ключей при загрузке через стандартный mlx-vlm требуются патчи из скрипта; README рекомендует oMLX. Лицензия — Apache-2.0.

Dzluck опубликовал GGUF-сборку Qwen3.5 Claude Coder — дообученной модели для автономной работы в Claude Code в роли агента-программиста и системного администратора. Репозиторий содержит варианты на 4 и 9 млрд параметров; карточка указывает базовую модель Qwen/Qwen3.5-9B. Модель рассчитана на контекст до 64 тыс. токенов, диалог и вызов инструментов через совместимый с Anthropic API. Она предназначена для локальных задач с кодом, файлами, диском и сетью: README подчёркивает выполнение действий через инструменты и опору на их фактический вывод. Указана лицензия Apache-2.0. Заявления о качестве и скорости основаны на тестировании автора на компьютерах Apple Silicon через Ollama; приведённые результаты не являются независимой оценкой.

Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, опубликованная пользователем minte1431. В README также упоминается проект OBLITERATUS, однако точный разработчик модификации явно не указан. Модель представляет собой вариант Qwen с изменённым поведением отказов, созданный методом abliteration: из весового пространства удалялись направления, связанные с отказами и защитными ответами, с последующей итеративной доработкой и смешиванием нескольких вариантов. Модель предназначена для генерации текста, программного кода, агентских сценариев и исследований поведения LLM в задачах red teaming и AI safety. Заявлена поддержка обычного и thinking-режима, а также форматов GGUF, Safetensors и MLX. Размер модели — 27B параметров; базовая архитектура — Qwen3.8. Сведения о языках и размере контекстного окна в README не указаны. Для инференса рекомендуются температура 0, repetition_penalty 1.15 и не менее 2048 новых токенов; системный промпт рекомендуется не задавать. Сильной стороной заявляется существенно сниженная склонность к отказам и отвлечённым лекциям по безопасности при сохранении большей части возможностей базовой модели. Для версии V3 указаны результаты MMLU 82,3% против 84,5% у исходной модели, а также успешное выполнение 20 из 20 проверенных задач генерации кода. Ограничениями являются некоторое падение качества относительно базовой Qwen3.8-27B, возможные циклы при генерации без repetition_penalty и необходимость аккуратной настройки параметров в агентских сценариях. Лицензия — Apache-2.0.

Qwen3.8-Flash-Next Q4_0-Q8out-v3 — это GGUF-чекпойнт модели Qwen3.8-Flash-Next, опубликованный nitinpanj и предназначенный для локального запуска на компьютерах Apple Silicon. Модель ориентирована на генерацию текста и диалоговые сценарии через llama.cpp и OpenAI-совместимый сервер. Архитектура использует mixture-of-experts, а чекпойнт оптимизирован для потоковой загрузки редко используемых экспертных весов с SSD, благодаря чему модель размером около 95,5 ГиБ может запускаться на Mac с 64 ГиБ unified memory. Вариант v3 сочетает квантование Q4_0 с Q8_0 для output.weight и дополнительными изменениями квантования отдельных групп тензоров. По данным README, это снизило perplexity с 5,2777 до 4,3148 и повысило принятие черновых токенов при speculative decoding с 0,751 до 0,817. При использовании отдельной draft head объёмом около 1,9 ГиБ заявлена скорость генерации примерно 27,6 токена в секунду на Apple M5 Pro с 64 ГиБ памяти; без неё — около 18,0–18,6 токена в секунду. В конфигурации запуска указан контекст 98 304 токена, при этом скорость снижается по мере заполнения контекста. Главное ограничение — модель не работает со стандартной версией llama.cpp: требуется форк npanj/llama.cpp с поддержкой --moe-stream и сборкой Metal. Рекомендуется около 100 ГиБ свободного места на внутреннем SSD, поскольку экспертные веса постоянно считываются с диска; внешний USB-накопитель будет существенно медленнее. Ниже 64 ГиБ памяти запуск не проверен и, вероятно, потребует уменьшения кэша с потерей скорости. Лицензия в README не указана.

QuantFactory/Qwen3-Reranker-0.6B-GGUF — квантизированная версия модели Qwen3-Reranker-0.6B, созданная QuantFactory с использованием llama.cpp на основе Qwen/Qwen3-0.6B-Base. Это текстовая reranking-модель для переоценки и сортировки найденных документов по их релевантности запросу, прежде всего в системах поиска, retrieval-augmented generation, вопросно-ответных приложениях, классификации и других сценариях работы с текстом. Модель содержит около 0,6 млрд параметров, имеет 28 слоёв и поддерживает контекст длиной до 32K токенов. Она рассчитана на работу более чем со 100 языками, включая различные языки программирования, и предназначена для многоязычного, кросс-языкового и поиска по коду. Модель поддерживает пользовательские инструкции, которые можно адаптировать под конкретную задачу, язык или сценарий; для многоязычных задач рекомендуется формулировать инструкции на английском языке. К сильным сторонам относятся компактный размер, многоязычность, поддержка длинного контекста и возможность уточнять ранжирование с помощью инструкций. К ограничениям относятся специализация именно на переранжировании, необходимость совместного использования с этапом первичного поиска в типичной retrieval-системе и возможные особенности совместимости, связанные с квантизированным форматом GGUF и используемым программным обеспечением. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Instruct-MLX-4bit — это 4-битная квантованная версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и mlx_vlm; модель оптимизирована для работы на компьютерах Apple Silicon. Модель предназначена для задач преобразования изображений и текста в текст, включая обработку визуально-текстовых запросов и работу в формате инструкций. Она относится к классу vision-language моделей и поддерживает взаимодействие с изображениями и текстом. Известный размер исходной модели — 4B параметров; сведения о поддерживаемых языках и максимальной длине контекста в представленном README не указаны. Ключевое преимущество версии — снижение требований к памяти и вычислительным ресурсам благодаря 4-битному квантованию, а также оптимизация для экосистемы Apple Silicon. Квантование может сопровождаться некоторым снижением точности по сравнению с исходной моделью, однако конкретные результаты в README не приведены. Модель распространяется по лицензии Apache-2.0.