II.4Отладка, тестирование и качество ПО

Spark-X2.5-4B-ASHQ1-GGUF — выпущенная wepiqx версия модели Spark-X2.5-4B в формате GGUF с квантованием ASHQ1 и калибровкой imatrix. Это плотная decoder-модель архитектуры spark2_5 примерно на 4,1 млрд параметров с 36 блоками, группированным многозапросным вниманием и чередованием полных и скользящих окон внимания. Нативный контекст базовой модели — до 1 млн токенов. Модель предназначена для диалога и генерации текста; базовая Spark-X2.5-4B также рассчитана на код, рассуждения, перевод и агентные сценарии. Репозиторий содержит варианты квантования разного размера: автор рекомендует ASHQ1 на 4000 MiB, для которого указано небольшое ухудшение perplexity относительно Q8_0 при экономии места. Приведённые измерения сделаны на сыром тексте без шаблона чата, а сам автор считает сравнение предварительным. Модель работает в llama.cpp со штатной поддержкой архитектуры spark2_5. Указана лицензия Apache-2.0. README описывает главным образом процесс квантования и результаты теста perplexity, а не отдельные оценки качества на прикладных задачах.

Bagel DPO 8x7B v0.2 — экспериментальная модель-ассистент, созданная jondurbin дообучением Mixtral 8x7B v0.1: сначала применялось обучение на инструкциях (SFT), затем оптимизация предпочтений DPO. Это языковая модель архитектуры Mixtral с разреженной экспертной структурой MoE, примерно 7,1 млрд параметров и контекстом до 32 768 токенов; поддерживает диалоговую генерацию текста. Для обучения использовались данные по вопросам и ответам, математике, программированию, чтению, диалогам, ролевым сценариям и другим задачам. Модель рассчитана на общие запросы к ассистенту, написание текстов, ответы на вопросы и помощь с кодом. В карточке приведены ограниченные результаты сравнительных проверок, но автор не проводил комплексную оценку. Автор отмечает, что модель унаследовала от базовой Mixtral склонность отказывать в части запросов, несмотря на использование данных для снижения цензурирования. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache-2.0.

Droplychee Small 1B v1 — компактная языковая модель для генерации текста, разработанная droplychee-core как дообучение GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking. Модель использует плотную архитектуру Llama и содержит 837,6 млн параметров; заявленная длина контекста — 131 072 токена. Модель подходит для диалогов, следования инструкциям и сценариев с вызовом инструментов. В качестве основы использована модель MiniCPM5, предназначенная для диалогов, вызова инструментов и программирования. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0; при дообучении использовались Unsloth и библиотека TRL.

Granite-4.0-350M-Base — компактная базовая языковая модель IBM Granite Team, обученная с нуля для генерации текста при ограниченных вычислительных ресурсах. Она предназначена для локального и офлайн-применения, в том числе на смартфонах и IoT-устройствах, а также для дообучения под специализированные задачи. Модель имеет плотную decoder-only архитектуру трансформера GraniteMoeHybridForCausalLM с GQA, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Она содержит 352,3 млн параметров, поддерживает контекст до 32 768 токенов и дополнение кода по схеме Fill-in-the-Middle. В карточке указана поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Модель подходит для суммаризации, классификации и извлечения информации, ответов на вопросы и дополнения кода. Она выпущена под лицензией Apache 2.0. Модель не прошла выравнивание по безопасности и может выдавать предвзятые, ошибочные или проблематичные ответы; для небольших моделей также отмечен риск воспроизведения фрагментов обучающих данных.

Llama 3.1 Tulu 2 DPO 8B — англоязычная диалоговая модель-помощник, разработанная Ai2 и дообученная на базе allenai/llama-3.1-tulu-2-8b. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Веса опубликованы в формате safetensors. Модель предназначена для диалогов и выполнения разнообразных инструкций: она прошла дополнительное выравнивание методом DPO на данных UltraFeedback после дообучения на смеси открытых, синтетических и созданных людьми данных Tulu. Её можно применять для ответов на вопросы, написания текстов и решения задач по инструкциям на английском языке. Модель не проходила этап RLHF, ориентированный на безопасные ответы, и не использует фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; в карточке также указана лицензия Meta Llama 3.1 Community License для базовой модели.

Llama-3.1-Tulu-3-8B-GGUF — текстовая генеративная модель, созданная Allen Institute for AI (AI2) на базе Llama 3.1 Tulu 3 8B. Она предназначена для генерации текста и решения разнообразных задач, включая сценарии, где важны высокая производительность и работа с длинным контекстом. Модель доступна в формате GGUF для использования через llama.cpp и совместимых приложений, включая LM Studio. Модель содержит 8 млрд параметров, поддерживает контекст длиной до 128 тысяч токенов и, согласно карточке, ориентирована на английский язык. Исходная модель, а также данные, код и рецепты обучения заявлены как полностью открытые. GGUF-квантизация выполнена bartowski на основе llama.cpp b4132; конкретные варианты квантизации в README не указаны. Модель распространяется по лицензии llama3.1. README не содержит подробных результатов бенчмарков, сведений о дополнительных модальностях или точных ограничениях качества, поэтому её возможности следует оценивать с учётом возможных неточных или неподходящих ответов генеративной модели.

MasherAI-7B-v5 — языковая модель для генерации текста и диалогов, собранная разработчиком mahiatlinux с помощью LazyMergekit. Это слияние методом slerp моделей mahiatlinux/MasherAI-7B-v4 и teknium/OpenHermes-2.5-Mistral-7B; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и предназначена для чат-сценариев и генерации текста. Модель может быть полезна для ведения диалогов, ответов на вопросы и помощи с кодом — эти возможности связаны с базовой моделью OpenHermes-2.5-Mistral-7B. В карточке MasherAI-7B-v5 отдельные языки, специальные области применения и подробные ограничения не описаны. Модель распространяется в формате safetensors; сведения о лицензии в предоставленных источниках отсутствуют.

MiniCPM5-2B-RotSVDMix — это сжатая и квантизованная версия языковой модели openbmb/MiniCPM5-2B, опубликованная ewin-reg. Модель предназначена для генерации текста, диалоговых сценариев, написания и анализа кода, суммаризации и запуска на устройствах с ограниченными ресурсами, включая мобильные и периферийные устройства. Поддерживаются английский и китайский языки; модель относится к текстовым causal language models и поставляется в формате SafeTensors. Модель содержит около 2 миллиардов параметров и основана на 42 слоях трансформера. Благодаря сочетанию ортогонального вращения, низкорангового SVD и квантизации ExTernD она занимает 1 985 213 632 байта, то есть менее 2 ГБ. Заявлена совместимость с PyTorch, Hugging Face Transformers, vLLM и TGI без необходимости компиляции специализированного C++-рантайма. Длина контекста в README не указана. На тестовой выборке WikiText-2 модель показала perplexity 20,92 против 20,46 у базовой FP16-версии, что соответствует ухудшению примерно на 2,25%. Косинусное сходство логитов с базовой моделью составило 98,70%, совпадение наиболее вероятного токена — 96%, а пересечение пяти наиболее вероятных токенов — 100% на ограниченном наборе из 25 промптов. Эти результаты указывают на хорошее сохранение поведения исходной модели при существенном уменьшении размера, однако качество может зависеть от задачи, языка и входных данных; заявленные измерения не заменяют полноценную оценку прикладных сценариев. Модель распространяется по лицензии Apache 2.0.

NVIDIA Nemotron-3-Nano-4B-GGUF — это квантизированная версия языковой модели NVIDIA Nemotron-3-Nano-4B, подготовленная bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Указан английский язык; поддержка других языков и мультимодальность не заявлены. Модель имеет около 4 миллиардов параметров в исходной версии и поставляется в вариантах от BF16 до Q2_K_L, включая Q4_K_M, Q5_K_M и Q6_K_L. Квантизация позволяет сократить требования к памяти и запускать модель на локальных устройствах, однако более компактные варианты могут заметно уступать по качеству исходным весам. В README не указаны архитектура, размер контекста, точные показатели производительности и системные требования. Приведён формат промпта с ролями system, user и assistant, а также началом блока рассуждений. При обучении исходной модели использовались наборы данных NVIDIA, охватывающие общие тексты, научные материалы, следование инструкциям, агентные сценарии, календарное планирование, структурированный вывод, математику и соревновательное программирование. Лицензия указана как NVIDIA Nemotron Open Model License; условия следует уточнять в официальном тексте лицензии NVIDIA. Модель подходит для локальной генерации текста, диалоговых приложений, задач следования инструкциям, программирования, математических и агентных сценариев, но конкретные возможности следует проверять для выбранной квантизации.

Occiglot-7B-DE-EN-Instruct — генеративная языковая модель с открытыми весами, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров, настроенный на выполнение инструкций на английском и немецком языках. Модель также обучалась на инструкциях, связанных с кодом. Модель подходит для диалогов, ответов на инструкции и генерации текста на английском и немецком языках. Она обучена в формате ChatML, а её контекстное окно составляет 32 768 токенов. Это первая версия исследовательского проекта Occiglot; авторы отмечают, что результаты оценки предварительные, а часть неанглоязычных тестов основана на машинном переводе. Модель не проходила выравнивание по безопасности и может выдавать проблемные ответы. Для использования предоставлены веса в формате safetensors; лицензия — Apache 2.0.

Ornith-1.5-35B-Uncensored-YMQ-MTP-GGUF — это набор архитектурно-ориентированных квантованных сборок модели Ornith-1.5-35B-A3B-Uncensored, разработанной 0xKitkat. Квантование выполнено проектом ZeroDigest с использованием собственного YMQ-Compiler v2.0 и формата GGUF на основе исходных BF16-файлов. Модель использует архитектуру Mixture-of-Experts (MoE) и предназначена для локального запуска, в том числе в агентских средах RooCode и Aider, а также для генерации текста и задач программирования. Доступны варианты XS, S, M и L размером примерно от 11,5 до 18,6 ГБ, рассчитанные на разные объёмы видеопамяти; вариант M обозначен как рекомендуемый для сценариев с большим контекстом. В описании приведены результаты оценки perplexity на WikiText-2 при окне контекста 4096 токенов: лучший показатель заявлен для варианта M — 12,4310. Архитектурно-ориентированное распределение разрядности призвано лучше сохранять маршрутизацию экспертов и качество рассуждений по сравнению с равномерным квантованием. Ограничения включают зависимость качества и требований к памяти от выбранного пресета, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, максимальном контексте в рабочем режиме и фактической скорости инференса. Модель обозначена как uncensored, поэтому её поведение и защитные ограничения могут отличаться от стандартных инструкционных моделей. Репозиторий распространяется по лицензии Apache-2.0.

Qwen3-4B-INT8-INT4 — квантизированная версия языковой модели Qwen3-4B, разработанной Alibaba Cloud и обработанной командой PyTorch с использованием torchao. Это авторегрессионная модель для генерации текста, диалогов, работы с кодом и математическими задачами; заявлена поддержка многоязычных сценариев. Модель предназначена для локального и мобильного развертывания, в частности через ExecuTorch. Ключевая особенность — схема квантизации INT8-INT4: эмбеддинги используют 8-битные веса, динамические активации представлены в 8 битах, а линейные слои используют 4-битные веса. Размер базовой модели — 4 млрд параметров. Предоставляемый файл model.pte экспортирован с максимальной длиной последовательности и контекстом 1024 токена; этот параметр можно изменить повторным экспортом. На iPhone 15 Pro заявлена скорость около 14,8 токена в секунду при использовании примерно 3379 МБ памяти. Сильные стороны модели — уменьшенные требования к памяти и возможность запуска на мобильных устройствах при сохранении назначения исходной Qwen3-4B для диалогов, генерации текста, кода и решения математических задач. Ограничениями являются возможная потеря качества из-за квантизации, ограничение предоставленной сборки контекстом 1024 токена и зависимость мобильного запуска от ExecuTorch и совместимого устройства. В README приведена лицензия MIT; подробные результаты бенчмарков отсутствуют.

tvall43/Qwen3.5-14B-A3B-Claude-4.6-Opus-Reasoning-Distilled-reap-gguf — GGUF-версия экспериментальной текстовой reasoning-модели, разработанной tvall43 на базе Qwen3.5 и дообученной с использованием дистилляции цепочек рассуждений, связанных с Claude-4.6 Opus. Модель предназначена для офлайн-аналитики, программирования, математики, планирования и других задач, где важны пошаговое решение и структурированный анализ. Она обучалась в формате с блоками <think> и итоговым ответом, однако README не гарантирует, что внутренние рассуждения всегда будут корректно или безопасно отображаться пользователю. В описании указана MoE-архитектура Qwen3.5 с конфигурацией 35B-A3B, тогда как идентификатор модели содержит 14B-A3B; точные характеристики GGUF-квантизации и итоговый размер файла не приведены. Указано текстовое назначение, языки Chinese, English и Korean, а также контекстное окно 8192 токена. Обучение выполнялось с SFT и LoRA при помощи Unsloth, с использованием отфильтрованных наборов данных по reasoning-дистилляции. Сильные стороны модели — структурированное пошаговое мышление и ориентация на сложные логические задачи. Ограничения включают риск галлюцинаций, экспериментальный статус, возможные проблемы совместимости и нестабильность инструментальной экосистемы; приведённые тесты также показывают неоднозначные результаты на генерации HTML-игры и сценарии с автомобилем. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-MLX-8bit — это 8-битная сборка модели Qwen3.8-Flash-Next, разработанная PipeNetwork для работы через MLX на компьютерах с Apple Silicon. Модель предназначена прежде всего для генерации текста, включая программирование, ответы на запросы и другие сценарии текстового вывода. В текущем runtime поддерживается только текстовый режим, хотя в составе checkpoint присутствует vision tower. Модель использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts-структурой: всего около 125 млрд параметров, из которых примерно 6 млрд активируются на токен (125B-A6B). Также используется hashed n-gram embedding объёмом около 51 млрд параметров. Контекст и поддерживаемые языки в README не указаны. Модель преобразована в формат MLX и занимает около 192,2 ГБ на диске; большая часть весов квантована в 8 бит, отдельные управляющие компоненты и vision tower сохранены в bfloat16. 4B multi-token-prediction head не включён. По данным README, 8-битная версия сохраняет качество, статистически неотличимое от исходной bfloat16-модели на тесте wikitext-2, при существенно меньшем размере. Ограничения включают очень высокие требования к памяти, необходимость собственного runtime с поддержкой удалённого кода и привязку к экосистеме Apple Silicon и MLX. Лицензия — Qwen Community License 1.0.

Qwen3-VL-30B-A3B-Instruct — мультимодальная модель семейства Qwen3-VL, представленная Unsloth как репозиторий весов с исправлениями шаблона чата. Она предназначена для диалога по изображениям и видео, визуального распознавания, OCR, пространственных рассуждений и взаимодействия с графическими интерфейсами через инструменты. Также поддерживает генерацию текста и решение задач STEM и математики с опорой на визуальные данные. Модель использует архитектуру Qwen3-VL MoE и распространяется в формате safetensors. В README указано контекстное окно 256 тыс. токенов с возможностью расширения до 1 млн. Заявлена поддержка OCR на 32 языках, однако их перечень в предоставленных данных отсутствует. Лицензия — Apache-2.0. В README описаны сильные стороны в понимании видео с временными метками, разборе длинных документов и мелких визуальных деталей, а также в работе с интерфейсами и пространственными отношениями. Эти заявления не сопровождаются приведёнными в карточке результатами тестирования; фактическое качество может зависеть от сценария и конфигурации запуска.

Soniox-7B-v1.0 — языковая модель Soniox для диалогов и генерации текста. Она построена на архитектуре Mistral и основана на Mistral 7B, дополнительно прошла предварительное обучение и дообучение для решения задач и ответов на вопросы. В карточке заявлена поддержка английского языка и кода; модель содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов по метаданным. Модель можно использовать для диалоговых интерфейсов, генерации текста и помощи с кодом. Автор README заявляет сопоставимость с GPT-4 на некоторых бенчмарках, но не приводит их названия или результаты, поэтому это утверждение не позволяет оценить качество для конкретных задач. Модель доступна в формате safetensors и совместима с Transformers; для развёртывания также упоминаются vLLM и другие варианты. Лицензия — Apache 2.0. README указывает контекст 8K, тогда как метаданные каталога дают native context 32 768 токенов; это расхождение следует учитывать при выборе длины входа.

Baichuan2-7B-Chat-4bits — 4-битная квантованная чат-модель семейства Baichuan 2, разработанного Baichuan Intelligence. Это плотная авторегрессионная языковая модель на 7 млрд параметров для диалогов и генерации текста на китайском и английском языках. Модель обучена на корпусе объёмом 2,6 трлн токенов; доступный контекст составляет 4096 токенов. Модель предназначена для ответов в чате, генерации текста и решения общих языковых задач, включая сценарии в областях права, медицины, математики, программирования и перевода. В README отмечены результаты оценки на китайских и англоязычных бенчмарках. Для запуска требуется PyTorch 2.0 или новее. Для академического использования модель открыта. Коммерческое использование требует соблюдения Apache 2.0 и специального соглашения сообщества Baichuan 2, включая получение официального разрешения; для него также указаны ограничения по масштабу и типу организации. Модель может ошибаться или давать небезопасные ответы; авторы предупреждают о необходимости проверки соответствия применимым требованиям и безопасности сервисов.

Bonsai-27B-antidoom-1bit-DSpark — текстовая генеративная модель, разработанная на базе Bonsai-27B от prism-ml с применением метода antidoom от Liquid4All и ускорения DSpark от PrismML. Модель предназначена для генерации текста, включая программный код, а также поддерживает работу с изображениями через поставляемый vision projector. Указанный язык — английский. Это гибридная attention-модель Qwen3.5 с 27 млрд параметров, квантованная в 1-битный формат GGUF Q1_0 с показателем 1,125 бит на вес при группировке g128. В комплект входят основная модель размером около 4,5 ГБ, DSpark-драфтер в формате Q4_1 и vision projector в формате Q8_0. Для запуска требуется форк llama.cpp от PrismML с CUDA и поддержкой специальных Q1_0-ядер гибридного внимания; протестированная конфигурация использует одну RTX 5090 с 32 ГБ памяти. Контекст в приведённой конфигурации составляет 16 384 токена. Antidoom — это FTPO-настройка, направленная на снижение зацикливания и повторов: модель обучалась предпочитать связное продолжение вместо продолжения повторяющегося цикла. При этом агрессивное 1-битное квантование частично ослабляет эффект LoRA, поэтому он сильнее проявляется при более высокой точности. DSpark ускоряет генерацию на задачах с высокой долей принятых черновых токенов, однако на обычной прозе с низкой долей принятия может работать медленнее нативного режима. Лицензия модели — Apache-2.0.

Shuu12121 выпустил модель Sentence Transformers на основе ModernBERT, дообученную на парных текстовых примерах. Она кодирует предложения и абзацы в плотные векторы размерностью 512 для сравнения косинусным сходством, семантического поиска, поиска перефразировок, кластеризации и классификации текста. Модель рассчитана на задачи поиска и сопоставления текстов, в том числе фрагментов кода; обучающий набор содержит 58 800 пар, а функция потерь — MultipleNegativesRankingLoss. Модель содержит 40,5 млн параметров. В README указана максимальная длина последовательности 1024 токена, тогда как метаданные каталога сообщают о 8192 токенах нативного контекста; фактическая длина зависит от используемой конфигурации. Веса опубликованы в формате safetensors, для работы используется библиотека sentence-transformers. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Flash-0731-ds4-GGUF — набор квантизированных сборок финальной версии DeepSeek-V4-Flash от DeepSeek, подготовленных пользователем nazeshinjite для инференс-движка DwarfStar (ds4), разработанного antirez. Модель предназначена для локальной генерации текста, диалоговых приложений, программирования и агентских сценариев; поддерживаются интерактивный CLI, OpenAI- и Anthropic-совместимый HTTP API, а также дисковый KV-кэш для многошаговых сессий. Базовая модель использует архитектуру Mixture-of-Experts: около 284 млрд параметров, из которых примерно 277 млрд приходятся на маршрутизируемые эксперты. Репозиторий содержит смешанную Q2/Q4-сборку размером 90,9 GiB, плоские Q2- и Q4-варианты, а также опциональные draft head для speculative decoding. В основной сборке маршрутизируемые эксперты в последних слоях используют Q4_K, остальные — преимущественно 2-битные форматы, а attention-проекции, общие эксперты и выходной слой — Q8. Указана поддержка контекста до 1 млн токенов на подходящем локальном оборудовании; для 256K контекста заявлено потребление менее 3,5 GiB KV-кэша. Языки и мультимодальные возможности в README не указаны. Сильные стороны модели — существенное уменьшение размера при сохранении качества, высокая скорость декодирования в DwarfStar и эффективная работа с длинными повторяющимися контекстами благодаря дисковому KV-кэшу. На Apple M5 Max автор README сообщает скорость 36,8–27,1 токена в секунду в зависимости от длины контекста, однако эти результаты относятся к предварительным измерениям. Главные ограничения — файлы совместимы только с DwarfStar и не загружаются в llama.cpp, Ollama или LM Studio; для запуска требуется специализированный движок и мощное оборудование, включая системы с большим объёмом памяти, CUDA или ROCm. Распространение указано по лицензии MIT.

Falcon3-10B-Base — базовая предварительно обученная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Это плотный авторегрессионный трансформер с 9,9 млрд параметров; в карточке архитектура указана как LlamaForCausalLM. Модель принимает текст и генерирует продолжение, поддерживает английский, французский, испанский и португальский языки, а контекстное окно достигает 32 768 токенов. Модель обучалась на данных из веба, кода, STEM и многоязычных источников; в README заявлены результаты в рассуждениях, понимании языка, следовании инструкциям, программировании и математике. Это сырой базовый чекпойнт: для большинства прикладных сценариев его следует дополнительно дообучить, например с помощью SFT или RLHF. Весовые файлы представлены в формате safetensors. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует учитывать её условия.

Mungert/Jan-v1-4B-GGUF — это GGUF-квантизированная версия Jan-v1, небольшой агентной языковой модели, разработанной Jan/Jan AI и основанной на Qwen3-4B-Thinking-2507. Конкретный репозиторий содержит сборки, созданные с использованием llama.cpp; автор применяет собственный подход к квантизации с повышением точности отдельных важных слоёв. В метаданных указан английский язык, размер базовой модели — 4B параметров, модальность — текстовая генерация. Модель предназначена для агентного рассуждения, решения сложных задач, ответов на вопросы, диалогового взаимодействия и использования инструментов, включая сценарии интеграции с Jan App. В исходной карточке заявлены 91,1% точности на SimpleQA и улучшенные возможности рассуждения и tool use, однако приведённые результаты относятся к Jan-v1 в целом и могут не полностью отражать поведение конкретной GGUF-квантизации. Поддерживаются локальный запуск через llama.cpp и интеграция с инструментами, совместимыми с форматом модели. Сильными сторонами являются компактный размер, ориентация на агентные задачи и потенциально более высокая точность при заданном уровне квантизации благодаря повышению точности отдельных слоёв. Ограничения включают зависимость качества от выбранного GGUF-варианта и параметров квантизации, а также отсутствие в карточке точного размера контекста, перечня доступных квантизаций, детальных сравнительных результатов и описания дополнительных языков. Лицензия модели — Apache 2.0.

Это объединённая методом TIES через mergekit языковая модель семейства Llama 3.2, созданная из нескольких моделей на 3,2 млрд параметров. В качестве базовой при слиянии использовалась huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли варианты для SQL, математики, программирования и диалогов без ограничений на отказы. Модель предназначена для генерации текста и диалоговых сценариев, включая помощь с SQL, математическими задачами и кодом. Она принимает текст и выдаёт текст; метаданные указывают контекст до 131 072 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Карточка не приводит результатов оценки качества или подробных инструкций по использованию. Условия лицензирования в предоставленных данных не указаны, поэтому их следует проверить в карточке модели и у исходных моделей до применения.

Это GGUF-квантизированная версия Devstral-Small-2505, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. README не уточняет её специализированные сценарии применения, однако формат и базовая модель ориентированы на работу с текстовыми запросами и, вероятно, задачами разработки, соответствующими семейству Devstral. Доступны варианты от BF16 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ. Размер файлов составляет примерно от 11,47 до 47,15 ГБ. Указаны языки: английский, французский, немецкий, испанский, португальский, итальянский, японский, корейский, русский, китайский, арабский, персидский и ряд других. README не содержит сведений о числе параметров, архитектуре, размере контекста или точных характеристиках качества. Для vision предусмотрен файл mmproj от Mistral Small 3.1, но эта поддержка неофициальна и может работать неидеально. Сильными сторонами являются широкий выбор квантизаций для разного объёма памяти и возможность локального запуска; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M — как подходящий вариант по умолчанию. Ограничениями являются значительные требования к дисковому пространству и памяти, а также возможное снижение качества в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

Nemotron-Cascade-8B-Thinking-GGUF — это квантизированная версия языковой модели Nemotron-Cascade-8B-Thinking, разработанной NVIDIA и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста общего назначения и задач, требующих рассуждений; в метаданных также указано обучение с учителем (SFT) и усилением (RL). Поддерживается английский язык. Модель содержит 8 миллиардов параметров и поставляется в различных вариантах квантизации — от BF16 до Q3 и IQ4, с размером файлов примерно от 4,43 до 16,39 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix. Версия BF16 обеспечивает исходное качество, тогда как варианты Q4–Q6 предлагают компромисс между качеством и требованиями к памяти; для запуска подходят llama.cpp, LM Studio и другие совместимые проекты. Формат взаимодействия использует специальные токены ролей и маркер /think. Сильными сторонами являются широкий выбор уровней квантизации, возможность локального запуска и ориентация на задачи рассуждения. Ограничения включают отсутствие в README сведений о длине контекста, точной архитектуре, мультимодальности, результатах оценивания и поддерживаемых языках помимо английского. Модель распространяется по NVIDIA Open Model License; конкретные условия следует уточнять в тексте этой лицензии.

Это четырёхбитная версия модели NVIDIA Nemotron Nano 9B v2, подготовленная сообществом mlx-community для запуска в формате MLX. Исходная модель разработана NVIDIA; эта версия преобразована из nvidia/NVIDIA-Nemotron-Nano-9B-v2 с помощью mlx-lm 0.26.3. Метаданные относят её к генеративным языковым моделям для диалога и указывают интерфейс вызова инструментов. Модель предназначена для генерации ответов в чате и выполнения инструкций; базовая модель также рассчитана на программирование и управляемое рассуждение. Карточка связывает её с английским, испанским, французским, немецким, итальянским и японским языками. Лицензия указана как other, поэтому условия следует уточнять на странице репозитория и базовой модели. Четырёхбитное представление и формат MLX предназначены для локального инференса на совместимом оборудовании; количественные показатели качества в карточке не приведены.

Это версия NVIDIA Nemotron 3 Nano 4B в формате GGUF BF16, опубликованная DevQuasar на основе nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16. Модель предназначена для генерации текста и диалогового общения; компактная базовая модель NVIDIA рассчитана также на рассуждения, программирование и агентные сценарии на локальных устройствах. В репозитории указано преобразование в GGUF BF16. Карточка не описывает отдельные настройки, результаты оценки или дополнительные ограничения этой версии. Лицензия в предоставленных данных не указана.

MingZwhy/Qwen3-1.7B-W2.79-QAOPD — производная модель Qwen3-1.7B, разработанная автором репозитория MingZwhy. Это плотная авторегрессионная языковая модель с 1,7 млрд параметров для генерации текста и диалогов. Веса квантованы до эффективных 2,79 бита: блоки используют смешанные INT1.58 и INT4, эмбеддинги и выходная голова — INT4, активации — INT8. После квантования модель восстановлена с помощью quantization-aware distillation и on-policy distillation; квантование встроено в веса. Модель подходит для диалоговых приложений, ответов на вопросы, математических задач и генерации кода. В README приведены результаты на GSM8K, MATH-500, AMC23, MBPP, HumanEval и QA9; на этих тестах показатели ниже, чем у исходной версии Qwen3-1.7B в BF16. Контекстное окно составляет 40 960 токенов. Базовая модель — многоязычная Qwen3; точный перечень поддерживаемых языков в предоставленных сведениях не раскрыт. Модель распространяется по лицензии Apache-2.0.

Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1-GGUF — экспериментальная дистиллированная версия Qwen3.5-9B, разработанная Jackrong. Модель дообучена методом supervised fine-tuning с использованием Unsloth и LoRA на отфильтрованных данных рассуждений, созданных на основе GLM-5.1. В README также указана лицензия Apache-2.0. Модель предназначена для локального запуска и генерации ответов в диалоговых, инструкционных, математических, STEM- и кодовых сценариях. Основной акцент сделан на многошаговом рассуждении, декомпозиции задач, соблюдении инструкций и более структурированной организации ответов. Заявлена поддержка английского, китайского, японского и испанского языков. По метаданным репозитория модель относится к multimodal и image-text-to-text моделям с поддержкой vision, однако подробности о поддерживаемых форматах изображений и способах их обработки не приведены. Ключевая характеристика — размер 9 млрд параметров и дистилляция структуры рассуждений GLM-5.1, а не простое копирование ответов учителя. Ожидаемые преимущества включают более стабильное многошаговое рассуждение, лучшую декомпозицию задач и более последовательное следование инструкциям. При этом автор отмечает, что улучшения для модели такого масштаба, вероятно, будут постепенными, а не радикальными. README не содержит сведений о размере контекста, точной архитектуре мультимодальной части, количественных результатах бенчмарков и ограничениях безопасности, поэтому эти характеристики нельзя оценить дополнительно.

Это GGUF-версия модели Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32, подготовленная mradermacher. Репозиторий содержит статические квантизации, включая варианты GGUF и мультимодальные дополнения mmproj; указан вариант F32. Базовая модель связана с nightmedia/Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-F32 и классифицирована как дообучение. Модель предназначена для генерации текста в диалоговом и инструкционном формате. По тегам карточки она ориентирована на рассуждения, математику, программирование и творческое письмо, включая создание и продолжение историй; метаданные также указывают мультиязычную поддержку английского, китайского, японского и испанского языков. Лицензия — Apache-2.0. Репозиторий распространяет веса в формате GGUF, предназначенном для запуска совместимым ПО; доступные уровни квантизации различаются по размеру и могут влиять на качество. Карточка не приводит результатов сравнительных оценок или конкретных ограничений качества.