II.4Отладка, тестирование и качество ПО

llm-jp-4-8b-thinking-gguf — языковая модель на основе Transformer, разработанная Исследовательским центром больших языковых моделей Национального института информатики Японии (NII). Модель предназначена для генерации текста, диалоговых сценариев, решения задач и работы с инструкциями на английском и японском языках. Вариант thinking обучен с использованием supervised fine-tuning (SFT) и direct preference optimization (DPO), без reinforcement learning. Модель имеет около 8,59 млрд параметров, 32 слоя, размер скрытого состояния 4096 и 32 attention heads. Максимальная длина контекста составляет 65 536 токенов. Репозиторий содержит представление GGUF для запуска совместимых средств инференса; используется Unigram byte-fallback токенизатор на основе llm-jp-tokenizer v4.0, а шаблон чата совместим с форматом OpenAI Harmony. К сильным сторонам относятся большой контекст, поддержка японского и английского языков, постобучение с применением SFT и DPO, а также возможность локального запуска в экосистеме GGUF. Ограничением является необходимость использовать форк llama.cpp от LLM-jp: стандартная upstream-версия llama.cpp может некорректно обрабатывать токенизацию и чат. README не содержит достаточных количественных результатов оценки качества, поэтому сравнивать модель с альтернативами по бенчмаркам нельзя. Модель распространяется по лицензии Apache-2.0.

Magistral Small 2506 — языковая модель от Mistral AI, представленная сообществом LM Studio в виде весов MLX в исходной точности bfloat16. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 23,4 млрд параметров, предназначенная для диалоговой генерации текста. Сборка подготовлена командой LM Studio с помощью mlx_lm и оптимизирована для Apple Silicon. Модель подходит для ведения диалога и генерации ответов на текстовые запросы; заявленная длина контекста составляет 49 152 токена. Веса распространяются по лицензии Apache-2.0. Эта публикация является производной сборкой базовой модели mistralai/Magistral-Small-2506; карточка не приводит специальных отраслевых назначений или дополнительных гарантий качества. Как и другие генеративные модели, она может выдавать неточную или неподходящую информацию.

Карточка модели yejingfu/Meta-Llama-3.2-1B на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Jeff98/MiniCPM5-2B-openvino — это версия языковой модели openbmb/MiniCPM5-2B, преобразованная в формат OpenVINO с помощью optimum-intel. Архитектура, токенизатор, шаблон диалога и основные возможности унаследованы от исходной модели; репозиторий не содержит дополнительного обучения или выравнивания. Модель предназначена для генерации текста и ведения диалогов. Модель содержит примерно 2 млрд параметров и поддерживает китайский, английский и другие языки, заявленные для исходной MiniCPM5-2B. Она рассчитана на локальный запуск, разработку ассистентов и инструментов программирования, edge-сценарии, а также эксперименты на рабочих станциях. OpenVINO обеспечивает выполнение на CPU и Intel GPU, а OpenVINO Model Server позволяет развернуть модель через совместимый с OpenAI REST API. Точный размер контекста и архитектурные детали в README не указаны. Сильная сторона модели — готовность к эффективному локальному развертыванию в OpenVINO, включая преобразованные токенизатор и детокенизатор, поддержку OVMS и OpenAI-совместимого интерфейса. Ограничения унаследованы от исходной модели: возможны фактические ошибки, галлюцинации, некорректная генерация кода, зависимость качества от формулировки запроса и различия в качестве между языками; конвертация может приводить к небольшим числовым отличиям. Модель распространяется по лицензии Apache-2.0.

cloudyu выпустил плотную текстовую модель cloudyu/mistral_28B_instruct_v0.1 на архитектуре Mistral с 28 млрд параметров. Согласно README, модель дообучена методом SFT на наборе vicgalle/alpaca-gpt4 и использует формат инструкций с полями instruction, inputs и output. Метаданные также отмечают поддержку чата и контекст до 32 768 токенов. Модель предназначена для генерации ответов на инструкции и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; лицензия — CC BY 4.0. README заявляет 128 слоёв, но не описывает оценку качества или специализированную область применения.

duyntnet/Mistral-7B-Instruct-v0.3-imatrix-GGUF — набор квантизированных вариантов модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и представленной в формате GGUF с использованием imatrix-квантизации. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая выполнение инструкций, ответы на вопросы и сценарии с вызовом функций или инструментов. Модель относится к семейству Mistral и имеет размер 7B параметров согласно идентификатору. Это текстовая instruct-модель с поддержкой форматов и библиотек, совместимых с GGUF; README также показывает использование через mistral-inference и Hugging Face Transformers. Длина контекста, точные варианты квантизации, аппаратные требования и дополнительные модальности не указаны. К сильным сторонам относятся компактный размер по сравнению с более крупными языковыми моделями, возможность локального запуска в квантизированном виде и поддержка инструкций и function calling. Ограничения включают заявленную языковую поддержку только для английского, отсутствие данных о качестве, бенчмарках и контекстном окне, а также возможные потери качества, зависящие от выбранного уровня квантизации. В карточке указана лицензия «other», но её конкретные условия не раскрыты.

Mistral-Crab-DPO — языковая модель для генерации текста, разработанная Юньцзя Ци, Хао Пэном, Сяочжи Ваном, Бинь Сюем, Лэй Хоу и Цзюаньцзы Ли. Она дообучена на базе Mistral-7B-v0.3 методом DPO и предназначена для выполнения сложных инструкций с ограничениями по формату, длине и другим условиям. Обучение использует набор CRAB, созданный методом обратного преобразования ограничений: к качественным парам «инструкция — ответ» добавлялись ограничения, которым уже соответствовали ответы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Основной язык — английский. Карточка сообщает об улучшении следования сложным инструкциям и приводит оценку на соответствующих бенчмарках, но не раскрывает здесь полные результаты для этой версии модели. Лицензия — Apache-2.0.

MotherEarth-1.15 — объединённая языковая модель от MotherEarth, созданная методом SLERP с помощью mergekit на основе MotherEarth/MotherEarth-Storm-1.0-8B и MotherEarth/Sauerkraut-Proverbs-8B. Модель построена на архитектуре Llama с плотной структурой и предназначена для генерации текста и диалогового общения. В репозитории указаны веса в формате safetensors; метаданные сообщают о 7,5 млрд параметров и контекстном окне до 131 072 токенов. Для запуска используется библиотека Transformers. Дата публикации — 22 сентября 2024 года. Лицензия в предоставленных данных не указана.

Это объединённая модель Nous-Hermes-2-Pro_into_Nous_Hermes-2-DPO, созданная с помощью LazyMergekit на основе NousResearch/Hermes-2-Pro-Mistral-7B и NousResearch/Nous-Hermes-2-Mistral-7B-DPO. Веса объединены методом SLERP; модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 32 768 токенов. В метаданных указана возможность чат-взаимодействия, но отдельные языки и специализированные прикладные области не заявлены. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя. Качество и ограничения именно этого слияния в README не описаны; поведение может отличаться от исходных моделей.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель относится к классу текстовых генеративных моделей и имеет размер 7B параметров. Доступны варианты от исходных BF16-весов до квантизаций Q8, Q6, Q5, Q4, Q3 и IQ-семейств; размер файлов составляет примерно от 3,55 до 15,24 ГБ. Более высокие уровни квантизации обычно сохраняют лучшее качество, тогда как варианты Q3 и Q2 рассчитаны на системы с ограниченным объёмом оперативной памяти. Для работы используется chat-шаблон с ролями system, user и assistant. Сильная сторона репозитория — широкий выбор вариантов GGUF для разного баланса качества, размера и производительности, включая варианты, оптимизированные для отдельных сценариев CPU и Apple Silicon. Ограничения, максимальная длина контекста, поддерживаемые языки, конкретные архитектурные особенности исходной модели и результаты бенчмарков в README не указаны. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели NVIDIA и соответствующего репозитория.

OpenAI o4 Mini High — вариант модели рассуждений OpenAI o4-mini с параметром reasoning_effort, установленным на high. Это компактная модель семейства o-series, рассчитанная на быстрые и экономичные ответы с усиленным пошаговым рассуждением. В метаданных каталога для неё указана задача image-text-to-text. Модель предназначена для задач, где полезны рассуждение и работа с визуальным вводом и текстом. README сообщает, что это тот же вариант, что o4-mini, с повышенным уровнем reasoning effort; сведения об архитектуре, размере, контекстном окне, языках и условиях лицензии в предоставленных источниках отсутствуют.

OpenBuddy Mistral 7B v13.1 — это языковая модель для генерации текста и диалогового взаимодействия, разработанная командой OpenBuddy на базе архитектуры Mistral. Данный репозиторий подготовлен TheBloke и содержит квантизированные версии модели в формате GGUF, предназначенные для запуска через llama.cpp и совместимые приложения и библиотеки, включая LM Studio, KoboldCpp, text-generation-webui и llama-cpp-python. Модель имеет около 7 миллиардов параметров и ориентирована на задачи ассистирования, ответов на вопросы, рассуждений и многоязычного общения. В метаданных заявлена поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Доступны варианты квантизации от 2 до 8 бит для инференса на CPU и GPU, что позволяет выбирать компромисс между качеством, скоростью и потреблением памяти. Информация о размере контекстного окна и мультимодальных возможностях не указана; модель предназначена для работы с текстом. К сильным сторонам относятся относительно компактный размер, широкий выбор уровней квантизации и возможность локального запуска на разнообразном оборудовании. Ограничения включают потенциальное снижение качества в квантизированных вариантах, отсутствие заявленных мультимодальных возможностей и неизвестный размер контекста. Модель распространяется по лицензии Apache 2.0.

Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-2-7B — плотная языковая модель на архитектуре Mistral, созданная слиянием teknium/OpenHermes-2.5-Mistral-7B и Intel/neural-chat-7b-v3-2 методом TIES. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. В карточке указаны веса слияния 0,5 для OpenHermes и 0,3 для neural-chat, а также плотность 0,5 для каждой исходной модели. Модель предназначена для диалогов и генерации текста; автор рекомендует использовать шаблон ChatML. Она доступна в формате safetensors и распространяется по лицензии Apache-2.0. README приводит результаты на нескольких бенчмарках, но не описывает ограничения и языковой охват модели.

PATHFINDER-120STEPS — дообученная модель mt1234 на базе unsloth/qwen2.5-coder-32b-instruct-bnb-4bit. Это плотная языковая модель семейства Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В метаданных заявлен интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; её контекстное окно составляет 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Phi-3-mini-4k-geminified-GGUF — квантизированная версия модели failspy/Phi-3-mini-4k-geminified, созданная с использованием llama.cpp. Исходная модель основана на Microsoft Phi-3-mini-instruct и подвергнута ортогонализации весов в формате bfloat16 safetensors по методологии, связанной с исследованием о механизмах отказа больших языковых моделей. Автором исходной модификации указан failspy; QuantFactory подготовила версию GGUF. Модель предназначена для генерации текста и, согласно метаданным, обработки естественного языка и кода. Заявлена поддержка multilingual-сценариев. В карточке упоминается контекст 4K в названии производной модели, однако в описании исходной модели также указано Phi-3-mini-128k-instruct, поэтому точный размер контекстного окна именно этой сборки неоднозначен. Архитектура и точное количество параметров не указаны; формат GGUF ориентирован на локальный inference через совместимые инструменты. К потенциальным сильным сторонам относятся компактность исходного семейства Phi-3-mini, возможность локального запуска в квантизированном формате и поведение, изменённое в сторону меньшего количества стандартных отказов. Ограничения включают неполную информацию о типе и уровне квантизации, неоднозначность относительно контекстного окна и отсутствие результатов бенчмарков. Модель распространяется по лицензии MIT; в README приведена ссылка на лицензию Microsoft Phi-3-medium-4k-instruct.

Sorawiz/Phi-4-Base — объединённая языковая модель, созданная автором репозитория с помощью mergekit и метода TIES на основе нескольких моделей семейства Phi-4. В состав вошли Phi-4-Empathetic, LoRA-phi-4-abliterated, Phi-4-Math-IO, Phi-4-o1 и Phi-4-QwQ. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 14,1 млрд параметров и использует контекст до 16 384 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Состав исходных моделей ориентирует её на эмпатичные ответы, математику, рассуждения и задачи в стиле QwQ и o1. Репозиторий распространяет веса в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

Карточка модели tayaee/Qwen2.5-1.5B-Korean-SFT-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

mlx-community/Qwen2.5-32B-Instruct-8bit — конверсия в формат MLX модели Qwen/Qwen2.5-32B-Instruct, выполненная сообществом mlx-community с помощью mlx-lm 0.18.1. Это плотная авторегрессионная модель семейства Qwen2.5 с 32 млрд параметров, предназначенная для диалоговой генерации текста и работы с интерфейсом вызова инструментов. Она принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Карточка указывает английский язык, а базовая модель Qwen2.5 поддерживает более широкий контекст, но для этой версии следует ориентироваться на значение из её метаданных. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-VL-3B-Instruct-AWQ — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen. Она предназначена для обработки изображений, видео и текстовых запросов, визуального анализа документов и сцен, распознавания текста, таблиц, графиков, форм и других структурированных данных, а также для сценариев визуального агента, включая управление компьютером и телефоном. Модель содержит 3 млрд параметров и использует AWQ-квантизацию. В её архитектуре применяются динамическое разрешение изображений, динамическая частота выборки кадров видео, временное позиционное кодирование mRoPE и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm. Модель может анализировать видео длительностью более часа, находить релевантные моменты, локализовать объекты с помощью bounding boxes или точек и формировать структурированные JSON-ответы. В README явно указан английский язык; поддержка других языков не заявлена. Сильные стороны модели — сочетание компактного размера с широкими возможностями визуального анализа, работой с длинными видео, локализацией объектов и извлечением структурированных данных из документов. Ограничения включают отсутствие опубликованных в README результатов оценки, неуказанный размер контекстного окна и потенциальную зависимость производительности от аппаратного обеспечения и настроек обработки визуальных токенов. Модель распространяется по лицензии qwen-research; перед использованием следует ознакомиться с условиями лицензии.

dfurman/Qwen2-72B-Orpo-v0.1 — диалоговая языковая модель, созданная как дообучение Qwen/Qwen2-72B-Instruct на 1,5 тыс. примеров из набора mlabonne/orpo-dpo-mix-40k. Это плотная архитектура Qwen2ForCausalLM с 71,5 млрд параметров; модель опубликована в формате safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и многоходовых диалогов, включая ролевые сценарии, рассуждения, задачи с агентными возможностями и поддержание связности на длинном контексте. В метаданных указан английский язык. Карточка приводит результаты Open LLM Leaderboard: среднее значение 43,32 и 78,80 для IFEval (0-shot). Лицензия обозначена как other, поэтому условия её использования следует проверять в карточке модели.

Qwen3-4B-Thinking-2507-GGUF — квантованная в формате GGUF версия языковой модели Qwen3-4B-Thinking-2507, разработанной командой Qwen. Модель предназначена для генерации текста и решения задач, требующих рассуждений, включая диалоговые сценарии, ответы на вопросы и другие применения, поддерживаемые исходной моделью. Модель содержит около 4 миллиардов параметров и относится к текстовым моделям. В README не указаны поддерживаемые языки, максимальная длина контекста, конкретная архитектура, доступные модальности и варианты квантования. Квантование выполнено bartowski на основе релиза llama.cpp b6096, что позволяет использовать модель в совместимом локальном программном обеспечении, включая LM Studio. К сильным сторонам относятся относительно компактный размер и возможность локального запуска благодаря формату GGUF, а также ориентация исходной модели на задачи рассуждений. Ограничения, точные требования к аппаратным ресурсам, качество на конкретных тестах и особенности поведения не описаны. Лицензия в предоставленном README не указана; условия использования следует уточнять на странице исходной модели Qwen3-4B-Thinking-2507.

Qwen3.5-4B-AWQ — это квантизированная версия языковой модели Qwen/Qwen3.5-4B, разработанной командой Qwen. Модель предназначена для генерации текста, диалоговых и инструкционных сценариев, локального инференса и развёртывания на потребительских GPU. Указаны поддерживаемые языки English и Chinese, а также интеграция с Transformers и vLLM. Модель использует квантизацию AWQ INT4 по схеме W4A16_ASYM с размером группы 128 и zero point. Калибровка выполнена на 512 примерах OpenPlatypus с максимальной длиной последовательности 1024 токена посредством llm-compressor; формат хранения — compressed-tensors. Размер модели составляет около 3,13 ГБ, а потребление VRAM при загрузке — около 3,06 ГБ, что примерно в 2,5–2,6 раза меньше базовой BF16-версии. Это позволяет запускать её на одной видеокарте с 8 ГБ памяти. В заявленных оценках нулевого выстрела модель получила 77,69% на PIQA, 68,75% на Winogrande, 71,65% на HellaSwag, 73,53% на ARC-Easy и 51,71% на ARC-Challenge; средний результат — 68,67%. Сильными сторонами являются существенно сниженные требования к памяти и сохранение заметной производительности в задачах здравого смысла и школьных научных вопросов. Ограничение состоит в том, что результаты приведены только для квантизированной версии и не сопоставлены в идентичных условиях с BF16-моделью, поэтому влияние квантизации точно не установлено. Распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-i1-GGUF — квантизированная GGUF-версия модели hesamation/Qwen3.6-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled, подготовленная mradermacher. Модель основана на архитектуре Qwen3.6 с разреженной MoE-структурой и заявленным размером 35B параметров; активная конфигурация обозначена как A3B. Обучение или дистилляция связаны с наборами данных, содержащими примеры рассуждений и ответов Claude Opus, а также Qwen reasoning-данные. Модель предназначена для генерации текста, диалоговых сценариев и задач, требующих рассуждений. В README она также обозначена как vision model и image-text-to-text модель, поэтому может поддерживать обработку изображений вместе с текстом при наличии соответствующего mmproj-файла. Заявлен английский язык; сведения о длине контекста, точной поддержке других языков, результатах тестирования и рекомендуемых параметрах запуска отсутствуют. Главное преимущество — сочетание reasoning-направленности, MoE-архитектуры и большого набора вариантов квантизации, позволяющих выбирать компромисс между размером, скоростью и качеством. При этом низкобитные варианты могут заметно терять в качестве: для некоторых файлов README прямо указывает на очень низкое или сниженное качество. Модель распространяется под лицензией Apache-2.0; конкретные условия использования базовой модели и датасетов отдельно не раскрыты.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

coder3101/Qwen3-VL-8B-Instruct-heretic — производная версия Qwen3-VL-8B-Instruct, созданная методом abliteration для сокращения отказов на запросы. По данным карточки, доля отказов в указанной проверке снизилась со 100 из 100 у исходной модели до 6 из 100; KL-дивергенция составила 0,1738. Модель предназначена для диалога с текстом и изображениями, визуального анализа и рассуждений. Базовая архитектура Qwen3-VL поддерживает анализ видео, OCR, пространственные задачи и контекст до 256 тыс. токенов с возможностью расширения до 1 млн, однако README описывает эти возможности исходной модели, а не отдельно проверенные характеристики этой версии.

QwenMosaic-7B — объединённая языковая модель, созданная bunnycore методом линейного слияния через mergekit. В неё вошли AIDC-AI/Marco-o1, fblgit/cybertron-v4-qw7B-UNAMGS, rombodawg/Rombos-LLM-V2.5-Qwen-7b и Qwen/Qwen2.5-7B-Instruct с адаптером bunnycore/Qwen-2.1-7b-Persona-lora_model. Это плотная причинная модель семейства Qwen2 на 7,1 млрд параметров; она распространяется в формате safetensors и работает через Transformers. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции. Контекст составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: среднее 25,31, IFEval 58,19 и BBH 36,75; эти значения не гарантируют качество в конкретном сценарии. Лицензия в предоставленных данных не указана.

Raptor 0.6 — это лёгкая supervised fine-tune модели XHToken/Spark-X2.5-4B, подготовленная Jinho Jang для Osaurus. Модель использует плотную архитектуру Spark2_5ForCausalLM с 36 слоями и примерно 3,8 млрд параметров; она предназначена для диалога, рассуждений и работы с инструментами. Репозиторий содержит веса в формате safetensors, а конфигурация JANG_6M задаёт смешанную точность: внимание и связанные эмбеддинги — 8-битные, MLP — 6-битный, масштабы групп — bfloat16, нормализации и attention gate — полной точности. Указанное базовой моделью окно контекста — до 1 048 576 токенов. Модель рассчитана на запуск в Osaurus на Apple Silicon и требует Osaurus версии 0.25.0 или новее. Шаблон поддерживает диалог с включённым по умолчанию режимом рассуждений и вызовами инструментов; карточка сообщает о калибровке и оценке на наборах промптов, но не устанавливает универсальное качество для всех сценариев. README предупреждает, что это практический чекпойнт с обычными для модели 4B ошибками; длинные рассуждения могут превышать 8 192 выходных токена. Лицензия — Apache-2.0.

Rombo-LLM-V2.5-Qwen-1.5b — плотная причинная языковая модель на архитектуре Qwen2, созданная Rombo-Org как дообученная версия Qwen2.5-1.5B-Instruct. Она предназначена для диалогов и генерации текста, включая структурированные ответы и интерфейс вызова инструментов. В карточке заявлено слияние instruct- и base-моделей методом TIES, однако метаданные указывают связь с Qwen2.5-1.5B-Instruct как finetune; поэтому происхождение точнее определить по доступным данным нельзя. Модель содержит 1,5 млрд параметров, работает через Transformers и распространяется в формате safetensors; автор также упоминает варианты GGUF. Указанный контекст — до 131 072 токенов. Лицензия — Apache-2.0. README заявляет о более высокой производительности по сравнению с исходными instruct- и base-моделями, но не приводит результатов бенчмарков или подробностей оценки.

arcee-ai/saul-mistral-instruct-v0.1-7b-ties — объединённая модель Arcee AI, созданная методом TIES с помощью mergekit на основе Equall/Saul-Base и Mistral-7B-Instruct-v0.1, с Mistral-7B-v0.1 как базовой моделью слияния. Это плотная авторегрессионная языковая модель MistralForCausalLM на 7,1 млрд параметров, предназначенная для генерации текста по инструкциям. Она подходит для диалогов, ответов на вопросы и других задач генерации текста; максимальная длина контекста составляет 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не описывает её специализированную настройку по областям, языковую поддержку, сравнительные результаты или ограничения качества, поэтому применимость в конкретных сценариях следует проверять отдельно.

supergemma4-e4b-abliterated-GGUF — это квантованное распространение модели Jiunsong/supergemma4-e4b-abliterated, подготовленное mradermacher в формате GGUF. Модель относится к семейству Gemma, ориентирована на генерацию текста и instruction-tuned-сценарии, а также заявляет поддержку tool calling и структурированного вывода. В метаданных указан английский язык. Модель предназначена для локального запуска и интеграции с совместимыми средами инференса, включая инструменты для работы с GGUF и vLLM. Доступны варианты квантования Q2_K, Q3_K, IQ4_XS, Q4_K, Q5_K, Q6_K, Q8_0 и f16 размером примерно от 4,5 до 15,2 ГБ. Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант высокого качества, а Q8_0 — как наиболее качественный среди быстрых вариантов. Ключевое преимущество — широкий выбор квантований, позволяющий адаптировать требования к памяти, скорости и качеству. Более агрессивные варианты могут снижать качество генерации; для Q3_K_M это указано отдельно. Размер контекста, точная архитектура, количество параметров, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как gemma.