II.7DevOps, облако и эксплуатация IT-систем

Mistral-NeMo-Minitron-8B-Instruct — языковая модель NVIDIA для генерации ответов и ведения диалога. Это дообученная версия nvidia/Mistral-NeMo-Minitron-8B-Base, которая была сжата из Mistral-NeMo 12B с помощью pruning и distillation. Модель обучали в несколько этапов с supervised fine-tuning и выравниванием предпочтений. Она построена на авторегрессионном трансформере Mistral-NeMo с 40 слоями, Grouped-Query Attention и RoPE; содержит 7,9 млрд параметров и поддерживает контекст до 8192 токенов. Модель подходит для ролевого диалога, генерации текста, ответов с опорой на найденные документы в RAG-сценариях и вызова функций. Для диалога рекомендуется использовать формат System/User/Assistant, на котором проводилось дообучение. README не перечисляет конкретные поддерживаемые естественные языки, поэтому языковая специализация не заявлена. Оценки в карточке включают MMLU, MT Bench и GSM8K. Модель может воспроизводить токсичность и предвзятость обучающих данных, давать неточные, неполные или избыточные ответы; в агентных сценариях следует проверять безопасность используемых пакетов. Лицензия указана как other; перед использованием необходимо свериться с условиями NVIDIA.

MN-magnum-v2.5-18.5B-kto-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели MN-magnum-v2.5-18.5B-kto-Instruct, разработанной DavidAU и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска через llama.cpp или совместимые приложения, включая LM Studio. Она поддерживает диалоговый формат с системными и пользовательскими сообщениями. В основе лежит модель размером 18,5 млрд параметров; точная архитектура, поддерживаемые языки, модальности и размер контекстного окна в README не указаны. Доступны варианты от F16 до низкобитных квантований Q2 и IQ, что позволяет выбирать между качеством ответов, размером файла и требованиями к оперативной памяти. Для квантования использовались llama.cpp и imatrix с указанным набором данных; варианты Q5–Q6 отмечены как высококачественные и рекомендуемые, а Q3 и Q2 предназначены для систем с ограниченными ресурсами, но могут заметно уступать по качеству. Лицензия в README не указана, поэтому условия использования необходимо уточнять в карточке исходной модели DavidAU/MN-magnum-v2.5-18.5B-kto-Instruct.

heretic-org/Nanbeige4.1-3B-heretic — англо-китайская разговорная языковая модель на 3,5 млрд параметров, созданная на основе Nanbeige/Nanbeige4.1-3B. Это вариант с abliteration: в карточке приведено сравнение, где доля отказов снизилась с 96 до 4 из 100, а KL-дивергенция относительно исходной модели указана как 0,0001. Модель рассчитана на генерацию текста и диалоги; базовая модель ориентирована на многошаговые рассуждения, программирование, поиск и работу с инструментами. Модель использует плотную архитектуру семейства Llama и доступна в формате Safetensors для Transformers. Заявленная длина контекста — 262 144 токена. В README базовой модели описаны сильные результаты в задачах рассуждения и агентного поиска, включая многошаговое решение задач с вызовами инструментов; метаданные указывают поддержку английского и китайского языков. Лицензия — Apache-2.0. В README отмечено, что модель может выдавать неожиданные ответы, включая предвзятое или дискриминационное содержание. Снижение числа отказов может означать, что модель чаще отвечает на запросы, которые исходная версия отклоняет; при применении следует учитывать это поведение.

OsaurusAI подготовила сборку JANG_4M модели Nanbeige4.2-3B для генерации текста и диалога. Это плотный Looped Transformer с 22 слоями, которые дважды проходят по общим весам, что даёт эффективную глубину 44 слоя. Веса квантованы для Apple Silicon: используются 4-битные affine routed-веса и 8-битное внимание; размер файлов составляет 2,9 ГБ. Модель насчитывает около 3,2 млрд параметров по метаданным; README указывает 4,17 млрд параметров исходной архитектуры. Контекст — до 256K токенов, основные языки — английский и китайский. Сборка предназначена для рассуждений, диалогов и агентных сценариев с вызовом инструментов. Для корректной работы требуется загрузчик, поддерживающий циклическое выполнение слоёв и 44 позиции KV-кэша; обычный универсальный загрузчик может выдавать неверные ответы. В README приведены измерения скорости и сравнение точности квантования на Apple Silicon, но они относятся к указанной конфигурации и тестам. Лицензия — Apache-2.0.

Nemotron-Mini-4B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Nemotron-Mini-4B-Instruct, разработанной NVIDIA и квантизированной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локального инференса, в том числе через LM Studio. Указан английский язык; поддерживается текстовая модальность. Формат запроса требует специальных маркеров для системных, пользовательских и ассистентских сообщений. Доступны варианты от исходных весов F16 размером 8,39 ГБ до компактных квантизаций IQ3_M размером 2,18 ГБ. Предлагаются форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие, включая варианты, оптимизированные для ARM-процессоров. Некоторые сборки используют Q8_0 для embedding- и output-весов, что может улучшать сохранение качества. Ключевое преимущество набора — выбор между качеством, размером и требованиями к памяти; ограничение — снижение качества при более агрессивной квантизации. Сведения о размере контекста и архитектуре базовой модели в README не указаны. Модель распространяется по лицензии NVIDIA Community Model License; условия следует уточнять в документе лицензии NVIDIA.

MaziyarPanahi/neural-chat-7b-v3-1-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на базе Mistral-7B-Instruct-v0.2 и uukuguy/neural-chat-7b-v3-1-dare-0.85. Веса объединены методом SLERP с настройками для слоёв self-attention и MLP; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Контекст составляет до 32 768 токенов; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В README не приведены результаты оценки качества или отдельные гарантии работы для конкретных языков и предметных областей.

NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4 GGUF — это форматированный для GGUF и llama.cpp вариант модели NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4. Это не переобучение, а побитно точная конвертация исходного контрольного пункта с сохранением NVFP4-весов экспертов; модель предназначена для генерации текста и локального запуска, особенно на GPU NVIDIA Blackwell с поддержкой FP4 tensor cores. Модель использует гибридную архитектуру Mamba-2, Mixture-of-Experts и attention: всего около 30 млрд параметров, из которых примерно 3 млрд активны для каждого токена. Она содержит 52 слоя, включая 6 слоёв с полноценным attention, 128 маршрутизируемых экспертов, из которых активны 6, и одного общего эксперта. Нативная длина контекста составляет 1 048 576 токенов; благодаря фиксированному состоянию Mamba-2 и MoE полный контекст заявлен как доступный на одной видеокарте с 24 ГБ памяти. Поддерживаются английский, испанский, французский, немецкий, итальянский и японский языки. Сильные стороны модели — очень длинный контекст, экономичное число активных параметров, сохранение исходных NVFP4-весов без повторного квантования и возможность использования дополнительной MTP-головы для speculative decoding. MTP-голова может повысить скорость примерно на 7% на быстрых GPU и на величину порядка десятков процентов на более медленном оборудовании, но требует дополнительной памяти и не улучшает качество вывода. Ограничения включают зависимость от совместимого оборудования и llama.cpp, а также потери запаса по контексту при использовании MTP-головы на GPU с 24 ГБ. В README приведены ориентировочные результаты: 79,2% на MMLU-Pro, 70,7% на IFBench и 26,7% на terminal-bench 2.0; авторы отмечают малые выборки и заметную вариативность результатов. Модель распространяется по лицензии OpenMDW License Agreement версии 1.1, унаследованной от базовой модели. Материалы модели принадлежат NVIDIA Corporation и аффилированным лицам; при использовании следует указывать NVIDIA как разработчика исходной модели и NVFP4-экспорта. Репакет не аффилирован с NVIDIA и не предоставляет прав на её товарные знаки.

Nemotron-Cascade-8B-Thinking-GGUF — это квантизированная версия языковой модели Nemotron-Cascade-8B-Thinking, разработанной NVIDIA и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста общего назначения и задач, требующих рассуждений; в метаданных также указано обучение с учителем (SFT) и усилением (RL). Поддерживается английский язык. Модель содержит 8 миллиардов параметров и поставляется в различных вариантах квантизации — от BF16 до Q3 и IQ4, с размером файлов примерно от 4,43 до 16,39 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix. Версия BF16 обеспечивает исходное качество, тогда как варианты Q4–Q6 предлагают компромисс между качеством и требованиями к памяти; для запуска подходят llama.cpp, LM Studio и другие совместимые проекты. Формат взаимодействия использует специальные токены ролей и маркер /think. Сильными сторонами являются широкий выбор уровней квантизации, возможность локального запуска и ориентация на задачи рассуждения. Ограничения включают отсутствие в README сведений о длине контекста, точной архитектуре, мультимодальности, результатах оценивания и поддерживаемых языках помимо английского. Модель распространяется по NVIDIA Open Model License; конкретные условия следует уточнять в тексте этой лицензии.

Occiglot-7B-FR-EN-Instruct — чат-модель с открытыми весами, разработанная Occiglot Research Collective. Это инструктивно дообученная версия occiglot-7b-fr-en: плотный авторегрессионный трансформер Mistral с 7,1 млрд параметров. Модель предназначена для диалогов и выполнения инструкций на французском и английском языках; в обучении также использовались инструкции для кода. Контекст модели по метаданным составляет 32 768 токенов. Модель обучена методом полного инструктивного дообучения на данных Open-Hermes-2B и нескольких наборах французских инструкций. Она использует шаблон чата ChatML и токенизатор Mistral-7B-v0.1. Авторы называют релиз ранним этапом исследовательского проекта; опубликованные оценки предварительные, а результаты для французского получены на ограниченных наборах и требуют осторожной интерпретации. Модель не проходила выравнивание по безопасности и может выдавать проблемный контент. Лицензия — Apache 2.0.

Open-Instruct CoT 13B — языковая модель на архитектуре LLaMA с 12,9 млрд параметров, дообученная Allen Institute for AI на подмножестве CoT из Flan v2. Она предназначена для генерации ответов на инструкции с пошаговыми рассуждениями, а также для общих задач генерации текста, включая вопросы и ответы, математические задачи и программирование. Модель принимает текст и выдаёт текст; карточка указывает английский язык, а контекст составляет 2048 токенов. В опубликованных бенчмарках модель оценивалась на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Для её использования требуется исходная модель LLaMA в формате Hugging Face: опубликованный репозиторий содержит diff весов, а не самостоятельный полный чекпойнт. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

OpenThinker3-7B-GGUF — это квантизированная версия текстовой генеративной модели OpenThinker3-7B, разработанной проектом open-thoughts и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые приложения. Модель содержит 7 миллиардов параметров и поддерживает различные варианты представления весов: от BF16 до квантизаций Q8, Q6, Q5, Q4, Q3, Q2 и IQ. Размер файлов варьируется примерно от 3,5 до 15,2 ГБ, поэтому можно выбрать баланс между качеством, скоростью и требованиями к памяти. Для взаимодействия используется шаблон сообщений с ролями system, user и assistant. Сведения о контекстном окне, языках, мультимодальности и точной архитектуре в README не указаны; по доступным данным это текстовая, а не мультимодальная модель. Сильной стороной являются многочисленные варианты квантизации, включая версии, оптимизированные для экономии памяти и локального запуска, а также применение imatrix при квантизации на базе llama.cpp. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать полноразмерной или высокоточной квантизации по качеству. Модель распространяется по лицензии Apache-2.0. Датасет, указанный для исходной модели, — open-thoughts/OpenThoughts3-1.2M.

Pensez-v0.1-e5 — двуязычная англо-французская языковая модель для диалогов и задач рассуждения, разработанная на базе Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель Qwen2 с 7,1 млрд параметров, дообученная методом SFT на наборе Pensez v0.1 из 2 000 примеров: по 1 000 на французском и английском языках. Модель предназначена для повседневных вопросов, научных задач, математики и программирования; для простых запросов использует краткие рассуждения, а для сложных может разворачивать их подробнее. Поддерживает контекст до 32 768 токенов и поставляется в формате safetensors. В карточке приведены сравнительные результаты на франкоязычных тестах по математике, пониманию вопросов и знаниям; результаты различаются по бенчмаркам и не гарантируют качество для всех запросов. Модель доступна по лицензии Apache-2.0. Для запуска автор указывает библиотеку Transformers.

Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 — диалоговая decoder-only языковая модель на базе Transformer с архитектурой Mixture of Experts (MoE), разработанная командой Qwen. Модель предназначена для генерации текста и взаимодействия в формате чата, включая ответы на вопросы, краткие объяснения и другие сценарии использования языкового ассистента. В README указана поддержка английского языка и конвейер text-generation. Модель содержит 14,3 млрд параметров, из которых во время работы активируются 2,7 млрд; она создана на основе Qwen-1.8B и дообучена с применением supervised fine-tuning и direct preference optimization. Версия GPTQ-Int4 использует 4-битное квантование. По заявлению разработчиков, при сопоставимой с Qwen1.5-7B производительности она требует около 25% ресурсов для обучения и обеспечивает примерно в 1,74 раза большую скорость вывода. Размер контекста в README не указан. Среди ограничений отмечена возможность переключения языков и другие нежелательные случаи генерации, для снижения которых рекомендуется использовать параметры из generation_config.json. Модель распространяется по лицензии tongyi-qianwen; точные условия следует уточнять по указанной в README лицензии.

unsloth/Qwen3-0.6B-GGUF — GGUF-версия языковой модели Qwen3-0.6B, разработанной командой Qwen от Alibaba Cloud и подготовленной Unsloth. Это авторегрессионная causal language model с 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и 28 слоями. Модель предназначена для локального запуска и интеграции с llama.cpp, Ollama и совместимыми интерфейсами, а также для дообучения и экспорта в различные форматы. Модель поддерживает переключение между режимами thinking и non-thinking: первый ориентирован на сложные задачи рассуждения, математику и программирование, второй — на более эффективный общий диалог. Заявлены возможности instruction following, многошагового диалога, генерации кода, творческого письма, ролевого взаимодействия и работы с внешними инструментами. Контекстное окно составляет 32 768 токенов, используется Grouped Query Attention с 16 головами для Q и 8 для KV. Qwen3 заявляет поддержку более 100 языков и диалектов, однако в метаданных этой карточки указан язык en. К сильным сторонам относятся компактный размер, поддержка двух режимов рассуждения, задачи агентного взаимодействия и мультиязычность. Ограничения, конкретные результаты бенчмарков, требования к оборудованию и показатели производительности для этой версии в README не приведены; из-за малого размера модели её качество следует проверять на целевых задачах. Карточка указывает лицензию Apache-2.0.

AaryanK/Qwen3.5-2B-GGUF — это квантованное представление модели Qwen3.5-2B в формате GGUF, разработанной командой Qwen. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, и ориентирована на генерацию текста, прототипирование, исследовательские задачи и разработку прикладных решений. Модель имеет около 2 млрд параметров и использует гибридную архитектуру Hybrid Gated DeltaNet + Gated Attention с vision encoder. Она поддерживает текстовые и мультимодальные входы, включая изображения и видео, вызов инструментов и контекст до 262 144 токенов. В README также заявлена поддержка 201 языка и диалекта, однако для данной GGUF-сборки явно указан английский язык. По умолчанию модель работает в режиме без рассуждений. К сильным сторонам относятся компактный размер, поддержка длинного контекста, мультимодальность и возможность эффективного локального инференса. Ограничения включают зависимость от актуальной версии llama.cpp с поддержкой операторов Gated DeltaNet, а также отсутствие подробных данных о конкретных вариантах квантования, качестве на бенчмарках и фактическом наборе поддерживаемых языков в этой сборке. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled-v2 — модель, разработанная Jackrong на базе Qwen/Qwen3.5-4B. Это вторая версия reasoning-ориентированной дообученной модели, созданная с использованием SFT и LoRA через Unsloth на более чем 14 000 образцов рассуждений в стиле Claude 4.6 Opus. Модель не является Claude, а использует дистиллированные шаблоны рассуждений. Модель предназначена для математики, текстовых задач, логического вывода, общих знаний, выполнения инструкций и переноса рассуждений на программирование и другие многошаговые задачи. Основной акцент сделан на экономичности reasoning: по сравнению с официальной Qwen3.5-4B модель формирует более короткие и структурированные цепочки рассуждений, что может снижать задержку и расходы инференса в локальном использовании и агентских сценариях. Указана поддержка английского, китайского и корейского языков; в метаданных также заявлен pipeline image-text-to-text, однако подробности мультимодальных возможностей и размер контекстного окна не приведены. Ключевое ограничение — компромисс между эффективностью рассуждений и максимальной точностью: по приведённым данным, официальная Qwen3.5-4B превосходит эту версию по абсолютным результатам HumanEval и HumanEval+, хотя v2 требует существенно меньше символов рассуждений на один успешный результат. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Abliterated-Heretic-MLX-4bit — локальная MLX-версия модели Qwen3.6-35B-A3B, подготовленная пользователем Youssofal на базе аблитерированного BF16-чекпойнта. Модель относится к семейству Qwen3.5 MoE и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и коротких программных фрагментов на устройствах Apple Silicon через mlx-lm. Модель использует разреженную архитектуру Mixture of Experts с общим размером около 35 млрд параметров и обозначением A3B. Применена высококачественная 4-битная смешанная квантизация с учётом чувствительности отдельных слоёв; часть проекций хранится с повышенной точностью 6 бит. В репозитории сохранены компоненты обработки изображений и видео, vision tower и процессорные файлы, поэтому вариант может поддерживать мультимодальные сценарии в совместимых MLX-рантаймах Qwen3.6. Поддерживаемые языки и размер контекста в README не указаны. Ключевая особенность — удаление базового поведения отказа на уровне весов с помощью пайплайна Heretic, поэтому модель отвечает на значительную часть запросов, которые исходная модель отклоняла. В проверке на 25 маркерных запросах она отказала в 3 случаях; также прошла локальные проверки общего чата, краткого рассуждения и генерации кода. Это одновременно является ограничением: встроенные защитные отказы ослаблены или удалены, поэтому модель требует осторожного применения и самостоятельных мер безопасности. В README также не приведены результаты комплексных бенчмарков качества. Распространение указано под лицензией Apache-2.0. Модель ориентирована прежде всего на локальный запуск на Apple Silicon и требует совместимой поддержки MLX для мультимодальных возможностей.

LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Final-GGUF — мультимодальная модель в формате GGUF, основанная на HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель разработана автором LuffyTheFox с применением метода Genesis — посттренировочной числовой коррекции тензоров без дополнительного обучения или тонкой настройки. В README также упоминается исходная разработка Qwen и Tongyi Lab Alibaba Group. Модель предназначена для диалоговых сценариев, генерации текста, задач программирования и работы с изображениями благодаря заявленной поддержке vision и pipeline image-text-to-text. Указана архитектура MoE с 35 млрд параметров и 3 млрд активных параметров, однако размер контекста в README не приведён. Заявлены английский, китайский и мультиязычный режимы работы. Доступны режимы с рассуждением и без него, а также рекомендации по настройкам генерации и запуску на GPU. К заявленным сильным сторонам относятся отсутствие отказов в указанном тесте из 465 запросов, повышенная стабильность, ясность контекста и следование инструкциям после коррекции тензоров. При этом модель позиционируется как uncensored, поэтому может не применять стандартные ограничения безопасности. Фактическое качество, устойчивость, требования к памяти и поддержка конкретных мультимодальных сценариев зависят от выбранной квантизации и среды запуска. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V7-GGUF — мультимодальная модель в формате GGUF, созданная LuffyTheFox на основе HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive. В модель также перенесены данные дообучения DJLougen/hermes-qwen3.5-35b-a3b-GGUF на датасете NousResearch/hermes-function-calling-v1, ориентированном на Hermes-агентов и вызов функций. Модель относится к семейству Qwen3.6, использует архитектуру Mixture-of-Experts с заявленным общим размером 35B и примерно 3B активных параметров, а также поддерживает обработку текста и изображений. В карточке указаны английский, китайский и многоязычный режимы работы, однако точный размер контекстного окна не приведён. Модель предназначена для диалогов, генерации текста и кода, агентных сценариев, вызова функций, ролевых и творческих задач, а также задач image-text-to-text. Основной заявленный акцент — отсутствие встроенных отказов и улучшение стабильности, ясности контекста и следования инструкциям с помощью метода Genesis, который, по описанию автора, выполняет численную коррекцию тензоров GGUF без переобучения. Эти заявления не подтверждены независимыми результатами оценки, поэтому качество, устойчивость и фактическая степень «uncensored» зависят от сценария использования. Для запуска требуются совместимые GGUF-инструменты и настройка распределения MoE-весов между GPU и CPU; автор приводит рекомендации для RTX 3060 с 12 ГБ видеопамяти, включая использование F16 для K/V cache и ограничение числа активных экспертов. Модель распространяется по лицензии Apache-2.0.

Brooooooklyn/Qwen3.8-27B-MXFP4-mlx — это квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX для Apple Silicon. Модель предназначена для генерации текста, работы с изображениями и текстом, а также задач программирования. Она относится к семейству Qwen3.5 и использует плотную языковую архитектуру из 64 слоёв: 48 слоёв с линейным вниманием и 16 слоёв с полным вниманием. В составе также есть BF16 vision tower и один слой MTP для ускоренного спекулятивного декодирования. Веса используют смешанную weight-only квантизацию: MXFP4 с группами по 32 элемента для части FFN-слоёв и MXFP8 с группами по 32 элемента для остальных основных модулей, включая attention, lm_head и последние восемь FFN-слоёв. Эмбеддинги, нормализации, vision tower, MTP-подсистема и другие исключённые тензоры сохранены в BF16. Контекстное окно и полный список поддерживаемых языков в представленном описании не указаны. Модель рассчитана на локальный запуск в экосистеме MLX и требует @mlx-node/lm и @mlx-node/core версии 0.0.10 или новее. К преимуществам относятся существенное уменьшение размера весов и совместимость с Apple Silicon, однако README не содержит результатов оценки качества, производительности, работы с длинным контекстом или изображениями, поэтому эти характеристики не подтверждены. Квантизация не использует калибровочные данные и не гарантирует эквивалентность NVIDIA NVFP4 или калиброванным схемам W4A4/W8A8. Исходная модель распространяется по лицензии Apache-2.0; вклад в возможности и обучение принадлежит Qwen Team, рецепт квантизации разработан Unsloth.

A3Pz0/Qwen3.8-27B-TURBO-Fable-Uncen-MTP-GGUF — это многос этапная дообученная и объединённая версия Qwen3.8-27B, разработанная автором DavidAU с использованием Unsloth, методов Cold Fusion и Fable Fusion. Модель распространяется в формате GGUF с обычными и MTP-квантами, включая варианты с точностью 4 и 8 бит, и ориентирована на работу на потребительском оборудовании. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и reasoning, а также оптимизация для сокращения объёма рассуждений и ускорения генерации при сохранении детализации ответа. В карточке указаны английский и китайский языки. Архитектура и размер унаследованы от Qwen3.8-27B; поддержка изображений заявлена через тег image-text-to-text, но подробности мультимодальных возможностей в README не приведены. К сильным сторонам относятся заявленные автором высокие результаты на наборах ARC-C и ARC-E, улучшение по сравнению с базовой Qwen3.8-27B, сокращение числа токенов рассуждений и наличие вариантов для разного объёма памяти. Ограничения включают отсутствие независимой проверки приведённых бенчмарков, неполные сведения о контекстном окне и мультимодальности, а также возможную специфику поведения uncensored/abliterated-дообучения. Лицензия — Apache-2.0.

ggml-org/Qwen3-8B-GGUF — это квантизированная версия языковой модели Qwen3-8B, автоматически преобразованная в формат GGUF проектом ggml-org. Исходная модель разработана командой Qwen; в карточке также указаны связанные исходные модели Qwen/Qwen3-8B, z-lab/Qwen3-8B-DFlash-b16 и deepseek-ai/dspark_qwen3_8b_block7. Модель предназначена для генерации текста и может использоваться через совместимые инструменты, включая llama.app. Объём модели составляет 8B параметров; формат GGUF и квантизация ориентированы на более удобный запуск и эффективное использование ресурсов по сравнению с полноразмерной версией. Сведения о конкретном варианте квантизации, архитектуре, поддерживаемых языках, модальностях и размере контекста в README не указаны. Модель распространяется по лицензии Apache-2.0. Ограничения по качеству, точности, требованиям к оборудованию и рекомендуемым сценариям использования отдельно не описаны.

dealignai/Qwen3.8-Flash-Next-UNCENSORED-FP8 — модифицированная версия Qwen3.8-Flash-Next-FP8 от команды dealignai. Модель предназначена для генерации текста, решения задач и сценариев, где требуется повышенная готовность отвечать на широкий спектр запросов без встроенных отказов. Также заявлена поддержка обработки изображений благодаря сохранённой vision tower. Модель работает в формате FP8 и сохраняет MTP head и vision tower базовой модели. В README также указана архитектура MoE, однако размер модели, максимальная длина контекста и перечень поддерживаемых языков не приведены. По заявленным внутренним тестам, модель демонстрирует более глубокое рассуждение: на пяти логических головоломках она решила четыре задачи против трёх у базовой модели, при этом использовала примерно в 3,5 раза больше токенов рассуждения. На полном тесте MMLU результат составил 80,39% против 83,54% у базовой модели, то есть снижение общей точности знаний сопровождается неоднородными изменениями по отдельным предметам. К сильным сторонам относятся сохранённые мультимодальные возможности, поддержка FP8, отсутствие жёстких отказов в заявленном тестировании HarmBench и увеличение глубины рассуждений. Ограничения включают возможное ухудшение точности на части академических и прикладных тематик, повышенный расход токенов при рассуждении и отсутствие подробных сведений о размере, контексте и языках. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Thinking-2507, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp; формат подходит для офлайн-сценариев на оборудовании с ограниченными ресурсами по сравнению с полной версией BF16. Модель относится к семейству Qwen3 и имеет заявленный размер 30B параметров, при этом в названии указано A3B. README не содержит сведений о поддерживаемых языках, длине контекста, конкретной архитектуре, мультимодальности и результатах тестирования. Доступны варианты от BF16 до различных уровней квантизации Q8_0, Q6, Q5, Q4, Q3 и IQ; они различаются размером файлов, качеством и требованиями к оперативной памяти. Версии Q6 и Q5 отмечены как высококачественные, Q4_K_M — как стандартный вариант для большинства сценариев, а Q3 предназначены для систем с небольшим объёмом памяти, но дают более низкое качество. Сильными сторонами являются широкий выбор квантизаций, совместимость с популярными локальными инструментами и возможность подобрать баланс между качеством, скоростью и потреблением памяти. Ограничения включают неизбежное снижение качества в более компактных вариантах, значительный размер файлов даже после квантизации и отсутствие в README сведений о лицензии, языках и максимальном контексте. Для корректного диалога рекомендуется использовать указанный в README шаблон prompt format с секцией <think>.

Ring-lite-distill-preview — языковая MoE-модель InclusionAI для диалогов и генерации текста, дообученная на инструкционных данных с упором на рассуждения. В README указано 16,8 млрд параметров, из которых активируются 2,75 млрд; архитектура в метаданных обозначена как Bailing MoE, а карточка модели указывает контекст 16 384 токена. Модель предназначена для решения математических и логических задач, следования инструкциям, программирования и вызова функций в диалоговых сценариях. Авторы сообщают о результатах на тестах AIME24, MATH-500, GPQA-diamond, LiveCodeBench, IFEval и BFCL_v2; эти показатели относятся к оценкам авторов и не гарантируют аналогичного качества в прикладных системах. Поддерживаемые языки — китайский и английский. Модель дообучена на базе inclusionAI/Ling-lite. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — MIT.

SDLM-32B-D4 — языковая модель OpenGVLab для генерации текста в формате последовательной диффузии. Она основана на Qwen2.5-32B и дообучена для переноса авторегрессионных весов в диффузионный режим. Модель предсказывает блоки токенов длиной 4, затем сохраняет наиболее длинный уверенно предсказанный префикс; повторное использование KV-кэша призвано ускорить декодирование. В метаданных указаны 32 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговой генерации и задач с длинным текстом. Авторы сообщают примерно о двукратном ускорении относительно сопоставимых авторегрессионных моделей при близком качестве и до пятикратного ускорения относительно других диффузионных языковых моделей; в README эти результаты связаны, в частности, с тестом MATH-500. В обучении использовались данные по математике, коду и общим диалогам, а также научные и табличные наборы. Указаны интерфейсы чата и вызова инструментов, но отдельные гарантии качества для этих сценариев в карточке не приведены. Модель распространяется под лицензией Apache-2.0.

smol-7b-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral для генерации ответов на инструкции и диалоговые запросы. Она создана методом SLERP merge из mistralai/Mistral-7B-Instruct-v0.1 и rishiraj/smol-7b; в конфигурации указана базовая модель mistralai/Mistral-7B-Instruct-v0.1. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и принимает текст для генерации текста. Нативный контекст составляет 32 768 токенов. В карточке указан английский язык, формат весов — safetensors, лицензия — Apache-2.0.

Spark-X2.5-4B-ASHQ1-GGUF — выпущенная wepiqx версия модели Spark-X2.5-4B в формате GGUF с квантованием ASHQ1 и калибровкой imatrix. Это плотная decoder-модель архитектуры spark2_5 примерно на 4,1 млрд параметров с 36 блоками, группированным многозапросным вниманием и чередованием полных и скользящих окон внимания. Нативный контекст базовой модели — до 1 млн токенов. Модель предназначена для диалога и генерации текста; базовая Spark-X2.5-4B также рассчитана на код, рассуждения, перевод и агентные сценарии. Репозиторий содержит варианты квантования разного размера: автор рекомендует ASHQ1 на 4000 MiB, для которого указано небольшое ухудшение perplexity относительно Q8_0 при экономии места. Приведённые измерения сделаны на сыром тексте без шаблона чата, а сам автор считает сравнение предварительным. Модель работает в llama.cpp со штатной поддержкой архитектуры spark2_5. Указана лицензия Apache-2.0. README описывает главным образом процесс квантования и результаты теста perplexity, а не отдельные оценки качества на прикладных задачах.

Leroy Dyer представляет SpydazWeb AI HumanAI RP — объединённую модель для генерации текста на основе Mistral 7B. Автор сообщает о длительном дообучении и слиянии нескольких моделей; метаданные указывают размер 7,1 млрд параметров, архитектуру Mistral и лицензию Apache-2.0. Карточка описывает модель как ориентированную на диалоги, ролевые сценарии, рассказывание историй и следование инструкциям, а также на структурированные ответы, планирование и генерацию кода. Модель рассчитана на текстовые сценарии, включая ролевые игры и персонажей, ответы на вопросы, перевод, суммаризацию, программирование и задачи с агентами или инструментами. В README также заявлена работа с изображениями и аудио через текстовые представления Base64 и спектрограммы, однако метаданные подтверждают только задачу text-generation, поэтому эти возможности следует считать заявлениями автора. Автор заявляет контекст до 512 тыс. токенов, но отмечает, что обучение в основном проводилось на последовательностях длиной 2048 токенов. Автор предупреждает, что модель может ошибаться и выдавать NSFW-контент; её ответы требуют проверки, особенно в медицинских и других чувствительных сценариях. Условия использования определяются лицензией Apache-2.0.

ZEUS-8B-V6 — объединённая языковая модель, созданная автором репозитория T145 с помощью mergekit и метода DARE TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct; в объединение также вошли Llama-VARCO-8B-Instruct, Llama-3.1-8B-Lexi-Uncensored-V2, Llama-3.1-Storm-8B и Llama-3.1-SuperNova-Lite. Модель построена на архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста и диалогов; метаданные также указывают интерфейс для вызова инструментов. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH. Модель распространяется в формате safetensors. Лицензия в предоставленных данных не указана. В README нет сведений о целевых языках и подробных ограничениях качества, поэтому их нельзя достоверно определить по имеющимся материалам.