II.4Отладка, тестирование и качество ПО

openNemo-Cascade-2-30B-A3B — реализация модели NVIDIA Nemotron-Cascade-2-30B-A3B от Empero AI, в которой CUDA-зависимые операции заменены на операции PyTorch. Это позволяет использовать веса исходной модели без преобразования и применять 4-битную квантизацию bitsandbytes и QLoRA дообучение на совместимых потребительских GPU. Модель предназначена для генерации текста в диалогах и задач сложного рассуждения; в карточке приведены результаты исходной модели на математических и программных олимпиадах. Архитектура гибридная: 52 слоя сочетают блоки Mamba2, смесь экспертов MoE с выбором 6 из 128 экспертов и несколько блоков Grouped Query Attention. В README указано около 30,87 млрд параметров всего и около 3 млрд активных на токен; метаданные каталога сообщают 1,9 млрд параметров, поэтому оценка размера противоречива. Метаданные указывают контекст до 262 144 токенов и поддержку английского, испанского, французского, немецкого, итальянского и японского языков. Репозиторий сохраняет имена весов NVIDIA и заявляет совместимость с исходным чекпойнтом. Для 4-битной загрузки README оценивает потребление видеопамяти примерно в 17 ГБ, а для QLoRA — около 19 ГБ. Лицензия в метаданных обозначена как «other»; конкретные условия использования следует проверять в файлах репозитория и у базовой модели.

Ornith-1.5-9B-NVFP4-MTP-GGUF — это квантованный GGUF-артефакт модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем Avifenesh. Модель предназначена для генерации текста, диалоговых сценариев, работы с кодом и задач, поддерживающих XML-вызов инструментов и рассуждения в формате <think>. Артефакт ориентирован на инференс через tiyuvta serving engine и GPU архитектуры NVIDIA Blackwell; для upstream llama.cpp и Ollama рекомендуется использовать официальные BF16–Q8_0 GGUF-файлы без MTP-головы. Основная модель имеет 9 млрд параметров, контекст до 262 144 токенов, словарь размером 248 320 и текстовую text-to-text модальность; vision tower в этот артефакт не включён. Используется NVFP4-квантизация с 4-битными весами и FP8-масштабами на блок, при этом эмбеддинги и выходная голова представлены в Q5_K, а нормы — в F32. Размер файла составляет около 5,4 ГБ вместо 18,8 ГБ в BF16. В артефакт добавлена MTP-голова, заимствованная из Qwen3.5-9B; она используется для speculative decoding и не должна изменять итоговые токены, поскольку каждый спрогнозированный токен проверяется целевой моделью. На тестах заявлена токен-в-токен идентичность с обычной greedy-декодировкой и принятие до 59% черновых токенов при K=3, однако показатели производительности в токенах в секунду не приводятся и зависят от оборудования. Лицензия основного Ornith-1.5-9B указана как MIT; MTP-голова происходит из Qwen3.5-9B под Apache-2.0.

EasierAI/Phi-4-14B — текстовая языковая модель на 14 млрд параметров, разработанная Microsoft Research и основанная на Microsoft Phi-4. В данном варианте модель преобразована в архитектуру, совместимую с Llama, для более удобного использования и дообучения; также заявлены исправления Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и программирования. Она принимает текстовые входы и лучше всего работает с запросами в чат-формате. Модель представляет собой плотный decoder-only Transformer с контекстом до 16 000 токенов и поддерживает английский язык. Phi-4 обучалась на сочетании синтетических данных, отфильтрованных общедоступных веб-источников, академических книг и наборов вопросов и ответов, а для улучшения поведения использовались supervised fine-tuning и direct preference optimization. К сильным сторонам относятся ориентация на качественные данные, развитое рассуждение, следование инструкциям и возможности для локального запуска и дообучения в форматах, поддерживаемых экосистемой Unsloth и llama.cpp. Ограничения включают текстовую модальность, заявленную специализацию на английском языке и необходимость учитывать ресурсы, требуемые для запуска 14B-модели; конкретные показатели качества в README не приведены. Лицензия указана как MIT. README описывает этот репозиторий как конверсию Phi-4 и ссылается на базовую модель microsoft/phi-4; сведения о точном формате или квантовании данной версии в предоставленных данных отсутствуют.

unsloth/Qwen2.5-1.5B-Instruct-unsloth-bnb-4bit — инструкция-ориентированная языковая модель семейства Qwen2.5, разработанная Qwen и опубликованная в формате Unsloth. Это квантованная 4-битная версия модели Qwen/Qwen2.5-1.5B-Instruct, предназначенная для диалогов, следования инструкциям, генерации и обработки текста, а также для задач программирования, математики и формирования структурированных ответов, включая JSON. Модель является каузальной языковой моделью с примерно 1,5 млрд параметров и работает через библиотеку Transformers. Формат Unsloth использует динамическое 4-битное квантование: разные части модели квантуются выборочно для снижения потребления памяти с целью лучшего сохранения точности по сравнению со стандартным 4-битным квантованием. В материалах семейства Qwen2.5 заявлена поддержка более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и другие; точные параметры контекстного окна для данной версии в README не указаны. Сильными сторонами модели являются компактный размер, сниженные требования к памяти и улучшенные возможности следования инструкциям, работы с кодом, математикой и структурированными данными. Ограничения связаны с существенно меньшей ёмкостью по сравнению с крупными моделями, возможной потерей точности из-за квантования и тем, что README не содержит подробных результатов тестирования именно этой версии. Модель распространяется по лицензии Apache-2.0.

bunnycore/Qwen-2.5-7B-Stock-Deep-Bespoke — языковая модель на 7,1 млрд параметров, созданная методом Model Stock с помощью mergekit. В качестве базовой использована deepseek-ai/DeepSeek-R1-Distill-Qwen-7B; в слияние также вошли Bespoke-Stratos-7B, Qwen2.5-7B-Instruct-abliterated-v3 с LoRA-адаптером bunnycore/Qwen-2.5-7b-rp-lora и Qwen2.5-7B-nerd-uncensored-v1.0. Модель использует архитектуру Qwen2ForCausalLM, работает с текстом и предназначена для диалогов и генерации текста. Контекстное окно составляет до 131 072 токенов. Базовая модель ориентирована на многошаговые рассуждения, включая математику и программирование; объединённые модели также указывают на сценарии ролевого и менее ограниченного диалога. Репозиторий содержит веса в формате Safetensors, библиотека — Transformers. Лицензионные условия в предоставленных данных не указаны.

Qwen3-24B-A4B-Freedom-HQ-Thinking-Abliterated-Heretic-NEOMAX-Imatrix-GGUF — модель от DavidAU, созданная на базе шести моделей Qwen3 4B и их производных, включая варианты с дистилляцией рассуждений из более крупных моделей. Это текстовая reasoning-модель с архитектурой dense Mixture of Experts: по умолчанию активен один эксперт, но доступны конфигурации с двумя–шестью экспертами, соответствующие заявленным уровням 4–24B параметров. Модель распространяется в формате GGUF с различными вариантами квантования и рассчитана на локальный запуск на GPU или CPU. Модель предназначена для широкого спектра задач: генерации и продолжения художественных текстов, ролевых сценариев, диалогов, написания кода, математики, обучения, исторических и научных объяснений, включая задачи высокого уровня. Заявлена поддержка контекста до 256K токенов и английского языка. Модель ориентирована на подробные рассуждения, планирование и точное следование инструкциям; увеличение числа активных экспертов может повысить доступную вычислительную мощность и качество ответов. К сильным сторонам относятся большой контекст, гибкая настройка числа активных экспертов, reasoning-возможности и сниженный уровень отказов благодаря применению Heretic и abliterated-подхода. При этом модель может требовать более явных указаний для получения желаемого уровня резкости, ненормативной лексики или откровенного содержания. Для локального запуска потребуются соответствующие вычислительные ресурсы, особенно при активации нескольких экспертов; заявленные показатели скорости зависят от оборудования и настроек. В README указана лицензия Apache-2.0.

NVIDIA Qwen3-30B-A3B-NVFP4 — это квантизированная версия авторегрессионной языковой модели Qwen3-30B-A3B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer версии 0.31.0. Модель предназначена для генерации текста и ориентирована на разработчиков, создающих AI-агентов, чат-ботов, RAG-системы и другие приложения на основе искусственного интеллекта. Модель использует трансформерную архитектуру Qwen3-30B-A3B, принимает текстовые последовательности и возвращает текст. Поддерживается контекст длиной до 131K токенов. Веса и активации линейных операторов внутри трансформерных блоков квантизированы в FP4, что примерно в 3,3 раза сокращает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Модель рассчитана на запуск через TensorRT-LLM на GPU NVIDIA, включая архитектуру Blackwell, предпочтительно в Linux. К сильным сторонам относятся уменьшенные требования к памяти и готовность к высокопроизводительному инференсу на совместимом оборудовании. Ограничения включают зависимость от TensorRT-LLM и NVIDIA GPU, а также возможное снижение точности из-за квантизации; конкретные языковые возможности и результаты для отдельных языков в README не указаны. В README приведены результаты на MMLU Pro, GPQA Diamond, HLE, LiveCodeBench, SciCode, MATH-500 и AIME 2024, а для калибровки использован датасет CNN/DailyMail. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

MMOPD/Qwen3-4B-OT3-if — плотная языковая модель Qwen3 с 3,7 млрд параметров, разработанная командой MMOPD как учительская модель для следования инструкциям. Она получена дообучением MMOPD/Qwen3-4B-OT3-2ep методом GRPO на запросах с проверяемыми требованиями к формату и содержанию ответа. Модель поддерживает чат, шаблон Qwen3 и режим рассуждений; длина контекста — 32 768 токенов. Веса представлены в формате Safetensors и хранятся в bfloat16. Модель предназначена для генерации ответов по инструкциям, в том числе с заданными ограничениями на структуру и содержание, а также для задач рассуждения, математики и программирования. В опубликованных оценках она заметно повысила результаты на IFEval и IFBench относительно исходной модели, сохранив сопоставимые показатели на кодовых и математических тестах; README также приводит результаты на медицинских и финансовых наборах, которые не следует считать гарантией качества в прикладных сценариях. Для использования рекомендованы шаблон чата Qwen3, включённое рассуждение и сэмплирование. Лицензия — Apache-2.0.

FreedomAISVR/Qwen3.5-4B-Instruct-NVFP4-GGUF — квантованная в NVFP4 версия мультимодальной инструкционной модели Qwen3.5-4B от команды Qwen компании Alibaba. Репозиторий содержит GGUF-веса текстовой модели и отдельный проектор изображений SigLIP в формате F16; для инференса автор описывает использование llama.cpp. Модель рассчитана на диалог, выполнение инструкций, генерацию текста и кода, рассуждения и понимание изображений. Поддерживает английский, китайский и другие языки; режим рассуждений по умолчанию отключён и может быть включён настройкой enable_thinking=true. Модель имеет 4 млрд параметров, 32 слоя трансформера, гибридное внимание GQA и MLA с чередованием SSM Mamba-2, скрытую размерность 2560. Квантование NVFP4 использует около 4,74 бита на вес и ориентировано на ускорение на графических процессорах NVIDIA Blackwell; README рекомендует традиционные форматы для более старых GPU, AMD и CPU. Лицензия — Apache-2.0. Карточка не сообщает длину контекста и количественную оценку качества.

Qwen3.6-35B-A3B-MTP-GGUF — это GGUF-квантизированная версия модели Qwen3.6-35B-A3B, разработанная ByteShape с использованием ShapeLearn. ShapeLearn подбирает тип данных для каждого тензора, чтобы сохранять качество при малой разрядности. Модель поддерживает Multi-Token Prediction (MTP), позволяющую предсказывать несколько токенов за один проход и ускорять декодирование за счёт спекулятивного принятия совпадающих токенов. Модель предназначена для GPU-инференса в llama.cpp и поддерживает работу с изображениями и текстом; для загрузки визуального проектора используется параметр --mmproj-auto. MTP особенно полезен при автодополнении кода, генерации структурированных ответов и повторяющегося контента, тогда как для творческой или нетипичной генерации ускорение может быть ниже. Варианты имеют размер от 10 до 18,6 ГБ и используют квантизации IQ2_S, IQ3_S и IQ4_XS с разрядностью 2,25–4,19 бит на вес. Базовая модель имеет 35B параметров и архитектуру, обозначенную как 35B-A3B; другие характеристики, включая языки и размер контекста, в README не указаны. MTP-голова встроена в GGUF, поэтому отдельная draft-модель не требуется, но нужен свежий выпуск llama.cpp с поддержкой draft-mtp. Производительность зависит от конкретной видеокарты и нагрузки; для большинства сценариев рекомендуется предсказывать на 2–4 токена вперёд. Модель распространяется по лицензии Apache-2.0.

MuXodious/Qwen3.8-27B-absolute-heresy — дообученная версия Qwen3.8-27B, созданная P-E-W с помощью Heretic v1.4.0 и метода abliteration. Это плотная модель с причинной языковой моделью и визуальным энкодером, содержащая 27 млрд параметров; базовая архитектура использует 64 слоя. Исходная Qwen3.8-27B поддерживает изображения и видео, а также диалог, программирование и многошаговые агентные задачи; для неё указан контекст 262 144 токена с расширением до 1 000 000 токенов. Эти характеристики относятся к базовой модели. Настройка нацелена на снижение отказов: автор сообщает о 2 отказах из 101 проверенного запроса против 101 из 101 у исходной модели. По описанию автора, при этом модель сохраняет полезность с минимальным повреждением возможностей, однако приведённая оценка зависит от используемой процедуры и не гарантирует поведение на других запросах. Модель предназначена для сценариев, где требуется более свободный диалог с сохранением мультимодальных возможностей Qwen3.8. Репозиторий содержит веса и конфигурацию в формате Transformers; заявлены совместимость с Transformers, vLLM и SGLang, а также отдельные LoRA-адаптер и версия GGUF. Лицензия — Apache-2.0.

Это мультимодальная 27,8-миллиардная плотная модель семейства Qwen3.5, опубликованная True2456 как AWQ-квантизованный вариант Qwen/Qwen3.8-27B для запуска на Apple Silicon через oMLX. Она принимает текст и изображения и предназначена для диалогов, анализа визуальных материалов, программирования и многошаговых задач; метаданные также отмечают интерфейс вызова инструментов. Контекст модели — 256 тысяч токенов. Калибровка AWQ с размером группы 64 включала текст и изображения; файлы занимают около 17,36 ГБ при 5 битах на вес. Карточка приводит замеры скорости и памяти на M5 Max, а также описывает встроенные MTP-головы и ускорение SpecPrefill для длинных запросов. Эти результаты относятся к указанной конфигурации оборудования и oMLX. Квантизация может влиять на качество относительно исходной точности, а автор отдельно отмечает, что влияние несовпадения токенизаторов на точность длинноконтекстного поиска не измерялось. Лицензия — Apache-2.0. Модель является производной от Qwen/Qwen3.8-27B и рассчитана на локальный инференс; карточка указывает оптимизацию под M5 NAX.

HaberstrohSystems/Qwen3.8-27B-int4-g128-sym-autoround — квантованная версия нативно мультимодальной модели Qwen3.8-27B, опубликованная HaberstrohSystems и предназначенная для запуска на одной видеокарте Intel Arc Pro B70 с 32 ГБ памяти. Модель поддерживает работу с текстом и изображениями, вызов инструментов и обслуживается через Transformers или vLLM с парсером qwen3_coder. Модель содержит 27 млрд параметров; языковая часть имеет 64 слоя, скрытое измерение 5120, 24 query-heads и 4 KV-heads. Заявленный нативный контекст составляет 262 144 токена, а в приведённой конфигурации обслуживания используется до 131 072 токенов. Языковая часть сжата до INT4 методом AutoRound в формате W4A16 с размером группы 128 и симметричной схемой; веса занимают около 17,69 GiB. Чувствительные компоненты языковой модели и vision tower сохранены в 16-битном виде, поэтому обработка изображений не подвергается квантованию. Указан английский язык. Сильными сторонами являются мультимодальность, большой контекст, поддержка рассуждений с уровнями xhigh, medium и low, вызов инструментов и возможность запуска на одной Intel Arc Pro B70. Ограничения включают заметную задержку при включённом рассуждении xhigh, ускоренный рост контекста из-за сохранения блоков рассуждений и существенное падение производительности при длинных контекстах и многопользовательской нагрузке. Лицензия — Apache 2.0.

StargazerLabs Qwen3.8-32B-Jumbo — производная плотная языковая модель для генерации текста и диалогов. Она создана переносом трёх блоков слоёв из Qwen3.6-27B в Qwen3.8-27B: архитектура расширена с 64 до 76 слоёв, а число параметров составляет около 31,9 млрд. Веса опубликованы в формате safetensors для MLX, лицензия — Apache-2.0. Модель предназначена для текстовых запросов, общения, программирования и многошаговых задач. По описанию автора, перенос блоков должен вернуть часть широты фактических знаний Qwen3.6, сохранив улучшения Qwen3.8 в коде и агентных возможностях. README также заявляет совместимость с черновой моделью Qwen3.8-27B-MTP для спекулятивного декодирования; указанную скорость следует считать заявлением автора. Данные о размере контекста и явной поддержке других модальностей не приведены; доступные сведения описывают текстовую генерацию. Модель рассчитана на английский язык согласно метаданным. Качество восстановления знаний и заявленная скорость ускорения в README не подкреплены приведёнными результатами независимой оценки.

Qwen3-VL-30B-A3B-Instruct-1M-GGUF — мультимодальная vision-language модель семейства Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF с оптимизациями Unsloth Dynamic 2.0. Это instruct-версия, предназначенная для диалога, анализа изображений и видео, генерации текста по визуальному контексту, OCR, визуального рассуждения, решения STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует MoE-архитектуру: в названии указано 30B параметров, из которых 3B активируются для отдельного запроса. Она поддерживает текст и визуальные данные, включая изображения и видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, что позволяет работать с книгами, длинными документами и многочасовыми видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения признаков ViT, а также выравнивание текста с временными метками для локализации событий в видео. OCR поддерживает 32 языка. Сильные стороны модели — объединённое понимание текста и визуального контекста, распознавание объектов и документов, пространственное и временное рассуждение, генерация кода и разметки по изображениям и видео, а также потенциальная работа визуального агента с GUI. README не содержит точных результатов тестов, сведений о конкретных языках общего текстового общения, размерах файлов и параметрах отдельных квантований, поэтому характеристики производительности и требования к ресурсам оценить нельзя. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Модель распространяется по лицензии Apache-2.0.

QwQ-32B-AWQ — 4-битная AWQ-квантизированная версия reasoning-модели семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста и решения сложных задач, где важны пошаговое рассуждение и повышенная точность, включая математические задачи, вопросы с вариантами ответа, диалоговые сценарии и другие задачи, требующие анализа. Она основана на Qwen2.5 и обучалась с использованием предварительного обучения, supervised fine-tuning и reinforcement learning. Это каузальная языковая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений в QKV-проекциях внимания. Модель содержит около 32,5 млрд параметров, из которых 31 млрд не относятся к эмбеддингам, 64 слоя и механизм GQA с 40 головами для Q и 8 для KV. Заявленная длина контекста составляет до 131 072 токенов, однако для входов длиннее 8192 токенов рекомендуется включать YaRN. В карточке указаны поддержка английского языка и текстовая модальность; модель доступна для запуска через совместимые инструменты экосистемы Hugging Face и рекомендуется к развёртыванию с vLLM. Сильными сторонами модели являются ориентация на рассуждение, конкурентоспособность с современными reasoning-моделями сопоставимого класса и сниженные требования к памяти благодаря 4-битной квантизации. Ограничения включают возможные повторы при жадной декодировке, необходимость подбора параметров sampling и потенциальное ухудшение производительности на коротких текстах при статическом YaRN. Модель распространяется по лицензии Apache-2.0.

Ring-mini-linear-2.0 — языковая модель компании inclusionAI для генерации текста и диалогов. Она построена на гибридной архитектуре, сочетающей линейное и стандартное внимание, и использует разреженную смесь экспертов (MoE). В репозитории указано 1,2 млрд параметров, а в карточке модели описана версия с 16,4 млрд параметров, из которых при генерации активируются 1,6 млрд; эти цифры расходятся, поэтому размер полной модели по доступным данным нельзя согласовать. Модель дообучена на основе inclusionAI/Ling-mini-base-2.0-20T на дополнительных 600 млрд токенов. Модель предназначена для генерации ответов в диалогах и решения сложных задач по математике, программированию и науке. Метаданные указывают поддержку интерфейса вызова инструментов. Для эффективной обработки длинного контекста заявлено окно до 512 тыс. токенов с расширением YaRN; метаданные указывают нативный контекст 131 072 токена. В карточке приведены англоязычные теги. Для запуска описана поддержка Transformers и SGLang, а также BF16 и FP8 в SGLang; инструкции по установке специальных зависимостей и сборок движков указывают на необходимость совместимой среды. Лицензия — MIT.

Swift-Qwen3.8-27b-BF16-AMD — полноразмерная BF16-версия модели UkisAI Swift, производной от Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration; опубликована в формате safetensors для Transformers и предназначена для AMD/ROCm и рабочих процессов AMD Quark. Веса включают компонент обработки изображений и видео и MTP-голову. Модель ориентирована на диалоги и многошаговые рассуждения, включая программирование, решение математических задач, ответы на вопросы и генерацию структурированного JSON. Метод дообучения нацелен на сокращение избыточных рассуждений: в тестах UkisAI модель использовала на 58,3% меньше токенов мышления при потере качества менее 1% и ускорении до 1,95 раза на ряде задач. Эти результаты относятся к описанным в карточке испытаниям и не гарантируют аналогичных показателей в каждом сценарии. Модель принимает текст и изображения, а также поддерживает визуальные возможности базовой модели для анализа видео; выдаёт текст. Указанная в README длина контекста для приведённых тестов — 262 144 токена. Лицензия обозначена как other; карточка сообщает, что доступ к API бесплатен для исследований, но не задаёт полных условий лицензии весов. Для использования на AMD требуется совместимая среда ROCm; AMD/ROCm-развёртывание и его производительность на момент описания не проверены, а приведённые результаты получены не на оборудовании AMD.

Yuan2-102B-hf — плотная авторегрессионная языковая модель семейства Yuan 2.0, разработанная IEIT System. Модель основана на Yuan 1.0 и обучена на расширенных наборах предобучающих и инструкционных данных; в репозитории указано 91,3 млрд параметров, формат PyTorch и контекст до 4096 токенов. Модель предназначена для генерации текста и диалогов, а также для задач семантического понимания, математики, рассуждений, программирования и работы со знаниями. В карточке приведены оценки и скрипты для GSM8K, AGIEval-GK-Math, HumanEval и TruthfulQA. Она принимает текст и выдаёт текст; README представлен на китайском и английском языках, но это само по себе не устанавливает полный список поддерживаемых языков. Модель может выдавать неточные ответы и поддаваться вводящим в заблуждение инструкциям. README заявляет поддержку коммерческого использования и отсутствие необходимости получать отдельное разрешение; для модели указана лицензия other, а условия использования отсылают к лицензии Yuan 2.0.

airoboros-l2-7b-2.2 — экспериментальная текстовая языковая модель на архитектуре LLaMA, разработанная jondurbin и дообученная преимущественно на синтетических данных набора airoboros-2.2. Она предназначена для ответов на инструкции и вопросы, генерации текста и кода, ответов по заданному контексту, а также формирования планов и структурированных аргументов для вызова функций. Модель содержит 6,6 млрд параметров, принимает и генерирует текст, а её нативный контекст составляет 4096 токенов. Карточка описывает шаблон диалога с метками USER и ASSISTANT и рекомендации по остановке генерации; для ответов по предоставленным источникам предусмотрен формат с явными разделителями контекста. Модель в основном ориентирована на выполнение инструкций, а не на свободный чат или ролевую игру. В README отмечены частичное выравнивание для обычного использования и возможность переопределения этого поведения системным промптом. Ответы по контексту могут галлюцинировать, поэтому автор советует явно просить не придумывать неизвестные ответы. Модель распространяется под лицензией Llama 2; опубликована в формате PyTorch.

bagel-dpo-8x7b-v0.2-GGUF — это квантизированная версия текстовой генеративной модели bagel-dpo-8x7b-v0.2, разработанной jondurbin и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp версии b4222 и метода imatrix. Модель распространяется для локального запуска, в частности через LM Studio. Модель предназначена для генерации текста в формате инструкций и диалогов, а также может применяться к широкому кругу задач: ответам на вопросы, рассуждениям, программированию, работе с естественным языком, математике, извлечению и пониманию информации и ролевым сценариям. В обучении или дообучении использовался широкий набор датасетов, включая MMLU, ARC, BoolQ, DROP, Spider, SQuAD, MathInstruct, CodeParrot и наборы диалогов и preference-данных DPO. Доступны варианты квантизации от Q2_K и Q3 до Q8_0 с размером файлов примерно от 17,44 до 49,63 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, но требуют больше памяти; Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Модель работает с текстом; сведения о поддерживаемых языках, размере контекста и точной архитектуре в README не указаны. Ограничения включают возможное снижение качества в компактных вариантах квантизации и высокие требования к памяти. Лицензия — Apache-2.0.

DeepHermes 3 Mistral 24B Preview — языковая модель Nous Research, дообученная на базе Mistral-Small-24B-Base-2501. Это предварительная версия гибридной модели, объединяющей обычный режим ответов и режим рассуждений, который включается системным сообщением. Модель предназначена для диалогов, следования инструкциям, решения задач с рассуждениями и вызова функций; также поддерживает структурированные ответы в формате JSON. Модель имеет плотную архитектуру MistralForCausalLM и 23,4 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст длиной до 32 768 токенов. В карточке указан английский язык. Модель доступна под лицензией Apache-2.0. Это preview-релиз с ранними возможностями рассуждения, дистиллированными из R1; авторы предупреждают о возможных особенностях и ошибках. Для сложных задач модель может генерировать длинные цепочки рассуждений, поэтому может потребоваться увеличить лимит выходных токенов.

Orion-zhen/DeepSeek-R1-Distill-Llama-70B-abliterated — вариант DeepSeek-R1-Distill-Llama-70B, созданный с помощью abliteration. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Она предназначена для генерации текста и диалогов; базовая модель рассчитана на математические рассуждения, программирование и ответы на сложные вопросы. В метаданных указаны английский и китайский языки, а также интерфейсы чата и вызова инструментов. Модель представлена в формате safetensors и распространяется по лицензии GPL-3.0. README не сообщает о качестве abliteration, её конкретных целях или изменениях поведения модели, поэтому эти свойства нельзя оценить по доступным сведениям.

DeepSeek V4 Flash REAP K150 Mixed NVFP4 — производная версия DeepSeek V4 Flash, подготовленная sleepyeldrazi на основе официального чекпойнта deepseek-ai/DeepSeek-V4-Flash. Это текстовая MoE-модель для генерации текста и диалогов. REAP удаляет наименее активные эксперты: в слоях 3–42 оставлено по 150 маршрутизируемых экспертов из исходного набора, что соответствует сокращению примерно на 41%; первые три слоя сохранены без такого сокращения. Дообучения не проводилось. Веса упакованы в смешанном формате: NVFP4 для gate/up проекций маршрутизируемых экспертов, Q2_K для down проекций, Q8_0 для внимания, общих экспертов и выходной головы; эмбеддинги сохранены в F16. Конверсия MXFP4 в NVFP4 описана как преобразование формата шкал без изменения значений весовых нибблов. Репозиторий содержит GGUF, однако для запуска требуется специальный движок ds4 с пользовательскими CUDA-ядрами; стандартные сборки llama.cpp и другие обычные GGUF-рантаймы модель не загружают. Калибровка ориентирована на код, вызов инструментов, исследования и поиск знаний. Карточка приводит бюджет памяти для DGX Spark, включая запуск с контекстом до 1 млн токенов при использовании FP8 KV-кэша, но точная длина контекста в метаданных не указана. Лицензия — MIT.

dolphin-2.9.1-mixtral-1x22b-IMat-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.9.1-mixtral-1x22b, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем legraphista. Модель предназначена для локального запуска и задач генерации текста, включая диалоговое взаимодействие, следование инструкциям, программирование, математические задачи, function calling и агентские сценарии, на которые указывают использованные при обучении наборы данных. Заявленный язык — английский. Модель основана на архитектуре Mixtral и имеет обозначение 1x22b; точные характеристики архитектуры и размер контекстного окна в README не указаны. Доступны варианты от BF16 и FP16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 с размером файлов примерно от 8,27 до 44,48 ГБ. Для ряда вариантов применена IMatrix-квантизация, предназначенная для более эффективного уменьшения размера при сохранении качества. Это позволяет выбирать баланс между требованиями к памяти и качеством вывода, однако квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно у компактных вариантов. Для запуска используются совместимые инструменты экосистемы llama.cpp. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, данных о поддерживаемых языках помимо английского, точного контекстного окна или подробных сведений о системных требованиях, поэтому эти характеристики нельзя надежно оценить.

GLM-4.6-REAP-218B-A32B-Derestricted — текстовая чат-модель, выпущенная Arli AI на основе cerebras/GLM-4.6-REAP-218B-A32B. В карточке она описана как версия с ослабленным поведением отказа, полученная методом Norm-Preserving Biprojected Abliteration; базовая модель использует разреженную архитектуру Mixture-of-Experts и была сжата методом REAP. Метаданные указывают 23,4 млрд параметров, контекст до 202 752 токенов и формат safetensors. Модель предназначена для генерации текста и диалогов, включая рассуждения, написание кода и агентные сценарии. Базовая модель также заявлена для вызова функций и понимания репозиториев, но карточка этой версии не приводит отдельных оценок качества. Arli AI утверждает, что методика модификации сохраняет способности рассуждать, однако приведённых в карточке результатов испытаний именно этой версии нет. Модель распространяется по лицензии MIT. Ослабление отказов означает, что она может отвечать на запросы, которые обычно блокируются; ответы могут содержать небезопасный или неподходящий контент. Для развёртывания требуется совместимая инфраструктура, способная обслуживать крупную MoE-модель.

K2-Horizon-375B-A23B — флагманская языковая модель семейства K2-Horizon от IFM. Это разреженная архитектура Mixture-of-Experts: в модели 375 млрд параметров, из которых 23 млрд задействуются на каждом токене. Модель принимает текст и поддерживает контекст до 524 288 токенов; карточка указывает английский язык и возможность диалогового взаимодействия. Модель предназначена для генерации текста, работы с инструментами и агентных сценариев, включая терминальные задачи и длительные многоэтапные процессы. В README заявлены конкурентные результаты на соответствующих бенчмарках. Доступны контрольные точки обучения, обучающие данные и код обучения; для запуска описаны рецепты vLLM и SGLang, а реализация Transformers проверена с указанными в карточке версиями библиотек. Веса опубликованы в формате Safetensors под лицензией Apache-2.0. Для запуска требуются значительные вычислительные ресурсы: README приводит пример обслуживания на восьми ускорителях H200. Заявленная длина контекста — 524 288 токенов; поведение обучения в реализации Hugging Face может отличаться от исходной реализации xLLM.

Kimi K2.5 — открытая мультимодальная модель от Moonshot AI, построенная продолжением предварительного обучения примерно на 15 триллионах визуальных и текстовых токенов на базе Kimi-K2-Base. Она сочетает понимание изображений и текста с диалоговыми и агентными возможностями, поддерживает режимы instant и thinking и может разбивать сложные задачи на параллельные подзадачи для специализированных агентов. Модель предназначена для визуальных вопросов и рассуждений, генерации кода по визуальным спецификациям, а также выполнения многошаговых задач с инструментами, например поиском в интернете и интерпретатором кода. Архитектура — смесь экспертов (MoE), всего около 1 трлн параметров, из которых активируются 32 млрд; в README для оценки указан контекст 256 тысяч токенов. Репозиторий использует safetensors и содержит нативную INT4-квантизацию. Модель принимает текст и изображения и генерирует текст. README описывает мультимодальное обучение, но не перечисляет поддерживаемые естественные языки. Лицензия указана как other, поэтому конкретные условия использования следует проверять на странице модели. Качество зависит от задачи и доступных инструментов; сложные агентные сценарии требуют подходящей инфраструктуры выполнения инструментов.

ehristoforu/mllama-3.1-8b-instruct — языковая модель, созданная объединением нескольких моделей семейства Llama 3.1 с помощью mergekit и метода TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct, а в объединение вошли Hermes 3, Skywork-o1, Dolphin, LLaMA-O1 и SuperNova Lite. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; в метаданных также заявлен интерфейс вызова инструментов. Её можно применять для ответов на вопросы, рассуждений и генерации кода, однако README не приводит отдельных оценок качества или рекомендаций по использованию. Карточка указывает формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

sapidlabs подготовила разреженную MoE-версию языковой модели NVIDIA Nemotron-3-Nano-30B-A3B: методом REAP удалена половина маршрутизируемых экспертов, по 64 из 128 в каждом MoE-слое. Это сокращает объём модели примерно с 59 до 32 ГБ; число активируемых экспертов на токен осталось равным шести, поэтому основной выигрыш — в размере и потреблении памяти, а не в скорости генерации. Модель использует архитектуру Nemotron-H с классом NemotronHForCausalLM, поддерживает чат и имеет контекст до 262 144 токенов. Модель предназначена для генерации текста, диалогов, задач программирования и рассуждений. Прунинг выполнен без повторного обучения с калибровкой на 256 примерах из набора evol-codealpaca-v1, поэтому лучше всего подтверждены сценарии, близкие к коду и рассуждениям. Формальные бенчмарки не проводились; возможна потеря качества относительно исходной модели, особенно за пределами калибровочных данных. Для запуска доступны веса safetensors через Transformers; для ускоренного пути Mamba требуются mamba-ssm и causal-conv1d. Лицензия указана как other; дополнительных условий README не приводит.