II.4Отладка, тестирование и качество ПО

Llama 3.1 Swallow 8B v0.1 — языковая модель команды Swallow из Токийского института науки (ранее Токийский технологический институт) и AIST, созданная продолжительным предварительным обучением Meta Llama 3.1. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста на японском и английском языках. Дополнительное обучение на японском веб-корпусе, статьях Википедии, математических материалах и коде усилило японские возможности, сохранив английские. Среди оценённых сценариев — ответы на вопросы, чтение и понимание текста, суммаризация, перевод между японским и английским, математические рассуждения и генерация кода. Это базовая, не instruction-tuned версия: она не была настроена для надёжного следования намерениям пользователя и требованиям безопасности, поэтому ответы могут требовать проверки и дополнительной настройки. Авторы описывают модель как находящуюся на ранней стадии исследований и разработки. Лицензия — Llama 3.1; применяйте её с соблюдением условий лицензии Meta.

Local AI Toolkit — это подборка локально запускаемых моделей и инструментов, опубликованная под идентификатором m15dg/local-ai-toolkit. Коллекция собрана с использованием AI-подбора и предназначена как отправная точка для локального AI-окружения, а не как единая модель. Она ориентирована на работу на потребительском оборудовании с NVIDIA RTX 3060 с 12 ГБ видеопамяти и 32 ГБ оперативной памяти. В состав входят модели для универсальной генерации текста, программирования и кодовых агентов, координации multi-agent систем, RAG и анализа документов, embeddings и reranking, синтеза речи, распознавания речи, мультимодального анализа изображений и текста, а также uncensored-варианты. Заявлены форматы GGUF и SafeTensors; для отдельных сценариев предусматриваются GPU и CPU offload либо полностью GPU-ориентированный запуск. Поддерживаются английский и персидский языки, однако характеристики отдельных моделей, включая архитектуру, размеры, контекст и точные мультимодальные возможности, зависят от конкретных компонентов коллекции. Сильной стороной является подборка моделей, адаптированная под ограниченный бюджет памяти и различные локальные сценарии — от диалогов и генерации кода до RAG, агентов и речи. Ограничения заключаются в том, что это незавершённый и периодически обновляемый набор рекомендаций: заявленные возможности и качество не являются гарантированными, а Image Generation и Video Generation на момент описания отсутствуют. Лицензия указана как other; отдельные лицензии входящих моделей в README не приведены.

Карточка модели joe-sidley-adc/lora-finetuned на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

MiniMax-M3-MXFP4 — это мультимодальная vision-language модель на базе MiniMax-M3, разработанная MiniMaxAI и представленная в виде производной 4-битной квантизованной версии от olka-fi с использованием qstream. Модель предназначена для обработки текста и изображений, генерации ответов, решения математических и других интеллектуальных задач, а также сценариев с большим контекстом и вызовом инструментов. Она использует разреженную MoE-архитектуру с 128 экспертами, выбором top-4 экспертов и одним общим экспертом, поддерживает контекст до 256K токенов и включает CLIP vision tower с проектором. Базовая архитектура также использует SwiGLU-OAI и block-sparse attention с lightning-indexer. Основное назначение версии MXFP4 — значительно уменьшить размер модели при сохранении качества. Около 95% весов, относящихся к маршрутизируемым MoE-экспертам, представлены в формате MXFP4 с 4-битными значениями и групповыми масштабами E8M0 для групп по 32 элемента; чувствительные к качеству компоненты сохранены в MXFP8, BF16 или F32. Размер контрольной точки составляет около 237 ГБ против 444 ГБ у исходной MXFP8-версии, а объём весов — примерно 221 ГиБ. В приведённых тестах модель показала perplexity 5,32 на чистом английском тексте и точность 92,9% на GSM8K. Модель рассчитана прежде всего на серверное развёртывание через совместимую экспериментальную сборку vLLM и требует специального патча для MoE-квантизации; для полной конфигурации необходимы GPU с памятью порядка 256–275 ГБ, например B300. Сильными сторонами являются большой контекст, сохранённая обработка изображений, существенное сокращение объёма и высокая скорость генерации на поддерживаемом оборудовании. Ограничения включают значительные требования к видеопамяти, экспериментальный статус поддержки MXFP4 в vLLM и необходимость специальной настройки. Модель распространяется по MiniMax Community License, унаследованной от базовой модели; лицензия допускает некоммерческое использование.

MiroThinker-v1.0-8B-GGUF — квантованная версия языковой модели MiroThinker-v1.0-8B, разработанной miromind-ai и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста, агентских сценариев и задач deep research, включая работу в приложениях на базе llama.cpp и LM Studio. Указан английский язык. Модель содержит 8 миллиардов параметров и распространяется в нескольких вариантах точности: от BF16 до квантований Q2–Q8 и IQ. Для квантования использовался llama.cpp с методом imatrix, что позволяет уменьшить размер файлов и требования к памяти при сохранении качества; рекомендуемыми названы варианты Q4–Q6. Размер файлов составляет примерно от 3,9 до 16,39 ГБ в зависимости от формата. В README не указаны точная архитектура, максимальная длина контекста, результаты бенчмарков и дополнительные модальности, поэтому возможности модели в этих аспектах оценить нельзя. Более сильные квантования обеспечивают лучшее качество, а компактные варианты подходят для систем с ограниченной оперативной памятью, но могут заметнее терять качество. Для работы следует использовать совместимое ПО llama.cpp или LM Studio и формат промпта с маркерами ChatML. Лицензия — MIT.

Ministral-3-14B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Ministral-3-14B-Instruct-2512, разработанной Mistral AI и подготовленной квантизатором bartowski. Модель предназначена для запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp, включая сценарии генерации текста и работы с изображениями согласно заявленному типу pipeline image-text-to-text. Модель имеет около 14 млрд параметров в исходной версии, а репозиторий содержит варианты от BF16 до низкобитных форматов Q3 и IQ4. Доступны версии с разным компромиссом между качеством, размером и требованиями к памяти; рекомендуемыми названы некоторые варианты Q4–Q6. Заявлена поддержка английского, французского, испанского, немецкого, итальянского, португальского, нидерландского, китайского, японского, корейского и арабского языков. Архитектура и размер контекстного окна в README не указаны, а формат промпта рекомендуется уточнять на странице исходной модели. Основные преимущества этой версии — возможность локального запуска, широкий выбор уровней квантизации и применение imatrix-калибровки для снижения потерь качества. Ограничения связаны с тем, что низкобитные варианты требуют компромисса между качеством и потреблением памяти, а подробные сведения о возможностях, контекстном окне и ограничениях исходной модели в README отсутствуют. Репозиторий распространяется по лицензии Apache-2.0.

OpenHermes-7B-Symbolic-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная из mistralai/Mistral-7B-Instruct-v0.1 и hedronstone/OpenHermes-7B-Symbolic методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ответы на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Карточка описывает состав и способ объединения моделей, но не приводит сравнительных оценок качества или специальных ограничений.

Ornith-1.5-35B-A3B-NInfer — производный инференс-артефакт модели Ornith-1.5-35B-A3B, разработанной Ornith AI. Это мультимодальная языковая модель архитектуры Qwen 3.5 Mixture-of-Experts, принимающая текст и изображения. Артефакт предназначен для запуска и обслуживания через движок NInfer, а не является исходным репозиторием модели. Модель содержит 40 слоёв и 256 экспертов, из которых для каждого токена активны 8; эффективный объём активных параметров составляет около 3 млрд при общем классе модели 35B. Используются скрытый размер 2048, GQA с 16 attention- и 2 KV-головами, словарь из 248 320 токенов и контекст до 262 144 позиций. Зрительный энкодер состоит из 27 слоёв. Артефакт включает DFlash-компонент для multi-token prediction и обученную MTP-head, оптимизированную с помощью knowledge distillation. Заявленный язык — английский. Весы упакованы в единый файл размером около 21,22 GiB с групповой смешанной квантизацией Q4, Q5, Q6 и W8; часть тензоров сохранена в BF16. По измерениям из карточки, обученная MTP-head повысила долю принятых черновых токенов с 21,8% до 39,0% и увеличила скорость декодирования примерно на 21,5% в указанной конфигурации RTX 5090 и однопоточном CLI-тесте. Ограничения включают зависимость от движка NInfer, специфичного формата артефакта и доступности соответствующих аппаратных ресурсов; приведённые показатели не являются универсальной гарантией производительности. Базовая модель распространяется по лицензии MIT. Встроенная grafted MTP-head указана как производная от Qwen и распространяется по Apache-2.0, поэтому условия использования следует учитывать для компонентов отдельно.

YOYO-AI/Qwen2.5-14B-YOYO-V3 — языковая модель на архитектуре Qwen2 с 14 млрд параметров, созданная YOYO-AI путём слияния нескольких моделей семейства Qwen2.5 и производных от него. В описании автор рассказывает о последовательном слиянии моделей разными методами, чтобы повысить стабильность ответов и сохранить способности к следованию инструкциям, ролевому диалогу и творческому письму. Модель предназначена для генерации текста и диалогов, а также может использовать интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Метаданные указывают контекст длиной до 1 010 000 токенов, а языковые теги карточки — английский и китайский. Репозиторий содержит веса в формате safetensors. В карточке приведены результаты Open LLM Leaderboard, включая IFEval 83,98 и BBH 49,47; эти оценки относятся к указанным бенчмаркам и не гарантируют качество в иных сценариях. Лицензия — Apache-2.0.

graelo/Qwen2.5-7B-Instruct-1M-AWQ — это 4-битная GEMM-квантизованная версия модели Qwen/Qwen2.5-7B-Instruct-1M, разработанной командой Qwen. Модель относится к классу instruction-tuned языковых моделей с примерно 7 миллиардами параметров и предназначена для выполнения инструкций и генерации текста. Из идентификатора базовой модели следует поддержка контекста до 1 миллиона токенов, однако сведения о языках, модальностях и точной архитектуре в README не приведены. Квантизация до 4 бит может снизить требования к памяти и сделать запуск модели более доступным, но потенциально сопровождается потерей качества по сравнению с исходной версией и требует совместимого программного обеспечения для формата AWQ/GEMM. README не содержит результатов тестирования, подробностей о производительности или рекомендуемых сценариях использования. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-VL-3B-Instruct-unsloth-bnb-4bit — инструкция-дообученная мультимодальная модель семейства Qwen2.5-VL, разработанная командой Qwen и представленная в 4-битном формате квантования unsloth-bnb. Модель основана на Qwen/Qwen2.5-VL-3B-Instruct и предназначена для обработки изображений, видео и текста с использованием библиотеки Transformers. Модель поддерживает анализ объектов, текста, таблиц, графиков, документов и компоновки изображений, визуальную локализацию объектов с помощью координатных рамок или точек, структурированный вывод данных, а также понимание длительных видеоматериалов и выделение релевантных моментов. Она также ориентирована на агентские сценарии, включая взаимодействие с компьютером и мобильными устройствами. Архитектура включает языковую модель на 3 миллиарда параметров и оптимизированный vision encoder на базе ViT с window attention, SwiGLU и RMSNorm; для видео используются динамическое разрешение и динамическая частота выборки кадров. В метаданных указан английский язык, однако полный набор поддерживаемых языков в README не раскрыт, как и размер контекстного окна. К сильным сторонам относятся компактный размер, сниженные требования к памяти благодаря 4-битному представлению, работа с визуальными документами, видео и структурированными ответами, а также поддержка агентских задач. Ограничения включают меньшую ёмкость по сравнению с версиями на 7 и 72 миллиарда параметров и неравномерные результаты на разных бенчмарках; производительность зависит от типа визуального и агентского сценария. Лицензия указана как qwen-research; подробные условия приведены по ссылке на лицензию базовой модели.

Capicua25x/Qwen3.8-27B-MXFP4-Quark-RDNA4 — квантованная версия мультимодальной модели Qwen3.8-27B, подготовленная Capicua25x на базе модели Qwen/Qwen3.8-27B. Модель предназначена для задач image-text-to-text, включая обработку изображений и текста, диалоговые сценарии, рассуждения и агентские приложения с вызовами инструментов. Для работы ориентирована на видеокарты AMD архитектуры RDNA4, в частности Radeon AI PRO R9700 и RX 9070 XT, с использованием ROCm, AMD Quark и специализированной сборки vLLM. Квантование MXFP4 применяется к проекциям MLP и экспертным проекциям: упаковано около 22,7 млрд параметров, тогда как attention, нормализации, эмбеддинги, lm_head, маршрутизаторы и весь визуальный тракт сохраняются в формате bf16. Общий объём логических параметров составляет примерно 27,8 млрд, архитектура базовой модели не изменена. Заявлена поддержка контекста до 262 144 токенов, speculative decoding и параллельной обработки запросов. Режим рассуждений включается через параметр chat_template_kwargs с enable_thinking; параметр reasoning_effort для этой конфигурации не используется. Сильные стороны модели — существенное снижение требований к памяти по сравнению с полноразмерной моделью, сохранение точности критически важных компонентов в bf16, поддержка мультимодальности и оптимизация для concurrent serving на RDNA4. Ограничения связаны с узкой аппаратно-программной специализацией: для штатного запуска требуются совместимые AMD GPU, ROCm и рекомендованный порт vLLM; приведённые показатели производительности зависят от конфигурации, числа пользователей и режима декодирования. Языки и точные характеристики базовой модели в карточке не указаны. Модель распространяется по лицензии Apache-2.0.

nvidia/Qwen3-8B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми входами и генерирует текстовые последовательности, поддерживает контекст длиной до 131K токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4, что ориентировано на эффективный инференс. Поддерживается TensorRT-LLM; модель оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и предпочтительно используется в Linux. Сильной стороной модели является готовая предварительная квантизация для развертывания и потенциально более эффективный инференс на совместимом оборудовании по сравнению с CPU-сценариями. Ограничения включают зависимость от экосистемы NVIDIA и TensorRT-LLM, а также отсутствие в README подробных сведений о языках, результатах оценки качества и характеристиках исходного обучения. Для калибровки использовался датасет cnn_dailymail; наборы данных обучения и тестирования не раскрыты. Модель распространяется по лицензии Apache 2.0 и заявлена как пригодная для коммерческого и некоммерческого использования.

Qwen3.8-Flash-Next REAP-288 — экспериментальный неофициальный пакет для инференса на Apple Silicon, опубликованный 30cmtonyfaker и созданный на основе Qwen3.8-Flash-Next от Qwen. Модель адаптирована для запуска через MLX Serve и использует community REAP-288 pruning, 4-битное квантование и Native MTP для ускорения декодирования. В метаданных указаны английский и китайский языки, а также тег image-text-to-text, однако подробности о поддержке изображений в представленном README не приведены. Пакет предназначен для локального запуска языковой модели, диалогов, генерации текста, программирования, структурированных ответов и сценариев с инструментами. Заявлена поддержка контекста до 65 536 токенов в протестированной конфигурации, но качество работы на длинном контексте и полноценные возможности настольного режима отдельно не подтверждены. Исторические измерения на M4 Max с 128 ГБ unified memory показывают ускорение декодирования с MTP примерно в 1,54–2,24 раза на тестовом наборе, однако результаты относятся к изменённой версии MLX Core, ограниченному сценарию и не гарантируют аналогичную производительность в других нагрузках. Для актуальной версии исправлена ошибка заголовка тензора, а базовый запуск через официальный MLX Core 26.9.1 был проверен на M4 Max. Ограничения включают экспериментальный статус, зависимость от Apple Silicon и MLX, отсутствие подтверждения универсальной корректности MTP и различия между последовательным и MTP-выводом в тестах. Модель распространяется по qwen-community-license-1.0; лицензия обозначена как other, а полный текст доступен в файле LICENSE.

minjaechoi/qwen3next-80b-a3b-2p25bit-r24 — исследовательский вариант Qwen3-Next-80B-A3B-Thinking с разреженной MoE-архитектурой. Веса маршрутизируемых экспертов усечены до среднего уровня 2,25 бита, остальные веса хранятся в BF16; тензоры весов сохранены в BF16 после деквантизации. Модель предназначена для генерации текста и диалоговых сценариев, включая сложные рассуждения и работу с длинным контекстом; метаданные указывают контекст длиной до 262 144 токенов и интерфейс вызова инструментов. Размер в метаданных указан как 2,3 млрд параметров. Репозиторий использует библиотеку Transformers и формат safetensors. README сообщает, что загрузка возможна через стандартные Transformers и vLLM. Модель основана на Qwen/Qwen3-Next-80B-A3B-Thinking; лицензия наследуется от базовой модели, поэтому её условия следует проверять в карточке базы. README обозначает её как внутренний исследовательский чекпойнт.

Qwen3-Next-80B-A3B-Instruct-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen. Квантование в формате MLX подготовлено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и работы в инструкционных сценариях, включая диалоговое взаимодействие и выполнение текстовых запросов. В README указаны размер исходной модели 80B и обозначение A3B, однако подробности архитектуры, контекстного окна, поддерживаемых языков и модальностей не приведены. Формат MLX и 4-битное квантование ориентированы на более эффективное локальное выполнение при ограниченных ресурсах по сравнению с полноразмерной версией. К сильным сторонам относятся локальный запуск на Apple Silicon и сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества по сравнению с исходной моделью и отсутствие в предоставленных данных подробных сведений о производительности, языковой поддержке и безопасных сценариях применения. Модель распространяется по лицензии Apache-2.0.

RQwen-v0.1 — диалоговая языковая модель, разработанная ehristoforu и дообученная методом SFT на базе Qwen/Qwen2.5-14B-Instruct с использованием Unsloth и Transformers. Она предназначена для генерации текста и общения в формате ChatML на английском и русском языках. Модель имеет плотную архитектуру Qwen2, 14 млрд параметров и контекстное окно длиной 32 768 токенов. В карточке отмечены reflection tuning, работа с логикой и длинным контекстом, а метаданные указывают поддержку следования инструкциям и интерфейса вызова инструментов. Для модели заявлена лицензия Apache-2.0.

SG Raccoon 55B 2.0 — авторегрессионная языковая модель на базе архитектуры Yi/Llama, созданная объединением двух дообученных моделей Tess-M-v1.3 и airoboros-3_1-yi-34b-200k. По карточке, итоговая модель содержит 55,1 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для генерации текста и диалогов в формате SYSTEM/USER/ASSISTANT, а большой контекст позволяет обрабатывать длинные запросы и документы. В README приведены результаты оценок на нескольких бенчмарках, включая AI2 Reasoning Challenge и HellaSwag; полные результаты доступны в карточке. Для генерации автор рекомендует учитывать особенности Yi, в частности возможную необходимость отключить BOS-токен и использовать более низкую температуру. Лицензия указана как other, поэтому перед использованием следует проверить условия в репозитории.

SuperQwen3.8-27b-abliterated-MLX-4bit — мультимодальная версия модели, разработанная Jiunsong для локального запуска на компьютерах Apple Silicon. Она основана на SuperQwen3.8-27b-abliterated и представляет собой встроенную MLX-квантизацию с 4-битными аффинными весами. Модель поддерживает текстовые и визуальные входы, заявлена для английского и корейского языков, а также рассчитана на рассуждения и вызов инструментов. Модель содержит 27 млрд параметров и занимает около 15 ГиБ; веса распределены по трём safetensors-файлам, размер группы квантизации — 64. Изменения abliteration встроены непосредственно в MLX-веса, поэтому отдельный адаптер при запуске не требуется. На Apple M5 Max заявлена скорость около 27 токенов в секунду при обычной авторегрессионной генерации и около 33 токенов в секунду с DFlash 2. В тестах также подтверждены мультимодальный инференс и сохранение ограниченного режима рассуждений. Сильные стороны модели — возможность локального запуска 27B-модели на Mac без серверного GPU, компактное 4-битное представление, поддержка изображений, рассуждений и инструментов, а также проверенная совместимость с MLX. При этом показатели производительности зависят от оборудования и приведены для однопоточного сценария; размер контекста в README не указан. Abliteration существенно меняет поведение отказов модели: в заявленных тестах родительские отказы на вредоносные запросы снизились с 30/32 до 0/32, поэтому модель не следует рассматривать как вариант с исходными ограничениями безопасности. Лицензия — Apache-2.0.

Synatra-7B-Instruct-v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и maywell/Synatra-7B-Instruct-v0.2 методом SLERP с помощью MergeKit. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста в диалогах и выполнения инструкций. Она принимает текст и выдаёт текст; заявленная длина контекста составляет до 32 768 токенов. Репозиторий содержит веса Safetensors, лицензия — Apache-2.0.

GLM4-32B-Neon-v2-GGUF — это квантизированная версия языковой модели GLM4-32B-Neon-v2, разработанной allura-org и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. В карточке указана поддержка английского языка и лицензия MIT. Модель содержит 32 млрд параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp release b5228. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы рекомендуется использовать указанный формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Это текстовая модель: сведения о поддержке изображений, аудио, других модальностей, размере контекста и архитектурных особенностях в README не приведены. Для запуска необходима совместимая инфраструктура llama.cpp и объём памяти, соответствующий выбранному файлу; размеры файлов варьируются примерно от 13,66 до 65,14 ГБ.

NVIDIA DeepSeek-V3-0324-NVFP4 — квантизованная FP4-версия авторегрессионной языковой модели DeepSeek V3-0324, подготовленная NVIDIA с помощью TensorRT Model Optimizer. Это сторонняя сборка по требованиям NVIDIA, а исходную модель разработала DeepSeek AI. Модель принимает текст и генерирует текст; поддерживает диалог и интерфейс вызова инструментов. В метаданных указан размер 37,6 млрд параметров и контекст до 163 840 токенов. Модель предназначена для развёртывания в системах AI-агентов, чат-ботах, RAG и других приложениях на базе генеративного ИИ. Квантизация весов и активаций линейных операторов до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза. Для указанного в README сценария развёртывания нужны TensorRT-LLM и восемь GPU NVIDIA B200; заявлена совместимость с Linux. README сообщает о готовности к коммерческому и некоммерческому использованию, а метаданные указывают лицензию MIT.

Rarri/DeepSeek-V4-Flash-0731-NVFP4 — это квантизированная версия модели DeepSeek-V4-Flash-0731, разработанная на основе релиза deepseek-ai и подготовленная с помощью NVIDIA Model-Optimizer. Модель предназначена для генерации текста и высокопроизводительного инференса с использованием vLLM или TensorRT-LLM на GPU NVIDIA Blackwell с поддержкой NVFP4. Она ориентирована на сценарии, где важны высокая скорость декодирования и использование длинного контекста, включая speculative decoding с механизмом DSpark. Модель содержит 304 млрд параметров, 43 слоя MoE, 256 маршрутизируемых экспертов в каждом MoE-слое и три слоя multi-token prediction (MTP). Все маршрутизируемые экспертные веса, включая MTP-экспертов, переведены в NVFP4 W4A4; attention, роутеры, shared experts, embeddings и lm_head сохранены в исходном формате FP8. Поддерживается контекст до 131K токенов. Экспертные веса преобразованы без потери значений исходных MXFP4-весов, а speculative decoding в тестовой конфигурации примерно удваивал скорость однопоточного декодирования, достигая типичных 200–240 токенов в секунду. Ключевые ограничения — зависимость от GPU Blackwell (sm_120+), специализированных сборок инференсных фреймворков и гибридной FP8/NVFP4-MoE-разметки. Рекомендуемые параметры speculative decoding включают жадное семплирование, пять draft-токенов и bf16 draft head; вероятностное семплирование может приводить к некорректному выводу в NVFP4-пути. Модель распространяется по лицензии MIT, унаследованной от базовой модели.

Dolphin-Mistral-24B-Venice-Edition-heretic — диалоговая модель общего назначения, созданная на основе Mistral Small 24B Instruct 2501 и дообученная в рамках проекта Dolphin совместно с Venice.ai. Она предназначена для генерации ответов и выполнения инструкций в чат-сценариях; владелец системы задаёт системный промпт и самостоятельно настраивает стиль и правила поведения модели. Модель использует плотную архитектуру Mistral3 и содержит около 24 млрд параметров; доступна в формате safetensors и рассчитана на работу через Transformers или vLLM. В README описана как uncensored-версия для экосистемы Venice; указаны измерения KL-дивергенции и частоты отказов, но они не дают полной оценки качества. Лицензия — Apache-2.0. В README нет сведений о длине контекста и поддерживаемых языках, поэтому они здесь не уточняются. Снижение отказов не означает гарантированного отсутствия отказов или безопасного поведения: модель следует настраивать системным промптом и проверять на целевых сценариях.

G9v3-39A5B-GGUF — это неофициальная конверсия предварительной языковой модели G9v3-39A5B, разработанной AI9Stars, в формат GGUF. Конверсию выполнил linuxid10t для запуска через llama.cpp. Модель предназначена для генерации текста, диалогов, задач с длинным контекстом и сценариев с вызовом инструментов; заявлена поддержка режимов Think и No-Think. Поддерживаемые языки — английский и китайский. Модель использует архитектуру G9v3ForCausalLM со sparse Mixture-of-Experts: около 39 млрд параметров всего и примерно 5 млрд активных на один токен. Она содержит 38 слоёв, включая один плотный и 37 MoE-слоёв, 320 маршрутизируемых экспертов, из которых выбираются 32, а также одного общего эксперта. Максимальный контекст составляет 131 072 токена. Доступны варианты BF16, Q8_0, Q4_K_M и IQ4_XS; квантованные версии уменьшают требования к памяти, но могут снижать точность по сравнению с BF16. Основное ограничение — модель является preview-релизом, а поддержка архитектуры G9v3 ещё не включена в стандартные сборки llama.cpp: требуется специальная ветка с поддержкой G9v3. Рекомендуемый объём оперативной памяти составляет не менее 96 ГиБ для BF16, 48 ГиБ для Q8_0 и 32 ГиБ для Q4_K_M или IQ4_XS, причём фактические требования зависят от размера контекста и настроек запуска. Репозиторий распространяется по лицензии Apache-2.0.

moebiusT7/gemma-4-26b-a4b-mobius-custom-c1 — это модель для генерации текста на базе Google Gemma-4 26B-A4B-it, представленной в формате GGUF с QAT q4_0. Архитектура MoE использует 26 млрд параметров при примерно 4 млрд активных параметров. Модель ориентирована на английский и японский языки и рассчитана на запуск через llama.cpp, LM Studio, Ollama или совместимый OpenAI API-сервер. Указанный разработчиком рабочий контекст — 32 768 токенов; рекомендуется ограничивать reasoning budget значением 4096. Для работы на полном контексте требуется около 14,7 ГБ VRAM, поэтому практически необходима свободная видеокарта с 16 ГБ памяти. Модель предназначена для ответов на вопросы, суммаризации, работы с переданным контекстом и сценариев, где важны маршрутизация запросов, запрос уточнений и отказ от ответа при недостатке данных или небезопасных запросах. В поставляемой конфигурации используются системный промпт L0 Essentials compact v1.1, детерминированный защитный слой для пустых и некоторых небезопасных запросов, а также опциональный RCGov для управления retrieved-контекстом. По заявленным тестам модель показала 0 из 12 выдуманных ответов на вопросы с ложными предпосылками, 9 из 9 корректных отказов от персональных рекомендаций в высокорисковых ситуациях, 60 из 60 обычных ответов без лишних уточнений и скорость генерации около 155,7 токена в секунду на RTX 5070 Ti. Ограничение состоит в том, что сами веса Google не содержат governance-компонентов: при запуске GGUF без специального промпта и обвязки работает обычная Gemma-4. Модель распространяется по лицензии Gemma.

NoxStrix/gemma-4-31B-it-Q4_K_M-GGUF — это конвертированная в формат GGUF инструкциямодель на базе google/gemma-4-31B-it, подготовленная автором NoxStrix с использованием llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для локального запуска через llama.cpp, включая интерактивные запросы в CLI и работу в режиме сервера. Из доступных данных известно, что исходная модель имеет размер 31B параметров и относится к мультимодальным моделям image-text-to-text, то есть может обрабатывать изображения и текст и генерировать текстовые ответы. Ключевые характеристики исходной архитектуры, поддерживаемые языки и размер контекстного окна в README не указаны. Квантование Q4_K_M уменьшает требования к памяти по сравнению с полноразмерной версией, но README не содержит точных сведений о качестве, скорости и необходимых ресурсах. Для использования требуются llama.cpp и подходящее аппаратное обеспечение; возможна настройка сборки под конкретную платформу, включая Nvidia GPU. В README приведён пример контекста размером 2048 токенов, но это может быть лишь параметром запуска, а не максимальным размером контекста модели. Модель распространяется по лицензии Apache-2.0, при этом для исходной Gemma могут действовать дополнительные условия лицензии Google Gemma.

GigaChat-20B-A3B-instruct — русскоязычная диалоговая модель семейства GigaChat, представленная ai-sage и дообученная на базе ai-sage/GigaChat-20B-A3B-base. Она предназначена для генерации ответов в диалоге и поддерживает контекст до 131 072 токенов. Модель использует архитектуру DeepSeek и распространяется в формате Safetensors; для семейства также упомянуты веса BF16 и INT8. В карточке приведены результаты сравнительных тестов на общих языковых и математических задачах, включая MERA, ru-MMLU, GSM8K и MATH. Для запуска указана библиотека Transformers версии 4.47 или выше; README предупреждает об особенностях токенизации и не рекомендует приведённый в нём способ предварительного применения chat template. Лицензия модели — MIT.

Это набор GGUF-квантизаций модели gradientai/Llama-3-8B-Instruct-Gradient-4194k, подготовленный и опубликованный командой featherless-ai-quants. Базовая модель относится к семейству Llama 3 с размером 8 млрд параметров и предназначена для генерации текста, включая работу в инструкционном режиме. README не уточняет разработчика базовой модели, архитектурные детали, языки и поддерживаемые модальности. Модель рассчитана на сценарии локального или совместимого с GGUF запуска, где требуется выбрать баланс между качеством, скоростью и потреблением памяти. Доступны варианты Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_K_S, Q4_K_M, IQ4_XS, Q5_K_S, Q5_K_M, Q6_K и Q8_0; их размер варьируется примерно от 3,0 до 8,1 ГБ. README указывает контекст 4194k в идентификаторе базовой модели, однако не подтверждает фактическую длину контекста. Сильной стороной набора является широкий выбор уровней квантизации и формат GGUF, позволяющий адаптировать модель под различные аппаратные ограничения. Более компактные варианты требуют меньше памяти, но потенциально уступают старшим вариантам по качеству; конкретные результаты производительности и качества в README не приведены. Лицензия и условия использования не указаны, поэтому их необходимо проверять в документации базовой модели и репозитории.

Iris-mini APEX-I-MiniPlus-V2.1 GGUF — квантизированная версия модели AllSpark-Research/Iris-mini, подготовленная IsValorum для запуска через llama.cpp и совместимые инструменты. Это текстовая генеративная модель со sparse Mixture-of-Experts: заявлены 40 слоёв и 256 микроэкспертов. Модель поддерживает контекст до 256K токенов и предназначена для локального запуска на рабочих станциях с ограниченной видеопамятью, включая частичный или полный offload в системную RAM. Квантизация использует смешанную схему APEX-I-MiniPlus V2.1: маршрутизаторы gate_inp сохранены в F32, выходная матрица — в Q6_K, attention-компоненты используют Q4_K и Q6_K, attention gates — Q8_0, а основные эксперты — IQ3_XXS; общий размер заявлен примерно 13,74 GiB. Это ориентировано на сохранение качества рассуждений, синтаксической стабильности и устойчивости при длинном контексте при меньшем размере, чем у менее агрессивных квантизаций. В README приведён показатель WikiText-2 perplexity 5,3735 ± 0,1214, но независимые условия тестирования не описаны. Модель предназначена для генерации текста, рассуждений и задач, где важны большие контекстные окна; заявлена поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Сильными сторонами являются компактный размер, сохранение маршрутизации MoE и возможность использовать системную RAM для KV-кэша и вычислений. Ограничениями остаются зависимость скорости от видеопамяти, пропускной способности RAM и архитектуры процессора, а также возможная потеря качества, характерная для квантизированных моделей. Распространяется по лицензии Apache-2.0.