II.9Статистика, эксперименты и причинный анализ

DeepSeek-V4-Flash-Vision-Exp-GGUF — текстовая GGUF-квантизация базовой модели DeepSeek-V4-Flash-Vision-Exp, разработанная qtum на основе модели DeepSeek AI. Она предназначена для генерации и обработки текста, рассуждений, программирования, ответов на вопросы и развертывания через llama.cpp или совместимые инструменты. Входные изображения не поддерживаются, поскольку vision encoder в этот выпуск не включен. Модель использует MoE-архитектуру DeepSeek-V4 с 256 экспертами и маршрутизацией top-6; заявленный общий размер составляет около 2,1 трлн параметров, из которых 50,4 млрд активны при одном проходе. Контекст — до 128K токенов, языки — английский и китайский. Доступны семь уровней квантизации от Q3_K_M до IQ1_S: варианты Q3_K_M–Q2_K ориентированы на использование с минимальной потерей качества, а IQ1_M и IQ1_S обеспечивают максимальное сжатие, но заметно снижают качество. Размер файлов составляет примерно 59–130 ГБ, а требования к видеопамяти — около 61–135 ГБ, поэтому для запуска требуется мощное GPU-оборудование и загрузка всех частей многотомной модели. Модель распространяется по лицензии MIT.

EmanuelOverride/gemma-4-19b-a4b-it-REAP-heretic-APEX-GGUF — это GGUF-квантизированная версия Gemma 4 19B-A4B-it REAP, созданная на основе модели coder3101/gemma-4-19b-a4b-it-REAP-heretic. В основе лежит Gemma 4 от Google, подвергнутая 30% pruning экспертов методом Cerebras REAP, а затем декензурированная с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation. Репозиторий поддерживает текстовую генерацию и ориентирован на англоязычные сценарии. Модель использует mixture-of-experts архитектуру: около 19,02 млрд общих параметров, примерно 4 млрд активных параметров на токен, 90 экспертов на слой и 8 активируемых экспертов на токен. Удаление 38 из 128 экспертов на слой уменьшает общий размер модели примерно на 31%, при этом число активных параметров на токен сохраняется. README не указывает размер контекстного окна и полный перечень поддерживаемых модальностей; по имеющимся данным, модель предназначена для работы с текстом, включая программирование, рассуждения, математику, научные и биомедицинские вопросы, tool calling и агентные сценарии. Главная особенность версии GGUF — пользовательские APEX-квантизации с неравномерным распределением точности: маршрутизаторы и важные общие эксперты сохраняются в более высокой точности, а более сильное сжатие применяется к менее значимым тензорам средних слоёв. Доступны варианты от i-Mini размером около 8,7 ГиБ и 3,94 BPW до i-Balanced размером около 13,9 ГиБ и 6,30 BPW, а также промежуточные профили. Это позволяет выбирать баланс между размером, потреблением памяти и качеством, однако фактическая производительность зависит от оборудования и выбранной квантизации. По заявленным тестам, декензурированная версия значительно реже отказывается отвечать: 6 отказов из 100 против 94 у исходной модели, при KL divergence 0,029. Ограничениями являются возможная потеря качества из-за pruning, декензурирования и квантизации, а также отсутствие подробных данных о контексте и комплексных бенчмарках. Указана лицензия Gemma; условия применения следует проверять по лицензии исходной модели и требованиям Google.

Hy4 preview — языковая модель поколения Hy4, разработанная командой Tencent Hy. README описывает её как модель Mixture-of-Experts с 770 млрд параметров в основной части и 49 млрд активируемых параметров на токен; встроенный слой MTP предназначен для ускорения спекулятивного декодирования. Метаданные Hugging Face указывают архитектуру HYV4ForCausalLM, библиотеку Transformers, 33,9 млрд параметров и контекст до 1 048 576 токенов; эти значения расходятся с характеристиками в README. Модель предназначена для диалоговой генерации текста и сложных задач: разработки и отладки программ, работы с документами и таблицами, анализа данных, создания прототипов игр и решения научных задач. В README также заявлены сценарии подготовки презентаций и финансовых моделей. Указанная в карточке лицензия — Apache-2.0. Это ранняя preview-версия. Известные ограничения — избыточно долгие рассуждения на сложных задачах и склонность чрезмерно перепроверять результат.

Infinity-Instruct-3M-0625-Llama3-8B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), созданная дообучением Llama 3 методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Llama примерно с 7,5 млрд параметров, предназначенная для диалогов и следования инструкциям. Она принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. Модель не обучалась с использованием обучения с подкреплением по обратной связи от людей (RLHF), а разработчики сообщают о хороших результатах на AlpacaEval 2.0 и MT-Bench. Модель подходит для многошаговых диалогов, ответов на вопросы, повседневных текстовых задач, а также задач по коду и математике. Карточка указывает англоязычный контекст, поэтому основной подтверждённый язык — английский. Репозиторий распространяется в формате safetensors. В README указана лицензия Apache-2.0 в метаданных, однако там же ресурсы проекта, включая веса, ограничены академическими исследованиями и запрещены для коммерческого использования; это расхождение следует учитывать при применении. Разработчики также предупреждают, что точность ответов не гарантируется.

QuantFactory/Llama3.1-8B-Fireplace2-GGUF — квантизированная версия языковой чат-модели ValiantLabs/Llama3.1-8B-Fireplace2, созданная с использованием llama.cpp. В основе лежит Llama 3.1 8B Instruct; модель предназначена для генерации текста и диалогового взаимодействия на английском языке. Дата исходного выпуска Fireplace 2 — 23 июля 2024 года. Модель ориентирована на обычный чат и техническое ассистирование, а также на формирование структурированных ответов по запросу. Она поддерживает inline function calls, SQL-запросы, JSON-объекты и генерацию примеров визуализации данных с помощью matplotlib, позволяя сочетать обычный текст и структурированные форматы в одном диалоге. Для работы используются формат промптов Llama 3.1 Instruct и специальные маркеры запросов соответствующего типа. Ключевое преимущество модели — расширение возможностей Llama 3.1 8B Instruct функциями для интеграции с инструментами, базами данных и задачами визуализации. GGUF-квантизация и создание через llama.cpp ориентированы на локальный запуск, однако конкретный вариант квантизации, требования к памяти, размер контекста и поддерживаемые форматы файлов в представленном README не указаны. Модель является текстовой и не предназначена для обработки изображений или других мультимодальных данных. Лицензия указана как llama3.1; условия её применения следует уточнять в лицензии исходной модели.

Qwen3.5-9B-DeepSeek-V4-Flash — плотная мультимодальная модель на 9 млрд параметров, дообученная Jackrong методом дистилляции на данных DeepSeek-V4-Distill-8000x. Она построена на базе unsloth/Qwen3.5-9B и предназначена для диалогов, структурированных рассуждений, многошагового решения задач и рабочих процессов с вызовом инструментов. Архитектура поддерживает обработку изображений и текста; заявлена поддержка английского, китайского, корейского, японского, испанского и русского языков. Модель рассчитана на эффективный инференс и может применяться для программирования, математических и STEM-задач, анализа изображений и агентных сценариев. В карточке приведены рекомендации по генерации: temperature от 0,7 до 1,0 и top_p 0,95; для строгих задач программирования предлагается более низкая температура. Модель распространяется по лицензии Apache-2.0. Оценка в README описана как раннее контролируемое сравнение квантованной версии Q5_K_M с базовой Qwen3.5-9B, поэтому заявления о качестве следует считать предварительными. Ограничения включают возможные затруднения с редкими знаниями, чрезмерно длинные рассуждения на простые запросы и возможное ухудшение некоторых аспектов выравнивания безопасности.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

Cogito-v1 Preview — серия открытых гибридных reasoning-моделей, разработанная DeepCogito. Модели обучены с использованием метода Iterated Distillation and Amplification (IDA) и ориентированы на повышение качества открытых моделей за счёт масштабируемого выравнивания и самоулучшения. Серия предназначена для генерации текста, программирования, задач STEM, многоязычных сценариев и агентских приложений. Каждая модель поддерживает стандартный режим с прямым ответом и reasoning-режим с саморефлексией. Доступны варианты на базах LLaMA и Qwen размером 3B, 8B, 14B, 32B и 70B параметров: LLaMA-3B, LLaMA-8B, Qwen-14B, Qwen-32B и LLaMA-70B. Для каждой ветки предоставляется квантованная версия q4-km. Конкретные сведения о поддерживаемых языках, максимальном контексте и точных архитектурных характеристиках не указаны. К сильным сторонам относятся гибридный режим работы, ориентация на reasoning, кодирование, STEM и агентские задачи, а также наличие нескольких размеров для выбора компромисса между качеством и ресурсами. По заявлению разработчика, модели превосходят сопоставимые по размеру открытые модели LLaMA, DeepSeek и Qwen, а 70B-вариант превосходит LLaMA 4 109B MoE на бенчмарках; независимые результаты в README не приведены. Модели распространяются по лицензии Apache License 2.0.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp release b4514; модель распространяется в рамках программы Community Model от LM Studio, которое не является её создателем или владельцем. Модель предназначена для генерации текста с акцентом на рассуждения и задачи, требующие пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek-R1 и настроена для работы с chain-of-thought. Формат GGUF ориентирован на запуск через совместимое программное обеспечение, включая llama.cpp и LM Studio. Заявленная длина контекста составляет 128k токенов. В README не указаны точный вариант архитектуры Qwen, поддерживаемые языки, конкретные модальности, параметры выбранного уровня квантизации или результаты бенчмарков. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели и конкретного файла GGUF. Как и другие языковые модели, она может генерировать неточные, вредные или вводящие в заблуждение ответы.

Dolphin 3.0 Mistral 24B — диалоговая инструкционная языковая модель семейства Dolphin, подготовленная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на базе Mistral Small 24B Base. Это плотная модель с архитектурой MistralForCausalLM, содержащая 23,4 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и использует шаблон диалога ChatML. Модель предназначена для локального применения в качестве помощника общего назначения: она отвечает на вопросы и следует системным инструкциям, помогает с программированием и математикой, а также поддерживает сценарии с агентными инструкциями и вызовом функций. В README отмечено, что поведение и тон можно задавать системным промптом; для этой модели авторы рекомендуют низкую температуру генерации 0,05–0,1. Модель дообучена на смесях инструкционных, математических, кодовых и диалоговых данных. В метаданных указан английский язык, поэтому уверенно описывать поддержку других языков нельзя. Это текстовая модель без заявленных возможностей обработки изображений или аудио. Для работы с ней нужны совместимая среда запуска и достаточные вычислительные ресурсы; качество ответов зависит от системного промпта и настроек генерации. Лицензия в предоставленных данных не указана.

GroveMoE-Inst — инструктивная языковая модель компании InclusionAI на разреженной архитектуре GroveMoE с adjugate experts. По карточке, модель создана на основе Qwen3-30B-A3B-Base: после upcycling она прошла mid-training и дообучение SFT. В README указано 33 млрд параметров всего и 3,14–3,28 млрд активных на токен; метаданные каталога указывают 2,6 млрд параметров, поэтому размер репозитория и цифры в описании расходятся. Модель принимает текст и предназначена для диалогов, следования инструкциям, решения математических и научных задач, а также программирования; заявлен контекст 40 960 токенов и интерфейс вызова инструментов. Разреженная активация позволяет повторно использовать общие вычисления, а технический отчёт и таблица бенчмарков описывают её результаты на задачах знаний, математики и кода. Для общей работы авторы рекомендуют задавать длину генерации до 16 384 токенов и приводят параметры сэмплирования. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. В README нет сведений о поддерживаемых естественных языках.

LLaDA2.0-flash — диффузионная языковая модель с архитектурой Mixture-of-Experts от Inclusion AI, дообученная для следования инструкциям и практического применения. Модель предназначена для генерации текста, диалога, программного кода, решения сложных математических задач и работы с инструментами. В README указаны 100 млрд параметров всего и около 6,1 млрд активных при инференсе; метаданные Hugging Face указывают 5,5 млрд параметров. Архитектура включает 32 слоя и 32 головы внимания, использует RoPE и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors, модель работает с Transformers. Лицензия — Apache-2.0. README отмечает сильные результаты на приведённых бенчмарках, включая задачи на знания, код и рассуждения. При повышенной температуре возможны смешение языков и небольшое снижение качества; авторы рекомендуют температуру 0.0, длину блока 32 и 32 шага генерации.

brittlewis12/Llama-3.1-Tulu-3.1-8B-GGUF — это квантизированная версия языковой модели Tülu 3.1 8B, разработанной Allen Institute for AI (AI2) на базе Llama 3.1. Модель предназначена для генерации текста и следования инструкциям в диалоговых и прикладных сценариях, включая общение, решение математических задач, ответы на вопросы, выполнение заданий с ограничениями и генерацию кода. Указан английский язык. Модель использует архитектуру Llama и содержит около 8 миллиардов параметров. Она распространяется в формате GGUF для запуска с совместимыми инструментами, включая llama.cpp, в том числе локально на устройствах. В версии Tülu 3.1 был улучшен финальный этап обучения с переходом от PPO к GRPO без reward model и дополнительной настройкой гиперпараметров. В README не указан размер контекстного окна и не описаны конкретные схемы квантизации представленных файлов. Сильными сторонами модели являются следование инструкциям, математические рассуждения, выполнение заданий с формальными ограничениями и ответы на вопросы; согласно приведённым оценкам, особенно высокие результаты показаны в GSM8K, IFEval, DROP и BigBenchHard. Ограничениями являются ориентация преимущественно на английский язык, меньший размер по сравнению с крупными моделями и возможные потери качества, связанные с квантизацией. Модель распространяется по лицензии llama3.1.

Карточка модели NostraEmpire/mirror-phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

Olmo-3-7B-Instruct-DPO — англоязычная авторегрессионная Transformer-модель для диалогов и выполнения инструкций, разработанная Allen Institute for AI (Ai2). Модель содержит 6,9 млрд параметров и принимает текст, генерируя текст; её длина контекста составляет 65 536 токенов. Репозиторий использует Transformers и форматы PyTorch и safetensors. Модель дообучена методом DPO на базе allenai/Olmo-3-7B-Instruct-SFT на данных Dolci-Think-DPO-7B. Она предназначена для ответов на вопросы, диалога, математики, программирования и общих знаний. В оценках из карточки DPO-версия показывает улучшение по ряду математических бенчмарков относительно SFT-версии. Лицензия — Apache 2.0. Модель может выдавать неточные ответы и без дополнительной фильтрации способна генерировать вредный или чувствительный контент; факты следует проверять. Разработчик указывает исследовательское и образовательное применение в соответствии с правилами ответственного использования Ai2.

Olmo-Hybrid-Instruct-SFT-7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель с 6,3 млрд параметров, дообученная методом supervised fine-tuning на наборах Dolci для инструкций, включая примеры использования инструментов. Модель принимает текст и генерирует текст; размер контекста — до 32 768 токенов. Модель предназначена для диалогов и ответов на инструкции, в том числе для задач по математике, программированию, общим знаниям и вызову инструментов. Ai2 сообщает о повышенной эффективности обучения и инференса на длинном контексте по сравнению с Olmo 3; приведённые в карточке результаты показывают пригодность модели для решения разнообразных текстовых задач. Лицензия — Apache 2.0. Модель может выдавать неточные ответы и вредный или предвзятый контент, поскольку не имеет фильтрации безопасности.

QuantFactory/Phi-3-mini-128k-instruct-GGUF — это квантизированная версия языковой модели microsoft/Phi-3-mini-128k-instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров, поддерживает контекст до 128 тысяч токенов и предназначена для генерации текста в формате инструкций. Она обучалась на синтетических и отфильтрованных общедоступных данных с акцентом на качество и рассуждения, а после базового обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель ориентирована на англоязычные коммерческие и исследовательские сценарии, включая работу в условиях ограниченных ресурсов и требований к задержке, а также задачи, связанные с рассуждениями, программированием, математикой, логикой и обработкой длинного контекста. К сильным сторонам относятся компактный размер, высокая производительность среди моделей с менее чем 13 млрд параметров и большой контекст. Ограничения включают поддержку английского языка в заявленных сценариях, возможные ошибки и необходимость отдельно проверять точность, безопасность, справедливость и соответствие требованиям законодательства, особенно в чувствительных и высокорисковых применениях. Модель распространяется по лицензии MIT.

Verkiki/Qwen3.8-27b-Fable5-Distill-Abliterated-GGUF — производная модель, созданная на основе Blackfrost-AI Qwen3.8-27B-ABLITERATED-BF16 с применением нативного LoRA-адаптера TeichAI Qwen3.8-27B-Fable-Distill-LoRA. Модель относится к архитектуре qwen3_5, имеет класс размера 27B и распространяется в формате GGUF с квантизацией IQ4_XS и importance matrix, рассчитанной после объединения компонентов. Она предназначена для локального использования в задачах планирования, программирования, многошагового рассуждения, технического анализа и агентских рабочих процессов, включая работу с инструментами и многофайловыми проектами. Fable5-Distill ориентирован на декомпозицию задач, удержание инструкций, последовательное планирование и более агентное поведение. Для родительской Fable-модели TeichAI заявлены улучшения на ARC Challenge, ARC Challenge Easy и BoolQ, однако эти результаты не являются измерениями именно финальной квантизированной сборки. Поддерживаются режимы thinking с параметрами reasoning_effort low, medium и xhigh; шаблон по умолчанию использует xhigh. Сочетание с аблитерированной базой должно снижать склонность к отказам, но итоговые поведение и качество следует оценивать отдельно. К ограничениям относятся отсутствие в предоставленных данных точного размера контекстного окна, перечня поддерживаемых языков и подтверждения мультимодальных возможностей, несмотря на соответствующие метки. IQ4_XS уменьшает требования к памяти по сравнению с BF16 и Q8, но может снижать точность относительно исходных весов. Модель распространяется по лицензии Apache-2.0.

BenevolenceMessiah/QwQ-32B-Preview-Self-instruct-3x-TIES-v1.0 — объединённая языковая модель на архитектуре Qwen2, созданная методом TIES с помощью mergekit на основе Qwen/QwQ-32B-Preview и моделей EVA-Qwen2.5-32B-v0.2, Rombos-Coder-V2.5-Qwen-32b и Rombos-LLM-V2.5-Qwen-32b. Она предназначена для диалоговой генерации текста, математических рассуждений и программирования; поддерживает интерфейс вызова инструментов. Модель содержит 32 млрд параметров, принимает текст и рассчитана на контекст до 32 768 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Calcium-Opus-14B-Elite3 — диалоговая языковая модель на базе Qwen2.5-14B-Instruct, дообученная разработчиком на данных для пошагового рассуждения. Это плотная архитектура Qwen2 с 14 млрд параметров, предназначенная для генерации текста, следования инструкциям и решения многоэтапных задач, включая математику и программирование. Модель принимает текст и формирует текстовые ответы; поддерживает контекст до 131 072 токенов и, по карточке, генерацию ответов длиной более 8 тысяч токенов. Карточка заявляет поддержку более 29 языков, включая английский, русский, китайский, французский, испанский, немецкий, японский и арабский. Среди описанных сильных сторон — структурированные ответы, в том числе JSON, работа с таблицами, кодом и математическими задачами. Модель доступна в формате safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Карточка предупреждает о возможных ошибках и повторениях в длинных или творческих ответах, неодинаковом качестве между языками и отсутствии актуальных сведений о событиях после обучения; для работы с длинным контекстом нужны значительные вычислительные ресурсы.

Calcium-Opus-14B-Merge — языковая модель на архитектуре Qwen2, созданная prithivMLmods слиянием моделей методом Model Stock через mergekit. В основу слияния вошла Qwen/Qwen2.5-14B-Instruct вместе с Calcium-Opus-14B-Elite и QwQ-LCoT-14B-Conversational; размер модели — 14 млрд параметров, формат весов — safetensors, контекст — до 32 768 токенов. Модель предназначена для диалогов, следования инструкциям, генерации текста и задач, требующих логических рассуждений и решения задач в несколько шагов. Карточка особо отмечает понимание контекста, математические задачи и подробные объяснения; метаданные также указывают интерфейс вызова инструментов. Веса доступны по лицензии из репозитория; сведения о лицензии в предоставленных данных отсутствуют.

MLX-версия модели K2-Horizon-3.7B от IFM, подготовленная сообществом mlx-community для компьютеров Apple с Apple Silicon. Это плотная авторегрессионная языковая модель с 3,7 млрд параметров и контекстом 524 288 токенов, предназначенная для генерации текста и диалогов. Сборка использует веса bf16 без квантизации и формат safetensors; размер на диске — около 10,1 ГБ. Модель подходит для ответов на вопросы, рассуждений, программирования и агентных сценариев в приложениях на базе MLX. Реализация архитектуры K2-Horizon поставляется вместе с репозиторием, поскольку поддержка этой архитектуры в mlx-lm может зависеть от версии библиотеки. Для запуска требуется mlx-lm; в некоторых версиях необходимо разрешить загрузку удалённого кода. Длинный контекст требует значительной дополнительной памяти для KV-кэша. Конвертация сверялась с реализацией IFM на PyTorch. Лицензия — Apache-2.0.

Phi-4-reasoning-plus-GGUF — это набор квантизированных версий языковой модели Phi-4-reasoning-plus, разработанной Microsoft и преобразованной в формат GGUF автором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогового взаимодействия, решения математических задач, программирования и задач, требующих рассуждений. В README указана поддержка английского языка и рекомендована температура генерации 0. Доступны варианты от исходных весов BF16 размером 29,32 ГБ до квантизаций Q8_0, Q6_K, Q5_K, Q4_K и других объёмом примерно от 8,4 до 15,6 ГБ. Разные варианты позволяют выбирать баланс между качеством, размером и требованиями к ресурсам; наиболее качественными и рекомендуемыми названы Q6_K_L, Q6_K, Q5_K и Q4_K_M. Модель рассчитана на локальный запуск через LM Studio, llama.cpp и совместимые проекты. Архитектура, число параметров, размер контекста и мультимодальные возможности в README не указаны; заявлена только текстовая генерация. Лицензия — MIT. Ограничения связаны с использованием квантизированных весов: качество и требования к памяти зависят от выбранного варианта, а некоторые форматы обозначены как устаревшие. Для корректной работы требуется соблюдать рекомендованный шаблон промпта Phi и использовать совместимое программное обеспечение.

unsloth/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-вариант языковой модели NVIDIA Nemotron 3.5 Lightning, разработанной NVIDIA Corporation. Модель предназначена для генерации текста и кода, создания специализированных AI-агентов, а также для постобучения, адаптации под предметные области, дистилляции и подготовки собственных квантованных вариантов. README указывает, что исходная модель является полноточной версией BF16, а данный репозиторий предоставляет вариант GGUF. Модель использует гибридную архитектуру Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными Attention-слоями. Всего предусмотрено 30 млрд параметров, из которых активно используется 3 млрд. Контекст может достигать 1 млн токенов; для развёртывания на одной H100 рекомендуется 256 тыс. токенов. Поддерживаются английский и языки программирования, испанский, французский, немецкий, итальянский и японский. Режим рассуждений можно включать или отключать через параметр chat template. К сильным сторонам относятся высокая вычислительная эффективность благодаря MoE-подходу, большой контекст, поддержка нескольких языков и возможность настройки под конкретные задачи. Ограничения и практические требования зависят от конкретной GGUF-квантизации и аппаратной конфигурации; README не приводит сведения о размере файлов, уровнях квантизации или точных требованиях к запуску именно этого варианта. Модель распространяется по лицензии OpenMDW-1.1, которая, согласно README, допускает коммерческое использование.

batiai/Qwen3.6-27B-GGUF — это квантизированная GGUF-версия плотной мультимодальной модели Qwen3.6-27B, разработанной Alibaba и подготовленной BatiAI для локального запуска, прежде всего на компьютерах Mac с Apple Silicon. Модель распространяется через llama.cpp и Ollama и ориентирована на автономные сценарии, не требующие отправки данных во внешние облачные сервисы. Модель предназначена для генерации текста, программирования, репозиторного и агентного кодинга, многошагового рассуждения и работы с инструментами. Заявлены поддержка tool calling, thinking mode, нативного контекста до 262 000 токенов и расширения до 1 010 000 токенов с помощью YaRN. Доступны языки английский, корейский, японский и китайский. Варианты с vision projector поддерживают обработку изображений в мультимодальном режиме. Преимущество модели — сочетание 27 млрд параметров, плотной архитектуры и нескольких уровней квантизации с imatrix-калибровкой, что позволяет выбрать баланс качества, скорости и требований к памяти: от вариантов для систем с 16 ГБ RAM до почти потерьной Q6_K для конфигураций от 32 ГБ. Плотная архитектура заявлена как особенно подходящая для сложных длинных цепочек агентного кодинга, однако она обычно медленнее MoE-моделей с меньшим числом активных параметров. Для режима thinking ответы могут содержать блок рассуждений, а для получения чистого JSON при вызове инструментов требуется отключить размышление. Модель распространяется по лицензии Apache 2.0. Приведённые в README сравнительные заявления основаны преимущественно на позиционировании upstream; конкретные итоговые значения ряда бенчмарков для этой версии не указаны, поэтому их следует интерпретировать с осторожностью.

AceInstruct-72B — разработанная NVIDIA большая языковая модель для программирования, математики и общих задач. Это плотная авторегрессионная модель семейства Qwen2 с 71,5 млрд параметров, дообученная методом supervised fine-tuning на базовой модели Qwen2.5-Base с использованием общих инструкционных наборов данных. Модель поддерживает диалог и генерацию кода; заявленная длина контекста — 131 072 токена. AceInstruct рассчитана на широкий круг задач по инструкциям, включая написание и объяснение кода, решение математических задач и ответы на вопросы общего характера. В оценках из карточки её результаты сопоставимы с Qwen2.5-Instruct; это результаты бенчмарков, а не гарантия качества для каждого сценария. Модель принимает текст и генерирует текст. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение.

DeepHermes-3-Llama-3-3B-Preview-Abliterated — англоязычная чат-модель Nous Research, дообученная на базе NousResearch/DeepHermes-3-Llama-3-3B-Preview. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов. Она поддерживает обычный режим ответов и режим развёрнутых рассуждений, переключаемые системным промптом, а также вызов функций. Модель предназначена для рассуждений, решения сложных задач, структурированной генерации, аннотирования, оценки ответов и автоматизации. Её можно применять для программирования, исследовательской работы и поддержки принятия решений. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Суффикс «Abliterated» указывает на изменение защитного поведения, но README не описывает его механизм или результаты оценки.

Gemma-4-31B-JANG_4M-CRACK — мультимодальная чат-модель dealignai на архитектуре Gemma 4 Dense с 31 млрд параметров, основанная на google/gemma-4-31b-it. Веса изменены методом abliteration для снижения отказов на запросы; автор сообщает результаты тестирования на HarmBench и MMLU, а также отмечает улучшение устойчивости режима рассуждений в версии v2. Модель предназначена для диалогов, программирования, общих вопросов и анализа изображений. Она принимает текст и изображения, поддерживает режим thinking и гибридное скользящее и глобальное внимание. Для запуска автор рекомендует vMLX на Apple Silicon Mac с не менее чем 32 ГБ объединённой памяти; стандартные mlx_lm и mlx_vlm, согласно карточке, Gemma 4 не поддерживают. Это изменённая версия инструкционной модели Google, а не базовый чекпойнт. Abliteration снижает склонность к отказам, но автор сообщает, что модель всё ещё может отказывать на некоторые категории запросов и что режим thinking может зацикливаться при неподходящих настройках генерации. Лицензия — Gemma; карточка указывает исследовательское назначение и возлагает соблюдение применимых законов на пользователя.

unsloth/GLM-4.6-GGUF — это версия языковой модели GLM-4.6 в формате GGUF, подготовленная Unsloth на основе модели GLM-4.6 от Z.ai (Zhipu AI). Модель предназначена для локального запуска и генерации текста, включая программирование, рассуждения, агентские сценарии, использование инструментов и поисковых агентов. Она также ориентирована на создание более естественных текстов и ролевое взаимодействие. Заявлено контекстное окно до 200 000 токенов, поддержка английского и китайского языков, а также улучшения по сравнению с GLM-4.5 в задачах кодирования, рассуждений, tool use и агентских приложениях. Размер модели, точная архитектура, перечень модальностей и конкретный вариант квантования в README не указаны. Репозиторий содержит исправления chat template; для запуска рекомендуется актуальная версия llama.cpp с параметром --jinja. Для общих оценок рекомендована температура 1.0, а для задач, связанных с кодом, — top_p 0.95 и top_k 40. Модель сильна в длинноконтекстной обработке, генерации кода, рассуждениях и интеграции с инструментами, однако README не приводит подробных количественных характеристик, ограничений качества или требований к вычислительным ресурсам. Лицензия — MIT.

Granite-4.2-3B GGUF — это набор квантизированных версий компактной reasoning-модели Granite-4.2-3B, разработанной IBM и распространяемой пользователем NANI-Nithin в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, решения математических и многошаговых задач, программирования, агентских сценариев и вызова инструментов. Она поддерживает встроенное рассуждение с использованием блоков <think>...</think> и режимы полного, отключённого и облегчённого рассуждения, позволяющие выбирать баланс между качеством и задержкой ответа. Модель построена как плотный decoder-only Transformer с 3 млрд параметров, Grouped Query Attention с 40 attention heads и 8 KV heads, RoPE с θ = 10 000 000 и MLP-блоками. Заявлено контекстное окно 512K токенов, подходящее для длинных документов, многошаговых диалогов и сложных agentic workflows. В README явно указана текстовая генерация; сведения о поддерживаемых языках и мультимодальности не приведены. К сильным сторонам относятся малый размер, встроенное reasoning, гибкие режимы рассуждения, поддержка reasoning-augmented tool calling и широкий выбор квантизаций — от BF16 и почти без потерь Q8_0 до сильно сжатых вариантов для устройств с ограниченной памятью. К ограничениям относятся неизбежное снижение качества при агрессивной квантизации, а также отсутствие в предоставленных данных результатов бенчмарков и подробностей о языковом покрытии. Модель и её квантизированные варианты заявлены под лицензией Apache 2.0, допускающей коммерческое и исследовательское использование.