II.9Статистика, эксперименты и причинный анализ

GLM-5 — диалоговая языковая модель семейства GLM, разработанная Z.ai. Она предназначена для решения сложных задач программирования и системной инженерии, многошаговых рассуждений и длительных агентных сценариев с использованием инструментов. В карточке описана модель на 744 млрд параметров с 40 млрд активных параметров; применяются архитектура MoE и механизм DeepSeek Sparse Attention (DSA), рассчитанный на эффективную работу с длинным контекстом. Метаданные этого репозитория указывают 30,4 млрд параметров и контекст до 202 752 токенов. Модель генерирует текст, поддерживает диалог и интерфейс вызова инструментов. В карточке заявлена поддержка английского и китайского языков. Для локального развёртывания README упоминает vLLM, SGLang и xLLM. Репозиторий распространяется по лицензии MIT. Размер модели и расхождение между описанием архитектуры в README и параметрами репозитория требуют внимания при выборе конкретного чекпойнта и конфигурации развёртывания.

GLM-5.3-MLX — это MLX-сборка официальной модели GLM-5.3 от Z.AI, подготовленная OrcaRouter для Apple Silicon и MLX CUDA backend. Модель предназначена для генерации текста, программирования, задач рассуждения и длительных агентских инженерных сценариев, включая анализ кода и проверку pull request. Поддерживаются английский и китайский языки. Модель использует разреженную MoE-архитектуру glm_moe_dsa с MLA и механизмом sparse attention в стиле DeepSeek с общим индексатором. Заявленный объём составляет 753 млрд параметров, из которых около 39 млрд активны одновременно; контекстное окно — до 1 млн токенов. Модель поставляется в вариантах 2-, 3-, 4- и 6-битной квантизации OrcaSAQ, причём 4-битная версия является рекомендуемой и размещена также в корне репозитория. В методе OrcaSAQ чувствительные компоненты получают повышенную точность, attention сохраняется в 8-битном формате, а индексатор DSA — в BF16. Главное преимущество сборки — существенное снижение требований к памяти при сохранении качества по сравнению с исходной FP8-версией, а также оптимизация для экосистемы MLX. Ограничением остаются чрезвычайно высокие требования к оперативной памяти: размер файлов составляет примерно 322–671 ГБ в зависимости от варианта, поэтому даже 4-битная версия требует около 480 ГБ RAM, а 6-битная не помещается на одном современном Apple Silicon компьютере. Модель распространяется по лицензии GLM-5.3; точные условия определяются файлом лицензии по указанной ссылке.

granite-34b-code-instruct-GGUF — это квантизированная GGUF-версия Granite-34B-Code-Instruct, разработанной IBM на базе ibm-granite/granite-34b-code-base. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и прежде всего для задач программирования: написания, объяснения и исправления кода, решения математических задач, работы с SQL и сценариев, связанных с function calling и ассистентами разработчика. Модель имеет 34 миллиарда параметров и работает с текстовыми данными. В README приведён шаблон диалога с системным сообщением, вопросом и ответом. Заявлены результаты на HumanEvalPack для Python, JavaScript, Java, Go, C++, Rust; показатели pass@1 для генерации кода составляют от 41,5% до 62,8%, однако указано, что эти результаты не подтверждены. Для локального запуска доступны варианты Q8_0, Q6_K, Q5_K_M и Q5_K_S размером примерно от 23,40 до 35,99 ГБ; Q6_K и Q5_K_M отмечены как рекомендуемые по соотношению качества и размера. Сильными сторонами являются специализация на программировании, поддержка нескольких языков программирования и возможность локального использования в формате GGUF. Ограничения включают высокие требования к дисковому пространству и вычислительным ресурсам, зависимость качества от выбранного уровня квантизации, а также отсутствие в предоставленных данных сведений о размере контекстного окна, полном наборе поддерживаемых естественных языков и системных требованиях. Модель распространяется по лицензии Apache 2.0.

Grok 4.7 — флагманская модель SpaceXAI, представленная как преемник Grok 4.6. Она предназначена для программирования, агентных задач и работы со знаниями, в том числе для длительных задач разработки ПО и проверки собственного результата. Доступный фрагмент карточки не раскрывает архитектуру, размер, модальности, языки, длину контекста и лицензию, поэтому эти характеристики здесь не уточняются.

Hy3-GGUF — набор GGUF-квантизаций модели Tencent Hy3, подготовленный пользователем vcruz305. Это MoE-модель для генерации текста, диалогов, программного кода и задач рассуждения. Базовая модель имеет 295 млрд параметров, из которых 21 млрд активируются на токен, использует 192 эксперта с выбором top-8, включает 80 основных слоёв и дополнительный MTP/NextN-слой объёмом 3,8 млрд параметров. Заявлена длина контекста до 256K токенов. Модель работает с текстом; сведения о поддерживаемых языках в README не указаны. Репозиторий содержит варианты от IQ1_M и IQ2_M до Q8_0 размером примерно от 92 до 318 ГБ, рассчитанные на системы с большим объёмом памяти и, для некоторых вариантов, на конфигурации из двух узлов. Квантизации используют importance matrix, рассчитанную на корпусе с примерами программирования, рассуждений и диалогов. Для части вариантов проверена генерация кода и диалогов на реальном оборудовании; также поддерживается speculative decoding через MTP, которое в приведённых измерениях заметно повышало скорость генерации. Для запуска требуется llama.cpp с поддержкой архитектуры Hy3: до включения соответствующих изменений в основную ветку необходима специальная ветка с PR #25364. Для корректного применения шаблона чата требуется параметр --jinja. Ограничениями являются значительные требования к памяти, необходимость совместимого оборудования и специальной сборки llama.cpp; часть квантов не проходила индивидуальное нагрузочное тестирование. Модель распространяется по лицензии Apache-2.0.

Llama3-8B-Instruct-Replete-Adapted-GGUF — квантизированная GGUF-версия инструкционной модели Llama3-8B-Instruct-Replete-Adapted, разработанной Replete-AI и подготовленной для распространения пользователем bartowski. Модель предназначена для текстовой генерации, прежде всего для программирования, работы с кодом, математическими задачами, инструкциями, диалогами, function calling и анализа уязвимостей. Обучение или дообучение проводилось на смешанном наборе датасетов с примерами кода, инструкций, диалогов, математических задач и данных для ассистентов программирования. Модель основана на архитектуре Llama 3 с 8 млрд параметров и поставляется в формате GGUF для запуска через llama.cpp. Доступны варианты квантизации от Q5 до Q8 с размером файлов примерно от 5,73 до 8,54 ГБ; для вариантов Q6 и Q5 заявлено высокое качество, близкое к исходной модели. В README указан результат pass@1 около 64,7% на HumanEval. Формат промпта использует специальные токены Llama 3. Языки, размер контекстного окна и мультимодальные возможности в предоставленных данных не указаны; описание относится к текстовой модели. Сильными сторонами являются специализация на генерации и анализе кода, поддержка локального запуска через llama.cpp и наличие нескольких уровней квантизации с разным балансом качества и требований к памяти. Ограничения включают возможные потери качества из-за квантизации, отсутствие подтвержденных характеристик по языкам и контексту, а также неполные значения большинства приведенных бенчмарков. Модель распространяется по лицензии Llama 3; условия следует уточнять в официальном тексте лицензии Meta.

MiniMax-M2.7-REAP-172B-A10B-NVFP4-GB10 — производная модель семейства MiniMax-M2.7, подготовленная Saricles для запуска на NVIDIA DGX Spark с GB10 и других GPU Blackwell с поддержкой NVFP4. Это причинная языковая MoE-модель MiniMaxM2ForCausalLM: после удаления 25% экспертов в базовой версии REAP и последующей посттренировочной квантизации NVFP4 в ней сохранено 192 из 256 экспертов исходной модели. Размер файлов составляет 98,9 ГБ; модель рассчитана на контекст до 196 608 токенов. Модель предназначена для диалогов и агентных сценариев, включая использование инструментов, генерацию кода, математику и задачи разработки ПО. Настройка квантования ориентирована на оборудование GB10 и уменьшает требования к памяти; README указывает, что модель помещается в единую память DGX Spark объёмом 128 ГБ. Производительность и качество этой версии на GB10 пока не подтверждены опубликованными бенчмарками. В README также отмечена ошибка подготовки данных к калибровке: SWE-smith-trajectories не попал ни в отбор экспертов, ни в калибровку квантования. Лицензия указана как other; конкретные условия следует проверять в карточке модели.

occamy-ai_occamy-1.0-GGUF — GGUF-квантизированная версия модели occamy-1.0, разработанной occamy-ai и подготовленной bartowski с использованием llama.cpp. Модель ориентирована на агентные сценарии, использование инструментов и задачи программирования, а также заявлена как модель для работы с длинным контекстом. Модель содержит около 35 млрд параметров и поддерживает текстовый и визуальный ввод; для обработки изображений требуется отдельный файл mmproj. В карточке указана поддержка английского языка. Доступны варианты от BF16 до различных уровней квантизации, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы; рекомендуемым универсальным вариантом назван Q4_K_M размером 21,39 ГБ, а более качественными — Q5 и Q6. Спекулятивное декодирование не поддерживается, при этом применена imatrix-квантизация. Сильными сторонами модели являются сочетание большого размера, мультимодального ввода, возможностей для tool use и агентных рабочих процессов, а также широкий выбор форматов GGUF. Ограничениями выступают значительные требования к памяти даже для квантизированных вариантов, необходимость отдельного mmproj для изображений и отсутствие в README точного размера контекстного окна, подробных результатов оценки и информации о поддерживаемых языках помимо английского. Лицензия в карточке не указана.

OLMo-2-1124-7B-SFT — языковая модель Allen Institute for AI (AI2), представляющая собой версию OLMo 2 7B с supervised fine-tuning на варианте набора Tülu 3. Плотная авторегрессионная архитектура OLMo 2 содержит 6,9 млрд параметров; модель работает с текстом, поддерживает диалоговый режим и принимает контекст длиной до 4096 токенов. Основной язык — английский. Модель предназначена для диалогов и широкого круга текстовых задач, включая математические рассуждения, ответы на вопросы и выполнение инструкций. Она обучалась на смеси общедоступных, синтетических и созданных людьми данных, включая набор Tülu 3. Для загрузки и запуска используется библиотека Transformers; веса доступны в формате PyTorch. Лицензия — Apache 2.0. В README отмечено, что у OLMo-2 ограничено обучение безопасности: модель может выдавать проблемный контент, особенно при соответствующих запросах; автоматическая фильтрация ответов не встроена.

palmyra-mini-thinking-AIO-GGUF — набор GGUF-вариантов семейства Palmyra Mini, разработанного Writer и опубликованного в формате GGUF пользователем или организацией prithivMLmods. В состав входят варианты palmyra-mini, palmyra-mini-thinking-a и palmyra-mini-thinking-b с разными уровнями квантования: от Q2_K до Q8_0, а также BF16, F16 и F32. Модель предназначена для генерации текста, программирования и решения математических задач на английском языке. Сильной стороной семейства является рассуждение в задачах с пошаговым решением: заявлены результаты 0,818 на GSM8K и MATH500, а также 0,6 на AMC23. Это делает модели подходящими для учебной математики, количественного анализа, ответов на вопросы и задач, связанных с кодом. Доступны файлы размером примерно от 676 МБ до 7,11 ГБ в зависимости от варианта и точности. README не содержит сведений об архитектуре, числе параметров, размере контекста, поддерживаемых дополнительных модальностях или сравнении качества между вариантами, поэтому эти характеристики нельзя определить. Распространение указано по лицензии Apache-2.0.

duyntnet/Qwen2.5-Coder-14B-Instruct-imatrix-GGUF — набор imatrix-квантизаций 14-миллиардной instruction-tuned модели Qwen2.5-Coder, разработанной командой Qwen компании Alibaba Cloud. Модель предназначена для генерации, анализа, рассуждений и исправления программного кода, а также для создания code agents и решения задач, связанных с математикой и общими языковыми компетенциями. Репозиторий распространяет модель в формате GGUF для запуска через llama.cpp, KoboldCPP, Ollama и совместимые интерфейсы. Это авторегрессионная causal language model на базе архитектуры Transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV attention. Модель содержит 14,7 млрд параметров, из них 13,1 млрд без учёта embedding, 48 слоёв и схему GQA с 40 головами Q и 8 головами KV. Заявлена поддержка контекста до 131 072 токенов, однако стандартная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется настройка YaRN с коэффициентом 4. Модель обучалась на 5,5 трлн токенов, включая исходный код, текстово-кодовые данные и синтетические данные. В метаданных указано владение английским языком; сведения о мультимодальности отсутствуют. Сильными сторонами являются специализация на программировании, улучшенные возможности генерации, рассуждений и исправления кода, а также поддержка длинного контекста и локального запуска благодаря GGUF-квантизациям. Ограничения включают зависимость характеристик от конкретного варианта квантизации и настроек инференса, необходимость дополнительной конфигурации для контекста свыше 32 768 токенов и отсутствие подробных сведений о точных параметрах квантизации. Лицензия обозначена как other; конкретные условия использования в README не приведены.

Qwen2.5-Coder-32B-Instruct-GPTQ-Int4 — инструкционная, GPTQ-квантизированная 4-битная версия каузальной языковой модели Qwen2.5-Coder, разработанная командой Qwen. Модель предназначена прежде всего для генерации, анализа и исправления программного кода, задач code reasoning и создания кодовых агентов, сохраняя способности к математике и общим текстовым задачам. В карточке явно указан английский язык. Модель содержит около 32,5 млрд параметров, из них 31 млрд без учёта embedding, и включает 64 слоя. Архитектура использует RoPE, SwiGLU, RMSNorm и смещения в QKV-проекциях внимания; применяется GQA с 40 головами для Q и 8 для KV. Заявлена поддержка контекста до 131 072 токенов, однако исходная конфигурация рассчитана на 32 768 токенов. Для более длинных входов требуется включение YaRN, что может снижать производительность на коротких текстах при статическом масштабировании. К сильным сторонам относятся специализация на программировании, улучшенные генерация, рассуждение и исправление кода, а также снижение требований к памяти благодаря 4-битной квантизации. Ограничения включают возможную потерю качества из-за квантизации и необходимость корректной настройки длинного контекста. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанный пользователем ThomasBaruzier на основе модели Qwen/Qwen2.5-Coder-7B-Instruct. Квантизации созданы с использованием llama.cpp и опции imatrix, с калибровочным файлом Bartowski. Модель предназначена для генерации текста и работы с программным кодом в сценариях локального запуска через совместимое программное обеспечение, включая llama.cpp. В метаданных указан английский язык, однако подробные сведения о языковой поддержке и контекстном окне отсутствуют. Доступны варианты квантизации IQ и Q2–Q5 с размером примерно от 1,8 до 5,2 ГБ. Они позволяют выбирать компромисс между требованиями к памяти и качеством: согласно приведённой таблице, меньшая perplexity и более высокая точность обычно достигаются у более крупных вариантов, при этом лучшие показатели среди указанных имеют Q5_K_S и Q5_K_M. Ограничения зависят от выбранного уровня квантизации: компактные варианты требуют меньше ресурсов, но могут сильнее терять качество. Лицензия — Apache-2.0.

legraphista/Qwen2.5-Coder-7B-Instruct-IMat-GGUF — GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также решения задач, связанных с программированием. В метаданных указан английский язык и поддержка text-generation. Модель содержит около 7 миллиардов параметров и распространяется в формате GGUF для запуска с использованием llama.cpp и совместимых инструментов. Доступны варианты от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; часть низкобитных вариантов использует IMatrix для улучшения качества при квантизации. Преимуществами являются широкий выбор размеров файлов и возможность локального запуска, а ограничениями — потенциальная потеря качества в более агрессивно квантизированных версиях, отсутствие мультимодальности и неуказанный в README размер контекста. Квантизацию выполнил legraphista с использованием llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-7B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski на основе инструментов mlx-examples; модель предназначена для запуска на компьютерах Mac с Apple Silicon через совместимое программное обеспечение, включая LM Studio. Модель ориентирована на генерацию текста и работу с кодом, включая сценарии использования в code agents, программирование, ответы на технические запросы и задачи, требующие связи между исходным кодом и текстовыми инструкциями. В README указано, что при обучении использовалось до 5,5 триллиона токенов, включая исходный код, текстово-кодовые данные и синтетические данные. Поддерживается длинный контекст до 128K токенов с масштабированием RoPE через YaRN с коэффициентом 4,0. Заявлен английский язык. Ключевые преимущества — специализация на коде, инструкционная настройка, поддержка длинного контекста и пониженное потребление памяти благодаря 4-битной квантизации. Ограничения связаны с необходимостью совместимого оборудования Apple Silicon и возможными ошибочными, неточными или неподходящими ответами; подробные сведения о качестве на отдельных языках и бенчмарках в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen2idae-16x14B-v1.0 — разговорная языковая модель от авторов проекта Parameter-Efficient Sparsity Crafting. Она преобразует плотные модели в разреженную архитектуру Mixture-of-Experts с помощью эффективного дообучения, включая QLoRA и адаптеры. По карточке модели, версия выпущена в марте 2024 года. Модель предназначена для диалогов и инструкций, особенно для задач математики и программирования. В метаданных указаны 13,4 млрд параметров, архитектура Qwen2ForCausalLM типа MoE, контекст до 32 768 токенов и библиотека Transformers; в README заявлено 15 млрд активируемых параметров. Для работы доступны веса Safetensors. Модель поддерживает английский язык. Лицензия — Apache-2.0. README приводит оценки на бенчмарках для серии Camelidae, но не содержит результатов Qwen2idae-16x14B-v1.0, поэтому качество именно этой версии по этим данным оценить нельзя.

Mungert/Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2-GGUF — GGUF-версия дообученной модели Qwen3.5-9B, ориентированной на рассуждения. Модель создана на базе Qwen/Qwen3.5-9B с использованием материалов, связанных с проектом Jackrong, библиотеки Unsloth и llama.cpp. Для обучения заявлены наборы данных с примерами рассуждений в стиле Claude Opus 4.6 и другие коллекции reasoning-данных. Модель предназначена для задач, требующих пошагового анализа: математики, текстовых задач, логической дедукции, общих знаний и выполнения инструкций. Во второй версии использовано около 14 000 образцов рассуждений с акцентом на более короткие и экономичные цепочки рассуждений, чтобы снижать вычислительные затраты без потери качества. Также приводятся результаты HumanEval и HumanEval+, которые используются как оценка переноса общих навыков рассуждения на программирование, а не как прямая цель обучения. Ключевая характеристика — размер базовой модели 9B и распространение в формате GGUF, удобном для запуска через совместимые инструменты локального инференса. В карточке указаны языки English, Chinese и Korean, а также тег image-text-to-text, однако подробности о мультимодальных возможностях, размере контекста и поддерживаемых форматах входных изображений не приведены. Ограничением является возможное снижение широких универсальных способностей из-за объема и направленности SFT-обучения; кодовая специализация также не была основной частью обучения. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B Opus 4.6 Reasoning Distill — текстовая диалоговая модель Empero AI, дообученная на рассуждениях Claude Opus 4.6 и Qwen. Она предназначена для пошагового анализа задач и формирования ответа после блока рассуждений в специальных тегах. Модель основана на Qwen/Qwen3.5-9B; для обучения применялся supervised fine-tuning с QLoRA 4-bit. В метаданных указаны 7,2 млрд параметров, контекст до 262 144 токенов и формат safetensors; README сообщает о максимальной длине последовательности 4096 токенов при обучении. Поддерживается английский язык. Модель подходит для диалоговых запросов, решения задач с многошаговым рассуждением и помощи в программировании. Как и другие модели, обученные на трассах рассуждений, она может ошибаться и выдавать убедительно звучащие, но неверные выводы; качество на независимых задачах в карточке не подтверждено. Доступна по лицензии Apache-2.0.

rubra-11b-h — диалоговая языковая модель на архитектуре Mistral, дообученная Sanjay920 на коде и разговорных данных. Она создана на основе mistralai/Mistral-7B-Instruct-v0.2 с целью улучшить рассуждения, сохранив способности исходной модели следовать инструкциям и вести диалог. Модель содержит 10,6 млрд параметров, использует формат весов safetensors и поддерживает контекст до 32 768 токенов; для чата применяются маркеры [INST] и [/INST]. Модель подходит для многошагового диалога, ответов на инструкции, рассуждений и генерации кода, а также для поиска сведений в длинном текстовом контексте. В README приведён пример успешного извлечения факта из документа длиной 14 334 токена, но это не гарантирует точность на других задачах. Модель всё ещё разрабатывается и не прошла выравнивание по безопасности, поэтому может выдавать предвзятые ответы. Лицензия — Apache-2.0.

Salience 1 (9B) — плотная мультимодальная модель Vection Labs на архитектуре Qwen3-VL с языковой частью Qwen3-8B и встроенным визуальным энкодером. Она принимает текст, изображения и видео и генерирует текст; заявленное окно контекста достигает 1 млн токенов. Модель рассчитана на техническую помощь, программирование и исследовательские задачи. Основные сценарии — генерация, объяснение, отладка и проверка кода, работа кодовых агентов с инструментами, пошаговые математические рассуждения, визуальные вопросы и анализ документов, диаграмм, графиков и коротких видеороликов. В README заявлены поддержка длинного контекста и режимы управления глубиной рассуждения. Указан английский язык. Модель может уверенно выдавать неверные факты и решения, а сгенерированный код может быть ошибочным или небезопасным. Длинные контексты и видеоролики повышают задержку и расход памяти; аудио не поддерживается. Для модели указана лицензия Apache-2.0.

Salience-27B-R5 — плотная мультимодальная модель на 27,8 млрд параметров от Vection Labs, дообученная на архитектуре Qwen3.8. Она принимает текст, изображения и видео и генерирует текст; заявленное контекстное окно — 1 048 576 токенов. Модель предназначена прежде всего для инженерных задач: написания и отладки кода, работы с большими репозиториями, проектирования систем, многошаговых задач в терминале и количественных рассуждений. Также она может анализировать скриншоты, диаграммы и документы в технических сценариях. Рассуждение включено по умолчанию, а глубина должна подстраиваться под сложность запроса; для трудных задач можно задавать повышенный уровень reasoning effort. В карточке заявлены плотная обработка всех параметров на каждом токене, гибридное линейное и полное внимание и MTP-голова для ускоренного декодирования. Модель ориентирована на английский язык. Выпущена под лицензией Apache-2.0 и доступна для Transformers. Модель может выдумывать API и факты, особенно при неоднозначных запросах; сгенерированный код следует проверять перед запуском. Отказное поведение снижено, встроенного фильтра контента нет, поэтому защитные правила нужно задавать в приложении. Для критически важных решений, а также медицинских, юридических и финансовых рекомендаций требуется проверка человеком.

Ttimms/Spark-X2.5-4B-NVFP4 — это квантизированная 4-битная версия языковой модели XHToken/Spark-X2.5-4B, подготовленная Ttimms. Модель предназначена для генерации текста и кода, агентских сценариев и задач с длинным контекстом; заявленная поддержка языков — английский и китайский. Она совместима с Transformers и рассчитана на запуск через vLLM с внешним плагином Spark2_5, преимущественно на GPU NVIDIA Blackwell. Модель содержит около 4,1 млрд параметров и использует архитектуру Spark2_5ForCausalLM с гибридным вниманием, сочетающим скользящее и полное внимание, а также поэлементным выходным затвором внимания. Контекстное окно достигает 1 млн токенов. Применена квантизация весов NVFP4 W4A16 методом GPTQ с активациями bf16; отдельные компоненты сохранены в bf16. Размер модели на диске составляет около 2,7 ГиБ против 7,7 ГиБ у базовой bf16-версии, что снижает требования к памяти, но на SM120 выигрыш относится главным образом к занимаемому объёму, а не к скорости вычислений. По представленным оценкам, относительно базовой bf16-модели качество снизилось примерно на 4,3 процентного пункта в HumanEval-instruct и на 2,0 пункта в MBPP. GPTQ заметно сохраняет качество лучше, чем округление RTN, однако для максимального сохранения исходных характеристик рекомендуется FP8-версия базовой модели. Для запуска требуются vLLM, внешний плагин Spark2_5 и параметр trust_remote_code; заявлена поддержка tool calling. Модель распространяется по лицензии Apache-2.0.

WizardDolphin-7B — языковая модель на 7,1 млрд параметров, созданная слиянием Mistral-7B-v0.1, Dolphin-2.6-Mistral-7B-DPO-Laser и WizardMath-7B-V1.1 методом TIES. Она использует плотную архитектуру Mistral и предназначена для генерации текста, диалогов и решения задач, сочетающих общие языковые и математические навыки. Модель поддерживает контекст до 32 768 токенов и распространяется в формате Safetensors. Модель может быть полезна для ответов на вопросы, ведения диалогов, объяснения математических решений и генерации текста. Карточка не сообщает о специальной настройке для конкретного языка, поэтому языковую поддержку нельзя уверенно уточнить. Лицензия — Apache-2.0.

YOYO-O1-14B-V2 — языковая модель, созданная YOYO-AI слиянием нескольких моделей Qwen2 с помощью метода SCE. В слияние вошли модели для программирования, логических задач, творческого письма и диалогового общения; базовой моделью служила arcee-ai/Virtuoso-Small-v2. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста в диалоге, помощи с программированием, решения логических и STEM-задач, а также творческого письма. Карточка указывает интерфейс вызова инструментов. В метаданных заявлены английский и китайский языки. Репозиторий использует формат safetensors, лицензия — Apache-2.0. Сравнительных оценок качества и подробных результатов тестирования в карточке нет.

Agnuxo публикует локальную чат-модель Agente-GPT на базе семейства Qwen 2.5 с 3 млрд параметров. Репозиторий содержит веса в формате GGUF F32; модель предназначена для запуска, в частности, через Ollama и для генерации текста в диалоговом режиме. Автор позиционирует её как автономного агента для декомпозиции задач, координации агентов и помощи с генерацией кода, включая научные вычисления и машинное обучение. В карточке заявлена работа на испанском и английском языках, а лицензия указана как Apache 2.0. Данных о длине контекста и независимых оценках качества в предоставленных источниках нет. Заявленные агентные навыки не подтверждают сами по себе совместимость с конкретными инструментами или протоколами вызова функций.

AREX-2 — мультимодальная модель на 27 млрд параметров, разработанная Пекинской академией искусственного интеллекта (BAAI) на основе Qwen/Qwen3.8-27B. Это плотная архитектура, совместимая с Qwen3.8; модель принимает текст и изображения и рассчитана на контекст до 262 144 токенов. Она предназначена для длительного итеративного решения задач: предлагает решение, анализирует оценки, логи, ошибки и время выполнения, а затем пересматривает результат. Обучение охватывает задачи машинного обучения и алгоритмического программирования с проверяемой обратной связью, а также данные для глубоких исследований; заявлен перенос навыка самоулучшения на сценарии deep research. Модель применима для программирования, инженерии машинного обучения, многошаговых рассуждений и агентных сценариев с инструментами. Лицензия — Apache 2.0. Карточка предназначает модель для исследований и не приводит количественных результатов оценки в доступном тексте; для работы требуется актуальная версия Transformers с поддержкой Qwen3.8.

Atem-Wisdom-1.5B-i1-GGUF — набор квантизированных GGUF-файлов базовой модели EphAsad/Atem-Wisdom-1.5B, подготовленный и опубликованный mradermacher. Модель относится к семейству Qwen2 и предназначена для генерации текста с акцентом на рассуждения, включая математические, программные и другие задачи, требующие пошагового анализа. В обучении использовались наборы данных OpenThoughts-114k-math, Kimi-K2.5-Reasoning-1M-Cleaned, CodeX-2M-Thinking, medical-o1-reasoning-SFT, MiniMax_M2.7_Distilled_5k и OpenCodeReasoning, а также применялись LoRA и дистилляция. Указанный язык — английский. Это компактная текстовая модель с размером 1,5 млрд параметров, поставляемая в различных вариантах квантизации для llama.cpp и совместимых инструментов. Доступны варианты от IQ1 и Q2 до Q6, размер файлов составляет примерно от 0,5 до 1,4 ГБ. В README рекомендуется i1-Q4_K_M как быстрый вариант, а i1-Q4_K_S отмечен как оптимальный баланс размера, скорости и качества; низкобитные варианты экономят память, но могут заметно уступать по качеству. Мультимодальность и размер контекстного окна не указаны. Модель лицензирована по Apache-2.0. Описанные файлы являются квантизированными версиями, поэтому фактическое качество зависит от выбранного варианта; некоторые варианты прямо обозначены как имеющие низкое качество. Данные о результатах бенчмарков, безопасности и ограничениях применения в README отсутствуют.

BLOSSOM-v3.1-baichuan2-7b — диалоговая языковая модель, разработанная на основе Baichuan2-7B-Base и дообученная командой BLOSSOM на смеси наборов инструкций Orca, Wizard, Chat и Math. Модель имеет плотную архитектуру Baichuan с 7 млрд параметров и контекстное окно 4096 токенов; она принимает текст и генерирует текст в формате продолжения диалога. Модель предназначена для ответов на вопросы, выполнения инструкций, многоходового диалога и математических рассуждений на китайском и английском языках. Обучение проходило в два этапа: сначала на одношаговых инструкциях Wizard и Orca, затем на математических примерах и многотуровых диалогах Blossom Chat. Лицензия — Apache-2.0.

Карточка модели TouchNight/cognitivecomputations_dolphin-2.9.2-qwen2-7b на Hugging Face совпадает с карточкой dphn/dolphin-2.9.2-qwen2-7b, поэтому описание составлено по ней. Dolphin 2.9.2 Qwen2 7B — разговорная языковая модель, созданная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на основе Qwen2-7B. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, дообученная на инструктивных, диалоговых и программных данных. В карточке заявлены навыки ответов на инструкции, ведения беседы, программирования, начальные агентные возможности и вызов функций. Модель предназначена для генерации текста в формате чата, помощи с кодом и выполнения запросов к функциям. Базовая модель поддерживает контекст до 128 тысяч токенов, однако полновесное дообучение Dolphin проводилось на последовательностях длиной 16 тысяч токенов. Репозиторий использует формат safetensors; метаданные указывают библиотеку Transformers. Модель описана авторами как uncensored и более склонная выполнять запросы, включая небезопасные. Для публичного сервиса рекомендуется самостоятельно добавить слой выравнивания поведения. Лицензия — Tongyi Qianwen; README допускает коммерческое использование при соблюдении её условий.

TechxGenus/DeepSeek-Coder-V2-Lite-Instruct-AWQ — AWQ-квантизированная версия DeepSeek-Coder-V2-Lite-Instruct, разработанная командой DeepSeek AI. Это инструкционно настроенная языковая модель для работы с кодом, программирования, генерации и объяснения исходного кода, а также задач математического и общего рассуждения. Модель построена на архитектуре Mixture-of-Experts (MoE) семейства DeepSeekMoE и содержит 16 млрд параметров, из которых при обработке активируется около 2,4 млрд. Контекстное окно составляет 128 000 токенов. Семейство DeepSeek-Coder-V2 заявляет поддержку 338 языков программирования; модель предназначена прежде всего для текстовых и кодовых сценариев и не относится к мультимодальным моделям. Формат AWQ ориентирован на более эффективное размещение и выполнение модели по сравнению с полноразмерными весами, однако README не приводит конкретных требований к оборудованию или результатов именно для этой квантизированной версии. Сильными сторонами являются специализация на программировании, большой контекст, MoE-архитектура с относительно небольшим числом активных параметров и поддержка широкого набора языков программирования. Ограничения включают отсутствие в README подробных сведений о качестве AWQ-версии, аппаратных требованиях, точности квантизации и языках естественного общения. Для модели указана лицензия deepseek-license; условия следует проверять в прилагаемом LICENSE и соглашении на использование модели.