II.9Статистика, эксперименты и причинный анализ

AaryanK/Youtu-LLM-2B-GGUF — это набор моделей в формате GGUF, представляющий квантованную версию Youtu-LLM-2B, разработанной Tencent. Модель предназначена для генерации текста, диалоговых приложений, программирования, STEM-задач и агентских сценариев, включая режим рассуждений Chain of Thought. Модель содержит около 1,96 млрд параметров и использует архитектуру Dense MLA. Она поддерживает английский и китайский языки, работает с текстом и имеет нативное контекстное окно до 128K токенов. Благодаря небольшому размеру ориентирована на эффективный локальный запуск, однако для корректной работы архитектуры требуется актуальная версия llama.cpp. Доступны два режима: Reasoning Mode для сложной логики и математики и Normal Mode для более стабильного общения. Модель заявлена как превосходящая многие более крупные модели в STEM-, кодинговых и агентских бенчмарках, но README не приводит конкретных числовых результатов. Распространение осуществляется по лицензии youtu-llm; точные условия следует уточнять в файле лицензии Tencent.

Карточка модели jinreiyu/cloned-Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

DistilGPT-OSS-qwen3-4B — созданная сообществом дообученная языковая модель на базе Qwen/Qwen3-4B-Thinking-2507. Она предназначена для диалогового помощника, генерации и объяснения кода, математических задач, кратких пересказов и повседневных запросов, в том числе локального использования. Обучение на ответах с рассуждениями GPT-OSS должно улучшить следование инструкциям и позволяет задавать уровень рассуждений low, medium или high через системный промпт. Модель плотная, содержит 3,7 млрд параметров, принимает и генерирует текст; заявленный контекст — до 262 144 токенов, а при высоком уровне рассуждений модель может использовать до 65 536 токенов на рассуждение. Модель выпущена в формате bf16 Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Разработчик отмечает, что это независимый проект сообщества, не связанный с Alibaba или OpenAI. По заявлению автора, модель менее ограничительна, чем исходная GPT-OSS, и сохраняет safety training; она ориентирована на производительность и более разговорный стиль ответов. Размер модели ограничивает её общие знания, а ответы могут содержать ошибки: автор не рекомендует полагаться на неё в медицинских, юридических и других высокорисковых задачах.

GLM-4.7-Flash-NEO-CODE-Imatrix-MAX-GGUF — набор специализированных GGUF-квантов модели GLM-4.7-Flash, разработанный DavidAU на базе модели zai-org/GLM-4.7-Flash. Модель предназначена для генерации текста, рассуждений, программирования, диалогов и ролевых сценариев. Заявлена поддержка английского и китайского языков. Архитектура — mixture of experts (MoE) объёмом около 30B параметров, из которых при генерации активируются четыре эксперта, примерно 2B параметров. Модель может запускаться на GPU, CPU или их комбинации и поддерживает контекст до 200K токенов. В этой версии используются NEO- и Code-данные для imatrix-квантизации, а также 16-битный выходной тензор для повышения качества финальной генерации. Доступны специализированные варианты IQ4_NL, Q5_1, Q4_1 и Q8_0, а также обычные типы квантов. Сильными сторонами являются высокая эффективность MoE-архитектуры, большой контекст, ориентация на код и рассуждения, а также оптимизация квантов под актуальную версию llama.cpp. Ограничения связаны с зависимостью качества и скорости от выбранного кванта и конфигурации оборудования; для некоторых сценариев рекомендуется отключать Flash Attention из-за проблем со скоростью генерации и выгрузкой на CPU. Для длинных ответов автор рекомендует использовать контекст не менее 8–16K токенов и подбирать параметры сэмплирования. В метаданных указана лицензия MIT. Для подготовки квантов и их корректной работы требуется актуальная версия llama.cpp, указанная автором; более ранние кванты могут работать хуже.

llm-jp-4.1-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Репозиторий содержит версию на 32,2 млрд параметров с 64 слоями, размером скрытого представления 5120 и контекстом до 65 536 токенов; модель распространяется в формате safetensors и предназначена для диалогового использования через Transformers. Модель прошла предварительное и промежуточное обучение на суммарно 11,7 трлн токенов, затем контролируемую донастройку и выравнивание методом DPO. Она ориентирована на генерацию ответов и рассуждений, включая задачи математики, науки, вопросов и ответов, программирования, следования инструкциям и перевода между японским и английским. Основные заявленные языки — японский и английский. Разработчик оценивает её на наборах задач общего знания, математики, кода, безопасности и вызова инструментов. Это исследовательская модель разработки, не предназначенная для непосредственного применения в производственных сервисах; ответы могут быть неточными, неподходящими или нежелательными и требуют проверки. Лицензия — Apache 2.0.

marin-8b-instruct-GGUF — это набор GGUF-квантизированных файлов модели marin-community/marin-8b-instruct, подготовленный mradermacher. Модель предназначена для генерации текста и выполнения инструкций; варианты GGUF позволяют запускать её локально с разным балансом между качеством, скоростью и потреблением памяти. При обучении использовались наборы данных AceCode-87K, Bespoke-Stratos-17k, dolphin-r1, natural_reasoning, OpenThoughts-114k-math и smoltalk, что указывает на применимость к программированию, рассуждениям, математическим и общим диалоговым задачам. Размер базовой модели — 8 млрд параметров, однако точная архитектура и максимальная длина контекста в README не указаны. Заявлен английский язык; сведения о поддержке других языков и модальностей отсутствуют, поэтому модель следует считать текстовой и ориентированной прежде всего на англоязычные сценарии. Доступны варианты от Q2_K размером около 3,3 ГБ до f16 размером около 16,2 ГБ; Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, Q6_K — как вариант очень хорошего качества, а Q8_0 — как вариант наилучшего качества среди перечисленных. К преимуществам относятся широкий выбор квантизаций и возможность локального запуска, а также настройка под задачи программирования, рассуждений и генерации текста. Более сильное сжатие уменьшает требования к памяти, но может снижать качество; README отдельно отмечает более низкое качество Q3_K_M. Модель распространяется по лицензии Apache-2.0.

AceInstruct-7B-GGUF — это квантизированная версия инструкционной языковой модели AceInstruct-7B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель относится к задачам генерации текста и ориентирована на выполнение инструкций, программирование, математику и задачи общего назначения. В README указана поддержка английского языка. Доступны варианты от F32 и F16 до Q2_K_L, включая различные форматы Q4, Q5, Q6, Q8 и IQ; размер файлов варьируется примерно от 3,35 до 30,47 ГБ. Это позволяет выбирать баланс между качеством, требованиями к памяти и скоростью локального вывода. Ключевые архитектурные характеристики исходной модели, включая точный тип архитектуры и размер контекста, в README не указаны. К преимуществам относятся широкий выбор уровней квантизации и возможность локального запуска, а ограничениями — потенциальное снижение качества у наиболее компактных вариантов, англоязычная специализация и отсутствие сведений о мультимодальности. Модель распространяется по лицензии CC BY-NC-4.0, допускающей использование с ограничениями для некоммерческих целей.

BoldingBuilds/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-ShimQuant-GGUF — квантизированная GGUF-версия NVIDIA Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA. Сборка использует технологию ShimQuant и предназначена для генерации текста и программного кода, включая сценарии локального запуска на потребительских видеокартах с ограниченным объёмом памяти. Модель основана на архитектуре Nemotron H с разреженной MoE-компонентой: заявлены 30 млрд параметров при 3 млрд активных параметров (30B-A3B). Файл имеет размер около 11,77 GiB, эффективную разрядность 3,07 бит на вес и рассчитан на контекст до 262 144 токенов. В конфигурации преобладают SSM-слои, поэтому увеличение контекста требует сравнительно немного дополнительной VRAM. README не указывает поддерживаемые языки. Ключевое преимущество сборки — возможность запуска на видеокарте с 16 ГБ памяти: на RTX 5080 заявлены полный offload и загрузка контекста 262 144 токена. На тесте HumanEval модель показала pass@1 91,5%. При этом квантизация вносит заметное отклонение от эталонной версии Q8_0, а результаты зависят от выбранной конфигурации. Файл несовместим со стандартными llama.cpp, LM Studio и Ollama и требует пропатченной сборки с поддержкой ShimQuant. Лицензия указана как openmdw-1.1 (other).

Pensez-v0.1-e5 — двуязычная англо-французская языковая модель для диалогов и задач рассуждения, разработанная на базе Qwen2.5-7B-Instruct. Это плотная авторегрессионная модель Qwen2 с 7,1 млрд параметров, дообученная методом SFT на наборе Pensez v0.1 из 2 000 примеров: по 1 000 на французском и английском языках. Модель предназначена для повседневных вопросов, научных задач, математики и программирования; для простых запросов использует краткие рассуждения, а для сложных может разворачивать их подробнее. Поддерживает контекст до 32 768 токенов и поставляется в формате safetensors. В карточке приведены сравнительные результаты на франкоязычных тестах по математике, пониманию вопросов и знаниям; результаты различаются по бенчмаркам и не гарантируют качество для всех запросов. Модель доступна по лицензии Apache-2.0. Для запуска автор указывает библиотеку Transformers.

QevaCoT-7B-Stock — объединённая языковая модель на базе семейства Qwen2.5, созданная методом Model Stock с помощью mergekit. В слияние вошли Qwen2.5-7B и несколько моделей на его основе, включая инструктивные и ориентированные на рассуждения варианты. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и работает через библиотеку Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы и задачи, где полезны пошаговые рассуждения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

DavidAU/Qwen3-24B-A4B-Freedom-Thinking-Abliterated-Heretic-NEO-Imatrix-GGUF — текстовая генеративная модель на базе Qwen3, созданная DavidAU как смесь шести моделей-экспертов размером 4B параметров. В состав входят варианты Jan v1, Apollo, а также дистилляции моделей Claude, Gemini и Polaris. Каждый эксперт был модифицирован методом Heretic для снижения числа отказов и ограничений на генерацию. Модель имеет архитектуру Dense Mixture of Experts: по умолчанию активен один эксперт, но можно задействовать до шести, что соответствует заявленным уровням мощности от 4B до 24B параметров. Заявленный размер контекста — 256K токенов; поддерживается английский язык и формат GGUF с различными квантованиями. Модель предназначена для широкого спектра задач: ответов на вопросы, программирования, математики, обучения, рассуждений, написания художественных текстов, ролевых сценариев, генерации сюжетов и сцен, а также создания контента с выраженной тематикой, включая хоррор, ненормативную лексику и эротические материалы. Это полнофункциональная reasoning-модель, ориентированная на следование подробным инструкциям и формирование компактного, но детального плана рассуждений. По заявлению автора, она может запускаться на GPU и CPU, а увеличение числа активных экспертов повышает вычислительную нагрузку и потенциальную мощность. К сильным сторонам относятся большой контекст, гибкое масштабирование числа активных экспертов, поддержка рассуждений и широкий диапазон сценариев использования. Ограничения включают преимущественно заявленный автором, а не независимо подтверждённый характер характеристик, необходимость более явно задавать желаемый уровень грубости или откровенности и возможные риски, связанные с нецензурированным содержанием. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-27B-Claude-4.6-Opus-Reasoning-Distilled — модель, разработанная Jackrong на базе Qwen/Qwen3.5-27B. Она дообучена методом SFT с применением LoRA на наборах данных с примерами рассуждений, включая материалы, заявленные как дистиллированные из взаимодействий с Claude-4.6 Opus. Модель ориентирована на задачи, требующие пошагового анализа, планирования, программирования и работы в средах coding agents, включая Claude Code и OpenCode. Модель относится к плотной архитектуре размером 27B параметров. В карточке указаны поддержка английского и китайского языков, а также совместимость с Transformers, llama.cpp и форматом GGUF. Метаданные описывают её как image-text-to-text и мультимодальную, однако в описании итоговая версия явно названа text-only, поэтому возможности обработки изображений следует считать не подтверждёнными. Заявлена поддержка роли developer в шаблоне диалога и сохранённого thinking mode с выводом рассуждений в тегах <think>. К сильным сторонам относятся структурированное рассуждение, улучшенная автономность и стабильность при работе инструментального агента, а также снижение избыточных повторов в рассуждениях на простых запросах. Согласно карточке, модель способна продолжать автономную работу более девяти минут без вмешательства пользователя, но приведённые результаты основаны на общественных тестах, а не на независимой систематической оценке. Размер 27B может предъявлять существенные требования к памяти и вычислительным ресурсам, особенно без квантования. Модель распространяется по лицензии Apache-2.0.

Qwen3-Swallow-32B-SFT-v0.2 — двуязычная языковая модель команды Swallow LLM, разработанная на базе Qwen3 и дообученная методом supervised fine-tuning (SFT) после этапа continual pre-training. Это плотная авторегрессионная модель семейства Qwen3 с 29,7 млрд параметров, рассчитанная на японский и английский языки. Она принимает текст и генерирует текст; длина контекста по метаданным — 40 960 токенов. Модель предназначена для диалогов и генерации ответов, а также для задач на японском и английском языках, включая перевод между ними, математику, программирование и рассуждения. Авторы сообщают о сохранении или улучшении STEM-навыков и усилении рассуждений; для воспроизводимого инференса рекомендуют vLLM и длину контекста до 32 768 токенов. Вызов инструментов не проходил специальное обучение, а отдельный переключатель режима рассуждений не поддерживается. Модель выпущена под лицензией Apache-2.0. В README отмечено, что она находится на раннем этапе исследований и разработки и не была специально настроена для соответствия намерениям пользователей и требованиям безопасности.

QWQ-Rombos-ties-TEST2 — экспериментальное объединение двух предварительно обученных языковых моделей, созданное сообществом mergekit-community. Модель использует плотную архитектуру Qwen2ForCausalLM и объединена методом SLERP из Qwen/QwQ-32B-Preview и rombodawg/Rombos-LLM-V2.5-Qwen-32b. Модель содержит 32 млрд параметров, принимает текст и предназначена для генерации диалоговых ответов, математических рассуждений и программирования. Поддерживает контекст до 32 768 токенов; в метаданных также отмечен интерфейс для вызова инструментов. Языковая поддержка отдельно не перечислена. Веса доступны в формате safetensors, библиотека для работы — Transformers. Это экспериментальная сборка слияния, поэтому её качество и поведение могут отличаться от исходных моделей. Лицензия в предоставленных данных не указана.

Smaug-72B-v0.1 — языковая модель abacus.ai, дообученная методом DPO-Positive (DPOP) для повышения качества ответов и результатов на задачах общего назначения. Она построена на архитектуре LlamaForCausalLM и содержит 71 млрд параметров; исходной моделью для дообучения указана moreh/MoMo-72B-lora-1.8.7-DPO, которая, согласно README, основана на Qwen-72B. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Модель предназначена для диалога, ответов на вопросы, рассуждений и решения задач, в том числе математических. В README приведены результаты оценки на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K и MT-Bench; они характеризуют тестирование авторов и не гарантируют аналогичное качество в других сценариях. Модель выпущена в формате safetensors. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверить в карточке модели.

Smaug-Llama-3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Smaug-Llama-3-70B-Instruct, разработанной Abacus AI. Квантизацию выполнил bartowski с использованием imatrix и поддержки Smaug в llama.cpp. Модель предназначена для генерации текста по инструкциям, решения математических задач и работы с кодом; в качестве исходных данных указаны aqua_rat, microsoft/orca-math-word-problems-200k и m-a-p/CodeFeedback-Filtered-Instruction. Формат GGUF позволяет запускать её через llama.cpp, начиная с версии b3001. Модель содержит 70 миллиардов параметров и относится к текстовым моделям; сведения о поддерживаемых языках и размере контекста в README не указаны. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 75 ГБ до менее 20 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-квантизации отмечены как рекомендуемые: они предлагают компромисс между качеством и требованиями к памяти. Более сильная квантизация сохраняет качество, но требует значительных ресурсов, тогда как варианты Q2 и Q1 экономят память за счёт заметного снижения качества. Для корректной работы следует использовать указанный формат приглашений Llama 3 с системным сообщением, запросом пользователя и ответом assistant. README указывает лицензию llama2; дополнительные ограничения и условия коммерческого использования не описаны.

Locutusque/StockQwen-2.5-7B — плотная языковая модель на архитектуре Qwen2, созданная автором репозитория с помощью mergekit методом Model Stock. В слияние вошли Qwen2.5-7B, Qwen2.5-7B-Instruct, Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct; базовая модель — Qwen/Qwen2.5-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоги; интерфейс поддерживает вызов инструментов. Для практического использования в README рекомендуется дообучение. Модель работает с текстом и имеет заявленный контекст до 131 072 токенов. Метаданные перечисляют английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Слияние инструктивной, кодовой и математической моделей предполагает применимость к диалогам, генерации кода и математическим ответам, однако README не приводит оценок качества. Файлы опубликованы в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

Карточка модели InternScience/Agents-A1-4B-F16-GGUF на Hugging Face совпадает с карточкой InternScience/Agents-A1-4B, поэтому описание составлено по ней. Agents-A1-4B — плотная языковая модель на 4 млрд параметров от InternScience, созданная для автономного выполнения многошаговых задач. Она основана на архитектуре Qwen3.5 и дообучена для агентных сценариев: поиска, инженерной работы, научных исследований, следования инструкциям и вызова инструментов. Модель поддерживает диалог и интерфейс вызова функций; веса доступны в формате safetensors и совместимы с Transformers, vLLM и SGLang. В README заявлена длина контекста до 262 144 токенов при указанной конфигурации SGLang. Модель предназначена для разложения сложных запросов на шаги, планирования, использования внешних инструментов и ответов на научные и профессиональные вопросы. В README приведены высокие результаты на тестах поиска, агентных задач и следования инструкциям, однако это заявления разработчика, и они не гарантируют качество в конкретном приложении. Лицензия Apache-2.0.

huihui-ai/DeepSeek-R1-Distill-Qwen-7B-abliterated-v2 — разговорная языковая модель на архитектуре Qwen2, созданная методом abliteration на основе deepseek-ai/DeepSeek-R1-Distill-Qwen-7B. Разработчик описывает её как экспериментальную версию с уменьшенным количеством отказов при ответах; модель предназначена для диалогов и генерации текста. Размер — 7,1 млрд параметров, контекст — до 131 072 токенов. Работает через библиотеку Transformers, веса опубликованы в формате safetensors. Модель унаследовала от базовой дистиллированной модели DeepSeek возможности многошаговых рассуждений, включая задачи по математике и программированию. README называет abliteration грубой реализацией и демонстрацией концепции; в отдельных случаях модели может потребоваться пример, задающий формат ответа. Лицензия в предоставленных данных не указана.

Dolphin-2.9.2-Phi-3-Medium-abliterated-GGUF — это квантованное в формате GGUF семейство версий языковой модели Dolphin-2.9.2-Phi-3-Medium-abliterated. Исходная модель опубликована cognitivecomputations, а квантование выполнено bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста в диалоговых и инструкционных сценариях, включая программирование, решение математических задач, работу с агентскими инструкциями и обычный чат. Указан английский язык; сведения о поддержке других языков отсутствуют. Модель основана на unsloth/Phi-3-mini-4k-instruct и обучалась на наборах Dolphin-2.9.2, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, samantha-data, Orca Math, Agent-FLAN и других. Доступны варианты квантования от Q8_0 до Q2_K и IQ2/IQ3/IQ4; размер файлов составляет примерно от 4,19 до 14,83 ГБ. Более высокие уровни квантования обычно сохраняют лучшее качество, а низкие уменьшают требования к памяти ценой качества. Архитектура, точное число параметров, модальности и фактический размер контекста в README не указаны, однако название базовой модели указывает на вариант с контекстом 4K. Сильными сторонами являются локальный запуск через llama.cpp, широкий набор инструкционных и кодовых данных, а также выбор вариантов квантования для разного объёма доступной памяти. Ограничения включают возможное снижение качества у низкобитных вариантов и отсутствие подтверждённых характеристик производительности или безопасности; обозначение abliterated также указывает на модификацию исходной модели, поэтому ответы требуют проверки. Модель распространяется по лицензии MIT.

Dolphin3.0-Llama3.1-8B-GGUF — это GGUF-квантизированная версия языковой модели Dolphin3.0-Llama3.1-8B, разработанной cognitivecomputations и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста на английском языке и запуска через совместимые средства, включая LM Studio и llama.cpp. Модель основана на архитектуре Llama 3.1 с размером 8 млрд параметров и относится к классу текстовых генеративных моделей. В обучении использовались наборы данных для программирования, математических задач, instruction following, function calling, агентных сценариев и диалогов. Доступны варианты от F32 и F16 до низкобитных форматов Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством генерации, размером файла и требованиями к памяти. Контекст, мультимодальность и поддержка других языков в README не указаны. Сильная сторона модели — широкий выбор квантизаций и возможность локального запуска на различном оборудовании; варианты Q6 и Q5 характеризуются как близкие к исходному качеству, а Q4 рекомендуются как сбалансированные по размеру и качеству. Более агрессивные квантизации экономят память, но снижают качество. Ограничениями являются преимущественно англоязычная заявленная поддержка и отсутствие в README подробных данных о производительности, максимальном контексте и системных требованиях. Указана лицензия llama3.1.

GLM-5.2-JANGTQ_K — квантованный вариант GLM-5.2 от Z.ai, подготовленный bearzi для запуска через MLX на компьютерах Apple с Apple silicon. Это языковая модель семейства GLM с архитектурой MoE и поддержкой чата; метаданные указывают 30,4 млрд параметров и контекст до 1 048 576 токенов. Профиль JANGTQ_K использует смешанную квантовку TurboQuant: routed-эксперты сжаты до 2 или 4 бит, а блоки внимания и индексатор DSA сохранены в FP16. Голова MTP удалена, поскольку она не используется в описанном режиме генерации MLX. Модель предназначена для генерации текста в диалоге, написания кода и длительных задач с большим контекстом. Для загрузки требуются около 260 ГБ объединённой памяти, пакет jang-tools и runtime MLX с патчем IndexShare; обычные MLX, LM Studio и Ollama этот набор не поддерживают без соответствующей доработки. В метаданных указана лицензия MIT.

Infinity-Instruct-3M-0625-Llama3-70B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная методом supervised instruction tuning на наборах Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная причинная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов и следования текстовым инструкциям; она не проходила RLHF. Модель использует шаблон чата Llama 3 Instruct, принимает текст и генерирует текст, а её контекст составляет 8192 токена. В карточке заявлены благоприятные результаты на AlpacaEval 2.0, однако приведённая таблица и текст описывают разные варианты модели, поэтому результаты конкретно этой версии следует трактовать осторожно. Подходит для диалоговых ассистентов, ответов на вопросы и выполнения инструкций, в том числе в задачах с кодом и математикой. Модель ориентирована на английский язык согласно метаданным; оснований считать её специально адаптированной для русского нет. Репозиторий распространяется под Apache-2.0, но README отдельно ограничивает использование связанных ресурсов академическими исследованиями и запрещает коммерческое применение; следует учитывать это ограничение и проверять применимые условия перед использованием.

InternLM3-8B-Instruct GGUF — квантизированная версия инструкционной языковой модели InternLM3-8B-Instruct, представленная в формате GGUF для запуска через llama.cpp. В предоставленных данных разработчик явно не указан. Модель предназначена для генерации текста и диалогового взаимодействия, включая решение математических задач, рассуждения и развёрнутые ответы в локальных или облачных средах на различном аппаратном обеспечении. Модель имеет размер 8 млрд параметров и относится к текстовым LLM; сведения о конкретной архитектуре и длине контекста не приведены. Репозиторий содержит варианты с разной точностью и уровнем квантизации, включая FP16, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между качеством, потреблением памяти и скоростью инференса. В метаданных указан английский язык. Для работы требуется совместимый runtime, например llama.cpp, а доступные параметры запуска позволяют настраивать размер контекста, число GPU-слоёв и длину генерируемого ответа. Сильными сторонами модели являются возможность локального запуска, поддержка широкого спектра аппаратных платформ и наличие нескольких вариантов квантизации. Ограничения включают зависимость качества и скорости от выбранной точности и оборудования, а также отсутствие в предоставленных материалах подробных результатов тестирования, перечня поддерживаемых языков и характеристик безопасности. Модель распространяется по лицензии Apache-2.0.

Josiefied-Qwen2.5-7B-Instruct-abliterated-v2 — диалоговая языковая модель, разработанная Гёкденизом Гюльмезом. Это дообученная и аблитерированная версия Qwen2.5-7B-Instruct, созданная на пользовательском наборе данных для более свободных ответов и меньшего числа отказов. Модель построена на архитектуре Qwen2 с плотной причинной языковой моделью и содержит около 7,1 млрд параметров; заявленный нативный контекст — 32 768 токенов. Модель предназначена для генерации текста в формате чата: она отвечает на запросы, помогает с письмом, программированием и математическими задачами, а также поддерживает многоязычные диалоги. В метаданных отмечены интерфейс вызова инструментов и поддержка английского, русского, китайского, немецкого, французского, испанского, португальского, итальянского, японского, корейского, вьетнамского, тайского и арабского языков. Карточка указывает лицензию Apache 2.0. Аблитерация ориентирована на снижение отказов, что позволяет использовать модель для запросов, которые обычные ассистенты могут отклонять; при этом поведение и безопасность ответов могут быть менее предсказуемыми. Автор рекомендует использовать модель на свой риск. Указанные в README характеристики базовой Qwen2.5, включая контекст до 128K токенов, не следует переносить на эту производную модель: для данного репозитория метаданные указывают нативный контекст 32 768 токенов.

Kai-30B-Instruct — инструктивно дообученная языковая модель NoesisLab на 30B параметров, крупнейшая в семействе Kai. Она основана на архитектуре Qwen2ForCausalLM и предназначена для диалогов, рассуждений, математических задач и генерации кода. Для дообучения применён метод ADS (Adaptive Dual-Search Distillation), который меняет функцию потерь, не модифицируя архитектуру модели. Модель принимает текст и генерирует текст; заявлены контекст до 32 768 токенов и поддержка английского языка. В карточке приведены результаты нескольких тестов рассуждений и здравого смысла, но они не подтверждают качество во всех сценариях. Для запуска требуются значительные вычислительные ресурсы из-за размера модели. Лицензия — Apache-2.0.

Olmo Hybrid 7B — открытая авторегрессионная языковая модель семейства OLMo, разработанная Allen Institute for AI (Ai2). Модель содержит около 6,3 млрд параметров и использует гибридную архитектуру: 75% слоёв основаны на gated DeltaNet, остальные — на многоголовом внимании. Она рассчитана на генерацию текста и поддерживает контекст до 65 536 токенов. Модель предназначена для продолжения текста, ответов на вопросы, рассуждений и генерации кода. По заявлению разработчиков, она эффективнее использует данные при предобучении, показывает улучшения на длинном контексте и снижает затраты памяти и повышает пропускную способность при инференсе на длинных последовательностях. Основной язык — английский. Модель предобучена на Dolma 3 и относится к базовым моделям OLMo Hybrid; карточка также описывает отдельные версии Think и Instruct, но этот репозиторий обозначен как Olmo Hybrid 7B. Веса доступны в формате safetensors и поддерживаются Transformers версии 5.3.0 или выше. Лицензия — Apache 2.0; разработчики рекомендуют учитывать правила ответственного использования Ai2. Модель может выдавать фактические ошибки и предвзятые или вредоносные ответы, поэтому результаты следует проверять.

Open-Instruct CoT 13B — языковая модель на архитектуре LLaMA с 12,9 млрд параметров, дообученная Allen Institute for AI на подмножестве CoT из Flan v2. Она предназначена для генерации ответов на инструкции с пошаговыми рассуждениями, а также для общих задач генерации текста, включая вопросы и ответы, математические задачи и программирование. Модель принимает текст и выдаёт текст; карточка указывает английский язык, а контекст составляет 2048 токенов. В опубликованных бенчмарках модель оценивалась на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Для её использования требуется исходная модель LLaMA в формате Hugging Face: опубликованный репозиторий содержит diff весов, а не самостоятельный полный чекпойнт. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

Qwen3.8-Flash-Next REAP-288 Q8E MLX — оптимизированная сборка базовой модели Qwen/Qwen3.8-Flash-Next, опубликованная пользователем sh0wie. Она предназначена для локального запуска на устройствах Apple с MLX и ориентирована прежде всего на генерацию текста, программирование и агентские сценарии. Мультимодальные веса vision tower сохранены, однако в README оценивалось только качество работы с текстом. Модель относится к классу примерно 180B параметров: 125B приходится на основную модель, ещё 51B — на n-gram embedding table. Архитектура содержит 48 слоёв, чередующих Gated DeltaNet и разреженное внимание Qwen, а MoE-маршрутизация использует top-10 экспертов. В каждом MoE-слое оставлено 288 из 512 экспертов после pruning методом REAP. Тензоры экспертов имеют 8-битное квантование, остальные компоненты, включая attention, embeddings и backbone, — 4-битное. Размер модели около 100 ГБ в памяти, но при потоковой загрузке n-gram table через NVMe может снижаться примерно до 70 ГБ. Сильной стороной сборки является повышенная точность представления экспертных тензоров и совместимость со стандартным mlx-vlm без патчей. При этом pruning остаётся основным источником потери качества: в тесте HumanEval модель получила 90,9%, уступив варианту с полностью 4-битными весами экспертов с результатом 91,5%, поэтому README не рекомендует её большинству пользователей. Поддерживается speculative decoding с отдельной MTP-моделью; заявленное ускорение зависит от оборудования и составляет примерно 1,5–2,6 раза на M5, тогда как на M4 оно близко к нейтральному. Модель распространяется по лицензии qwen-community-license-1.0.

Qwen3.8-max-Reasoning-Distilled-GGUF — компактная языковая модель, разработанная khazarai и созданная методом дистилляции знаний из Qwen3.8-max. Модель предназначена для задач рассуждения, включая анализ вариантов, решение вопросов из разных предметных областей и генерацию структурированных ответов. Формат GGUF ориентирован на использование с llama.cpp, а тег vision-language-model и pipeline image-text-to-text указывают на поддержку сценариев работы с изображениями и текстом, однако подробности о реализации визуального ввода в README не приведены. Ключевая особенность модели — оптимизированная цепочка рассуждений: она стремится выдавать линейную, последовательную и решительную логику, сокращая повторные проверки, колебания и циклы «переобдумывания». Благодаря дистилляции модель рассчитана на более эффективный инференс с меньшим числом генерируемых токенов при сохранении качества ответов. Размер архитектуры, объём параметров, максимальная длина контекста и полный набор поддерживаемых языков не указаны; явно заявлен английский язык. Модель может быть полезна там, где важны компактность, скорость и экономный расход токенов. Ограничением является то, что для чрезвычайно сложных многошаговых математических задач может потребоваться явный запрос на пошаговые промежуточные вычисления. Результаты следует проверять при использовании в медицинских, юридических и финансовых сценариях. Указанная лицензия — Apache-2.0.