II.9Статистика, эксперименты и причинный анализ

Модель mlx-community/NVIDIA-Nemotron-3-Nano-4B-BF16 — версия NVIDIA Nemotron 3 Nano, подготовленная сообществом mlx-community для запуска через MLX на устройствах Apple. В карточке указано, что она конвертирована из nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16 с помощью mlx-lm 0.31.1; метаданные классифицируют связь как дообучение и указывают архитектуру NemotronHForCausalLM. Репозиторий содержит веса safetensors, а размер модели составляет 6,4 млрд параметров. Модель предназначена для генерации текста в диалоге и может использоваться для ответов на вопросы, программирования, рассуждений и агентных сценариев с интерфейсом вызова инструментов. Поддерживает контекст длиной до 262 144 токенов и ориентирована на английский язык. Для использования требуется библиотека mlx-lm; лицензия указана как other, поэтому условия следует сверить с лицензией базовой модели и репозитория перед применением.

Это GGUF-квантизированная версия языковой модели Nemotron-H-8B-Reasoning-128K, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в локальных средах, поддерживающих llama.cpp, включая LM Studio и другие совместимые проекты. Модель относится к классу reasoning-моделей, имеет около 8 миллиардов параметров и заявленный контекст до 128K токенов. Доступны варианты от полного BF16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Более высокие варианты, включая Q6_K_L и Q6_K, обеспечивают качество, близкое к исходному, а Q4-варианты предлагают более компактный запуск. Сильными сторонами являются большой контекст, возможность локального использования и широкий выбор квантизаций для разного оборудования. Ограничения связаны с потерями качества при более агрессивной квантизации; точный формат промптов, поддерживаемые языки, архитектурные детали и официальная лицензия в представленном README не указаны.

Olmo-3-7B-Instruct-SFT — англоязычная авторегрессионная Transformer-модель для диалогов и выполнения инструкций, разработанная Allen Institute for AI (Ai2). Это плотная языковая модель семейства OLMo 3 с 6,9 млрд параметров, дообученная методом SFT на наборах Dolci, включающих диалоги, общие знания, математику и программирование. Модель принимает текст и генерирует текст; контекстное окно составляет 65 536 токенов. Модель подходит для диалоговых помощников, ответов на вопросы, задач по математике и программированию, а также следования инструкциям. В карточке приведены результаты тестов, включая MATH и AIME, но качество ответов может варьироваться. Лицензия Apache 2.0; разработчик рекомендует учитывать свои правила ответственного использования. Модель может выдавать неточные сведения и небезопасный или предвзятый контент, поэтому ответы следует проверять.

FuseAI/OpenChat-3.5-7B-Mixtral — диалоговая языковая модель, выпущенная проектом FuseChat при Университете Сунь Ятсена. Это целевая модель, полученная на этапе попарного слияния знаний OpenChat-3.5-7B с другой чат-моделью. В репозитории указаны 7,1 млрд параметров, архитектура Mistral с плотной структурой и контекст до 8192 токенов. Модель предназначена для диалогов, ответов на вопросы и выполнения текстовых инструкций общего назначения. README описывает подход FuseChat: модели обучаются для переноса знаний, а затем объединяются в пространстве параметров; для оценки использовались многоходовые диалоги MT-Bench по письму, ролевым сценариям, рассуждениям, математике, программированию, STEM и гуманитарным темам. Карточка позиционирует модель как компонент для дальнейшего слияния с другими целевыми моделями FuseChat. Модель принимает текст и генерирует текст. В метаданных указан английский язык, библиотека Transformers и формат Safetensors. Лицензия — Apache 2.0. README не сообщает отдельные результаты оценки именно этого чекпойнта, поэтому показатели итоговой FuseChat-7B-VaRM не следует переносить на него.

TeichAI/Qwen3-4B-Thinking-2507-Gemini-2.5-Flash-Distill-GGUF — языковая модель для генерации текста, созданная TeichAI на основе Qwen3-4B-Thinking-2507. Модель обучалась методом дистилляции на наборе TeichAI/gemini-2.5-flash-11000x, чтобы воспроизводить поведение, рассуждения, стиль ответов и знания Gemini 2.5 Flash. Указана лицензия Apache-2.0. Модель предназначена для программирования, научных и юридических задач, работы с историческими и маркетинговыми текстами, а также для применения общего назначения. Она поддерживает текстовую генерацию; в README указан английский язык. Архитектура относится к семейству Qwen3 с размером около 4 млрд параметров, однако сведения о длине контекста, точной структуре GGUF-квантизации и дополнительных модальностях не приведены. По опубликованным тестам модель превзошла базовую Qwen3-4B-Thinking-2507 в пяти из шести сравнений: ARC-Challenge, GPQA Diamond, HellaSwag, MMLU и Winogrande. Среднее улучшение составило 0,0191, при этом результат TruthfulQA оказался немного ниже базовой модели. Эти показатели характеризуют результаты на указанных наборах тестов и не гарантируют аналогичное качество в прикладных сценариях; возможны ошибки, особенно в сложных вопросах и задачах, требующих фактической точности.

Qwen3.5-4B-OptiQ-4bit — это квантизированная версия языковой модели Qwen/Qwen3.5-4B, разработанная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для локального запуска генеративных задач на компьютерах Apple Silicon через MLX, без PyTorch и облачной инфраструктуры: генерации и понимания текста, рассуждений, программирования, следования инструкциям, вызова инструментов и агентских сценариев. Модель использует смешанную чувствительно-ориентированную квантизацию: 173 слоя имеют точность 4 бит, а 75 наиболее чувствительных слоёв — 8 бит; всего квантизировано 248 слоёв. Размер группы составляет 64, размер модели на диске — около 3,0 ГБ. В комплект входит MTP-голова для speculative decoding, которая при использовании mlx-optiq может обеспечивать примерно 1,4-кратное ускорение декодирования. Доступны текстовые сценарии; другие модальности, языки и размер контекста в README не указаны. По приведённым тестам модель превосходит равномерную 4-битную квантизацию на задачах общих знаний, математики, следования инструкциям, вызова функций, программирования и поиска в длинном контексте. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также потери точности, неизбежные при квантизации; заявленные результаты относятся к конкретной методике оценки. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.5-9B-Theseus-i1-GGUF — квантизированная версия модели Qwen3.5-9B-Theseus, подготовленная mradermacher на основе модели nightmedia. Распространяется в формате GGUF и предназначена для локального запуска и инференса в совместимых инструментах. В репозитории представлены imatrix-квантизации различных типов и размеров, включая варианты от i1-Q2_K до i1-Q6_K, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Модель ориентирована на генерацию текста, диалоги, программирование, математические и STEM-задачи, рассуждения, творческое письмо, создание историй и ролевые сценарии. Заявлена поддержка английского, китайского, японского и испанского языков. README указывает на мультимодальность и наличие vision-возможностей, однако конкретные характеристики обработки изображений не раскрыты. Также упоминается контекст до 256k или 1M токенов, но точное поддерживаемое значение для этой сборки не указано. К сильным сторонам относятся широкий выбор квантизаций, включая варианты с imatrix, возможность подбора компактной конфигурации и заявленная универсальность задач. Ограничения включают экспериментальный характер исходной модели, возможное снижение качества на низких уровнях квантизации и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4-RTX5090-LMHead4 — это производный вариант модели Qwen3.8-27B-NVFP4-RTX5090 от gittensor-model-hub, созданный с использованием инструментов NVIDIA ModelOpt. Модель предназначена для генерации текста, рассуждений, решения математических и академических задач, программирования, диалоговых сценариев и агентских приложений с вызовом инструментов. Вариант сохраняет исходные веса родительской модели, за исключением lm_head, который дополнительно квантизован в NVFP4 вместо BF16. Модель имеет размер 27B параметров и поддерживает контекст до 65 536 токенов. Указаны интеграции с Transformers, SGLang и vLLM, а также поддержка спекулятивного декодирования с черновой моделью DSpark. На одной RTX 5090 размер чекпойнта составляет 18,77 ГБ, а занимаемый весами объём VRAM — около 17,10 ГБ. По данным README, скорость декодирования достигает 88,45 токена/с без спекуляции и 181,7 токена/с при использовании DSpark. Квантизация lm_head не показала измеримого ухудшения качества на указанном небольшом наборе тестов, однако результаты нельзя считать доказательством улучшения и они зависят от конфигурации запуска. Ограничения модели связаны с узкой специализацией сборки под высокопроизводительные GPU RTX 5090 и необходимостью совместимой конфигурации инференса. Репозиторий помечен как устаревший: рекомендуется использовать более новый Qwen3.8-27B-NVFP4-RTX5090, в котором удалены NVFP4 lm_head и MTP head и заявлены меньший размер и два шарда. Модель распространяется по лицензии Apache 2.0.

Qwopus3.6-27B-v2-abliterated — мультимодальная модель для диалога и рассуждений, созданная на основе Jackrong/Qwopus3.6-27B-v2. Автор карточки описывает её как версию Qwen3.5 с гибридной архитектурой: линейное внимание GatedDeltaNet сочетается с полным вниманием, а модель поддерживает обработку изображений. Отказные направления ортогонализированы в матрицах записи остаточного потока на 26-м слое без дообучения; модуль зрения не изменён. В карточке приведены результаты HumanEval pass@1 95,1%, GSM8K 86,0% и MMLU-Pro 83,2%, а также снижение частоты отказов с 100% до 8%. Весовой формат — bf16 Safetensors; многотокенный предсказательный модуль включён для спекулятивного декодирования. Для развёртывания доступны отдельные варианты INT4 и GGUF. Лицензия в предоставленных данных не указана.

Tiiny/SmallThinker-21BA3B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели SmallThinker-21BA3B-Instruct, разработанной совместно исследовательской группой IPADS, School of AI Шанхайского университета Цзяо Тун и компанией Zenergize AI. Модель относится к семейству on-device моделей, ориентированных на локальный запуск без обращения к облачным сервисам, что обеспечивает потенциальные преимущества в приватности и задержке ответа. Основной язык обучения — английский; назначение модели — генерация текста и выполнение инструкций, включая вопросы общего характера, математические задачи, программирование и другие сценарии работы с текстом. В основе модели лежит архитектура Mixture-of-Experts (MoE): всего 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Модель содержит 52 слоя, 64 эксперта и выбирает 6 экспертов на токен; используются GQA, 28 attention heads, 4 KV heads, функция активации ReGLU и контекст длиной до 16K токенов. Для запуска обычных файлов .gguf рекомендуется llama.cpp, а файлы с суффиксом .powerinfer.gguf совместимы только с фреймворком PowerInfer и используют специализированные разреженные операторы. Сильными сторонами модели заявлены производительность в задачах общего понимания, следования инструкциям, математики и генерации кода, а также возможность локального запуска на устройствах с ограниченными ресурсами. Ограничения включают преимущественно англоязычную направленность, возможные фактические ошибки, предвзятость и устаревшие сведения; результаты требуют самостоятельной проверки. Модель распространяется по лицензии Apache-2.0.

Smaug-Qwen2-72B-Instruct — диалоговая языковая модель, созданная Abacus.AI как дообученная версия Qwen2-72B-Instruct. Она генерирует текст и предназначена для общения, ответов на вопросы, решения сложных задач на рассуждение и помощи с кодом. Модель имеет плотную архитектуру Qwen2ForCausalLM, около 71,5 млрд параметров и контекстное окно до 32 768 токенов; принимает текст и выдаёт текст. В карточке указана поддержка английского языка. В README приведены сравнительные результаты на BBH, LiveCodeBench, Arena-Hard и MT-Bench: Smaug превосходит исходную Qwen2-72B-Instruct в отдельных оценках, включая BBH и LiveCodeBench, но уступает ей по среднему результату MT-Bench. Это экспериментальные бенчмарки, поэтому они не гарантируют качество для конкретных задач. Модель распространяется в формате safetensors; лицензия указана как other, поэтому условия использования следует проверить в карточке модели и у базовой модели.

Tess-2.0-Llama-3-70B — универсальная языковая модель для диалога и генерации текста, разработанная Migtissera; вычислительные ресурсы для обучения предоставила KindoAI. Это плотная autoregressive-модель семейства Llama 3 на архитектуре LlamaForCausalLM с 69,5 млрд параметров и контекстом до 8192 токенов. Она принимает текстовые инструкции и выдаёт текст, поддерживает формат диалога Llama 3. Модель дообучена на базе meta-llama/Meta-Llama-3-70B в течение двух эпох на наборе Tess-2.0, который по принципам LIMA включает около 100 тысяч высококачественных примеров по программированию и общим темам. Подходит для диалоговых помощников, ответов на вопросы, написания текстов и помощи с кодом. Карточка характеризует набор данных как мало ограничивающий следование инструкциям, поэтому модель может отвечать на нежелательные запросы. Модель может выдавать неточную или вводящую в заблуждение информацию, а также предвзятый, оскорбительный или иной неподходящий контент; ответы следует проверять. Лицензия — Llama 3 License (llama3).

Tri-21B — авторская причинная языковая модель компании Trillion Labs для диалогов и генерации текста. Она предназначена для повседневного общения, ответов на вопросы, рассуждений, математических задач и генерации кода. По данным карточки, модель использует декодерный Transformer с RoPE, SwiGLU, RMSNorm и GQA, содержит 20,73 млрд параметров и имеет контекстное окно 8 192 токена. Модель обучалась на 2,3 трлн токенов; разработчики сообщают об улучшениях в обучении с подкреплением и настройке данных для рассуждений. Tri-21B оптимизирована для английского, корейского и японского языков. В README приведены результаты тестов на знания, рассуждения, программирование, математику и следование инструкциям. Эти результаты заявлены разработчиком и зависят от условий оценки. Для других языков качество может снижаться; знания ограничены данными примерно до февраля 2025 года. Модель распространяется под лицензией с обозначением «other»; конкретные условия следует проверять на странице репозитория Hugging Face.

Whittle-Next-27B-A3B-GGUF — это GGUF-квантизированная версия модели Whittle-Next-27B-A3B, разработанной logic65 и подготовленной квантизатором mradermacher. Модель основана на архитектуре mixture-of-experts и предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В метаданных заявлена поддержка английского, китайского и других языков, а также сценариев с длинным контекстом. Модель содержит около 27 млрд параметров в общей конфигурации и обозначает архитектуру с примерно 3 млрд активных параметров, однако точные сведения о механизме активации, размере контекста и мультимодальных возможностях не указаны. Среди заявленных архитектурных особенностей — hyper-connections, n-gram memory, per-layer embeddings, knowledge distillation и online distillation. Доступны варианты GGUF с разными уровнями квантизации от Q2_K до Q8_0 и IQ4_XS; версии Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q8_0 — как вариант с наилучшим качеством среди представленных. К сильным сторонам относятся поддержка локального запуска через совместимые инструменты, включая llama.cpp, широкий выбор компромиссов между размером, скоростью и качеством, а также ориентация на рассуждения, код и математику. К ограничениям относятся неизбежная потеря качества в более агрессивно квантизированных вариантах, отсутствие опубликованных в README бенчмарков и точных характеристик контекстного окна, а также отсутствие сведений о поддержке изображений или других модальностей. Модель распространяется по лицензии Apache-2.0.

Apriel-H1-15b-Thinker-SFT — языковая модель на 15 млрд параметров от ServiceNow AI для генерации ответов, рассуждений и кода. Она построена на гибридной архитектуре Transformer и Mamba: часть слоёв внимания заменена линейными блоками Mamba. По заявлению разработчика, такая конструкция повышает пропускную способность инференса более чем вдвое по сравнению с Apriel-Nemotron-15B-Thinker при небольшом снижении качества рассуждений, математических решений и программирования. Модель получена дистилляцией Apriel-Nemotron-15B-Thinker, обучена для диалогов и поддерживает интерфейс вызова инструментов. Модель рассчитана на многошаговые рассуждения, помощь с кодом, ответы на вопросы, выполнение сложных инструкций и агентные сценарии. Контекстное окно — 65 536 токенов; фактический предел зависит от среды запуска. Шаблон диалога задаёт генерацию этапа рассуждения перед кратким финальным ответом. Наиболее сильные результаты заявлены для английского языка, качество на менее представленных языках может быть ниже. Модель выпущена под лицензией MIT. Она может ошибаться, выдавать устаревшие или предвзятые ответы и не предназначена для критически важных сценариев без проверки человеком; для медицинских, юридических и финансовых решений нужны соответствующие меры контроля.

Это канал-квантизованная версия DeepSeek-R1, подготовленная Meituan: веса BF16 преобразованы в INT8 с поканальными масштабами. Модель предназначена для генерации текста в диалоге и решения задач, требующих рассуждений, включая математику, программирование и ответы на сложные вопросы. В метаданных архитектура указана как DeepSeek V3 с плотной causal language model; размер — 37,6 млрд параметров, нативный контекст — 163 840 токенов. Репозиторий содержит веса Safetensors и интерфейс вызова инструментов. В README сообщается о сохранении точности на GSM8K и MMLU и ускорении до 50% в указанном бенчмарке на нескольких A100; эти результаты относятся к описанной конфигурации и не гарантируют такого ускорения на другом оборудовании. Для запуска может потребоваться поддержка поканальной INT8-квантизации в используемом inference-движке. Лицензия модели — MIT.

mlx-community/DeepSeek-R1-Distill-Qwen-1.5B — конвертированная в формат MLX версия компактной языковой модели DeepSeek-R1-Distill-Qwen-1.5B, подготовленная сообществом mlx-community из модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B с помощью mlx-lm 0.20.2. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, предназначенная для диалоговой генерации текста и решения задач рассуждения, математики и программирования. Модель принимает текст и генерирует текст; метаданные указывают контекстное окно 131072 токена и интерфейс для вызова инструментов. Формат MLX ориентирован на запуск с mlx-lm. В карточке приведена лицензия базовой модели только косвенно, поэтому условия лицензирования здесь не уточняются. Возможности и качество унаследованы от базовой модели.

mlx-community/DeepSeek-R1-Distill-Qwen-32B-abliterated — 32-миллиардная языковая модель для генерации текста и диалогов. Репозиторий mlx-community содержит версию в формате MLX, преобразованную из huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated с помощью mlx-lm 0.21.1. По метаданным, модель построена на плотной архитектуре Qwen2, поддерживает контекст до 131 072 токенов и предназначена для текстовых задач, включая рассуждения. Вариант abliterated модифицирован для уменьшения отказов. Лицензия в предоставленных данных не указана.

Dolphin 2.6 Mistral 7B DPO LASER — разговорная языковая модель, созданная Eric Hartford и Fernando Fernandes на основе Mistral-7B. Это специальный выпуск Dolphin-DPO: авторы применили к весам метод LASER со снижением ранга отдельных слоёв и дополнительным шумоподавлением на основе SVD. Модель имеет плотную архитектуру MistralForCausalLM, около 7,1 млрд параметров и контекст до 32 768 токенов по метаданным. Она принимает текст в формате ChatML и генерирует текст. Модель предназначена для диалогов, ответов на вопросы, помощи с кодом и выполнения инструкций. В обучении использовались наборы Dolphin, Airoboros, OpenHermes, Magicoder и Capybara. Карточка заявляет улучшение оценок относительно Dolphin 2.6 и 2.6-DPO и более устойчивые ответы, но пример вывода не приведён. Авторы характеризуют модель как uncensored и предупреждают о высокой готовности отвечать на любые запросы; перед использованием в сервисе рекомендуют добавить собственный слой выравнивания. Лицензия — Apache-2.0.

Это GGUF-квантизированная версия текстовой модели dolphin-2.9.1-llama-3-8b, разработанной cognitivecomputations и опубликованной legraphista. Модель основана на Llama 3 с исходным форматом BF16 и предназначена для генерации текста в совместимых средах, включая llama.cpp. Модель имеет размер 8 миллиардов параметров и поддерживает различные варианты представления: от BF16 и FP16 до квантований Q2–Q8 и IQ. Для ряда квантованных вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера файлов и требований к памяти. Доступны файлы размером примерно от 3 до 16 ГБ. Модель ориентирована на диалоговые и инструкционные сценарии, а также задачи программирования, математические задачи, function calling и агентские сценарии, поскольку базовая модель обучалась на соответствующих наборах данных. Преимуществами являются локальный запуск, широкий выбор уровней квантизации и совместимость с экосистемой GGUF. Ограничения включают отсутствие заявленных в карточке сведений о языках, размере контекста, точных показателях качества и мультимодальных возможностях; модель работает с текстом. Лицензия указана как other, без дополнительных условий в представленном README.

Eurux-8x22B-KTO — языковая модель семейства Mixtral, разработанная OpenBMB. Это дообученная версия Mixtral-8x22B: сначала выполнено SFT, затем KTO на многоходовых траекториях UltraInteract и парах предпочтений UltraFeedback. Модель предназначена для генерации текста, рассуждений, диалогов и следования инструкциям; в карточке заявлены сильные результаты в задачах программирования, математики, знаний и рассуждений. Модель использует архитектуру Mixtral MoE, распространяется в формате safetensors, содержит 22 млрд параметров и поддерживает контекст до 65 536 токенов. Для запуска в README приведён пример использования через Transformers и PyTorch. Лицензия — Apache-2.0. Оценочные результаты приведены для набора бенчмарков по коду, математике, рассуждениям, знаниям, следованию инструкциям и диалогу; они не гарантируют качество на конкретных пользовательских данных. Языки обучения или поддерживаемые языки в предоставленных сведениях не перечислены.

FuseChat-7B-TA — диалоговая языковая модель FuseAI, разработанная в рамках исследовательской работы учёных Университета Сунь Ятсена. Это вариант FuseChat-7B, полученный слиянием знаний нескольких чат-моделей; версия TA использует один из методов слияния. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и базовая модель OpenChat 3.5, дообучение которой также входит в процесс создания FuseChat. Модель предназначена для диалогов и выполнения текстовых инструкций общего назначения, включая ответы на вопросы, письмо, ролевые сценарии, рассуждения, математику, программирование и темы STEM и гуманитарных наук. Контекст составляет 8192 токена. В README для FuseChat-7B-TA указана средняя оценка 8,20 на MT-Bench. Модель принимает и выдаёт текст; в карточке отмечен английский язык. Слияние позволяет объединить способности нескольких моделей в одной без необходимости загружать несколько экспертов во время инференса. Модель выпущена под лицензией Apache-2.0. Показатель MT-Bench не гарантирует качество для конкретной задачи; подтверждённые возможности в карточке ограничены генерацией текста и чатом.

FuseChat-7B-VaRM — диалоговая языковая модель, разработанная Fanqi Wan и коллегами из Университета Сунь Ятсена. Она объединяет знания трёх чат-моделей: NH2-Mixtral-8x7B, NH2-Solar-10.7B и OpenChat-3.5-7B. В каталоге Hugging Face указаны архитектура Mistral с плотной моделью MistralForCausalLM и 7,1 млрд параметров; для инференса используется библиотека Transformers. Модель предназначена для генерации ответов в диалоге и выполнения общих текстовых инструкций, включая написание текстов, ролевые сценарии, рассуждения, математику и программирование. В README сообщается о среднем результате 8,22 на MT-Bench. Модель принимает текст и генерирует текст; заявленный контекст — 8192 токена, язык карточки — английский. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может давать ошибочные или непроверенные ответы; в предоставленных материалах отдельные дополнительные ограничения не описаны.

TIGER-Lab разработала General-Reasoner-Qwen2.5-14B — дообученную причинно-следственную языковую модель семейства Qwen2.5 с 14 млрд параметров. Она предназначена для диалоговой генерации текста и решения задач, требующих рассуждений в разных областях: математике, программировании, физике, химии, финансах и гуманитарных дисциплинах. Модель обучена на наборе из более чем 230 тысяч проверяемых вопросов; подход General-Reasoner использует проверку ответов компактной генеративной моделью-верификатором и не включает отдельный этап RL-обучения. Модель принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана прежде всего на английский язык. Репозиторий использует формат safetensors и библиотеку Transformers; метаданные указывают интерфейс для диалога и вызова инструментов. Лицензия — Apache-2.0. Карточка сообщает о результатах на нескольких бенчмарках, но не приводит конкретных значений в предоставленном фрагменте; ответы модели могут требовать проверки.

Hermes 3 — большая языковая модель Nous Research для диалогов и задач общего назначения. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, дообученная на основе meta-llama/Meta-Llama-3.1-8B. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Карточка указывает английский язык. Модель предназначена для многошаговых диалогов, следования инструкциям, рассуждений, ролевых сценариев, генерации кода и работы в качестве ассистента. ChatML поддерживает структурированные беседы, а обучение охватывает вызов инструментов и выдачу структурированного JSON. Качество может различаться по задачам; результаты в карточке характеризуются как конкурентные моделям Llama 3.1 Instruct, с разными сильными и слабыми сторонами. Для использования необходимо соблюдать лицензию Llama 3. Показатели в карточке не гарантируют качество в конкретном приложении; вызовы инструментов требуют разбора и выполнения со стороны внешнего кода.

Llama3.1-70B-ShiningValiant2-GGUF — это квантизированная версия текстовой генеративной модели Llama3.1-70B-ShiningValiant2, разработанной ValiantLabs и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров; она ориентирована на режимы instruct и chat и предназначена прежде всего для работы с английским языком. Модель подходит для генерации текста, диалоговых сценариев, решения задач по естественным и техническим дисциплинам, включая физику, биологию, химию, информатику, инженерию и логическое рассуждение. В README приведены результаты на Winogrande и отдельных подзадачах MMLU, включая MMLU College Biology, что указывает на сильную сторону модели в задачах общего и научного понимания. Для запуска предлагается использовать LM Studio или совместимое программное обеспечение на базе llama.cpp с указанным шаблоном prompt. Доступно несколько вариантов квантизации с размером файлов примерно от 27,47 до 74,98 ГБ. Q6_K и Q5_K, а также Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты экономят оперативную память, но могут заметно уступать по качеству. Требования к памяти, максимальный контекст, мультимодальные возможности и дополнительные языки в README не указаны. Модель распространяется по лицензии llama3.1.

llm-jp-4.1-32b-a3b-thinking — языковая модель семейства LLM-jp-4.1, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это трансформерная MoE-модель для генерации текста и диалогов; в ней 32 млрд общих параметров, из которых активируются около 3,8 млрд. Контекст составляет 65 536 токенов. Модель обучалась на 11,7 трлн токенов, а версия thinking прошла дообучение с контролируемой настройкой и выравниванием предпочтений DPO. Модель предназначена для диалоговых ассистентов и задач общего назначения: ответов на вопросы, рассуждений, математики, научных вопросов, программирования и перевода между японским и английским языками. Карточка указывает поддержку английского и японского; модель принимает текст и генерирует текст. Чат-шаблон совместим с форматом OpenAI Harmony, но для токенизации следует использовать комплектный токенизатор: токенизатор отличается от ожидаемого библиотекой openai-harmony. Разработчик характеризует релиз как модель для исследований и разработок и не рекомендует напрямую использовать её в производственных сервисах. Ответы могут быть неточными, неподходящими или нежелательными, поэтому модель следует оценивать для конкретного применения. Лицензия — Apache-2.0.

Manticore 13B Chat Pyg — языковая модель для диалогового и инструкционного текстового взаимодействия, разработанная Open Access AI Collective. Данная версия распространяется в формате GGUF и является квантизированным вариантом исходной модели Manticore 13B Chat Pyg; квантизацию выполнил TheBloke. Модель основана на архитектуре LLaMA, содержит около 13 миллиардов параметров и предназначена для генерации текста по шаблону диалога Vicuna: ответов на вопросы, объяснений, инструкций и других чат-сценариев. В метаданных указан английский язык, а среди использованных наборов данных — коллекции ShareGPT, WizardLM, Alpaca, GPT4-LLM, ScienceQA, GSM8K и другие наборы для обучения инструкциям, диалогам, рассуждениям и программированию. Файлы GGUF доступны с различными уровнями квантизации от 2 до 8 бит, что позволяет выбирать баланс между размером, скоростью и качеством вывода. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и ctransformers, с поддержкой CPU+GPU-инференса. Мультимодальность и размер контекстного окна в README не указаны; модель предназначена для работы только с текстом. Лицензия обозначена как other, но ее конкретные условия не приведены, поэтому перед использованием необходимо проверить лицензию исходной модели и условия распространения квантизированных файлов.

mergekit-community/mergekit-linear-mocebtg — объединённая плотная языковая модель, созданная сообществом с помощью mergekit методом Linear из DeepSeek-R1-Distill-Qwen-32B и mergekit-community/mergekit-model_stock-czbocwb. Она предназначена для генерации текста в диалоговом формате; интерфейс также поддерживает вызов инструментов. Модель построена на архитектуре Qwen2 и содержит 32 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. В метаданных указаны формат safetensors и библиотека Transformers. Базовая DeepSeek-R1-Distill-Qwen-32B дообучена для рассуждений и решения задач по математике и программированию, однако отдельные возможности и качество итогового слияния не описаны. Сведения о лицензии в предоставленных данных отсутствуют.

Nanbeige4.1-3B-GGUF — квантованная версия языковой модели Nanbeige4.1-3B, разработанной командой Nanbeige на базе Nanbeige4-3B-Base. Модель дообучалась с применением supervised fine-tuning и reinforcement learning и предназначена для генерации текста, рассуждений, программирования, решения математических и научных задач, использования инструментов и агентных сценариев. Репозиторий GGUF подготовлен Mungert с использованием llama.cpp. Модель относится к компактному классу с примерно 3 млрд параметров, работает с текстом и заявлена для английского и китайского языков. Среди заявленных сильных сторон — многошаговое рассуждение, согласование предпочтений и способность поддерживать длительные агентные процессы с большим числом вызовов инструментов. В README также описан специальный подход к квантованию: отдельные важные слои переводятся в более высокую точность, что может повысить качество при сохранении относительно небольшого размера файлов, но увеличивает их объём. Конкретный контекстный размер и параметры отдельных вариантов квантования не указаны, а фактическое качество зависит от выбранного GGUF-файла и настроек запуска. Модель распространяется по лицензии Apache 2.0. Она подходит для локального запуска через совместимые инструменты экосистемы llama.cpp и для приложений, которым нужны рассуждения, генерация кода или агентное взаимодействие при ограниченных вычислительных ресурсах. Как компактная и квантованная модель, она может уступать более крупным или полноточным системам в отдельных задачах; приведённые результаты относятся к исходной Nanbeige4.1-3B и не обязательно полностью характеризуют каждый GGUF-вариант.