II.3Рефакторинг, миграция и модернизация

Citaman/command-r-29-layer — языковая модель Cohere для генерации текста и диалогов. Она создана автором репозитория с помощью mergekit: веса модели Citaman/command-r-30-layer объединены методом SLERP с разными срезами слоёв, а итоговые веса сохранены в формате safetensors. Модель имеет плотную архитектуру CohereForCausalLM, около 25,9 млрд параметров и контекст до 8192 токенов. Метаданные указывают на поддержку чата и интерфейса вызова инструментов; основная задача в карточке Hugging Face — text-generation. Лицензия в предоставленных данных не указана. Характеристики языковой поддержки и качество модели на конкретных задачах не описаны, поэтому их нельзя надёжно оценить по карточке.

NVIDIA DeepSeek-R1-0528-NVFP4 — квантизованная FP4-версия языковой модели DeepSeek-R1-0528, разработанной DeepSeek и оптимизированной NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная трансформерная модель семейства DeepSeek V3 с 37,6 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Длина контекста — до 163 840 токенов. Модель предназначена для текстовой генерации, диалогов, рассуждений и развертывания через TensorRT-LLM. Квантизация весов и активаций линейных слоёв до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза; заявлена совместимость с архитектурой NVIDIA Blackwell. Для развёртывания в README указана конфигурация с восемью GPU B200. README отмечает, что модель не принадлежит NVIDIA и создана на основе сторонней модели DeepSeek. Лицензия — MIT; заявлено коммерческое и некоммерческое использование. Модель может выдавать неточные, нерелевантные или повторяющиеся ответы и воспроизводить токсичный язык и предвзятости из обучающих данных.

EXAONE-3.5-2.4B-Instruct-GGUF — инструкционная языковая модель семейства EXAONE 3.5, разработанная LGAI-EXAONE. Представленная версия является GGUF-квантизацией исходной модели EXAONE-3.5-2.4B-Instruct, выполненной bartowski на базе llama.cpp. Размер модели — 2,4 млрд параметров; поддерживаются английский и корейский языки, максимальная длина контекста составляет 32 тысячи токенов. Модель предназначена для генерации текста по инструкциям, ответов на вопросы, решения математических задач и программирования. Согласно README, она демонстрирует высокое качество следования инструкциям и сильные результаты среди моделей с сопоставимой длиной контекста. Формат GGUF и совместимость с llama.cpp делают её подходящей для локального запуска в приложениях и средах, поддерживающих этот формат. Ограничения включают относительно небольшой размер, поддержку только заявленных английского и корейского языков, а также возможные неточные, вредные или неподходящие ответы, характерные для генеративных моделей. Модель распространяется по лицензии EXAONE; в метаданных она обозначена как other, а подробные условия доступны в файле LICENSE.

satgeze/Gemma4-12B-Uncensored-HauhauCS-1.5M-GGUF — GGUF-квантованная версия 12-миллиардной Gemma 4 без фильтрации, разработанная SatGeze на базе модели HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced. Базовые модель и QAT предоставлены Google, снятие ограничений выполнено HauhauCS, а расширение контекста и сертификация — SatGeze. Модель предназначена для генерации текста, обработки очень длинных документов и поиска заданной информации в больших контекстах; также поддерживает работу с изображениями через отдельную vision-модель mmproj и ускорение декодирования с помощью MTP draft head. Нативный контекст составляет 262 144 токена, а с использованием YaRN с коэффициентом 6 расширен до 1 572 864 токенов. Для конфигурации f16 KV модель сертифицирована на контекстах до 1 310 720 токенов с результатом 10/10 в тестах needle-in-a-haystack; при q8_0 KV на максимальном контексте достигнут результат 9/10. Файл основной модели имеет размер около 7,4 ГБ и использует 4-битное квантование Google QAT. Для запуска предусмотрена интеграция с llama.cpp и Ollama. Сильные стороны модели — исключительно длинный контекст, подтверждённая устойчивость поиска информации за пределами миллиона токенов, поддержка vision и возможность ускорения генерации. Ограничения включают снижение качества на предельных длинах, особенно около 2 миллионов токенов, значительные требования к вычислительной памяти и времени предварительной обработки, а также зависимость результата от типа KV-кэша и выбранного квантования. Модель распространяется по лицензии Gemma; условия базовой лицензии применяются к производным компонентам.

canada-quant/GLM-5.3-Flash-W4A16-MTP — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной zai-org и подготовленной canada-quant. Модель предназначена для генерации текста и обработки изображений с текстом, включая сценарии с очень длинным контекстом и ускоренным инференсом на совместимом GPU-оборудовании. Заявлены английский и китайский языки, архитектура Transformers и контекст до 1 048 576 токенов. В модели применяется weight-only-квантизация INT4 (W4A16, GPTQ, group-128) для 36 288 routed-expert GEMM-операций. Веса занимают около 177,7 GiB вместо примерно 599 GiB в BF16. Компоненты внимания, маршрутизатор, shared experts, embeddings, vision tower и BF16 MTP draft head сохранены без квантизации; MTP используется для speculative decoding. Артефакт рассчитан на запуск, в частности, на 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark, при этом максимальный подтверждённый контекст зависит от конфигурации оборудования. Сильные стороны модели — существенно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и ускорение генерации за счёт MTP. README приводит высокие результаты на AIME 2026 и GSM8K, а также сравнительные показатели производительности на H100, H200 и DGX Spark. Ограничения включают зависимость доступного контекста и скорости от конкретного оборудования и serving stack; модель не является новой базовой разработкой, а сохраняет возможности исходной GLM-5.3-Flash с компромиссами квантизации. Лицензия — MIT.

QuantFactory/granite-3.0-1b-a400m-instruct-GGUF — квантизированная версия Granite-3.0-1B-A400M-Instruct, созданная QuantFactory с использованием llama.cpp на основе модели IBM ibm-granite/granite-3.0-1b-a400m-instruct. Исходная модель разработана командой Granite в IBM и дообучена на открытых наборах данных для следования инструкциям, а также на внутренних синтетических данных с применением supervised fine-tuning, reinforcement learning и объединения моделей. Модель предназначена для генерации текста и диалоговых сценариев, обработки инструкций, ответов на вопросы, рассуждений, решения математических задач, работы с кодом и задач на понимание текста. В карточке указано около 1 млрд параметров; формат GGUF и квантизация ориентированы на запуск через llama.cpp и использование с ограниченными ресурсами. Поддерживаемые модальности, точный размер контекста и перечень языков в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0. В карточке приведены результаты на IFEval, MT-Bench, MMLU, HumanEval, GSM8K, PAWS-X и других тестах, однако они относятся к указанной в метаданных модели Granite-3.0-2B-Instruct, поэтому не должны напрямую интерпретироваться как показатели данной 1B-квантизированной версии. Ограничения включают уменьшенный размер модели и возможное снижение качества из-за квантизации; отдельные характеристики производительности и требования к запуску не указаны.

granite-4.0-h-3b-ar — компактная инструктивная языковая модель, разработанная IBM Research и Mohamed bin Zayed University of Artificial Intelligence (MBZUAI) в рамках IBM–MBZUAI AI Center of Excellence. Она предназначена для диалогов и генерации текста на современном стандартном арабском, нескольких региональных арабских диалектах и английском языке, в том числе для разнородных и межъязыковых сценариев. Модель содержит 2,6 млрд параметров и использует плотную decoder-only архитектуру GraniteMoeHybrid с GQA, Mamba2, SwiGLU, RMSNorm и общими входными и выходными эмбеддингами. Контекстное окно по метаданным составляет 131 072 токена. Компактный размер позволяет рассматривать её для эффективного развёртывания при ограниченных ресурсах; обучение охватывало общие задачи, а также примеры по математике, программированию и рассуждениям. Качество может зависеть от диалекта, предметной области, формулировки запроса и сложности задачи; результаты на арабских диалектах могут уступать английским. Модель способна выдавать неточные, предвзятые, неподходящие или небезопасные ответы, поэтому перед использованием в конкретной задаче рекомендуется оценка и настройка, а для рискованных сценариев — модерация входов и выходов. Лицензия — Apache-2.0.

Human-Like-LLama3-8B-Instruct-GGUF — это 8-миллиардная текстовая instruction-модель семейства Llama 3, разработанная HumanLLMs на основе Humanish-LLama3-8B-Instruct. Данная версия опубликована в формате GGUF и квантизирована bartowski с использованием llama.cpp и метода imatrix. Обучение или дообучение модели связано с набором данных humanish-dpo-project и методом DPO. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и иных текстовых сценариях. В README приведены результаты оценивания на IFEval, BBH, MATH, GPQA, MuSR и MMLU-PRO, однако показатели заметно различаются между задачами, поэтому их следует рассматривать как ориентиры, а не гарантию качества в конкретном применении. Мультимодальность, поддерживаемые языки, размер контекстного окна и рекомендуемый формат промптов в карточке не указаны. Доступно несколько вариантов квантизации от F16 до Q3_K_XL. Более высокие варианты обычно лучше сохраняют качество, но требуют больше памяти; Q4_K_M указан как вариант стандартного размера, а Q5 и Q6 — как высококачественные варианты. Ограничения включают отсутствие описания prompt format и неполную информацию о языках, контексте и поведении модели. Лицензия указана как llama3.

Kimi-Linear-48B-A3B-Base — базовая языковая модель Moonshot AI с архитектурой Kimi Linear и разреженной смесью экспертов. В карточке указаны 48 млрд параметров всего и около 3 млрд активируемых параметров; метаданные каталога отдельно приводят 2,7 млрд параметров. Модель использует гибридное внимание Kimi Delta Attention и MLA с соотношением 3:1 и предназначена для генерации текста, включая диалоги и задачи с длинным контекстом. Заявленная длина контекста — до 1 млн токенов. Архитектура нацелена на эффективную работу с длинными последовательностями: в README заявлены сокращение KV-кэша до 75% и ускорение декодирования до 6 раз в некоторых сценариях. Это базовая версия, поэтому для диалога и следования инструкциям может потребоваться дополнительная настройка. Указана лицензия MIT.

Llama-3.1-Tulu-3-70B-SFT — англоязычная инструкция-следующая модель, разработанная AllenAI на основе Meta Llama 3.1 70B. Это плотная авторегрессионная Transformer-модель примерно на 69,5 млрд параметров, дообученная методом supervised fine-tuning на смеси открытых, синтетических и созданных людьми данных. Репозиторий содержит веса в формате safetensors; модель поддерживает контекст до 131 072 токенов и диалоговый шаблон для использования в чат-приложениях. Модель предназначена для диалога и выполнения инструкций, а также для широкого круга задач, включая математические рассуждения и следование заданным форматам. Карточка приводит оценки на MATH, GSM8K и IFEval; опубликованные бенчмарки дают ориентир, но не гарантируют качество в конкретном применении. Разработчики отмечают, что модель в первую очередь рассчитана на английский язык. У модели ограничено обучение безопасности, поэтому она может выдавать проблемный контент, особенно при соответствующих запросах; фильтрация ответов не встроена. Использование регулируется лицензией Llama 3.1 Community License Agreement.

ceia-aisdk/llm-large-v1 — распространяемый в формате GGUF артефакт для псевдонима llm/large@1 в CEIA AI SDK. Это квантованная версия инструкционной языковой модели Qwen2.5-14B-Instruct с 14,7 млрд параметров; веса не обучались CEIA. Модель предназначена для диалогов и генерации текста по инструкциям. Репозиторий содержит файл model.gguf в квантизации Q4_K_M от bartowski. Модель принимает текст и выдаёт текст; метаданные отмечают поддержку чата. Лицензия — Apache-2.0, такая же, как у базовой модели.

Miss.Z-V0.1 — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit методом SLERP из HuggingFaceH4/zephyr-7b-beta и mistralai/Mistral-7B-Instruct-v0.3. Репозиторий содержит веса в формате Safetensors; модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов, а её интерфейс также поддерживает вызов инструментов. Она принимает текст и выдаёт текст. Данные о конкретных языках применения и специализированных предметных областях не приведены. Модель опубликована 9 сентября 2024 года. Условия лицензии в предоставленных данных не указаны.

Mixtral-8x7B-v0.1 — предварительно обученная генеративная языковая модель Mistral AI со sparse Mixture of Experts. В архитектуре Mixtral-8x7B восемь экспертов; модель предназначена для генерации текста и служит базовой моделью для дальнейшей адаптации под конкретные сценарии. В карточке разработчик сообщает, что модель превзошла Llama 2 70B на большинстве проверенных ими бенчмарков. Модель рассчитана на работу с текстом и поддерживает контекст до 32 768 токенов. В метаданных указаны английский, французский, итальянский, немецкий и испанский языки. Веса доступны в формате safetensors; репозиторий подготовлен для обслуживания через vLLM, а README также описывает загрузку через Transformers, хотя отдельно предупреждает, что на момент публикации модель ещё нельзя было инстанцировать через HF. Лицензия — Apache 2.0. Это базовая модель без встроенных механизмов модерации, поэтому ответы могут включать нежелательный контент. Для безопасного применения в пользовательских сценариях нужна отдельная проверка и настройка поведения модели.

Nemostein-3-Nano-Omni-30b-a3b-i1-GGUF — это GGUF-квантизированная версия модели GestaltLabs/Nemostein-3-Nano-Omni-30b-a3b. Квантизацию выполнил mradermacher с использованием weighted/imatrix-подхода. Модель предназначена для генерации текста на английском языке, диалоговых сценариев, задач рассуждения, использования инструментов и function calling. В метаданных модель отмечена как mixture-of-experts и связана с архитектурой Nemotron-H; обозначение базовой модели содержит параметры 30b-a3b, однако точное число активных параметров, размер контекста и подробности архитектуры в README не указаны. Поддержка других модальностей, кроме текстовой, также не подтверждена, несмотря на слово Omni в названии. Доступно множество вариантов GGUF-квантизации размером примерно от 18 до 33,6 ГБ, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами являются поддержка англоязычной генерации, reasoning, conversational use, tool use и function calling, а также широкий выбор уровней квантизации. Ограничения связаны с потерями качества, зависящими от выбранного варианта квантизации; некоторые низкобитные варианты в README прямо характеризуются как имеющие низкое качество. Лицензия указана как other, без дополнительных условий в представленном README.

MaziyarPanahi/neural-chat-7b-v3-1-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на базе Mistral-7B-Instruct-v0.2 и uukuguy/neural-chat-7b-v3-1-dare-0.85. Веса объединены методом SLERP с настройками для слоёв self-attention и MLP; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Контекст составляет до 32 768 токенов; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В README не приведены результаты оценки качества или отдельные гарантии работы для конкретных языков и предметных областей.

OLMo-2-1124-13B-DPO — англоязычная причинная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это диалоговая версия с 13,2 млрд параметров: после supervised fine-tuning на варианте набора Tülu 3 она прошла дополнительное обучение методом DPO на данных предпочтений. Модель предназначена для генерации текста, диалога и выполнения инструкций, включая задачи рассуждения и математики. Модель принимает текст и генерирует текст, поддерживает чат-шаблон и имеет контекст длиной до 4096 токенов. Обучение охватывает разнообразные публичные, синтетические и созданные людьми данные; основной язык — английский. Доступны веса в форматах PyTorch и Safetensors, использовать модель можно на условиях Apache 2.0. В карточке отмечено, что модели OLMo-2 прошли ограниченное обучение безопасности и могут выдавать проблемные ответы, особенно при соответствующем запросе. Для релиза также указано обновление постобученных моделей из-за расхождения логики предварительной токенизации у первоначальных версий; при интеграции важно использовать актуальную версию модели и совместимые компоненты.

OLMo-2-1124-13B-DPO-Preview — англоязычная плотная авторегрессионная языковая модель семейства OLMo 2, разработанная Allen Institute for AI (AI2). Это вариант OLMo-2 на 13,2 млрд параметров, прошедший supervised fine-tuning на варианте набора Tülu 3, а затем обучение методом DPO на данных предпочтений. Модель предназначена для диалогов, выполнения инструкций и широкого круга задач генерации текста; карточка отмечает задачи MATH, GSM8K и IFEval. Модель принимает текст и выдаёт текст, поддерживает чат-шаблон и имеет контекстное окно 4096 токенов. Она рассчитана прежде всего на английский язык. Веса распространяются в формате PyTorch по лицензии Apache 2.0. В карточке отмечено, что у OLMo 2 ограничено обучение безопасности, поэтому модель может выдавать проблемные ответы, особенно при соответствующих запросах; встроенной фильтрации ответов нет. Сведения о качестве следует рассматривать с учётом того, что это предварительный DPO-вариант.

OpenHermes-Mixtral-8x7B — инструктивная языковая модель на архитектуре Mixtral MoE, созданная дообучением Mistral AI Mixtral-8x7B-Instruct-v0.1. Модель разработана автором репозитория orangetin и обучена в течение трёх эпох на датасете OpenHermes, опубликованном Teknium. Модель предназначена для диалогов, следования инструкциям и генерации текста по запросу. Она поддерживает многоходовые беседы и системные инструкции через шаблон запросов LLaMA 2; заявленная длина контекста — 32 768 токенов. В карточке приведены результаты оценивания на бенчмарках рассуждений и понимания текста. Репозиторий содержит веса в формате safetensors. Модель имеет 7,1 млрд параметров по метаданным и распространяется по лицензии Apache 2.0. Карточка указывает английский язык; качество на других языках отдельно не описано.

OrionLLM_LRM-3.2-GGUF — это набор GGUF-квантизаций модели LRM-3.2, разработанной OrionLLM и квантизированной bartowski с использованием llama.cpp. Модель имеет 27 млрд параметров и распространяется в нескольких вариантах точности и размера, включая BF16, Q8_0, Q6, Q5, Q4, Q3 и IQ-квантизации. Модель предназначена для обработки текста и изображений; для мультимодального режима требуется дополнительный файл mmproj. README не уточняет поддерживаемые языки, максимальный размер контекста и конкретные прикладные сценарии. Формат GGUF позволяет запускать модель через совместимые инструменты, включая llama.cpp. MTP не поддерживается, для квантизации использовалась imatrix. Сильной стороной является выбор вариантов квантизации: от полноразмерной BF16 до компактных версий для устройств с ограниченным объёмом оперативной памяти. Q4_K_M указан как сбалансированный вариант по размеру и качеству, а Q5–Q6 — как более качественные. Более сильное сжатие уменьшает требования к памяти, но снижает качество; низкобитные варианты могут быть непригодны для требовательных задач. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-0.6B-GGUF — GGUF-версия языковой модели Qwen3-0.6B, разработанной командой Qwen от Alibaba Cloud и подготовленной Unsloth. Это авторегрессионная causal language model с 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и 28 слоями. Модель предназначена для локального запуска и интеграции с llama.cpp, Ollama и совместимыми интерфейсами, а также для дообучения и экспорта в различные форматы. Модель поддерживает переключение между режимами thinking и non-thinking: первый ориентирован на сложные задачи рассуждения, математику и программирование, второй — на более эффективный общий диалог. Заявлены возможности instruction following, многошагового диалога, генерации кода, творческого письма, ролевого взаимодействия и работы с внешними инструментами. Контекстное окно составляет 32 768 токенов, используется Grouped Query Attention с 16 головами для Q и 8 для KV. Qwen3 заявляет поддержку более 100 языков и диалектов, однако в метаданных этой карточки указан язык en. К сильным сторонам относятся компактный размер, поддержка двух режимов рассуждения, задачи агентного взаимодействия и мультиязычность. Ограничения, конкретные результаты бенчмарков, требования к оборудованию и показатели производительности для этой версии в README не приведены; из-за малого размера модели её качество следует проверять на целевых задачах. Карточка указывает лицензию Apache-2.0.

Qwen3.6-27B-V2-abliterated-uncensored-Q4_K_M-GGUF — мультимодальная модель семейства Qwen, выпущенная Lemura Labs. Она основана на Qwen/Qwen3.6-27B и производной Jackrong/Qwopus3.6-27B-v2, дополнительно обработанной методом abliteration для снижения количества отказов. Модель предназначена для генерации текста, диалогов, рассуждений и работы с изображениями совместно с текстовыми запросами. Модель содержит около 27 млрд параметров и распространяется в формате GGUF с 4-битной квантизацией Q4_K_M и эффективной плотностью около 4,92 BPW. Размер языковой части составляет примерно 15,4 ГБ, а комплектный визуальный проектор mmproj.gguf занимает около 928 МБ и сохраняет vision tower Qwen3.6-VL. Поддерживаются английский, китайский и, согласно карточке, мультиязычные сценарии. Для запуска рекомендуется llama.cpp; ориентировочные требования составляют от 16 ГБ GPU или 24 ГБ оперативной памяти на Apple Silicon. К сильным сторонам относятся мультимодальность, совместимость со стандартными сборками llama.cpp, относительно компактный размер для модели такого класса и существенно сниженная частота отказов: 4 из 100 против 91 из 100 у исходной версии в указанном тесте. При этом Q4_K_M уступает более точным вариантам по сохранению исходных характеристик, а для обработки изображений требуется отдельный mmproj.gguf. Показатели отказов и сохранения возможностей приведены разработчиком и могут зависеть от методики оценки; абляция защитных механизмов также может повышать риски небезопасного или нежелательного использования. Модель распространяется по лицензии Apache-2.0.

DmitryDB/Qwen3.6-35B-A3B-Heretic-MOE-v3 — производная мультимодальная MoE-модель на базе Qwen/Qwen3.6-35B-A3B. Релиз подготовлен с использованием инструментов Heretic-MOE, разработанных dborzoff. Модель предназначена для обработки текста и изображений с генерацией текстовых ответов; точные поддерживаемые языки и размер контекстного окна в README не указаны. Доступны варианты Balanced и Max, отличающиеся степенью удаления отказов при сохранении качества исходной модели. Для обоих вариантов опубликованы веса BF16, INT8 Lean ConvRot, NVFP4_W4A16 и NVFP4_W4A4, а также форматы GGUF с различными уровнями квантования. Мультимодальный проектор поставляется отдельно и остается неизменным относительно исходной модели. Варианты NVFP4 ориентированы на снижение потребления памяти, причем W4A4 дополнительно рассчитан на более быстрое выполнение на системах Blackwell. Сильными сторонами являются широкий набор форматов, наличие мультимодального проектора, опубликованные манифесты воспроизводимости и контроль дрейфа perplexity в пределах установленного порога 0,5%. Ограничения включают необходимость совместимого загрузчика для специализированных INT8 и NVFP4 форматов, отдельную установку проектора для GGUF и проверенную совместимость GGUF только с конкретной зафиксированной версией llama.cpp. Лицензия — Apache-2.0; перед использованием рекомендуется ознакомиться с лицензией исходной модели Qwen3.6.

Qwen3.6-35B-A3B-oQ2e-FP16-MTP-MLX — модель семейства Qwen3.6, подготовленная Treeish в формате MLX safetensors как FP16-вариант пакета Qwen3.6-35B-A3B-oQ2e-MTP-MLX. Она предназначена прежде всего для локального запуска в Sprig на компьютерах Mac с чипами M1 и M2; для M3 и более новых рекомендуется BF16-вариант. Модель поддерживает обработку текста и изображений согласно заявленному pipeline image-text-to-text, однако подробности о визуальных возможностях в карточке не приведены. Архитектура содержит 35 млрд параметров, из которых примерно 3 млрд активны, и использует агрессивную смешанную oQ2e-квантизацию с imatrix: по умолчанию 2-битную affine-квантизацию с размером группы 64 и индивидуальными переопределениями точности от 3 до 8 бит. Остаточные плавающие тензоры имеют точность FP16. В пакет встроен один слой Multi-Token Prediction (MTP), контекстное окно составляет 262 144 токена. Размер пакета — около 13,6 ГБ; для работы Treeish использует 24 ГБ объединённой памяти и рекомендует 32 ГБ, но фактические требования зависят от длины контекста и настроек кэша. Сильными сторонами являются локальная генерация на Apple Silicon, поддержка MTP для потенциального ускорения декодирования и сохранение исходной структуры тензоров при переходе BF16 в FP16. В приведённом тесте на M4 Max скорость составила до 105,8 токена в секунду с MTP, но эти результаты относятся к одной машине и небольшому тестовому набору. Ограничения включают потери качества, возможные для низкобитной квантизации, зависимость от совместимого MLX Swift runtime и отсутствие гарантии побитового совпадения результатов MTP и базовой генерации. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-SSMFIX-UD-Q3_K_XL-GGUF — экспериментальная community-конверсия, опубликованная Luis23333. Модель основана на официальной Qwen3.8-27B через промежуточную исправленную BF16-версию redashes/Qwen3.8-27B-BF16-SSMFIX. Это неофициальный релиз Qwen и не подтверждённая официальная корректировка исходной модели. Модель предназначена для текстовой генерации, диалога, рассуждений и других задач inference через llama.cpp и совместимые GGUF-рантаймы. Это плотная модель семейства Qwen3.8 с 27 млрд параметров, формата GGUF V3, с пользовательской смешанной квантизацией UD-Q3_K_XL и размером около 12,52 GiB. Заявленный контекст унаследован от upstream-модели и составляет до 262 144 токенов, однако фактическая доступная длина зависит от оборудования и настроек рантайма. Поддерживаются английский и китайский языки. В основе версии лежит исправление масштабов SSM/conv1d в восьми слоях; соответствующие тензоры сохранены в формате F32, а остальные группы используют комбинацию IQ3_S, Q3_K, Q5_K и IQ4_XS с importance matrix. Это может улучшать сохранение характеристик исправленного источника при низком размере файла, но конкретные показатели качества для данного GGUF в README не приведены: опубликованные метрики относятся к BF16-источнику и не являются benchmark-результатами этой квантизованной версии. Исходная Qwen3.8 является vision-language моделью, но данный репозиторий содержит только языковой GGUF без файла mmproj или другого vision projector, поэтому артефакт предназначен исключительно для текстового inference и не поддерживает обработку изображений или видео в таком составе. Для работы требуется современная сборка llama.cpp с поддержкой архитектуры Qwen3.8/Qwen3.5; существенные ограничения могут возникать из-за объёма видеопамяти и длины контекста. Лицензия — Apache-2.0.

Vontra/Qwen3.8-Flash-Next-MLX-2bit-MTP — это MLX-конверсия базовой модели Qwen/Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями и видео на устройствах Apple Silicon через совместимые MLX-совместимые среды, включая oMLX и MLX-VLM. Архитектура указана как vision-language sparse MoE с компонентами Qwen4Exp. Модель содержит 125 млрд параметров, из которых около 6 млрд активируются при обработке запроса, 48 слоёв, скрытое состояние размером 2560, 512 маршрутизируемых экспертов, 10 активных экспертов на токен и один общий эксперт. Используются Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams, хешированные биграммные и триграммные embedding-компоненты, а также собственный MTP-блок для speculative decoding. Контекст составляет 262 144 токена и может быть расширен до 1 млн токенов в исходной модели. Языки не указаны в предоставленных данных. Ключевая особенность версии — affine-квантизация 2-bit с размером группы 32 для экспертных и predictive-embedding-модулей при сохранении чувствительных компонентов, включая attention, vision-модули, embeddings, output head и native MTP, в BF16 или совместимой исходной точности. Размер весов составляет около 80,07 ГБ, формат — MLX safetensors. На Apple M3 Studio измеренная скорость генерации составила 29,37 токена в секунду при отключённом MTP и 28,62 токена в секунду при включённом, поэтому MTP рекомендуется отключать по умолчанию. Для работы требуется runtime с поддержкой архитектуры qwen4_exp и native MTP. Модель распространяется по лицензии Qwen Community License 1.0. В предоставленных данных не приведены подробные результаты исходных оценок, полный перечень поддерживаемых языков и ограничения безопасности; за ними следует обращаться к карточке базовой модели.

Карточка модели lvandy/Qwen3-Embedding-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-8B, поэтому описание составлено по ней. Qwen3-Embedding-8B — текстовая модель эмбеддингов семейства Qwen3, разработанная командой Qwen. Это плотная архитектура Qwen3ForCausalLM с 7,6 млрд параметров, дообученная на базе Qwen/Qwen3-8B-Base для получения векторных представлений текста. Модель предназначена для семантического поиска и ранжирования, а также поддерживает классификацию, кластеризацию, поиск по коду и межъязыковой поиск. Модель поддерживает более 100 естественных и программных языков, обрабатывает длинные последовательности с контекстом до 40 960 токенов по метаданным и выдаёт эмбеддинги размерностью до 4096; README также сообщает о настройке выходной размерности от 32 до 4096. Можно задавать инструкции для конкретной задачи, языка или сценария. Модель рассчитана на получение векторов из текста; метаданные также отмечают возможности чата и интерфейс вызова инструментов, но основной сценарий этой версии — эмбеддинги. По данным карточки, версия 8B заняла первое место в мультиязычном рейтинге MTEB на 5 июня 2025 года с результатом 70,58. Для некоторых задач retrieval README отмечает снижение качества примерно на 1–5% без подходящей инструкции. Для работы с поддержкой Qwen3 требуется Transformers 4.51.0 или новее. Лицензия — Apache-2.0.

Это исследовательский вариант Qwen3-Next-80B-A3B-Thinking с разреженными экспертами, усреднённо квантованными до 2,36 бита; остальные веса хранятся в BF16. Разработчик — minjaechoi. Модель предназначена для генерации текста и диалога, включая задачи рассуждения, унаследованные от базовой модели. Архитектура — MoE; по карточке Hugging Face, размер составляет 2,3 млрд параметров, а длина контекста — 262 144 токена. Метаданные также отмечают интерфейс для вызова инструментов. Веса сохранены в формате safetensors как BF16-тензоры после деквантизации; README сообщает о совместимости со стандартными Transformers и vLLM. Лицензия наследуется от базовой модели. Карточка характеризует этот чекпойнт как внутренний исследовательский, поэтому его качество и пригодность для конкретных задач следует проверять отдельно.

Карточка модели JetLM/SDAR-4B-Chat-b64 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

JetLM/SDAR-8B-Chat — разговорная языковая модель семейства SDAR, разработанная авторами проекта SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая поддерживает эффективное обучение, а диффузионная позволяет выполнять параллельный вывод. Модель предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель имеет плотную архитектуру SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Карточка сообщает о сопоставимой с сильными авторегрессионными моделями общей производительности и о преимуществах на сложных задачах научного рассуждения для SDAR в целом; эти утверждения не следует считать отдельной оценкой именно версии 8B-Chat. Репозиторий содержит веса Safetensors. Лицензия — Apache-2.0.

QuantFactory/Sparse-Llama-3.1-8B-2of4-GGUF — квантизированная версия разреженной текстовой модели Sparse-Llama-3.1-8B-2of4, созданная QuantFactory с использованием llama.cpp. Базовая архитектура — Llama-3.1-8B; исходную разреженную модель разработала Neural Magic на основе Meta Llama 3.1 8B. Модель принимает текст и генерирует текст. Модель предназначена для задач генерации текста и общего языкового моделирования, включая понимание языка, ответы на вопросы, рассуждения и работу с текстовыми запросами. Ключевая оптимизация — разреженность 2:4: в каждой группе из четырёх весов сохраняются два, а два удаляются. Для восстановления качества после pruning использовались обучение с дистилляцией знаний на 13 млрд токенов, SparseGPT и подход SquareHead. Формат GGUF ориентирован на запуск через llama.cpp; в исходной карточке также указана возможность эффективного развертывания через vLLM. По данным OpenLLM, средняя оценка составляет 62,16 против 63,19 у плотной Llama-3.1-8B, что соответствует 98,37% восстановления точности. На Mosaic Eval Gauntlet средняя оценка равна 53,85 против 55,34, или 97,3% восстановления. Основное преимущество — снижение избыточности модели при сохранении большей части качества исходной версии; ограничениями являются возможное ухудшение результатов на отдельных задачах и отсутствие в предоставленных данных сведений о поддерживаемых языках, длине контекста, точных параметрах квантизации и требованиях к оборудованию. Лицензия указана как llama3.1.