I.11Классификация, ранжирование и сопоставление

mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit — это квантизированная MLX-модель, созданная сообществом mlx-community с использованием инструментария mlx-optiq на базе Google Gemma-4 E4B IT QAT. Она предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов. Модель поддерживает генерацию текста, а через mlx-optiq — работу с изображениями и текстом, а также ускорение генерации с помощью speculative decoding. В основе лежит quantization-aware-trained модель google/gemma-4-E4B-it-qat-q4_0-unquantized, обученная с учетом последующей низкобитной квантизации. Используется чувствительная к слоям mixed-precision схема: 221 компонент работает в 8-битном формате, 122 — в 4-битном. Достигнутая точность составляет 5,17 бит на вес, размер модели на диске — около 7 ГБ, размер группы — 64. Для vision-компонента используется отдельный bf16-файл. Калибровка проводилась на данных шести типов: обычный текст, рассуждения, код, агентские сценарии, вызовы инструментов и инструкции с ограничениями. По заявленным тестам модель показывает Capability Score 68,67, что на 1,19 пункта выше равномерной 4-битной квантизации той же базы; наиболее заметный прирост отмечен в HumanEval и задаче длинного контекста HashHop. Она подходит для текстовых задач, программирования, рассуждений, следования инструкциям, вызова инструментов и мультимодального анализа изображений. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и необходимость mlx-optiq для image-text режима и speculative decoding. Лицензия указана как Apache-2.0, при этом базовая Gemma распространяется по Gemma Terms of Use.

GLM-5.3-Flash-BF16 — мультимодальная модель семейства GLM от Z.ai для диалогов и задач с изображениями. По карточке модели, она содержит 320 млрд параметров, из которых 18 млрд активны при обработке. Архитектура GLM5 Next сочетает разреженное и линейное внимание; модель обучена с нуля и использует мультимодальную предобучающую выборку объёмом 30 трлн токенов. Модель предназначена для анализа изображений и текста, программирования и агентных сценариев. В README заявлены улучшения относительно GLM-5.2 и эффективность при работе с длинным контекстом. Доступны уровни reasoning_effort low, high и max; для локального развёртывания перечислены Transformers, vLLM, SGLang и другие фреймворки. Метаданные указывают поддержку английского и китайского языков и интерфейс чата с обработкой изображений. Лицензия — MIT.

bartowski/granite-3.0-3b-a800m-instruct-GGUF — набор квантизированных версий инструкционной языковой модели granite-3.0-3b-a800m-instruct, разработанной IBM Granite и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и выполнения инструкций, включая ответы на вопросы, рассуждения, решение математических задач, работу с кодом и мультиязычные сценарии. Доступны веса в форматах от F16 до Q4, включая варианты Q8_0, Q6_K, Q5_K и Q4_K; размер файлов составляет примерно от 1,93 до 6,75 ГБ. Для запуска рекомендуется использовать llama.cpp или LM Studio. В README приведены результаты на IFEval, AGI-Eval, OBQA, BoolQ, ARC-C, HumanEvalSynthesis, GSM8K и PAWS-X, однако подробные характеристики архитектуры, максимального контекста, поддерживаемых языков и модальностей не указаны. К сильным сторонам относятся выбор степеней квантизации, возможность локального запуска и сохранение высокого качества в вариантах Q5 и Q6. Более компактные варианты требуют меньше памяти, но могут сильнее терять качество. Модель предназначена для текстовых задач и не заявлена как мультимодальная. Лицензия — Apache-2.0.

duyntnet/internlm2_5-7b-chat-1m-imatrix-GGUF — это GGUF-квантизации чат-модели InternLM2.5-7B-Chat-1M, разработанной командой InternLM. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, следование инструкциям, математическое рассуждение, работу с длинными документами и использование инструментов. Модель содержит около 7 миллиардов параметров и работает с текстовой модальностью. Заявлено контекстное окно до 1 миллиона токенов, а также улучшенные способности к рассуждению, выбору инструментов, следованию инструкциям и рефлексии. Для длинного контекста рекомендуется LMDeploy; заявленная конфигурация на 1 миллион токенов требует 4 GPU A100 с 80 ГБ памяти. Для обычного запуска доступны llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. К сильным сторонам относятся большой контекст, математическое рассуждение и поддержка сценариев с инструментами. Ограничения включают высокие вычислительные требования при использовании максимального контекста, а также зависимость от совместимого ПО и параметров квантизации. В метаданных указаны английский язык и лицензия «other»; точные условия лицензии README не уточняет.

Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Meta разработала Llama 3.2 3B — авторегрессионную языковую модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention. Вариант на 3,21 млрд параметров предназначен для генерации текста и обучен на общедоступных данных; модель принимает и выдаёт текст, включая код. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленная длина контекста семейства — до 128 тысяч токенов. Модель подходит для диалоговых приложений, поиска знаний, суммаризации, мобильных помощников для письма и переформулирования запросов. Карточка описывает семейство с предварительно обученными и настроенными на инструкции вариантами; конкретный репозиторий — базовая модель для генерации текста. Меньший размер рассчитан в том числе на устройства с ограниченными ресурсами, но качество и безопасность могут уступать более крупным моделям и требуют проверки под конкретный сценарий. Знания модели ограничены данными до декабря 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная GGUF-версия языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста, диалоговых приложений и использования инструментов через структурированные вызовы функций. Она поддерживает текстовый ввод и вывод, а также рассчитана на работу с LlamaEdge и совместимыми средствами запуска GGUF-моделей. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Заявленный размер контекста составляет 128 000 токенов. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Доступны варианты квантизации от 2 до 8 бит с размером файлов примерно от 3,18 до 8,54 ГБ; варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу размера и качества или минимальным потерям качества. К сильным сторонам относятся большой контекст, многоязычность, поддержка диалогового режима и вызова инструментов, а также возможность локального запуска с уменьшенными требованиями к памяти благодаря квантизации. Ограничения связаны с потерей качества при использовании низкобитных вариантов, особенно Q2_K и некоторых Q3/Q4-конфигураций; конкретные показатели производительности и качества в README не приведены. Модель распространяется по лицензии llama3.1.

Nex-N2.5-mini-Uncensored-APEX-GGUF — набор GGUF-квантизаций модели Nex-N2.5-mini от Nex-AGI, подготовленный на базе варианта orcarouter/Nex-N2.5-mini-Uncensored с использованием llama.cpp и localai-org/apex-quant. Модель позиционируется как abliterated, то есть с уменьшенной склонностью к отказам. Формат предназначен для локального запуска через llama.cpp и совместимые интерфейсы. Модель поддерживает текстовые и визуальные сценарии, включая анализ изображений, работу с английским и китайским языками, генерацию текста, программирование и задачи, требующие длинного контекста. Архитектура — Mixture-of-Experts примерно на 34 млрд параметров: 40 слоёв, 256 маршрутизируемых экспертов, выбор 8 экспертов на токен и один общий эксперт в каждом слое. Используется гибрид gated-delta-net и полноразмерного внимания, максимальный контекст заявлен до 262 144 токенов. Основное преимущество — MoE-архитектура и APEX-квантизация со смешанной точностью, которая позволяет выбирать разные уровни точности для слоёв и групп тензоров, обеспечивая несколько вариантов баланса между размером и качеством. Доступны профили Mini, I-Compact, I-Quality и I-Balanced, однако конкретные файлы могут присутствовать не все. Для работы с изображениями требуется отдельный F16-проектор mmproj. Реальное качество зависит от выбранного профиля, аппаратных ресурсов и клиента; приведённые в README внешние результаты APEX нельзя считать измерениями именно этих файлов. Для запуска рекомендуется современная версия llama.cpp, при этом возможна частичная выгрузка слоёв на GPU. Лицензия модели — Apache-2.0.

Olmo 3 32B Think SFT — авторегрессионная языковая модель на архитектуре Transformer, разработанная Allen Institute for AI (Ai2). Это плотная модель с 31,7 млрд параметров, дообученная методом SFT на базе allenai/Olmo-3-1125-32B; в метаданных указан датасет allenai/Dolci-Think-SFT. Модель предназначена для диалогов и задач, где полезны пошаговые рассуждения, включая математику, программирование, следование инструкциям и ответы на общие вопросы. Модель работает с текстом, поддерживает английский язык и контекст до 65 536 токенов. Для запуска поддерживается Transformers версии 4.57.0 и выше; доступны веса в формате safetensors и интерфейс вызова инструментов. Лицензия — Apache 2.0. Модель может выдавать неверные сведения и без фильтрации генерировать вредный или чувствительный контент. Факты в ответах следует проверять; при внедрении нужно учитывать возможные смещения и риски генерации.

Locutusque/Orca-2-13b-SFT-v4 — языковая модель Locutusque, полученная полным дообучением Microsoft Orca 2 на 13 млрд параметров. Она использует архитектуру LLaMA и шаблон диалога ChatML; базовая модель рассчитана на рассуждения, ответы на вопросы, решение математических задач и суммаризацию. Версия v4 обучена на наборах no_robots, EverythingLM-data-V3, Guanaco и OpenAssistant; в карточке указана тестовая потеря 0,18. Модель предназначена для генерации текста и диалогового применения, а в метаданных также отмечена работа с кодом. Поддерживает английский, французский, испанский, хинди и китайский языки, имеет контекст 4096 токенов. Для использования необходимо соблюдать исследовательскую лицензию Microsoft Orca 2; в метаданных лицензия обозначена как other.

unsloth/Phi-4-mini-instruct — вариант Phi-4-mini-instruct от Unsloth с исправлениями токенов и шаблона чата. Это компактная плотная языковая модель архитектуры Phi-3 с 3,8 млрд параметров, представленная в формате Safetensors и рассчитанная на работу через Transformers. В карточке базовой модели заявлен контекст до 128 тыс. токенов, однако метаданные этого репозитория указывают native context в 4096 токенов; ориентироваться следует на конфигурацию конкретной сборки и используемого ПО. Модель предназначена для диалогов, генерации текста и кода, следования инструкциям и рассуждений, в том числе математических и логических, в сценариях с ограниченными вычислительными ресурсами или требованиями к низкой задержке. Карточка заявляет многоязычную направленность; среди языков проверки безопасности названы английский, китайский, японский, испанский, португальский, арабский, тайский и русский. Модель поддерживает чат и интерфейс вызова инструментов, но может выдумывать названия функций или URL. Лицензия — MIT.

Карточка модели adrianxu9778/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели zomasec/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

AIArchiveInfo/Qwen3-0.6B — побитовая архивная копия Qwen3-0.6B от команды Qwen, без изменения весов; репозиторий указывает базовую модель Qwen/Qwen3-0.6B-Base. Это плотная причинная языковая модель на 507,9 млн параметров с 28 слоями, предназначенная для генерации текста и диалогов. Модель работает с текстом, поддерживает переключение между режимами рассуждения и обычного диалога, а также интерфейс вызова инструментов. Метаданные указывают контекст до 40 960 токенов; в README приведено значение 32 768 токенов. Заявлена поддержка более 100 языков и диалектов, включая многоязычные инструкции и перевод. Модель подходит для ответов на вопросы, следования инструкциям, диалогов, генерации кода, математических и логических задач, творческого письма и сценариев с внешними инструментами. Это компактная модель, которую можно использовать для локальных экспериментов и приложений с ограниченными ресурсами; качество на сложных задачах может уступать более крупным моделям. README отмечает риск повторов при некоторых настройках генерации. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-W4A16-AWQ — это 4-битная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen и дополнительно квантованной пользователем hyperhuzaifa. Квантизация выполнена методом AWQ в формате compressed-tensors pack-quantized с симметричной схемой int4, размером группы 128 и разрядностью W4A16. Модель использует MoE-архитектуру с 35 млрд параметров и рассчитана на запуск с длинным контекстом на одной потребительской видеокарте с 24 ГБ памяти. На диске она занимает около 20,5 ГБ, а в памяти GPU — около 19,06 GiB. Модель предназначена для генерации текста и обработки изображений, поскольку сохраняет vision tower. В архитектуре используются 40 слоёв, включая 30 слоёв gated DeltaNet с линейным вниманием и 10 блоков полного внимания, а маршрутизация MoE выбирает 8 экспертов из 256. Также сохранена MTP-голова для спекулятивного декодирования. Квантированы языковые Linear-слои, включая routed и shared experts, но эмбеддинги, lm_head, vision tower, маршрутизаторы, нормализации и MTP-голова оставлены в bf16 для сохранения качества и совместимости. Основные преимущества — заметно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и совместимость с vLLM версии 0.26.0 и новее. На одной 24-ГБ видеокарте заявлена работа с контекстом до 32K при использовании CUDA graphs; на двух GPU через tensor parallelism поддерживается до 262K токенов. Ограничения включают невысокую допустимую конкурентность на одной карте из-за recurrent cache для DeltaNet, резкое снижение скорости при использовании enforce-eager и необходимость корректно выбирать мультимодальный класс загрузки. MTP не рекомендуется включать на одной 24-ГБ карте из-за резкого уменьшения доступного KV-кэша; на двух PCIe-GPU он также может снижать итоговую производительность. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-EfficientThink-Uncensored-K3-Opus5-Grok4.6-GPT5.6Sol-SFT-SimPO-DFlash2 — плотная языковая модель с 27 млрд параметров, опубликованная пользователем nerkyor. Модель предназначена для генерации текста, рассуждений, программирования, агентских и диалоговых сценариев. В README заявлена поддержка английского и китайского языков. Обучение и доработка включают SFT и SimPO; для ускорения вывода предусмотрена совместимость с DFlash2, speculative decoding, llama.cpp, SGLang и vLLM. Доступны варианты GGUF с уровнями квантования от Q2-LynnStyle до Q8_0, включая смешанную точность GSQ-RCO и численное уточнение IQ для Q2-LynnStyle, а также True-QAT INT8 W8A8 с динамическими INT8-активациями. В приведённых измерениях результаты зависят от варианта: на GPQA показатели составляют 82,83–86,87%, на MMLU — 83,20–89,40%, на LiveCodeBench — 74–78%. Это указывает на пригодность модели для общих знаний, рассуждений и кода, но качество зависит от выбранной точности и конфигурации запуска. README не указывает размер контекстного окна, мультимодальные возможности, точные требования к оборудованию или детальные ограничения поведения. Название содержит слово «Uncensored», однако формальные характеристики безопасности не приведены. Модель распространяется по лицензии Apache-2.0.

trohrbaugh/Qwen3.8-27B-heretic-ara — производная версия мультимодальной модели Qwen3.8-27B, изменённая методом abliteration для снижения частоты отказов. По приведённому сравнению модель не отказала ни на одном из 100 запросов, тогда как исходная модель отказала на 99 из 100; это результат конкретного теста, а не гарантия поведения на любых запросах. Модель построена на архитектуре Qwen3.5: плотная причинная языковая модель с визуальным энкодером, 27 млрд параметров, 64 слоя. Она принимает текст и изображения и предназначена для диалогов, анализа изображений и выполнения многошаговых задач; README семейства также описывает понимание видео, но метаданные этой модели подтверждают только задачу image-text-to-text. Модель унаследовала от семейства Qwen3.8 режим рассуждений с настраиваемой глубиной, поддержку длинного контекста и применение в программировании, исследованиях и профессиональных сценариях. Для базовой Qwen3.8 указаны 262 144 токена контекста с расширением до 1 000 000, но метаданные не подтверждают эти пределы отдельно для данной производной версии. Доступны веса Safetensors для Transformers и совместимых средств инференса. Лицензия — Apache 2.0. Abliteration существенно меняет поведение отказов, поэтому следует учитывать риск ответов на запросы, которые исходная модель отклоняла.

Qwen3.8-27B-OBLITERATED-W4A16-24GB — это 4-битная GPTQ-квантизованная версия модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, опубликованная пользователем quocbao747. Модель предназначена для генерации текста, диалогов, программного кода и задач рассуждения; она рассчитана на запуск через vLLM с ядром Marlin на одной видеокарте объёмом 24 ГБ, например RTX 4090. Модель содержит 27 млрд параметров и использует схему W4A16: int4-квантизация весов с симметричным group size 128 и статическим actorder. Формат — compressed-tensors/pack-quantized. Сохранены vision tower для мультимодальных возможностей и MTP head для speculative decoding, однако поддерживаемые языки и точный перечень мультимодальных сценариев в карточке не указаны. Заявлен контекст до 81 920 токенов, а в измерениях на RTX 4090 максимальный фактически помещавшийся запрос составлял 72 000 токенов с учётом служебных токенов шаблона. К сильным сторонам относятся небольшое для модели такого размера потребление памяти, высокая скорость декодирования и близкое к исходной модели качество: результат MMLU составил 81,63% против 82,3% у исходной версии в BF16. Ограничения включают снижение качества из-за квантизации, значительный рост времени обработки длинных промптов и резкое ухудшение задержек при высокой конкуренции и больших контекстах. Модель распространяется по лицензии Apache-2.0.

NVIDIA Qwen3-8B FP8 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с помощью NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может использоваться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемая длина контекста достигает 131K токенов. Квантизация FP8 применяется к весам и активациям линейных операторов внутри трансформерных блоков, что ориентировано на эффективный инференс. Языки и мультимодальные возможности в карточке не указаны. Модель подготовлена для TensorRT-LLM и оптимизирована для NVIDIA GPU, в частности совместима с микроархитектурой NVIDIA Blackwell; предпочтительная операционная система — Linux. Указанное тестирование проводилось на NVIDIA B200. Ограничения качества, рисков и применимости зависят от исходной Qwen3-8B и конкретного сценария использования; разработчикам рекомендуется самостоятельно оценивать модель для целевой отрасли и задач. Использование разрешено для коммерческих и некоммерческих целей по лицензии Apache 2.0.

AetherKelly00/Qwen3.8-Flash-Next-GGUF — GGUF-версия экспериментальной мультимодальной модели Qwen3.8-Flash-Next, разработанной командой Qwen; репозиторий также содержит материалы Unsloth для запуска и квантизации. Это причинная языковая модель с визуальным энкодером, предназначенная для обработки текста и изображений, диалоговых сценариев, анализа документов и агентских задач с длинным контекстом. Для запуска рекомендуются llama.cpp или Unsloth Desktop. Модель использует архитектуру с гибридным вниманием: Gated DeltaNet сочетается с Qwen Sparse Attention, работающим на уровне микроблоков. Также применяются Gated Residual, n-gram embedding и Mixture of Experts. Заявлено 125 млрд параметров, из которых активируется около 6 млрд, дополнительно 51 млрд параметров приходится на n-gram embedding и 4 млрд — на MTP. Архитектура включает 48 слоёв, 512 экспертов с 10 маршрутизируемыми и одним общим активным экспертом. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 000 000 токенов. Поддерживаемые языки в README не указаны. К сильным сторонам относятся высокая вычислительная эффективность за счёт разреженной активации экспертов, оптимизации длинного контекста и возможность локального запуска в формате GGUF. Ограничения включают экспериментальный статус архитектуры, необходимость совместимого программного обеспечения и отсутствие в представленном README подробных результатов тестирования, конкретных требований к памяти и информации о поддерживаемых вариантах квантизации. Модель распространяется по лицензии qwen-community-1.0; указанный тип лицензии — other.

nakedlittlezombie/Qwen3-VL-8B-Thinking-heretic — мультимодальная модель класса image-text-to-text из семейства Qwen3-VL, разработанная командой Qwen; данный репозиторий содержит веса версии Qwen3-VL-8B-Thinking. В README не приведено отдельное описание изменений варианта «heretic» относительно базовой модели. Модель предназначена для совместного понимания и генерации текста по изображениям и видео, визуального восприятия и рассуждений, OCR, анализа документов, STEM- и математических задач, пространственного анализа, генерации Draw.io/HTML/CSS/JS по визуальным материалам, а также взаимодействия с графическими интерфейсами и инструментами. Она может использоваться в сценариях визуальных агентов, анализа длительных видео и многошагового мультимодального вывода. Указан размер 8B параметров и Thinking-режим с усиленным рассуждением; архитектура заявлена как dense, а модель поддерживает текстовые, графические и видеовходы. Среди архитектурных особенностей названы Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками. Контекст составляет 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков не указан. Сильными сторонами являются визуальное и пространственное рассуждение, обработка длинного контекста, видео и документов, а также агентные сценарии. Ограничения и точные показатели производительности в текстовом виде не приведены. Модель распространяется по лицензии Apache-2.0.

SagaLM-slm2 — диалоговая языковая модель, созданная разработчиком SagaLM на основе Qwen/Qwen2.5-7B-Instruct. Модель дообучена методами QLoRA и supervised fine-tuning (SFT); её архитектура Qwen2 совместима с реализацией Qwen2/Qwen2.5 в Transformers. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов согласно метаданным; в README указана длина контекста 2 048 токенов при обучении. Модель предназначена для диалогов и выполнения инструкций, включая рассуждения, математические задачи и программирование. Обучение включало разговорные и инструктивные данные, а также примеры, закрепляющие идентичность SagaLM. Для генерации автор рекомендует до 1 024 новых токенов с настройками temperature 0,7 и top_p 0,9. Сведения о лицензии в предоставленных материалах отсутствуют.

Salience-1.5-Pro — мультимодальная модель класса vision-language, разработанная vectionlabs и представленная в GGUF-квантизациях автором bartowski. Она предназначена для работы с текстом и изображениями, задач рассуждения, программирования, software engineering, агентских сценариев и использования инструментов. В карточке также заявлены архитектура mixture-of-experts (MoE), поддержка длинного контекста и язык English; точный размер исходной модели и максимальная длина контекста не указаны. Модель содержит MTP-слои (Multi-Token Prediction), которые могут использоваться в llama.cpp для self-speculative decoding и ускорения генерации с параметром --spec-type draft-mtp. Доступны варианты от BF16 размером 71,07 ГБ до более компактных квантизаций Q8_0, Q6, Q5, Q4 и Q3; рекомендуемые варианты различаются балансом между качеством и требованиями к памяти. Ограничения включают зависимость от совместимого программного обеспечения и возможную необходимость обновления llama.cpp или других приложений при поддержке новой архитектуры. Распространение указано по лицензии Apache-2.0. Квантизации рассчитаны на запуск через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI.

FriendliAI публикует версию C4AI Command R+, квантизированную в FP8 для ускорения инференса при сохранении высокой точности. В основе — авторегрессионный трансформер CohereForAI примерно на 103,8 млрд параметров; модель принимает текст и генерирует текст. Для этой версии метаданные указывают контекст 8192 токена. Указанные в карточке базовой Command R+ 128K токенов к этой версии не относятся. Модель предназначена для диалогов, ответов на вопросы, суммаризации, RAG и многошагового использования инструментов. Она оптимизирована для английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков; русский входил в дополнительные языки предобучения. Для работы с FP8 нужны GPU NVIDIA Ada, Hopper или Blackwell; README описывает запуск через Friendli Container. Лицензия — CC-BY-NC-4.0, с ограничениями на коммерческое использование.

Cogito-v1 Preview — серия открытых гибридных reasoning-моделей, разработанная DeepCogito. Модели обучены с использованием метода Iterated Distillation and Amplification (IDA) и ориентированы на повышение качества открытых моделей за счёт масштабируемого выравнивания и самоулучшения. Серия предназначена для генерации текста, программирования, задач STEM, многоязычных сценариев и агентских приложений. Каждая модель поддерживает стандартный режим с прямым ответом и reasoning-режим с саморефлексией. Доступны варианты на базах LLaMA и Qwen размером 3B, 8B, 14B, 32B и 70B параметров: LLaMA-3B, LLaMA-8B, Qwen-14B, Qwen-32B и LLaMA-70B. Для каждой ветки предоставляется квантованная версия q4-km. Конкретные сведения о поддерживаемых языках, максимальном контексте и точных архитектурных характеристиках не указаны. К сильным сторонам относятся гибридный режим работы, ориентация на reasoning, кодирование, STEM и агентские задачи, а также наличие нескольких размеров для выбора компромисса между качеством и ресурсами. По заявлению разработчика, модели превосходят сопоставимые по размеру открытые модели LLaMA, DeepSeek и Qwen, а 70B-вариант превосходит LLaMA 4 109B MoE на бенчмарках; независимые результаты в README не приведены. Модели распространяются по лицензии Apache License 2.0.

Valdemardi/DeepSeek-R1-Distill-Qwen-32B-AWQ — квантизированная версия DeepSeek-R1-Distill-Qwen-32B, разработанная на базе модели DeepSeek-R1 командой DeepSeek AI. Модель предназначена для задач рассуждения, включая решение математических задач, программирование и другие сложные текстовые задачи. По данным README, DeepSeek-R1-Distill-Qwen-32B превосходит OpenAI o1-mini на ряде бенчмарков и демонстрирует сильные возможности для плотной модели. Модель использует архитектуру базовой Qwen-модели размером 32B параметров и работает с текстом; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Данная версия сжата в 4-битный формат AWQ с использованием AutoAWQ 3.2.7.post3, группировкой q_group_size 128, zero-point quantization и режимом GEMM. Квантизация снижает требования к памяти и может упростить локальный запуск, но потенциально сопровождается потерей точности по сравнению с полной версией. В README указана лицензия Apache-2.0 для репозитория этой версии, тогда как для исходной DeepSeek-R1 приведены отдельные ссылки на Model Agreement и лицензию кода MIT; условия использования следует проверять применительно к конкретным компонентам модели.

mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1 — повторно дистиллированная версия DeepSeek-R1-Distill-Qwen-7B-7B модели, опубликованная Mobius Labs. Это плотная авторегрессионная языковая модель семейства Qwen2 для диалогов и генерации текста; она подходит для задач, требующих многошаговых рассуждений, включая математику и программирование. В README приведены результаты сравнительных тестов на ARC, HellaSwag, MMLU, GPQA, MMLU PRO и MUSR; показатели версии v1.1 выше исходной на части тестов и ниже на ARC. Модель содержит 7,1 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Опубликована в формате safetensors, поддерживает интерфейс диалога и tool calling. Лицензия — MIT. README не сообщает языки обучения или оценки, поэтому языковую поддержку нельзя уточнить по этим данным.

sail-ing-north/DeepSeek-V3-rescaled — это версия языковой модели DeepSeek-V3, размещённая в формате safetensors FP8 и предназначенная для генерации текста и диалогового общения. В карточке указаны архитектура DeepSeek-V3 и 37,6 млрд параметров; исходная модель описана как Mixture-of-Experts с 671 млрд общих и примерно 37 млрд активных параметров на токен, использующая Multi-head Latent Attention и DeepSeekMoE. Метаданные указывают длину контекста 163 840 токенов. Модель подходит для диалогов, генерации и продолжения текста, ответов на вопросы, а также вызова инструментов через соответствующий интерфейс. В README описаны предобучение на 14,8 трлн токенов, последующая настройка с учителем и обучение с подкреплением, а также перенос навыков рассуждения из DeepSeek-R1. Эти сведения относятся к DeepSeek-V3 в целом; карточка не уточняет, как именно была получена версия rescaled. Репозиторий содержит веса FP8, что может снизить требования к памяти при выводе, однако запуск требует подходящей инфраструктуры для крупной модели. README перечисляет способы развертывания через SGLang, LMDeploy, TensorRT-LLM и vLLM. Лицензия в предоставленных данных не указана.

DeepSeek-V4-Flash-0731-CRACK-NVFP4 — дообученная и модифицированная версия deepseek-ai/DeepSeek-V4-Flash-0731, опубликованная Dealign.ai. Это текстовая генеративная MoE-модель для диалогов, рассуждений, программирования, вызова инструментов и многошаговых сценариев. Модель позиционируется как исследовательский артефакт с удалёнными защитными отказами, поэтому требует ответственного и законного применения. Архитектура включает 43 слоя, 256 маршрутизируемых и одного общего эксперта, MLA, sliding-window attention и контекст примерно до 1 млн токенов с YaRN. Сохранены native-квантизация FP8 для attention и общих экспертов, FP4 класса NVFP4 для маршрутизируемых экспертов, DSpark MTP head, управляемое усилие рассуждения и спекулятивное декодирование. Чекпойнт занимает около 167 ГБ и рассчитан на tensor parallel между двумя узлами NVIDIA GB10 или DGX Spark; в README также указана конфигурация обслуживания с контекстом до 393216 токенов. Заявлены английский и китайский языки, интеграция с vLLM и поддержка OpenAI-совместимых инструментальных вызовов. К сильным сторонам относятся сохранённые знания и способности к рассуждению, высокая заявленная точность на MMLU и HumanEval, производительность 45–49 токенов в секунду в однопоточном режиме, prefix caching и высокая ёмкость GPU KV cache. Основное ограничение — отсутствие защитных отказов: модель может согласиться с вредоносными, незаконными или опасными запросами. Для запуска требуются совместимые сборки vLLM, две системы GB10/DGX Spark, tensor parallel и специализированная инфраструктура. Модель распространяется по лицензии MIT с наследованием условий upstream DeepSeek-V4-Flash; перед использованием необходимо проверить применимые условия лицензии.

Falcon3-1B-Instruct — компактная инструктивная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Она дообучена на базе tiiuae/Falcon3-1B-Base и предназначена для диалогов и генерации текста по инструкциям. Модель имеет плотную архитектуру Transformer с причинным декодером и 1,4 млрд параметров. В ней 18 блоков декодера, Grouped Query Attention, SwiGLU и RMSNorm; контекстное окно — до 8192 токенов. Модель принимает и генерирует текст на английском, французском, испанском и португальском языках. Модель обучалась на данных для STEM, диалогов, программирования, безопасности и вызова функций. В карточке заявлены сильные результаты в рассуждениях, понимании языка, следовании инструкциям, математике и задачах с кодом. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует учитывать её условия.