II.3Рефакторинг, миграция и модернизация

Kanana-2-1.3B-Instruct — компактная языковая модель Kakao для диалогов и выполнения инструкций. Это плотная авторегрессионная модель примерно с 1 млрд параметров, полученная из Kanana-2-3B с помощью каскадного pruning и дистилляции, а затем настроенная для следования инструкциям. Модель использует гибридное внимание: три слоя Sliding Window Attention на каждый слой полного внимания; размер окна — 1024 токена. Поддерживает контекст до 32 768 токенов и снижает расход памяти KV-кэша при длинном контексте. Модель рассчитана на компактное развёртывание, в том числе на устройствах с ограниченными ресурсами. Она предназначена для общения и генерации текста по инструкциям; в карточке серии также описаны оценки для задач работы с инструментами, кода, математики и знаний. Токенизатор повышает эффективность обработки корейского языка по сравнению с предыдущим поколением Kanana. Для запуска доступны Transformers с пользовательским кодом архитектуры, vLLM и SGLang с настройкой из репозитория. Лицензия в метаданных указана как other; конкретные условия следует сверить с файлами лицензии репозитория. Для SGLang карточка рекомендует версию 0.5.1 и предупреждает о снижении точности и скорости при использовании backend flashinfer.

deltanym/llama-3.1-120b-instruct — текстовая разговорная модель, созданная методом слияния через mergekit на основе meta-llama/Llama-3.1-70B-Instruct. В карточке указана конфигурация passthrough; модель использует плотную архитектуру семейства Llama и формат safetensors. Метаданные указывают 120,8 млрд параметров и контекстное окно до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения, включая сценарии с интерфейсом вызова инструментов. В основе лежит многоязычная instruct-модель Meta; README описывает её как воспроизведение Meta-Llama-3-120B-Instruct с использованием Llama 3.1 70B вместо Llama 3. Лицензия в предоставленных данных не указана.

bunnycore/Llama-3.2-3B-TitanFusion-v2 — текстовая языковая модель, созданная слиянием нескольких предварительно обученных моделей семейства Llama 3.2 с помощью mergekit и метода TIES. В качестве базовой использована unsloth/Llama-3.2-3B; в слияние также вошли модели с уклоном в программирование и рассуждения. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Заявленная длина контекста — 131 072 токена. В карточке не приведены сведения о специальных языковых или предметных ограничениях, а также о лицензии, поэтому их нельзя уточнить по доступным данным.

QuantFactory/LLaMA3-iterative-DPO-final-GGUF — это неофициальная GGUF-квантизованная версия инструкционной языковой модели LLaMA3-iterative-DPO-final, созданная QuantFactory с использованием llama.cpp на основе модели RLHFlow. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и использование в conversational-приложениях. Модель имеет около 8 млрд параметров и обучена методом Iterative DPO — вариантом онлайн-RLHF, основанным на Direct Preference Optimization. По данным README, обучение проводилось на открытых наборах данных без дополнительной разметки людьми или GPT-4. В опубликованных результатах модель показывает высокие показатели на Alpaca-Eval-V2, MT-Bench и Chat-Arena-Hard, а также на академических тестах GSM-8K, MMLU, HumanEval, TruthfulQA, ARC и MBPP. Конкретный формат квантизации, поддерживаемые языки, длина контекста и точные требования к ресурсам не указаны. К сильным сторонам относятся компактный для инструкционной модели размер, возможность запуска в GGUF-совместимой инфраструктуре и хорошие заявленные результаты в диалоговых, математических, кодовых и общеобразовательных задачах. Ограничения включают неофициальный статус чекпойнта, возможные потери качества из-за квантизации и отсутствие подробных сведений о её параметрах. Указана лицензия llama3; дополнительные условия использования в README не раскрыты.

Nemotron-3.5-Lightning-30B-A3B-CRACK-GGUF — производная GGUF-версия модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, подготовленная Dealign.ai для запуска через llama.cpp. Это языковая модель для генерации текста, рассуждений и исследовательских сценариев, включая авторизованное red-teaming. Поддерживаются английский и китайский языки. Модель использует гибридную архитектуру Mamba-2 SSM, Mixture-of-Experts и attention: 52 слоя, включая 23 слоя Mamba-2, 23 MoE-слоя и 6 attention-слоёв; всего 128 маршрутизируемых экспертов, около 3 млрд активных параметров. Заявлен контекст до 262K токенов, а режим рассуждений включён по умолчанию. Репозиторий содержит квантизации Q8_0, Q4_K_M и Q2_K размером около 35,0, 25,4 и 18,7 ГБ соответственно; Q4_K_M обозначена как сбалансированный рекомендуемый вариант. Во все варианты встроена native MTP-голова для спекулятивного декодирования без отдельной draft-модели. Abliteration CRACK удаляет поведение отказа при сохранении знаний, рассуждений и многоязычности, однако по тесту MMLU результат снизился с 78,3% у базовой модели до 74,2%, особенно в STEM и гуманитарных дисциплинах. По HarmBench модель продемонстрировала 100% выполнения вредоносных запросов без отказов, поэтому имеет существенно сниженные защитные ограничения и требует ответственного и законного применения. Лицензия — NVIDIA Open Model License; модель является производной квантизированной версией базовой модели NVIDIA.

NVIDIA-Nemotron-3-Nano-30B-A3B-AWQ — это 4-битная AWQ-квантизованная версия большой языковой модели NVIDIA Nemotron-Nano-3-30B-A3B, подготовленная stelterlab на основе исходных весов NVIDIA с использованием llm-compressor. Модель предназначена для генерации текста, диалоговых систем, решения задач с рассуждением и без него, а также создания специализированных AI-агентов. Она может сначала формировать рассуждение, а затем итоговый ответ; режим рассуждений настраивается через chat template, причём их отключение может немного снизить точность на сложных запросах. Модель разработана NVIDIA Corporation и использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего модель содержит 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена; в каждом MoE-слое используются 128 экспертов и один общий эксперт, при этом активируются 6 экспертов на токен. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. Размер контекста в предоставленных данных не указан. К сильным сторонам относятся сочетание режимов рассуждения и обычной генерации, высокая параметрическая ёмкость при меньшем числе активных параметров и сниженные требования к памяти благодаря INT4-квантизации. Ограничения включают экспериментальный статус AWQ-сборки, возможное снижение качества при отключении рассуждений и отсутствие подтверждённых сведений о производительности именно этой квантизованной версии. Модель разрешена для коммерческого использования в соответствии с NVIDIA Nemotron Open Model License.

FuseAI/OpenChat-3.5-7B-Mixtral — диалоговая языковая модель, выпущенная проектом FuseChat при Университете Сунь Ятсена. Это целевая модель, полученная на этапе попарного слияния знаний OpenChat-3.5-7B с другой чат-моделью. В репозитории указаны 7,1 млрд параметров, архитектура Mistral с плотной структурой и контекст до 8192 токенов. Модель предназначена для диалогов, ответов на вопросы и выполнения текстовых инструкций общего назначения. README описывает подход FuseChat: модели обучаются для переноса знаний, а затем объединяются в пространстве параметров; для оценки использовались многоходовые диалоги MT-Bench по письму, ролевым сценариям, рассуждениям, математике, программированию, STEM и гуманитарным темам. Карточка позиционирует модель как компонент для дальнейшего слияния с другими целевыми моделями FuseChat. Модель принимает текст и генерирует текст. В метаданных указан английский язык, библиотека Transformers и формат Safetensors. Лицензия — Apache 2.0. README не сообщает отдельные результаты оценки именно этого чекпойнта, поэтому показатели итоговой FuseChat-7B-VaRM не следует переносить на него.

Qwen3-0.6B-GPTQ-Int8 — квантованная 8-битная версия причинной языковой модели Qwen3-0.6B, разработанной командой Qwen. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, математических и программных задач, переводов, творческого письма и сценариев с интеграцией внешних инструментов. Она поддерживает переключение между режимами рассуждения и обычного диалога в рамках одной модели. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не являются параметрами эмбеддингов, имеет 28 слоёв и использует Grouped-Query Attention с 16 головами для запросов и 8 для ключей и значений. Контекстное окно составляет 32 768 токенов. Поддерживаются более 100 языков и диалектов, однако конкретный перечень языков в README не указан. Модель работает с текстовой модальностью и распространяется в формате GPTQ с 8-битной квантизацией. К сильным сторонам относятся компактный размер, поддержка многоязычных инструкций, режимов рассуждения и обычной генерации, а также возможности для агентских сценариев. Ограничения включают меньший размер по сравнению с крупными моделями Qwen3 и возможное появление повторов при неподходящих параметрах генерации; README рекомендует при таких проблемах использовать presence_penalty 1.5. Модель распространяется по лицензии Apache 2.0.

nvidia/Qwen3-14B-FP8 — квантизированная версия авторегрессионной языковой модели Qwen3-14B, разработанной Alibaba и подготовленной NVIDIA с помощью TensorRT Model Optimizer. NVIDIA не является владельцем или разработчиком исходной модели; компания выпустила её FP8-вариант для заданных сценариев развертывания. Модель предназначена для генерации текста в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Она принимает текстовые последовательности и возвращает текст. Модель имеет архитектуру Transformer, около 14,8 млрд параметров и контекстное окно до 131 тысячи токенов. Поддерживается только текстовая модальность; конкретный набор языков в README не указан. Вариант FP8 квантизирует веса и активации линейных операторов внутри блоков Transformer, что делает модель ориентированной на эффективный инференс с TensorRT-LLM. Указана совместимость с GPU-архитектурой NVIDIA Blackwell, операционной системой Linux и тестовым оборудованием NVIDIA B200. Ограничения включают зависимость от поддерживаемого NVIDIA-стека и отсутствие опубликованных в README сведений о результатах тестирования, обучающих данных и языковых характеристиках. Калибровка выполнялась на датасете cnn_dailymail, а остальные сведения о наборах данных не раскрыты. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache License 2.0. Перед применением разработчикам рекомендуется самостоятельно оценить качество, безопасность и соответствие модели требованиям конкретной отрасли и сценария.

Qwen3-4B-RKNN3-RK1828 — версия языковой модели Qwen3-4B, подготовленная проектом Firefly для запуска на устройстве RK1828 через LlamaPi. Это плотная причинная модель семейства Qwen3 примерно на 3,7 млрд параметров с форматом GGUF и контекстом до 40 960 токенов. Она предназначена для генерации текста, диалогов, следования инструкциям, рассуждений, программирования и агентных сценариев; поддерживает режимы с рассуждением и без него, а также интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Исходная Qwen3-4B поддерживает более 100 языков и диалектов. Карточка предлагает запуск через LlamaPi на RK1828. Модель распространяется по лицензии Apache-2.0. Производительность и качество зависят от устройства и конфигурации; возможности конкретной сборки для вызова инструментов следует проверять в целевой среде.

Smoffyy/Qwen3.5-4B-Instruct-Pure-GGUF — это GGUF-квантизированная версия официальной модели Qwen3.5-4B, разработанной командой Qwen. Автор репозитория создал её с помощью официальных инструментов llama.cpp, напрямую преобразовав исходные веса без модификаций и дополнительных настроек. Модель предназначена для локального запуска в приложениях на базе llama.cpp и совместимых инструментах. Модель поддерживает мультимодальные сценарии с текстом и изображениями; для включения возможностей компьютерного зрения требуется отдельный файл mmproj-f16.gguf. Архитектура исходной Qwen3.5 описывается как гибридная и включает Gated Delta Networks и разреженную Mixture-of-Experts. Указана поддержка 201 языка и диалекта. В README приведён пример запуска с контекстом 64K: для квантизации q4_k_m такое использование требует около 7 ГБ памяти GPU. Режим рассуждений можно включать или отключать через параметр enable_thinking в запросе или конфигурацию шаблона чата. К сильным сторонам относятся близость к официальным весам, доступность различных уровней квантизации и возможность локального использования на ограниченном оборудовании. К ограничениям относятся потенциальная потеря качества из-за квантизации, зависимость требований к памяти от выбранного варианта и необходимость дополнительного multimodal-проектора для работы с изображениями. Модель и производные распространяются по лицензии Apache 2.0.

btbtyler09/Qwen3.6-27B-GPTQ-4bit — квантизированная версия Qwen/Qwen3.6-27B, разработанная пользователем btbtyler09. Это плотная мультимодальная модель примерно на 27 млрд параметров для работы с текстом и изображениями, включая понимание изображений, генерацию текста и сценарии серверного инференса. Модель совместима с Transformers и ориентирована на использование через vLLM. Архитектура включает 64 слоя: 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания, а также полный vision encoder на базе ViT и модуль MTP для speculative decoding. Контекстное окно составляет 262 144 токена. Текстовый декодер квантизирован в INT4 методом GPTQ с компенсацией ошибок FOEM; vision encoder, MTP, эмбеддинги, нормы и LM head сохранены в BF16 или FP16. Размер модели составляет около 21 ГБ вместо примерно 50 ГБ у исходной BF16-версии. Сильной стороной является существенное сокращение требований к хранению и памяти при сохранении мультимодальности и заявленном снижении деградации perplexity: до +1,95% относительно BF16 на wikitext-2-raw-v1, против +8,45% у обычного GPTQ 4-bit. К ограничениям относятся необходимость подходящей аппаратной конфигурации для полного контекста и потенциальные проблемы совместимости с некоторыми версиями vLLM, для которых в README указан обходной патч. Модель распространяется по лицензии Apache-2.0.

sakamakismile/Qwen3.6-27B-Text-NVFP4-MTP — текстовая NVFP4-квантизованная версия базовой модели Qwen/Qwen3.6-27B. Модель подготовлена пользователем sakamakismile с использованием pipeline GGUF-to-NVFP4-SM120 от Lna-Lab. Она предназначена для генерации текста и запуска через vLLM на GPU NVIDIA Blackwell с архитектурой SM120, включая сценарии со speculative decoding. Модель содержит около 27,78 млрд параметров, 64 слоя гибридной архитектуры с linear attention и full attention, а также один MTP-слой Multi-Token Prediction. Зрительная башня удалена, поэтому модель работает только с текстом. Поддерживаются английский, китайский, японский, корейский, французский, немецкий, испанский, итальянский, португальский, русский и арабский языки. Заявлен максимальный контекст до 256 тысяч токенов. Квантизация выполнена в формате modelopt NVFP4 с помощью nvidia-modelopt 0.43.0; MTP-компоненты и ряд других частей сохранены в bf16 для совместимости и эффективной спекулятивной генерации. К сильным сторонам относятся оптимизация под Blackwell, меньшие требования к памяти по сравнению с полноразмерной bf16-моделью, поддержка KV-кэша FP8 и рабочий MTP-механизм для ускорения декодирования. Ограничения — отсутствие обработки изображений, зависимость от совместимой версии vLLM и аппаратуры Blackwell, а также потенциальные ограничения по памяти при большом контексте и высокой конкуренции запросов. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-W4A16-AutoRound — квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, подготовленная dbirks с использованием Intel AutoRound и упакованная в формат compressed-tensors для запуска через vLLM. Модель предназначена для генерации текста и обработки изображений с применением на NVIDIA GPU поколения Ampere и новее, включая сценарии инференса на видеокартах без поддержки Blackwell. В основе лежит гибридная архитектура GatedDeltaNet с линейным вниманием и полноформатным attention: 64 слоя, из которых 48 используют линейное внимание, а 16 — полное; также присутствует vision tower. Заявлен контекст до 262 тысяч токенов. Квантизация W4A16 хранит веса языкового декодера в формате int4 с размером группы 128, тогда как активации остаются в BF16. В BF16 сохранены отдельные проекции управления рекуррентностью, vision tower, MTP-head и lm_head. Размер модели на диске составляет около 19,5 ГБ против примерно 52 ГБ для версии BF16; логический объём — около 27,78 млрд параметров. Основное преимущество — существенное сокращение размера при сохранении качества, близкого к BF16-версии: на заявленных тестах GSM8K, HumanEval и MMLU-Pro результаты находятся в пределах доверительных интервалов базовой модели. Ограничение W4A16 заключается в отсутствии ускорения за счёт квантизации активаций, поскольку они остаются BF16; для видеокарт Blackwell автор рекомендует родственную версию NVFP4. Указанная лицензия — Apache-2.0.

Seed-OSS-36B-Base — базовая языковая модель семейства Seed-OSS, разработанная командой ByteDance Seed. Репозиторий AIArchiveInfo является побайтной архивной копией ByteDance-Seed/Seed-OSS-36B-Base: веса не обучались и не изменялись. Модель содержит 31,7 млрд параметров по метаданным и использует плотную авторегрессионную архитектуру SeedOssForCausalLM с RoPE, GQA, RMSNorm и SwiGLU. Модель предназначена для генерации текста общего назначения, задач рассуждения и длинного контекста, а также для разработки агентных систем. Она рассчитана на международное применение и поддерживает контекст до 524 288 токенов. Вариант Base обучен с синтетическими инструкционными данными в предобучении; это базовая модель, а не отдельная Instruct-версия. Модель распространяется по лицензии Apache-2.0. К сильным сторонам относятся нативная работа с длинным контекстом, настраиваемый бюджет рассуждений и заявленные разработчиком возможности для задач с использованием инструментов. Это текстовая модель: README не сообщает конкретный перечень поддерживаемых языков. Как базовый чекпойнт, она может требовать дополнительной настройки для диалоговых сценариев и прикладного развертывания.

Solar-Open-100B-NVFP4A16 — сборка модели Solar-Open-100B, разработанной компанией Upstage, которую FuriosaAI самостоятельно квантизировала в формате NVFP4A16 и подготовила для запуска на аппаратуре FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая языковая модель с архитектурой Mixture-of-Experts (MoE), предназначенная для генерации текста, чат-взаимодействия, задач с рассуждениями и без них, а также вызова инструментов через функции. Поддерживаются английский и корейский языки, входные и выходные данные представлены в текстовом формате. Веса модели используют 4-битный формат NVFP4, тогда как активации и KV-кэш сохраняются в 16-битной точности. Для рассуждений можно задавать уровень reasoning_effort: low, medium или high; модель также поддерживает отдельную передачу рассуждений и автоматический выбор инструментов при соответствующей настройке сервера. На FuriosaAI RNGD модель работает с tensor parallelism на 32 PE, что соответствует четырём картам RNGD. В README не указаны общий и активный размер модели, длина контекста и точные параметры архитектуры, поэтому эти характеристики нельзя определить по имеющимся данным. Основное преимущество модели — сочетание крупной MoE-архитектуры, возможностей рассуждения и вызова инструментов с экономией памяти благодаря 4-битной квантизации. Сборка ориентирована прежде всего на FuriosaAI RNGD и Furiosa-LLM, хотя квантизированные веса также заявлены как совместимые с vLLM, SGLang и Transformers. Модель распространяется по лицензии Upstage Solar License; в карточке она обозначена как license: other, с отдельной ссылкой на текст лицензии.

Trida-7B-Preview — языковая модель на 7,76 млрд параметров, разработанная Trillion Labs. Это Block Diffusion Language Model на базе Transformer Decoder с RoPE, SwiGLU и RMSNorm. Модель создана непрерывным предварительным обучением Trillion Labs/Tri-7B и последующим обучением по подходу Block Diffusion, который сочетает параллельную генерацию блоков с авторегрессионными зависимостями. Длина контекста — 4096 токенов; модель распространяется в формате safetensors и поддерживает диалоговую генерацию текста. Модель оптимизирована для корейского, английского и японского языков. Её можно применять для ответов на вопросы, следования инструкциям, рассуждений, математических задач и генерации кода. README приводит результаты тестирования на языковых и задачах рассуждения, кодирования, математики и следования инструкциям, но не описывает ограничения по вычислительным ресурсам или гарантии качества. Для других языков качество может снижаться; знания ограничены данными до февраля 2025 года. Лицензия — Apache-2.0.

InternScience/Agents-A1-F16-GGUF — вариант модели Agents-A1 от InternScience в формате GGUF F16. Это 35-миллиардная MoE-модель, дообученная для многошаговой работы в роли универсального агента: она разбивает сложные запросы на этапы, планирует действия и может использовать инструменты через интеграцию с внешней системой. Модель предназначена для длительного поиска, инженерных задач, научных исследований, следования инструкциям и ответов на профессиональные вопросы. Карточка базовой модели сообщает о поддержке вызова функций и интеграции с API, поисковыми системами и интерпретаторами кода. В опубликованных оценках Agents-A1 показала результаты на задачах агентного поиска, научных рассуждений и следования инструкциям; эти результаты относятся к базовой модели и не являются отдельной оценкой данного варианта GGUF F16. В README также описан контекст 262K для стандартной версии при запуске через SGLang, но это значение не подтверждено для данного GGUF-файла. Лицензия — Apache-2.0.

Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели Vladimirval/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

DeepSeek-V4.1-Flash-EXL3-2.9bpw — это квантованная версия мультимодальной модели DeepSeek-V4.1-Flash, разработанной DeepSeek-AI. Квантование выполнено Mia’s AI Lab в формате EXL3 с использованием exllamav3 версии 1.4.2. Модель предназначена для задач генерации и анализа текста и изображений, включая сценарии с рассуждением и большим контекстом, при запуске в совместимых средах vLLM, ExLlamaV3 или TabbyAPI. В основе лежит MoE-архитектура с 552 млрд параметров и активацией 8–16 млрд параметров на токен. Поддерживаются мультимодальный ввод, зрительный модуль, DSpark, CED, CSA2 и Engram memory; заявлен контекст до 1 млн токенов. Средняя битность квантования декодера составляет 2,90 bpw, размер сборки — около 197 ГБ в 39 safetensors-частях. Включены vision-компоненты и DSpark, однако таблицы Engram не квантованы и требуют дополнительных оригинальных шардов 47 и 48 базовой модели общим объёмом около 190 ГБ. Сильными сторонами являются существенно сниженные требования к хранению по сравнению с полноразмерной моделью, поддержка длинного контекста, мультимодальность и встроенное спекулятивное декодирование DSpark. Ограничения связаны с необходимостью дополнительных Engram-шардов, использованием специализированного EXL3-совместимого стека и тем, что показатели качества из карточки базовой модели не относятся напрямую к этой квантованной сборке. Модель распространяется по лицензии MIT без дополнительных ограничений со стороны квантования.

DFM Mimir v1 — языковая модель, разработанная в рамках Danish Foundation Models при сотрудничестве Университета Южной Дании, Орхусского университета, Копенгагенского университета и Alexandra Institute. Модель обучена с нуля на архитектуре HRM-Text и предназначена для генерации текста и диалогового следования инструкциям. В репозитории указано около 1 млрд параметров, а метаданные Hugging Face содержат оценку 855,6 млн; длина контекста — 4096 токенов. Модель ориентирована на датский и английский языки. Авторы сообщают о конкурентных результатах на тестах по датскому, английскому, математике и программированию, включая новый уровень результатов для датского среди сравниваемых моделей. Она может использоваться для диалога, ответов на вопросы, следования инструкциям, а также задач на рассуждение, математику и код. Лицензия — Apache 2.0. Авторы предупреждают, что модель обучалась только на датском и английском и может плохо работать на других языках. Она не проходила специальную настройку безопасности и может отражать социальные предубеждения обучающих данных.

Eidolon-v1-14B — объединённая методом SLERP языковая модель семейства Qwen2.5 от Lambent, созданная с помощью mergekit из двух моделей arsenic. Она предназначена для диалогов, генерации текста и выполнения инструкций; в метаданных также заявлен интерфейс для вызова инструментов. Модель содержит 14 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В README указано, что модели в объединении прошли abliteration и DPO; автор отмечает возможные проблемы с отказами на нежелательные запросы и необходимость подбирать системный промпт под сценарий. EQ-bench показал 76,1336 балла, но автор сообщает о проблемах с синтаксисом тестирования. Модель доступна в формате safetensors; лицензия в предоставленных данных не указана.

Карточка модели Eric111/FINAL-Bench_Darwin-4B-Opus на Hugging Face совпадает с карточкой FINAL-Bench/Darwin-4B-Opus, поэтому описание составлено по ней. Darwin-4B-Opus — языковая модель для диалога и рассуждений, созданная VIDRAFT с помощью движка Darwin V6. Это слияние Google Gemma 4 E4B Instruct и модели Gemma-4-E4B-Claude-4.6-Opus-Reasoning-Distilled; при слиянии DARE-TIES применялись диагностически подобранные коэффициенты для отдельных тензоров. Модель использует архитектуру Gemma4ForConditionalGeneration с MoE, содержит около 4 млрд параметров и представлена в формате BF16 и safetensors. Модель предназначена для ответов на вопросы, рассуждений, программирования, математики и анализа на одном потребительском GPU. В README заявлены контекст 128 тыс. токенов и поддержка более 140 языков; метаданные карточки перечисляют английский, корейский, японский и китайский. Архитектура базовой модели поддерживает изображения и аудио, однако README не описывает эти сценарии для Darwin-4B-Opus. В README приведён результат 82,92% на ARC-Challenge в режиме zero-shot; авторы отмечают, что проверка здоровья модели не проводилась. Модель распространяется по лицензии Apache 2.0. Фактическое качество на других задачах и мультимодальная работа в карточке не подтверждены.

FluentlyQwen3 1.7B — языковая модель Project Fluently на архитектуре Qwen3ForCausalLM, дообученная с помощью SFT и GRPO и собранная поэтапным слиянием. Она предназначена для генерации текста, диалогов и выполнения инструкций; разработчик сообщает об улучшениях в обычном общении, переводе и математике. Модель содержит 1,7 млрд параметров, имеет 28 слоёв и контекст до 40 960 токенов по метаданным. Поддерживает режим рассуждений, который можно отключить для более быстрой генерации. Заявлены английский и русский языки, а также работа с кодом. Модель доступна в формате Safetensors и распространяется по лицензии Apache-2.0. Как и другие компактные языковые модели, она может ошибаться в фактах, переводах, математике и коде; заявленные улучшения не сопровождаются в карточке количественными результатами оценки.

Gemma 4 12B IT INT4 — MLP-only, AutoRound — это квантизированный вариант модели google/gemma-4-12B-it, опубликованный aleksandard. Модель предназначена для диалоговых и генеративных задач, включая работу с текстом, изображениями и аудио, поскольку базовая модель имеет unified-мультимодальную архитектуру и pipeline image-text-to-text. Она подходит для локального запуска через vLLM или Transformers при наличии совместимой аппаратной и программной инфраструктуры. В основе лежит плотная модель примерно на 11,95 млрд параметров. Квантизация выполнена методом intel/auto-round в режиме RTN по схеме W4A16 с размером группы 128 и симметричным представлением, с экспортом в GPTQ-совместимый формат. До 4 бит уменьшены только линейные слои MLP: gate_proj, up_proj и down_proj. Проекции внимания q/k/v/o, эмбеддинги, lm_head, а также vision- и audio-эмбеддеры сохранены в BF16 или полной точности. Размер чекпойнта составляет около 11 ГБ вместо примерно 24 ГБ для BF16, что снижает требования к памяти. Сильная сторона сборки — компромисс между уменьшением объёма модели и сохранением качества внимания: чувствительные квантизации компоненты оставлены в BF16. Ограничения связаны с наследованием всех ограничений и смещений базовой Gemma 4, а также с возможным дополнительным снижением качества из-за 4-битной RTN-квантизации без калибровки. Для vLLM требуется nightly-сборка с поддержкой Gemma 4; на Blackwell необходимо отключать FlashInfer sampler. В README указана лицензия Apache 2.0, унаследованная от базовой модели.

OnlyTextLLMs выпустила текстовую версию инструкционной модели Google Gemma 4 12B IT: из исходной модели удалены блоки обработки изображений и аудио и мультимодальные специальные токены, а текстовая часть и LM-голова сохранены. Это плотная причинная языковая модель Gemma4UnifiedForCausalLM с 11,6 млрд параметров и контекстом до 262 144 токенов; репозиторий содержит веса Safetensors в формате bfloat16. Модель предназначена для диалогов и генерации текста на основе текстовых запросов. По заявлению авторов, дообучение не проводилось, новые обучающие данные и возможности не добавлялись. Модель распространяется по лицензии Apache-2.0.

SevenOfNine/Gemma-4-26B-A4B-It-Abliterated-GGUF — набор GGUF-квантизаций модели Gemma-4-26B-A4B-It-Abliterated, разработанной SevenOfNine на основе google/gemma-4-26B-A4B-it. Модель предназначена для текстовых и мультимодальных задач с изображениями, вызова инструментов, рассуждений, творческого и ролевого использования. Доступны варианты Q5_K_M, Q6_K и BF16, а также отдельный vision-проектор; рекомендуемый вариант Q5_K_M занимает 19,1 ГБ. Архитектура Mixture-of-Experts содержит 26 млрд параметров, из которых активно около 4 млрд. Заявлены поддержка английского и французского языков и контекст до 250 000 токенов при использовании llama.cpp с соответствующими настройками и достаточным объёмом оперативной памяти. Модель подвергнута abliteration с помощью Heretic для уменьшения отказов в ответах: по данным карточки, показатель отказов снизился со 100 из 100 у исходной модели до 18 из 100, при KL-дивергенции 0,0845. Это сохраняет близость к исходным возможностям, но одновременно означает ослабление встроенных ограничений безопасности. Для работы с изображениями и инструментами требуются шаблон чата и параметры llama.cpp, совместимые с Gemma 4; полноценное качество зависит от выбранной квантизации, объёма RAM и VRAM. Модель распространяется по лицензии Gemma.

GLM-5.3-W4A8 — квантизированная версия модели GLM-5.3, разработанная на базе официального чекпойнта zai-org/GLM-5.3. Это генеративная текстовая модель для англоязычных и китайскоязычных сценариев, включая рассуждения и другие задачи генерации текста. Модель предназначена для развёртывания через vLLM и SGLang. Модель сохраняет около 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса представлены в INT4 с размером группы 128, активации и неэкспертные слои — в FP8. Формат хранения — compressed-tensors; чекпойнт занимает около 372,3 GiB вместо 703,7 GiB у официальной FP8-версии. На конфигурации из 8 GPU H20 это примерно вдвое увеличивает доступный KV-кэш — до 1,26 млн токенов, что полезно для длинного контекста и высокой параллельности запросов. Поддерживается MTP-спекулятивное декодирование. По опубликованным измерениям, заметного ухудшения качества относительно официальной FP8-версии не обнаружено: показатели GPQA-Diamond находятся в пределах статистического шума, а прирост teacher-forced NLL составляет около 0,001 натов на токен. Основное преимущество — экономия памяти и возможность запускать две реплики с TP4 на тех же восьми GPU. Ограничения включают требование GPU с архитектурой SM90, использование CUTLASS W4A8 и необходимость включать expert parallelism; на одной конфигурации TP8 модель может быть медленнее FP8-версии. Лицензия указана как glm-5.3; подробные условия приведены в лицензии базовой модели на странице zai-org/GLM-5.3.

Ling-3.0-tiny-MLX-4bit — MLX-конверсия модели inclusionAI/Ling-3.0-tiny, опубликованная rapid-mlx. Это языковая модель для генерации текста, рассуждений и вызова инструментов, рассчитанная на локальный запуск на компьютерах Apple Silicon через MLX и rapid-mlx. Модель использует разреженную MoE-архитектуру: всего 7,9 млрд параметров, из которых 1,3 млрд активируются для каждого токена; применяются 128 экспертов с выбором top-8 и одним общим экспертом. В архитектуре используется гибридный стек внимания KDA и MLA, контекст поддерживает до 131 072 токенов. Квантование выполнено в 4 битах с размером группы 64, размер файла составляет около 4,2 ГБ, поэтому модель помещается и работает на Mac с 8 ГБ unified memory. Языки и специализированные модальности в README не указаны; модель предназначена для работы с текстом. Сильными сторонами являются большое контекстное окно, низкое число активных параметров при сохранении общей ёмкости 7,9 млрд параметров, поддержка рассуждений и нативного разбора вызовов инструментов. Ограничения связаны с зависимостью от MLX и Apple Silicon, а также с необходимостью использовать rapid-mlx, поскольку архитектура bailing_hybrid пока не входит в upstream mlx-lm. 4-битное квантование может снижать точность по сравнению с полной версией, однако в README приведены результаты проверки соответствия реализации официальному коду. Модель распространяется по лицензии MIT, унаследованной от базовой модели.