II.4Отладка, тестирование и качество ПО

dealignai/Qwen3.8-27B-UNCENSORED-GGUF — это квантованная версия мультимодальной модели Qwen3.8-27B, разработанная Dealign.ai на базе Qwen. Модель распространяется в формате GGUF для llama.cpp и предназначена для генерации текста, программирования, многошагового рассуждения, анализа изображений и видео. Она поддерживает управляемый режим рассуждений с уровнями low, medium и xhigh, а также отключение рассуждений. Архитектура включает 64 слоя: 48 слоёв GatedDeltaNet с линейным вниманием и 16 слоёв полного внимания; размер скрытого представления — 5120, контекст — до 262 тысяч токенов. Модель поддерживает английский и китайский языки. В каждый вариант GGUF включены native Multi-Token-Prediction head для speculative decoding и vision projector, необходимый для обработки изображений и видео. Доступны варианты от 2- до 8-битного квантования объёмом примерно от 10,5 до 29 ГБ; рекомендован Q4_K_M. Сильные стороны модели — сочетание текстовых, визуальных и видео-возможностей, большой контекст, сохранение способностей к рассуждению и программированию, а также поддержка ускоренной генерации через MTP. Ограничения связаны с потерями качества при более агрессивном квантовании и высокими требованиями к памяти. Это CRACK-abliterated модель с удалёнными отказами и сниженными защитными ограничениями, поэтому она может выполнять запросы, отклоняемые стандартной моделью; авторы позиционируют её для исследований и разрешённого red teaming. Лицензия — Apache-2.0.

mlx-community/Qwen3-8B-bf16 — конвертированная в формат MLX версия языковой модели Qwen3-8B, подготовленная сообществом mlx-community на основе Qwen/Qwen3-8B. Это плотная причинная языковая модель с 7,6 млрд параметров для генерации текста и диалогов; она также поддерживает следование инструкциям, рассуждения, работу с кодом и интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а её контекст составляет до 40 960 токенов. Репозиторий содержит веса в safetensors и рассчитан на запуск через библиотеку MLX и пакет mlx-lm. Лицензия — Apache-2.0. Ограничения возможностей и качества унаследованы от базовой модели Qwen3-8B; в доступной карточке отдельно не описаны.

TeleChat2-3B — плотная авторегрессионная языковая модель семейства TeleChat2, разработанная и обученная Институтом искусственного интеллекта China Telecom на отечественных вычислительных ресурсах. Версия 3B выпущена в ноябре 2024 года; в метаданных указано около 4 млрд параметров. Модель построена на архитектуре decoder-only с Rotary Embedding, SwiGLU и RMSNorm; заявленная длина контекста — 32 768 токенов. Модель предназначена для многоходового диалога, ответов на общие и предметные вопросы, суммаризации, длинных текстов, математики, рассуждений и генерации кода. Для этой версии заявлена поддержка вызова инструментов через Function Call. В README приведены результаты тестирования на китайских и англоязычных бенчмарках; основной языковой фокус — китайский и английский. Модель принимает текст и генерирует текст. Доступны веса в формате PyTorch, лицензия — Apache-2.0. Возможные ограничения включают ошибки и ненадёжные ответы, а также риски, связанные с использованием сгенерированного кода и вызовом инструментов; разработчики отдельно требуют соблюдать применимые нормы и не использовать модель для незаконной деятельности.

koreallmdev/deepseek70b-7816-merged-bf16 — самостоятельная версия DeepSeek-R1-Distill-Llama-70B, выпущенная koreallmdev. Модель получена слиянием LoRA-адаптера, обученного на 7 816 строках, с базовой моделью; после загрузки адаптер отдельно не требуется. Это плотная авторегрессионная архитектура Llama с 69,5 млрд параметров и контекстом до 131 072 токенов, работающая через Transformers и сохранённая в safetensors в формате BF16. Модель предназначена для диалоговой генерации текста, математических рассуждений, программирования и ответов на сложные вопросы — эти возможности указаны для базовой DeepSeek-R1-Distill-Llama-70B. Выпуск обозначен как Conditional Stable; README также сообщает о 200 отложенных оценочных примерах и наличии smoke-тестовых материалов, но не заявляет бездефектное качество. Модель распространяется по лицензии MIT.

Это конвертированная в формат MLX версия DeepSeek-R1-Distill-Qwen-32B, подготовленная сообществом mlx-community из модели deepseek-ai/DeepSeek-R1-Distill-Qwen-32B с помощью mlx-lm 0.20.2. Модель построена на плотной архитектуре Qwen2 и содержит 32 млрд параметров; для генерации текста поддерживается контекст до 131 072 токенов. Она предназначена для диалоговой генерации текста и решения задач рассуждения, в том числе по математике и программированию. Репозиторий содержит веса safetensors в формате MLX. Лицензия в предоставленных данных не указана.

Карточка модели AlexHung29629/gemma-4-26B-A4B-it-agent на Hugging Face совпадает с карточкой vmo247/vmo-gemma-4-26b-a4b-ft, поэтому описание составлено по ней. vmo247/vmo-gemma-4-26b-a4b-ft — мультимодальная модель, дообученная на базе Google Gemma 4 26B A4B. Она построена на архитектуре Gemma 4 для генерации текста по текстовым и графическим запросам и поддерживает диалоговый режим и анализ изображений. Вариант 26B A4B относится к MoE-моделям семейства; для Gemma 4 этого размера заявлено контекстное окно до 256K токенов и поддержка более 140 языков на уровне семейства. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста на изображениях, анализа графиков и интерфейсов, а также для диалогов, рассуждений, написания и исправления кода. В карточке этой производной модели не приведены отдельные результаты оценки качества; возможности видео и аудио, упомянутые для семейства Gemma 4, не подтверждены для данного 26B-варианта. Распространяется по лицензии Apache 2.0.

GLM-4.6-REAP-268B-A32B-GGUF — сжатая GGUF-версия модели GLM-4.6, подготовленная Unsloth на основе варианта cerebras/GLM-4.6-REAP-268B-A32B. Модель использует метод REAP (Router-weighted Expert Activation Pruning), при котором равномерно удалено 25% экспертов исходной Mixture-of-Experts-модели. Она предназначена для генерации текста, программного кода, агентных рабочих процессов, понимания репозиториев и function calling, особенно в условиях ограниченных ресурсов, локального развертывания и академических исследований. Это разреженная causal language model с 268B параметров, из которых 32B активируются для каждого токена. Архитектура включает 92 слоя, 120 экспертов вместо исходных 160, 8 активируемых экспертов на токен и GQA с 96 головами Q и 8 головами KV. Контекстное окно составляет 202 752 токена. Заявляется сохранение почти идентичной производительности относительно полной 355B-версии при снижении требований к памяти примерно на 25%; при этом отдельные оценки для BF16-версии в README не приведены. Модель поддерживает развертывание через актуальный vLLM, а GGUF-файл содержит исправления chat template Unsloth и рассчитан на использование с параметром --jinja в llama.cpp. К преимуществам относятся однократное сжатие без дополнительного дообучения, сохранение независимого управления экспертов маршрутизатором и совместимость с vLLM без модификации исходного кода. Для запуска требуется значительный объём вычислительной памяти из-за общего размера модели, поэтому в README рекомендуется снижать максимальное число одновременно обрабатываемых последовательностей при нехватке памяти. Указана лицензия MIT.

GRM-2.6-Plus-0628-GGUF — это набор GGUF-квантованных файлов модели GRM-2.6-Plus-0628, разработанной OrionLLM. Модель содержит 27 млрд параметров и предназначена для общего применения, включая диалог, сложное рассуждение, программирование, решение задач и агентские сценарии, особенно при локальном или исследовательском развертывании. Заявлены улучшения по сравнению с GRM-2.6-Plus в задачах с длинной цепочкой действий и многошаговыми агентскими процессами. К сильным сторонам относятся структурированное рассуждение, обработка сложных задач, генерация кода и практическая эффективность для модели такого размера. В README указана только текстовая генерация; сведения о точной архитектуре, поддерживаемых языках, максимальном контексте, конкретных вариантах квантования и мультимодальности не приведены, поэтому эти характеристики нельзя подтвердить. Модель распространяется по лицензии Apache-2.0.

K2-Horizon-7B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-7B, разработанной IFM. Это плотная decoder-only модель примерно на 7 млрд параметров, предназначенная для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Модель поддерживает английский язык и относится к текстовым моделям без мультимодального или визуального входа. Исходная модель имеет нативное контекстное окно до 524 288 токенов (512K), что делает её подходящей для анализа больших документов и других задач с длинным контекстом. Доступны варианты квантизации Q4_0, Q4_K_M, Q4_K_M Selective, Q5_K_M, Q6_K и Q8_0 размером примерно от 5,34 до 9,57 ГБ. Вариант Selective сохраняет тензоры проекций внимания Q/K/V/O в формате Q6_K поверх базовой Q4_K_M. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, в частности форк MBZUAI-IFM до появления поддержки в upstream. Файлы содержат совместимый с llama.cpp шаблон чата; доступны форматы вызова инструментов xml, json и xml_typed. Ограничения включают зависимость от специализированного runtime, потребность в значительном объёме памяти при использовании контекста 512K и возможные потери качества из-за квантизации. Модель распространяется по лицензии Apache-2.0.

Saxo, специалист по данным компании Linkbricks, дообучил Hermes-3-Llama-3.1-70B, чтобы усилить работу модели с японским языком. Модель семейства Llama с архитектурой dense содержит 69,5 млрд параметров и принимает текст. Для обучения использовали продолженное предобучение на японском корпусе новостей и Википедии, затем SFT и DPO; токенизатор оставили от базовой модели без расширения словаря. Модель предназначена для диалогов, генерации и редактирования текстов, анализа отзывов и публикаций в социальных сетях, программирования, математических и логических задач. Она обучалась на японских, корейских, китайских и английских данных, поддерживает контекст до 131 072 токенов и интерфейс вызова функций и инструментов. Доступна по лицензии Apache-2.0.

LLaDA2.0-flash — диффузионная языковая модель с архитектурой Mixture-of-Experts от Inclusion AI, дообученная для следования инструкциям и практического применения. Модель предназначена для генерации текста, диалога, программного кода, решения сложных математических задач и работы с инструментами. В README указаны 100 млрд параметров всего и около 6,1 млрд активных при инференсе; метаданные Hugging Face указывают 5,5 млрд параметров. Архитектура включает 32 слоя и 32 головы внимания, использует RoPE и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса Safetensors, модель работает с Transformers. Лицензия — Apache-2.0. README отмечает сильные результаты на приведённых бенчмарках, включая задачи на знания, код и рассуждения. При повышенной температуре возможны смешение языков и небольшое снижение качества; авторы рекомендуют температуру 0.0, длину блока 32 и 32 шага генерации.

NVIDIA Llama-3.1-Nemotron-8B-UltraLong-4M-Instruct — языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров, дообученная для диалогов и работы с очень длинным контекстом. Она использует продолженное предобучение и донастройку на инструкциях; базовая модель — meta-llama/Llama-3.1-8B-Instruct. Модель предназначена для генерации ответов и анализа длинных текстовых последовательностей, включая большие документы и составные запросы. Заявленное окно контекста — до 4 млн токенов. Обучение на инструкциях охватывало общие задачи, математику и программирование. Карточка описывает английский язык; метаданные указывают тег en. Модель работает с текстом и доступна в формате safetensors для Transformers; также указаны чат-возможности и интерфейс вызова инструментов. По данным карточки, модель сохраняет конкурентные результаты на стандартных тестах и улучшает обработку сверхдлинного контекста. Лицензия CC-BY-NC-4.0 ограничивает коммерческое использование. Результаты и качество на конкретных сценариях могут отличаться; объём контекста сам по себе не гарантирует точное извлечение всей информации из длинного ввода.

YOYO-AI/Qwen3-30B-A3B-YOYO-V4 — объединённая текстовая модель YOYO-AI на архитектуре Qwen3 MoE для генерации текста и диалогов. По метаданным, она объединяет Qwen/Qwen3-30B-A3B-Instruct-2507, Qwen/Qwen3-30B-A3B-Thinking-2507 и Qwen/Qwen3-Coder-30B-A3B-Instruct. В README описан метод слияния cla-gm: для параметров моделей вычисляется устойчивый центр с использованием среднего, покоординатной медианы и итеративного алгоритма Вайсфельда. Модель принимает текст и выдаёт текст; заявлены интерфейс вызова инструментов и контекст до 262 144 токенов. В карточке также указано значение контекста 1 010 000 токенов, но оно не согласуется с метаданными. Языковые теги карточки — английский и китайский. Размер по метаданным — 2,6 млрд параметров; формат файлов — safetensors, точность в README — bfloat16. Лицензия — Apache-2.0. Модель предназначена для диалогов, следования инструкциям, рассуждений, задач с кодом и вызова инструментов в рамках генерации текста. Отдельных оценок качества, подробных языковых результатов и ограничений применения карточка не приводит.

TheCluster/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive-MLX-mxfp4 — это квантизированная версия мультимодальной модели Qwen3.5-35B-A3B, основанная на варианте HauhauCS/Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive. Модель преобразована в формат MLX и предназначена для локального запуска, генерации текста, программирования, рассуждений, а также обработки изображений и видео. Вариант Aggressive отличается усиленным удалением отказов от ответов; при этом модель иногда может добавлять стандартные дисклеймеры, не отказываясь от генерации основного содержания. Архитектура включает 35 миллиардов общих параметров и около 3 миллиардов активных параметров на токен благодаря MoE с 256 экспертами, из которых для каждого токена выбираются 8 маршрутизируемых и 1 общий эксперт. Используется гибридная схема Gated DeltaNet linear attention и полноформатного softmax-внимания в соотношении 3:1, всего 40 слоёв. Нативное контекстное окно составляет 262 тысячи токенов и может быть расширено до 1 миллиона с помощью YaRN. Модель поддерживает текст, изображения и видео, multi-token prediction, словарь из 248 тысяч токенов и 201 язык, включая русский, английский и китайский. К сильным сторонам относятся мультимодальность, очень длинный контекст, высокая вычислительная эффективность MoE и отсутствие встроенных отказов в Aggressive-варианте. Ограничения включают квантизацию mxfp4 с качеством около 4,402 bpw, зависимость производительности от совместимости с MLX и аппаратных ресурсов, а также потенциально менее предсказуемое поведение из-за снятия ограничений безопасности. В README указана лицензия Apache-2.0.

Occamy-1.0 — мультимодальная агентная модель AMAImedia для длительной совместной работы с инструментами, файлами, кодом, поиском и структурированными API. Эта версия репозитория объединяет Occamy-1.0 и Qwen3.6-35B-A3B; в карточке указаны форматы GGUF F16, Q4_K_M, Q8_0 и Safetensors. Модель сохраняет архитектуру Qwen3.6-35B-A3B с Mixture of Experts: 35 млрд параметров всего и около 3 млрд активных при обработке токена. Модель рассчитана на многошаговые рабочие процессы, требующие вызова инструментов, ведения состояния и восстановления после сбоев, а также на программирование в терминале и следование инструкциям. Она принимает текст и изображения и выдаёт текст; заявлены возможности чата и анализа изображений. Карточка отмечает поддержку множества языков, включая русский, английский и китайский. Точное ограничение контекста в предоставленных данных не приведено. Авторы позиционируют Occamy как модель для практической агентной работы с компактной активной частью MoE, но указывают, что у неё остаётся запас для задач с интенсивным поиском и симуляцией пользователя; взаимодействие с браузером или рабочим столом через визуальный интерфейс не входит в текущий обучающий интерфейс. Лицензия — Apache-2.0.

Qwen3.8-27B Hi-Fi (fraQtl) — это текстовая GGUF-версия модели Qwen3.8-27B, подготовленная участником сообщества fraQtl на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, включая задачи программирования, математики, общие текстовые сценарии и работу с длинным контекстом. Визуальная башня исходной модели не конвертирована, поэтому мультимодальные возможности в этой сборке отсутствуют. Модель использует квантизацию Q4_K_M с эффективностью около 4,8 бит на параметр и занимает примерно 16,5 ГБ, что ориентирует её на системы класса Snapdragon X-Elite и AI-PC, а не на смартфоны. Заявлен нативный контекст до 262 144 токенов; тестирование извлечения информации подтверждено для последовательностей длиной до 131 072 токенов. По данным README, по сравнению с эталонными сборками того же класса она обеспечивает более близкое к исходным весам поведение на задачах кода и математики, а также сопоставимые результаты на GSM8K и MATH-500. Ограничения включают возможное небольшое ухудшение качества: perplexity на Wikitext-2 выше на 0,7%, а совпадение ответов с исходной моделью в общих задачах ниже на 0,2 процентного пункта. Поддерживаемые языки отдельно не указаны. Модель распространяется по лицензии Apache-2.0.

rapid-mlx/Qwen3.8-27B-mixed-3.5bpw-MLX — это мультимодальная MLX-сборка модели Qwen3.8-27B от Qwen, подготовленная в виде активационно-ориентированной смешанной квантизации. Модель поддерживает ввод изображений и текста с генерацией текста, а также может работать в текстовом режиме. Сборка рассчитана прежде всего на компьютеры Apple Silicon с unified memory и запускается через Rapid-MLX, совместимый с OpenAI API. Модель предназначена для диалогов, анализа изображений, работы со знаниями, математического рассуждения и генерации кода. Средний размер квантизации составляет 3,5 bits-per-weight: языковые Linear-слои распределены между 2-, 3- и 4-битными представлениями, а vision tower сохранён в 4-битном виде. Размер модели на диске составляет около 13 ГБ; заявлены языки English и Chinese. По приведённым измерениям, модель обычно укладывается в 24 ГБ памяти Apple Silicon, использует примерно 14,6–16,5 ГБ в зависимости от сценария и не помещается в 16 ГБ. Сильная сторона сборки — заметное сокращение размера и пикового потребления памяти при сохранении результатов, близких к 4-битной и исходной bf16-версиям в задачах знаний, рассуждения и кода. Поддерживается опциональное ускорение через Multi-Token Prediction, однако его эффект зависит от чипа Apple. Ограничение — качество работы с изображениями ниже 4-битной версии: в MMBench-EN указано 86,7 против 90,3 балла. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-NVFP4 — это квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen. Квантизацию выполнила A2Genesis с использованием NVIDIA TensorRT Model Optimizer 0.45 и рецепта для семейства qwen3_5. Модель предназначена для генерации текста, рассуждений, программирования, работы с инструментами и сценариев image-text-to-text, включая обработку изображений при наличии соответствующей инфраструктуры. Модель использует смешанную точность: проекции MLP и lm_head представлены в NVFP4 с форматом W4A16, проекции внимания — в FP8, KV-кэш — в FP8, а vision tower, MTP head и отдельные свёрточные и gating-слои сохранены в BF16. Размер контрольной точки составляет около 21 ГБ вместо примерно 55 ГБ у BF16-версии. Доступен контекст до 262144 токенов при обслуживании через vLLM, а сохранение MTP-тензоров позволяет применять speculative decoding. Языки в README не указаны. Сильные стороны модели — существенно меньший размер, поддержка высокопроизводительного инференса на GPU Blackwell, совместимость с vLLM, инструментальными вызовами и сохранение мультимодальных компонентов. Ограничения связаны с потерями и возможными особенностями качества, характерными для посттренировочной квантизации; на видеокартах более ранних архитектур NVFP4 загружается через поддержку ModelOpt, но преимущества производительности могут быть ниже. Это общественная квантизация от A2Genesis, не связанная с официальной поддержкой Qwen или NVIDIA. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели Qwen3.8-27B.

Qwen-7B-Chat — диалоговая языковая модель семейства Qwen, разработанная Alibaba Cloud на основе предварительно обученной Qwen-7B с применением методов выравнивания. Это плотная Transformer-модель с архитектурой QWenLMHeadModel, 32 слоями, RoPE, SwiGLU и RMSNorm. В метаданных указано 11,4 млрд параметров и контекст длиной 32 768 токенов. Модель предназначена для многоходовых диалогов и генерации текста: она отвечает на вопросы, помогает с кодом и математическими задачами, а также может использоваться для длинных последовательностей и вызова внешних инструментов. README описывает токенизатор на основе tiktoken с большим словарём, ориентированным на китайский, английский и код; метаданные также указывают китайский и английский языки. Репозиторий содержит веса safetensors. Модель проверялась на китайском и английском понимании, математике, программировании, длинном контексте и использовании инструментов. Результаты могут колебаться из-за аппаратных и программных различий; при дообучении следует учитывать особенности специальных токенов токенизатора. Лицензия указана как other, поэтому перед использованием нужно проверить условия лицензирования в карточке модели.

Ternary-Bonsai-2-27B-mlx-2bit — производная от Qwen/Qwen3.8-27B модель Prism ML для генерации текста, диалогов и рассуждений. Это плотная гибридная трансформерная архитектура с 27,36 млрд параметров: языковая часть использует линейное и полное внимание, SwiGLU, RoPE и RMSNorm; в комплект также входит башня зрения. Весы языковой модели представлены значениями −1, 0 и +1 с групповым масштабированием и вращением Адамара, тогда как башня зрения не квантизирована. Репозиторий весит 8,60 ГБ и предназначен для запуска через MLX на устройствах Apple, включая локальные сценарии без сети; заявленная длина контекста — 262 тысячи токенов. Модель рассчитана на локальных диалоговых и агентных помощников, анализ длинных документов и репозиториев кода, математические рассуждения и вызов инструментов. Разработчик сообщает о сохранении 98,2% среднего результата FP16 на 14 тестах и скорости около 47 токенов в секунду на ноутбуке с Apple M5 Max; показатели производительности зависят от оборудования и runtime. Основное ограничение — небольшая потеря качества по сравнению с полной точностью, а низкобитные ядра могут работать медленнее на некоторых GPU. Лицензия — Apache-2.0.

Yi-1.5-9B-32K — плотная авторегрессионная языковая модель семейства Llama, разработанная компанией 01.AI. Это базовая версия модели Yi-1.5 с 8,6 млрд параметров и контекстным окном до 32 768 токенов. Семейство Yi-1.5 прошло дополнительное предобучение на высококачественном корпусе объёмом 500 млрд токенов и настройку на 3 млн разнообразных примеров. Модель предназначена для генерации текста и может служить основой для задач понимания языка, чтения и ответов по тексту, рассуждений, математики, программирования и следования инструкциям. Карточка семейства отмечает улучшения в этих задачах относительно Yi; конкретные сценарии зависят от приложения и настроек генерации. Доступна в формате safetensors и выпущена под лицензией Apache 2.0. Карточка не приводит отдельной оценки качества именно версии с контекстом 32K; как базовая модель, она может требовать дополнительной настройки для диалогового или специализированного применения.

Apodex-1.1-mini-GGUF — набор GGUF-квантизаций модели Apodex-1.1-mini, опубликованный организацией apodex; в README результаты оценки исходной модели связываются с Apodex AI. Это 35,95-миллиардная MoE-модель семейства Qwen3.5, предназначенная для исследовательской работы, анализа данных и файлов, программирования и задач с использованием инструментов. Поддерживаются английский и китайский языки, генерация текста и мультимодальный ввод изображений через отдельный vision projector. Модель сохраняет исходную MTP/NextN head, что позволяет использовать speculative decoding в llama.cpp. Доступны варианты квантизации от IQ1_M размером 8,82 ГБ до Q8_0 размером 37,8 ГБ; рекомендуемым вариантом по умолчанию указан Q4_K_M размером 21,7 ГБ. Для работы с изображениями требуется F16-проектор размером 899 МБ. README не указывает полный размер контекста, поэтому его характеристики нельзя определить по представленным данным. Модель ориентирована на локальный запуск через актуальную сборку llama.cpp и поддерживает агентские сценарии, код, работу с данными и изображениями. Сильными сторонами являются широкий выбор уровней квантизации, поддержка MoE, мультимодальности и MTP. Ограничения включают зависимость от совместимых компонентов llama.cpp и необходимость отдельного проектора для изображений; качество и производительность зависят от выбранной квантизации и доступной памяти. Лицензия — Apache-2.0.

DeepSeek-R1-Distill-Qwen-32B-bf16 — языковая модель с архитектурой Qwen2, опубликованная сообществом mlx-community в формате MLX для запуска на устройствах Apple Silicon. Репозиторий содержит 32-миллиардную модель, конвертированную из deepseek-ai/DeepSeek-R1-Distill-Qwen-32B с помощью mlx-lm 0.21.1; исходная модель является дистилляцией DeepSeek-R1 на базе Qwen. Модель предназначена для диалоговой генерации текста и рассуждений, в том числе для решения задач по математике и программированию. Заявленная длина контекста составляет 131072 токена. Поддерживаются чат и интерфейс вызова инструментов. В карточке указана лицензия Apache-2.0. Ограничения по качеству и условиям применения в README не описаны.

Dolphin-2.9.1-Llama-3-8B-GGUF — квантизированная версия языковой модели Dolphin-2.9.1-Llama-3-8B, созданной cognitivecomputations на базе Meta Llama 3 8B. Дистрибутив подготовлен bartowski в формате GGUF с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, программирование, математические задачи, function calling и агентские задачи. При дообучении использовались наборы Dolphin-2.9, OpenHermes-2.5, CodeFeedback-Filtered-Instruction, dolphin-coder, Samantha, Orca Math, Locutusque Function Calling и Agent-FLAN. Доступны варианты квантизации от Q8_0 до низкобитных IQ- и Q-форматов, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Для работы предусмотрен chat-шаблон с ролями system, user и assistant. Сильной стороной модели является широкий охват инструкционных, кодовых, математических и инструментальных сценариев, а также возможность локального запуска через llama.cpp благодаря форматам GGUF. Более сильные варианты квантизации обычно обеспечивают лучшее качество, но требуют больше памяти; низкобитные варианты экономичнее, однако заметно уступают по качеству. Мультимодальность, поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. Лицензия обозначена как other, без дополнительных условий в README.

QuantFactory/dolphin-2.9.1-yi-1.5-9b-GGUF — это квантизированная с помощью llama.cpp версия модели cognitivecomputations/dolphin-2.9.1-yi-1.5-9b, разработанной и обученной Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе Yi-1.5-9B. Модель предназначена для генерации текста, диалогов, выполнения инструкций, программирования, математических задач, начальных агентских сценариев и function calling. Модель относится к классу авторегрессионных текстовых моделей с архитектурой LlamaForCausalLM и использует формат промптов ChatML. Указан размер базовой модели — 9 миллиардов параметров; исходная модель имеет контекст 4K, а дообучение выполнялось на последовательностях длиной 12K с использованием RoPE theta 1000000.0. README не указывает поддерживаемые языки и точный вариант квантизации GGUF. Сильными сторонами заявлены широкий набор инструкционных, разговорных и кодовых навыков, поддержка function calling и результат 70,9 на MMLU для версии 9B. Модель описывается как uncensored: из обучающих данных удалялись alignment и bias, поэтому она может быть чрезмерно послушной и генерировать небезопасный или неэтичный контент. Перед использованием в сервисах рекомендуется добавить собственный слой выравнивания и фильтрации. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое использование.

Gistral-16B — разговорная языковая модель ehristoforu для генерации текста. Она создана слиянием нескольких моделей семейства Mistral, включая русскоязычную Saiga, модели для математики и кода, а также варианты с расширенным контекстом и диалоговой настройкой. Архитектура — плотная MistralForCausalLM; размер составляет 16,7 млрд параметров, веса доступны в формате safetensors, модель работает через Transformers. Модель предназначена для диалогов, следования инструкциям, решения математических задач и помощи с кодом. В карточке заявлена поддержка английского, французского, русского, немецкого, японского, китайского, корейского, итальянского и украинского языков. Метаданные указывают на нативный контекст в 32 768 токенов. Модель распространяется по лицензии Apache-2.0. Качество и поведение могут различаться между задачами, поскольку модель объединяет несколько специализированных чекпойнтов. Упоминание варианта Yarn на 128k среди компонентов слияния не меняет указанный в метаданных нативный контекст самой модели — 32 768 токенов.

GKA-primed-HQwen3-8B-Reasoner — гибридная языковая модель Amazon, созданная на основе Qwen3-8B с помощью конвейера Hybrid Model Factory Priming. В ней 18 слоёв Attention и 18 слоёв Gated KalmaNet (GKA), слоя пространства состояний, который выполняет онлайн-регрессию с постоянным объёмом памяти и линейной стоимостью по длине последовательности. Модель содержит 7,6 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста, многошаговых рассуждений на длинном контексте, решения математических и научных задач, программирования, следования инструкциям и вызова инструментов. Поддерживает режимы рассуждения с пошаговой внутренней генерацией и без него. По данным авторов, гибридная архитектура снижает нагрузку на KV-кэш и ускоряет инференс на длинных контекстах, сохраняя качество, близкое к Qwen3-8B; результаты различаются в зависимости от задачи. Карточка приводит слабый результат на SciCode относительно базовой модели. Модель доступна в формате Safetensors, точность в карточке указана как bfloat16. Лицензия — Apache 2.0. Для длинных генераций авторы рекомендуют vLLM; точность генерации на длинном контексте зависит от настроек кэша.

GLM-4.7-Flash-NVFP4-GGUF — квантизированная версия языковой модели GLM-4.7-Flash, разработанной Zhipu AI и представленной в формате GGUF. Это модель архитектуры Mixture-of-Experts на базе DeepSeek2 с Multi-head Latent Attention: около 30 млрд параметров всего, из которых примерно 3,2 млрд активны на токен; используются 64 маршрутизируемых эксперта и один общий. Контекст составляет 200 000 токенов. Модель предназначена для генерации текста в диалоге, рассуждений и программирования на английском и китайском языках. Квантизация NVFP4 до примерно 4,53 бит на вес уменьшает размер файла до 15,79 ГБ и рассчитана на эффективный запуск на GPU NVIDIA Blackwell. Режим рассуждений включён по умолчанию; модель не имеет визуального энкодера. Это преобразование базовой модели в формат GGUF с квантизацией NVFP4. Репозиторий распространяется по лицензии MIT. Качество после квантизации может отличаться от исходной модели; для работы с NVFP4 требуется совместимое программное и аппаратное обеспечение.

Solstice-AI/GLM-5.3-Flash-UNCENSORED-AWQ — мультимодальная языковая модель, основанная на архитектуре GLM-5.3-Flash. Исходную архитектуру разработала Zhipu AI / ZAI, uncensored-веса подготовила dealignai, а Solstice-AI выпустила эту AWQ-квантизованную версию. Модель предназначена для генерации и анализа текста, программирования, математических и логических задач, а также понимания изображений и видео. Заявлены поддерживаемые языки английский и китайский. Модель использует MoE-архитектуру с 320 млрд общих параметров, 288 маршрутизируемыми экспертами и примерно 18 млрд активных параметров на токен. Применяется формат W4A16 AWQ: веса квантизованы до INT4 с group_size=128, а активации сохраняются в 16-битном формате. Визуальные компоненты, механизмы внимания, маршрутизаторы MoE, эмбеддинги и языковая голова оставлены без квантизации. В README указана поддержка контекста до 131 072 токенов, а также speculative decoding с DFlash 2. К сильным сторонам относятся сочетание больших возможностей MoE-модели с уменьшенным размером весов, мультимодальность, поддержка длинного контекста и сценариев программирования, математики, анализа изображений и видео. Ограничения включают очень высокую общую ёмкость модели и, как следствие, значительные требования к памяти и вычислительным ресурсам, несмотря на INT4-квантизацию; для запуска требуются совместимые движки, например vLLM или SGLang. Показатели качества и отсутствие отказов приведены авторами README и не подтверждены независимой проверкой. Лицензия — MIT.

GPT-OSS-Swallow 120B RL v0.1 MXFP4 — крупная двуязычная языковая модель, разработанная командой Tokyo Institute of Technology (Tokyo Tech) на базе GPT-OSS. Модель содержит 120 млрд параметров и предназначена для генерации текста, рассуждений, работы с математическими задачами, программным кодом, японско-английским переводом и другими сценариями, требующими понимания японского и английского языков. Данная версия распространяется в формате MXFP4 и ориентирована на запуск через Transformers и vLLM. Модель обучалась в несколько этапов: Continual Pre-Training, Supervised Fine-Tuning и Reinforcement Learning with Verifiable Rewards. Для улучшения японского языка и перевода использовались специализированные процедуры обучения, а математические и кодовые датасеты помогли сохранить STEM-компетенции и снизить деградацию этих навыков. Среди сильных сторон заявлены двуязычная специализация, повышенное качество японско-английского перевода, математические и программные способности, а также уровень рассуждений, сопоставимый с исходными моделями GPT-OSS или превосходящий их в отдельных задачах. В карточке не указаны точная архитектура, токенизатор и максимальная длина контекста: за этими сведениями предлагается обращаться к документации GPT-OSS. Модель требует значительных вычислительных ресурсов из-за размера; для наиболее надежной и воспроизводимой работы рекомендуется vLLM, при этом поддерживается распределение по нескольким GPU. Лицензия Apache-2.0.