II.2Создание и понимание программного кода

ZEUS-8B-V26 — объединённая языковая модель на архитектуре Llama 3.1, созданная с помощью mergekit методом DARE TIES. В объединение вошли instruct- и reasoning-модели, включая HuatuoGPT-o1, Skywork-o1, Llama-3.1-Storm, SauerkrautLM и другие; базой в README названа unsloth/Meta-Llama-3.1-8B-Instruct. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов; интерфейс также поддерживает вызов инструментов. Метаданные указывают библиотеку Transformers и формат safetensors. В README приведены результаты Open LLM Leaderboard, включая 67,08% на IFEval и 32,25% на BBH; эти показатели относятся к указанной оценке и сами по себе не гарантируют качество в других сценариях. Данные о лицензии и поддерживаемых языках в предоставленных источниках отсутствуют. В README также не описаны специальные ограничения на применение.

Breeze-13B-32k-Instruct-v1_0 — чат-модель на базе архитектуры Mistral, созданная MediaTek Research с помощью объединения моделей через mergekit. В карточке в качестве компонентов слияния указан MediaTek-Research/Breeze-7B-32k-Instruct-v1_0; запись повторяется несколько раз. Метаданные указывают 12,5 млрд параметров, плотную архитектуру и контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. Длинный контекст позволяет использовать её для ответов по объёмным текстам и продолжительных диалогов. Репозиторий содержит веса safetensors. Лицензия — Apache 2.0.

GPT-5 Mini — компактная версия GPT-5 от OpenAI для задач рассуждения с умеренной вычислительной нагрузкой. Она рассчитана на сценарии, где важны меньшие задержки и стоимость при сохранении навыков следования инструкциям и настройки безопасности, характерных для GPT-5.

RedHatAI/Kimi-K3-NVFP4 — квантизированная версия модели moonshotai/Kimi-K3, разработанная RedHatAI. Это мультимодальная модель архитектуры KimiK3ForConditionalGeneration, принимающая текст и изображения и генерирующая текст. Модель предназначена для задач понимания и обработки текста и изображений, включая сценарии инференса через vLLM. В модели применена FP4-квантизация весов и активаций MoE-экспертов с использованием LLM Compressor и формата compressed-tensors. Линейные операторы MoE-экспертов квантизированы с 16 до 4 бит, что уменьшает размер на диске и требования к памяти GPU для этих слоёв примерно на 75%. Attention, shared experts и другие неквантизированные слои сохраняют исходную точность. Размер модели, поддерживаемые языки и длина контекста в README не указаны. К сильным сторонам относятся существенное снижение потребления памяти и готовность к инференсу в vLLM при сохранении высокой доли качества исходной модели: на GPQA Diamond достигнуто 91,0 против 93,5 у неквантизированной версии, что соответствует восстановлению 97,33% качества. Ограничением является небольшое снижение точности, а также необходимость совместимой версии vLLM и специальной конфигурации развертывания; в README приведён сценарий с tensor parallel size 8. Лицензия указана как other, с названием kimi-k3.

Ling-2.5-1T — открытая языковая модель компании Inclusive Intelligence для диалогов, генерации текста, рассуждений и работы с инструментами. Она построена на гибридной архитектуре Bailing MoE с линейным вниманием; в карточке Hugging Face указано 59 млрд параметров, а разработчик сообщает о 1 трлн общих и 63 млрд активных параметров. Эти оценки размера различаются. Модель распространяется в формате safetensors и поддерживает интерфейс вызова инструментов. Модель рассчитана на следование инструкциям, творческое письмо, сложные рассуждения, агентные сценарии и обработку длинных контекстов. README заявляет контекст до 1 млн токенов с YaRN; метаданные указывают нативный контекст 131 072 токена. Разработчик сообщает об обучении на 29 трлн токенов и улучшении пропускной способности при длинной генерации. Модель выпущена под лицензией MIT. В README отмечено, что она пока уступает передовым моделям в сложных взаимодействиях агентов и длительном выполнении задач. Указания на поддержку конкретных естественных языков в предоставленных данных отсутствуют.

Ling-3.0-flash-VL GGUF — GGUF-конверсия мультимодальной модели inclusionAI/Ling-3.0-flash-VL, подготовленная bloomer010 для запуска через llama.cpp. Это Mixture-of-Experts-модель с 124 млрд общих параметров и примерно 5,5 млрд активируемых параметров на токен. Она поддерживает текстовые, графические и видео-входы и предназначена для мультимодального понимания, рассуждений, выполнения агентских задач и проверки результатов. Заявлено контекстное окно до 256K токенов, однако в README отдельно указана поддержка до 128K, поэтому фактический предел зависит от используемой сборки и конфигурации. Для обработки изображений требуется отдельный файл mmproj-model-f16.gguf размером около 875 МБ; текстовый чат может работать без него. Модель рассчитана на использование с llama.cpp, но пока требует сборки с ещё не объединённым PR для архитектуры bailingmoe3vl и визуального проектора Ling VL. Доступны различные варианты квантования от BF16 до Q3_K_M, что позволяет адаптировать требования к памяти, но уменьшение размера может снижать точность и стабильность ответов. Поддерживаются режим рассуждений и ускорение speculative decoding через DSpark, хотя выигрыш в скорости зависит от оборудования и сценария. Лицензия — MIT.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-quantized.w4a16 — мультимодальная instruct-модель, разработанная Red Hat совместно с Neural Magic на основе Meta Llama-4-Scout-17B-16E-Instruct. Она предназначена для диалоговых приложений, генерации и обработки текста, а также задач image-text-to-text с изображениями и текстовыми запросами на входе и текстом на выходе. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель использует архитектуру Llama4ForConditionalGeneration. Её веса квантизированы в INT4 по схеме W4A16 без квантизации активаций, что примерно на 75% снижает требования к памяти GPU и размер на диске по сравнению с представлением весов в 16 бит. Для инференса предусмотрена интеграция с vLLM, Red Hat AI Inference Server, Red Hat Enterprise Linux AI и OpenShift AI; модель валидирована в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и сниженные требования к ресурсам благодаря квантизации. README не указывает число активируемых параметров, максимальную длину контекста, точные показатели качества или аппаратные требования, поэтому производительность в конкретных сценариях следует проверять отдельно. Модель выпущена 25 апреля 2025 года и распространяется по лицензии Llama 4; применяются условия лицензии Meta Llama 4.

Ornith-1.0-35B-1M-GGUF — GGUF-сборка модели Ornith-1.0-35B от DeepReinforce, опубликованная satgeze. Это текстовая генеративная модель на базе 35B MoE-архитектуры семейства Qwen3.5 с примерно 3B активных параметров. Сборка предназначена для локального запуска через llama.cpp и Ollama и расширена поддержкой длинного контекста, speculative decoding через MTP и обработки изображений. Ключевая особенность — контекстное окно до 1 048 576 токенов: масштабирование RoPE по YaRN встроено в метаданные GGUF, поэтому для llama.cpp и Ollama не требуются дополнительные параметры. В README заявлена проверка поиска информации по длинному контексту: 50 из 50 тестовых фрагментов найдены на диапазоне до 1M токенов. MTP-сборка Q6_K показала рост скорости декодирования с 267,9 до 382,9 токена в секунду, или примерно на 43%; для APEX-Compact заявлен прирост 14%. Визуальный модуль подключается отдельным файлом mmproj и, по данным README, распознаёт текст на изображениях и объекты. Модель подходит для генерации текста, работы с большими документами и другими задачами, требующими очень длинного контекста, а также для мультимодальных сценариев с изображениями. Доступны варианты квантования различного размера; рекомендуемые MTP-файлы занимают 17,0 и 29,2 ГБ, а визуальный модуль — 899 МБ. Ограничения включают высокие требования к оперативной или видеопамяти, зависимость производительности от оборудования и потенциальные потери качества при выборе более агрессивного квантования. Модель распространяется по лицензии MIT.

YOYO-AI/Qwen3-30B-A3B-Mixture-2507 — объединённая модель от YOYO-AI на архитектуре Qwen3 MoE. Она создана слиянием Qwen/Qwen3-30B-A3B-Thinking-2507 и Qwen/Qwen3-30B-A3B-Instruct-2507 методом nuslerp; в README указаны параметры float32 для слияния и bfloat16 для выходных весов. Модель предназначена для диалогов, выполнения инструкций и генерации текста, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Метаданные указывают английский и китайский языки, активный размер — 2,6 млрд параметров, контекст — до 262 144 токенов. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Практическое качество и ограничения отдельно не описаны; характеристики унаследованных режимов Instruct и Thinking для объединённой модели не уточнены.

DictaLM 3.0 24B Thinking — разговорная reasoning-модель семейства Mistral, разработанная Dicta. Она предназначена для диалога и генерации ответов с предварительным рассуждением в отдельном блоке; также поддерживает вызов внешних инструментов и API. Модель содержит 23,4 млрд параметров, использует плотную архитектуру Mistral и принимает текстовые запросы, выдавая текстовые ответы. Она обучена на обширных корпусах на иврите и английском; длина контекста составляет 65 280 токенов. Для работы с инструкциями следует использовать шаблон чата модели. В карточке указаны веса safetensors и лицензия Apache-2.0.

duyntnet/gemma-3-12b-it-imatrix-GGUF — набор квантованных GGUF-вариантов инструкционно дообученной мультимодальной модели Gemma 3 12B IT, разработанной Google. Модель предназначена для генерации текста, ответов на вопросы, суммаризации, рассуждений и анализа изображений с выдачей текстового ответа. Квантованные варианты ориентированы на локальный запуск с ограниченными ресурсами через llama.cpp и совместимые клиенты, включая KoboldCPP, Ollama, LM Studio и другие. Модель принимает текст и изображения: изображения нормализуются до 896×896 пикселей и кодируются в 256 токенов каждое. Заявлены поддержка более 140 языков, контекст до 128K токенов для версии 12B и максимальный объём генерируемого текста до 8192 токенов. Использование imatrix-квантизации уменьшает требования к памяти по сравнению с полноразмерными весами, но конкретные характеристики качества и расхода ресурсов зависят от выбранного файла квантизации. Сильными сторонами являются мультимодальность, большой контекст, многоязычность и возможность локального развертывания. Ограничения включают зависимость от совместимого программного обеспечения: для запуска требуется llama.cpp версии b4875 или новее; квантование также может снижать точность по сравнению с исходной моделью. В README лицензия указана как other, без дополнительных условий, поэтому перед использованием необходимо проверить лицензионные положения исходной Gemma 3 12B IT и конкретного файла модели.

AtomicChat/gemma-4-E4B-it-GGUF — GGUF-квантизированная версия мультимодальной модели google/gemma-4-E4B-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также ориентирована на задачи, требующие рассуждений, с настраиваемыми режимами thinking. Модель имеет 4,5 млрд эффективных параметров, или 8 млрд параметров с учётом embeddings, 42 слоя и контекст до 128K токенов. Архитектура представляет собой плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используются 8 attention heads и 2 KV heads. В репозитории доступны варианты квантования от Q2_K до Q8_0, включая imatrix-квантизации. Importance matrix помогает уменьшить потерю качества в низкобитных вариантах; Q4_K_M рекомендован как сбалансированный вариант по размеру, скорости и качеству. Для обработки изображений поставляется vision-проектор mmproj. Сильные стороны модели — мультимодальность, большой контекст, возможность локального запуска и широкий выбор квантов под разные объёмы памяти. Ограничения связаны с потерями качества при наиболее компактном квантовании, потребностью правильно применять chat template Gemma 4 и необходимостью отдельного vision-проектора для изображений. Заявленные benchmark-результаты относятся к базовой модели Google, а не к независимым измерениям этого репозитория. Лицензия — Apache 2.0.

Granite 3.2 8B Instruct — языковая instruction-tuned модель семейства Granite, разработанная IBM (ibm-granite). Представленная версия — GGUF-квантизация исходной модели granite-3.2-8b-instruct, подготовленная bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие развитых способностей к рассуждению. Модель имеет размер 8 миллиардов параметров и поддерживает контекст длиной до 128 тысяч токенов. Она работает с текстом и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный инференс в совместимых инструментах, включая llama.cpp и LM Studio. К сильным сторонам относятся большой контекст, многоязычность и настройка на задачи, связанные с рассуждением. Ограничения включают влияние квантизации на качество по сравнению с исходной моделью, а также возможность получать неточные, неподходящие или вводящие в заблуждение ответы. В README не указаны конкретные параметры квантизации и требования к аппаратным ресурсам. Модель распространяется по лицензии Apache 2.0.

InternLM2.5-20B-Chat — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это плотная авторегрессионная модель с 19,3 млрд параметров и контекстом до 32 768 токенов, предназначенная для практических сценариев общения и выполнения инструкций. Модель принимает текст и генерирует текст; карточка описывает её возможности диалогового взаимодействия и сообщает об улучшенном выборе инструментов, многошаговых вызовах и анализе полученных результатов. Модель подходит для математических рассуждений, ответов на вопросы и построения диалоговых систем и агентов, использующих инструменты. В README приведены результаты OpenCompass, включая сильные показатели на CMMLU и BBH; они зависят от конфигурации и версии оценки. Весам доступен формат safetensors, а для коммерческого использования требуется бесплатное разрешение; код репозитория выпущен под Apache-2.0. Модель может выдавать предвзятые, дискриминационные или иные вредоносные и неожиданные ответы. Результаты генерации требуют проверки, особенно при использовании в приложениях с последствиями для пользователей.

L3.3-70B-Magnum-v4-SE-Cirrus-x1-ModelStock — объединённая модель для генерации текста и диалогов, созданная с помощью mergekit методом Model Stock. В качестве основы использована meta-llama/Llama-3.3-70B-Instruct, в объединение также вошли Sao10K/70B-L3.3-Cirrus-x1 и Doctor-Shotgun/L3.3-70B-Magnum-v4-SE. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 69,5 млрд параметров. Она принимает текст и генерирует текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. В карточке заявлены мультиязычные возможности базовой модели, но конкретные языки для этого чекпойнта не перечислены. Модель подходит для диалоговых ассистентов и генерации текста с длинным контекстом. Репозиторий содержит веса safetensors; лицензия в предоставленных данных не указана.

Ministral 3 14B Instruct 2512 — мультимодальная модель Mistral AI для диалогов и выполнения инструкций, дообученная на базе Ministral 3 14B Base 2512 и представленная в формате FP8. Архитектура Mistral3 включает языковую модель на 13,5 млрд параметров и визуальный энкодер на 0,4 млрд; веса хранятся в safetensors, для запуска рекомендуется vLLM. Модель рассчитана на локальное и периферийное развертывание, в частности для приватных ассистентов и агентных сценариев. Она принимает текст и изображения, умеет анализировать визуальное содержимое, следовать системным инструкциям, вызывать функции и формировать JSON. Поддерживает контекст до 256 тысяч токенов и многоязычное взаимодействие, включая английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. В README заявлены результаты, сопоставимые с более крупной Mistral Small 3.2 24B; для запуска в FP8 указано требование около 24 ГБ VRAM, а дополнительная квантизация может снизить его. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Качество может зависеть от аппаратуры и настроек; для изображений рекомендуется близкое к квадратному соотношение сторон, а для повседневного использования — температура ниже 0,1.

EnlistedGhost/Ministral-3-8B-Reasoning-2512-GGUF — это конвертированная и квантованная версия Ministral-3-8B-Reasoning-2512-BF16, первоначально разработанной MistralAI. Модель распространяется в формате GGUF и предназначена для запуска через Ollama и llama.cpp. Модель ориентирована на диалоговые задачи, рассуждения и работу с текстом и изображениями. Она поддерживает мультимодальный сценарий image-text-to-text, включая чтение изображений, а также многоязычную работу с английским, французским, испанским, немецким, итальянским, португальским, нидерландским, китайским, японским, корейским, арабским и русским языками. Заявлен размер 8B параметров; точная длина контекста базовой модели не указана, но шаблон чата предусматривает скользящее окно примерно из 46 взаимодействий. К сильным сторонам относятся совместимость с Ollama и llama.cpp, наличие vision-проекторов для мультимодальной обработки и несколько вариантов квантования, позволяющих выбирать компромисс между качеством и требованиями к ресурсам. Ограничением является отмеченная автором проблема с шаблоном чата: при загрузке с Hugging Face он может некорректно активировать теги рассуждений. Модель выпущена под лицензией Apache-2.0.

QRWKV-72B — крупная разговорная языковая модель от Featherless AI, представленная в работе RADLADS о дистилляции быстрого внимания для декодеров с линейным вниманием. Это плотная архитектура RWKV6Qwen2 с 71,5 млрд параметров, полученная преобразованием Qwen 2.5 72B в вариант RWKV без предварительного обучения базовой модели заново. Модель генерирует текст, поддерживает чат и интерфейс вызова инструментов; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов, генерации ответов и задач рассуждения с длинным контекстом. В README приведены результаты бенчмарков ARC и HellaSwag, где QRWKV-72B в некоторых сравнениях превосходит Qwen2.5-72B-Instruct, но это не гарантирует такого же качества в других задачах. Модель унаследовала знания и обучение языкам от Qwen и рассчитана примерно на 30 языков. Файлы опубликованы в формате safetensors; для Transformers требуется включить удалённый код. Лицензия указана как other, конкретные условия в доступных сведениях не раскрыты.

Qwen3.6-27B-Fable-Uncensored — 27-миллиардная плотная модель семейства Qwen3.5 от Lemura Labs, дообученная на основе lemuralabs/Qwen3.6-27B-Fable-Agentic. Она предназначена для диалогов, пошаговых рассуждений, общих вопросов и многошагового вызова инструментов. Архитектура поддерживает текст и изображения; README описывает работу с инструментами в нескольких ходах диалога. В тестах, приведённых авторами, модель показала 88,29% на MMLU-Pro, 97,67% на GSM8K и 56,57% на GPQA-Diamond. У модели снижено число отказов от запросов, поэтому она может отвечать на запросы, которые отклонила бы модель с более строгими ограничениями. Указанная в метаданных лицензия — Apache-2.0; README также рекомендует учитывать лицензии базовой модели и обучающих данных. Длина контекста в метаданных не приведена; пример запуска задаёт максимальную длину 16 384 токена, что является параметром конфигурации запуска.

Avesed/Qwen3.8-27B-INT4-W4A16 — это квантизированная версия Qwen/Qwen3.8-27B, разработанная сообществом Avesed. Модель относится к гибридным плотным vision-language моделям: сочетает линейное внимание GatedDeltaNet с периодическим полным вниманием, имеет встроенную vision tower и MTP head для спекулятивного декодирования. Она поддерживает английский и китайский языки, а также обработку изображений и текста. Модель предназначена для генерации и перевода текста, рассуждений, математических задач и мультимодальных сценариев с изображениями. Используется INT4 weight-only квантизация W4A16 с AWQ, symmetric INT4 weights и group size 32. Размер чекпойнта составляет около 20 ГБ, поэтому веса помещаются на одной GPU с 24 ГБ памяти; для обслуживания через vLLM в README указана конфигурация tensor parallel на двух RTX 3090. В чувствительных к качеству компонентах, включая embeddings, lm_head, vision tower и MTP head, сохранён формат bfloat16. На GSM8K модель показала результат 96,4% при описанном в README протоколе оценки; заявлена работоспособность китайской и английской генерации, перевода, vision path и режимов reasoning. MTP-спекулятивное декодирование обеспечивает среднюю длину принятой последовательности около 2,4 токена из 3 при K=2. Ограничения включают зависимость результатов от протокола оценки и параметров сэмплирования, отсутствие результатов MMLU-Pro, а также заметную зависимость производительности от аппаратной конфигурации. Для запуска рекомендуется vLLM; лицензия — Apache-2.0.

Qwen3.8-27B-Pessoa-5090 (AR11) — квантованный вариант Qwen/Qwen3.8-27B, подготовленный автором lribeiro. Это vision-language model для обработки текста и изображений, включая сценарии image-text-to-text; языковая часть поддерживает multilingual-данные. Модель предназначена для запуска через vLLM на одной видеокарте NVIDIA RTX 5090 с архитектурой Blackwell SM120 и поддерживает speculative decoding с помощью MTP. Модель содержит 27,79 млрд параметров и использует архитектуру Qwen3_5ForConditionalGeneration: 27-слойный ViT-энкодер изображений и языковую модель из 64 слоёв, объединяющую 48 слоёв линейного внимания GatedDeltaNet и 16 слоёв полного внимания. Максимальный контекст составляет 262 144 токена, словарь — 248 320 токенов. Квантование выполнено методом AutoRound 0.14.2 в формате compressed-tensors: ранние MLP-слои используют INT4, поздние — INT5, а проекции внимания — INT6; активации, KV-cache, визуальный энкодер, эмбеддинги, lm_head и MTP-head сохраняются в BF16. Главное преимущество — уменьшение размера с 55,6 до 22,59 ГБ при сохранении качества: заявлены KLD 0,00397 наты и совпадение top-1 в 97,64% случаев на тесте из 278 392 позиций. Ограничения включают зависимость от совместимого стека vLLM, FlashInfer и оборудования Blackwell, а также потенциальные потери точности из-за квантования весов. Модель распространяется по лицензии Apache-2.0.

Apertus-8B-Instruct-2509 — многоязычная языковая модель для генерации текста и диалогов, опубликованная в репозитории unsloth как дообученная версия swiss-ai/Apertus-8B-2509. Это плотный decoder-only Transformer семейства Apertus с 10,3 млрд параметров и контекстом до 65 536 токенов; модель работает через Transformers и поддерживает интерфейс вызова инструментов. Модель предназначена для многоязычных диалогов, генерации текста и сценариев с длинными документами. В карточке семейство Apertus описано как поддерживающее более 1 800 языков; конкретный основной язык для этой версии не выделен. Модель обучалась на открытых данных с опубликованными сведениями о процессе обучения, а базовое семейство разработано Swiss AI Initiative. Модель может генерировать фактически неверный или нелогичный текст и воспроизводить предвзятости данных. Для неё не предоставлен фильтр выходных данных, в том числе для персональных данных; важные ответы следует проверять. Лицензия — Apache-2.0.

Это форк FLAN-T5 XXL, опубликованный philschmid на Hugging Face. Модель представляет собой плотную encoder-decoder архитектуру T5ForConditionalGeneration с 5,8 млрд параметров и предназначена для генерации текста по текстовому запросу. В карточке приведён пример развёртывания на Inference Endpoints и пользовательского обработчика для запуска на одном NVIDIA A10G; файлы модели представлены в формате PyTorch. FLAN-T5 прошла инструкционное дообучение на более чем тысяче дополнительных задач и рассчитана на широкий круг сценариев: ответы на вопросы, суммаризацию, перевод и другие задачи преобразования текста. README заявляет поддержку английского, русского и множества других языков. Лицензия — Apache 2.0. Указание README на «квантизированную» версию расходится с метаданными, где формат обозначен как PyTorch; подтверждения конкретного формата квантизации в метаданных нет.

cyankiwi/GLM-4.6V-Flash-AWQ-4bit — 4-битная AWQ-квантизированная версия GLM-4.6V-Flash, разработанная Ton Cao на основе модели GLM-4.6V-Flash от Z.ai. Модель относится к семейству GLM-V и предназначена для локального развертывания и приложений с низкой задержкой. Это мультимодальная модель для задач image-text-to-text: она обрабатывает изображения и текст, поддерживает китайский и английский языки, а также сценарии визуального понимания документов, таблиц, графиков, интерфейсов и скриншотов. Семейство GLM-4.6V заявляет поддержку контекста до 128K токенов, мультимодального function calling, анализа многостраничных документов, генерации смешанного текстово-графического контента и восстановления HTML/CSS по скриншотам; README не уточняет, одинаково ли все эти возможности реализованы именно в данной AWQ-версии. Размер базовой GLM-4.6V-Flash составляет 9B параметров. Квантизация выполнена методом AWQ с точностью 4 бита и group size 32, с использованием llm-compressor и набора 5CD-AI/LLaVA-CoT-o1-Instruct. Заявленный объём памяти снижен примерно с 19,2 до 8,3 ГБ, что делает модель более подходящей для локального запуска. Для инференса рекомендуется vLLM; README не приводит подробных результатов бенчмарков или анализа возможной потери качества после квантизации. Модель распространяется по лицензии MIT. Для запуска указаны vLLM и актуальная версия Transformers.

unsloth/Llama-3.2-3B-unsloth-bnb-4bit — это 4-битная квантизованная версия instruction-tuned модели meta-llama/Llama-3.2-3B-Instruct, подготовленная Unsloth на базе модели Meta. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на многоязычный диалог, включая задачи агентного поиска и извлечения информации, суммаризации и общего текстового взаимодействия. Она работает в режиме «текст на входе — текст на выходе» и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Версия содержит около 3 млрд параметров; размер контекста в предоставленных данных не указан. Ключевое преимущество варианта — снижение требований к памяти за счёт 4-битной квантизации Unsloth Dynamic 4-bit, которая выборочно сохраняет отдельные параметры для уменьшения потери точности по сравнению со стандартной 4-битной квантизацией. Ограничения включают меньший размер и, следовательно, потенциально более низкие возможности по сравнению с крупными моделями, а также отсутствие заявленной поддержки изображений и других модальностей. Модель статична и обучена на офлайн-данных, поэтому не обладает встроенными актуальными знаниями. Использование регулируется лицензией Llama 3.2 и соответствующей Acceptable Use Policy. Для языков, не входящих в официальный перечень, допустима дополнительная настройка при соблюдении этих условий.

FreedomAISVR/Muse-Glimmer-30B-NVFP4-GGUF — квантованная сборка Muse-Glimmer-30B от Meta в формате GGUF для локального запуска через llama.cpp. Это плотный причинный трансформер с интегрированным визуальным энкодером; базовая модель насчитывает 27,8 млрд параметров и принимает изображения, в том числе снимки экрана, диаграммы и документы. Контекст достигает 131 тыс. токенов. Сборка использует NVIDIA NVFP4: 4-битные значения E2M1 с масштабированием E4M3 на группы из 16 значений; размер файла — 15,6 ГБ. Модель предназначена для генерации текста и диалогов, а также анализа изображений при локальном инференсе. Для работы с изображениями README рекомендует llama-mtmd-cli или llama-server с mmproj. Проверенная конфигурация использует llama.cpp 1647+ с поддержкой CUDA и видеокарту NVIDIA с 16 ГБ видеопамяти; NVFP4 рассчитан на GPU NVIDIA Blackwell, например RTX 50-й серии. В README приведены результаты на RTX 5060 Ti 16 ГБ: 80,2 токена/с обработки входа и 8,7 токена/с генерации. README указывает лицензию Apache 2.0 для базовой модели. Среди ограничений — требования к совместимому GPU и CUDA-ядрам; отключение рассуждений через конфигурацию не гарантируется, поэтому автор рекомендует параметр --reasoning off при запуске.

pankajmathur/orca_mini_v7_72b — разговорная языковая модель на архитектуре Qwen2, созданная Pankaj Mathur и дообученная на различных наборах данных для SFT. Она предназначена для ответов в диалоге и выполнения широкого круга текстовых запросов; использовать её можно как основу для дальнейшего дообучения и слияния с другими моделями при указании авторства. Модель содержит 71,5 млрд параметров, принимает текст и выдаёт текст, поддерживает контекст длиной 32 768 токенов и формат диалога ChatML. README описывает расширение контекста с помощью YARN при развёртывании через vLLM. Модель опубликована под лицензией Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая средний балл 39,06 и 59,30 на IFEval; эти показатели относятся к указанной оценке и не гарантируют качество для конкретного сценария. Для vLLM статическая настройка YARN может снижать производительность на коротких запросах.

Ex0bit/Qwen3.5-122B-A10B-PRISM-PRO-GGUF — мультимодальная чат-модель Ex0bit в формате GGUF, созданная на основе Qwen/Qwen3.5-122B-A10B и предназначенная для запуска через llama.cpp. По описанию автора, PRISM-PRO изменяет механизмы отказа и предвзятости; доступная Dynamic-квантизация размером 57,7 ГБ использует разные уровни точности для блоков модели, а веса внимания сохранены в Q8_0. В репозитории также указан файл mmproj для обработки изображений и видео. Модель имеет гибридную MoE-архитектуру с 122 млрд параметров, из которых активны около 10 млрд на токен, и сочетает GatedDeltaNet с полным вниманием. Заявленное окно контекста — 262 144 токена; доступны режимы рассуждения и прямого ответа. Подходит для диалога, анализа изображений и видео, работы с длинным контекстом и рассуждений. В метаданных указана поддержка множества языков, включая русский, английский и китайский. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Agentic — плотная мультимодальная модель на 27 млрд параметров, созданная LemuraLabs дообучением Jackrong/Qwopus3.6-27B-v2. Она предназначена для диалога, пошаговых рассуждений и вызова инструментов в многоходовых агентных сценариях; архитектура поддерживает работу с текстом и изображениями. В карточке приведены результаты сравнительных тестов с базовой моделью: 88,29% на MMLU-Pro, 97,33% на GSM8K и 57,07% на GPQA-Diamond. Модель подходит для ответов на общие вопросы, математических задач и систем, которые передают запросы внешним инструментам. В README для обслуживания через vLLM указан контекст до 16 384 токенов. Модель распространяется по лицензии Apache-2.0. Заявленные характеристики и результаты приведены в карточке модели и не являются независимой оценкой качества.

Solar Open 100B — языковая модель Upstage, обученная с нуля и выпущенная под лицензией Upstage Solar License. Это модель архитектуры Mixture-of-Experts: в README указаны 102,6 млрд параметров всего и 12 млрд активных на токен; метаданные каталога указывают 8,7 млрд параметров. Контекст составляет 128k токенов. Репозиторий содержит веса в формате safetensors и предназначен для работы через Transformers. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и сценариев с агентными возможностями, включая интерфейс вызова инструментов. В README приведены отдельные результаты тестирования на корейских и англоязычных бенчмарках; метаданные также указывают английский и корейский языки. Для запуска README рекомендует минимум четыре NVIDIA A100 с 80 ГБ памяти. Лицензия — Upstage Solar License; перед использованием следует ознакомиться с её условиями.