II.4Отладка, тестирование и качество ПО

Qwen2.5-14B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционно дообученной языковой модели Qwen2.5-14B-Instruct. Исходную модель разработала команда Qwen, а квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и использования в сценариях генерации текста и диалогового взаимодействия. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов, ориентирована на работу со структурированными данными и их генерацию. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Квантизация снижает требования к памяти, но README не содержит количественных оценок производительности и качества, поэтому её сильные стороны и ограничения относительно полной версии нельзя точно сравнить. Модель является текстовой и не предназначена для обработки изображений или других модальностей. Распространяется по лицензии Apache-2.0. Как и другие языковые модели, она может генерировать неточную, вредную или неподходящую информацию, поэтому результаты требуют проверки.

mradermacher/Qwen3.5-9B-Brainwaves-i1-GGUF — набор квантованных моделей в формате GGUF, созданный mradermacher на основе nightmedia/Qwen3.5-9B-Brainwaves. Это модель примерно на 9 млрд параметров; в README она также обозначена как vision model, однако подробности о визуальной архитектуре и поддерживаемых типах входных данных не приведены. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, а также творческого письма и ролевого взаимодействия. Заявлена поддержка английского, китайского, японского и испанского языков. Репозиторий содержит варианты квантования i1 от Q2_K до Q6_K и IQ-квантов, что позволяет выбирать между размером файлов, скоростью и качеством; рекомендуемым вариантом назван i1-Q4_K_M. К сильным сторонам относятся разнообразие доступных квантов и возможность запуска через совместимое с GGUF программное обеспечение. Ограничения — отсутствие в README подробных сведений об архитектуре, точном размере контекста, результатах тестирования и фактических возможностях vision-компонента; квантование может снижать качество по сравнению с исходной моделью. Указанная лицензия — Apache-2.0.

OnlyTextLLMs/Qwen3.8-27B-OnlyText — текстовая причинно-следственная языковая модель, созданная на основе Qwen/Qwen3.8-27B: из исходной модели удалены компоненты обработки изображений и аудио, а текстовая часть и языковая голова сохранены. Это плотная архитектура Qwen3_5ForCausalLM; README указывает 27,32 млрд параметров, 64 слоя, размер скрытого состояния 5120 и сохранённую MTP-голову для чернового предсказания токенов. Метаданные указывают 22,3 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Она принимает и выдаёт текст, без поддержки изображений и аудио. В карточке указан английский язык; языковые возможности унаследованы от базовой модели, но конкретный список языков в README не приведён. Модель выпущена по лицензии Apache-2.0. Она удаляет мультимодальные компоненты, но не добавляет нового обучения; точность и поведение зависят от возможностей исходной Qwen3.8-27B.

Chungulus/Qwen3.8-27B-Q5_K_M-GGUF — это независимая vanilla-квантизация базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель представлена в формате GGUF с квантизацией Q5_K_M для запуска через llama.cpp; это не дообучение, объединение моделей или изменение шаблона чата. В комплект входят основные веса объёмом около 19,536 ГБ и отдельный vision projector, а общий размер репозитория составляет около 20,476 ГБ. Модель предназначена для генерации текста, вызова инструментов, анализа изображений и видео, а также сценариев с управляемым режимом рассуждений через параметры enable_thinking, reasoning_effort и preserve_thinking. Она использует гибридную архитектуру с Gated DeltaNet и полным attention, поддерживает мультимодальный pipeline image-text-to-text, нативный формат вызова инструментов и сохранённые MTP-тензоры, однако спекулятивное ускорение не заявлено. Точные языки и максимальный контекст в README не указаны; архитектурный максимальный контекст не следует считать проверенным. К сильным сторонам относятся сохранение функциональности исходной модели, проверенная генерация текста, tool calling, работа с изображениями и сохранённый шаблон чата. К ограничениям относятся возможное снижение качества из-за квантизации, требования к совместимости runtime с гибридным языковым графом, vision tower, tokenizer и MTP-метаданными, а также необходимость примерно 24 ГБ доступной памяти с дополнительным ростом потребления из-за KV-cache. Модель и её vanilla-квантизация распространяются по лицензии Apache-2.0.

outsourc-e/Qwen3.8-27B-Unleashed-GGUF — это квантованная GGUF-версия uncensored-модели Qwen3.8-27B-Uncensored от JonathanColetti. Репозиторий публикует сборки с динамическим распределением битности по отдельным тензорам; карта квантования заимствована из проекта Unsloth Dynamic 3.0 и применена к весам исходной uncensored-модели. Модель предназначена для генерации текста, диалогов, агентских сценариев, работы с кодом и локального запуска через совместимые движки, включая llama.cpp. Модель содержит около 27 млрд параметров и поддерживает текстовую модальность. Заявлены английский и китайский языки, контекст до 262 144 токенов; для одной из сборок подтверждено извлечение данных на длине 250 806 токенов. Динамическая квантование сохраняет больше точности в чувствительных тензорах и сильнее сжимает менее критичные, благодаря чему сборка UD-Q3_K_XL в приведённых измерениях превзошла протестированные варианты Q4 по perplexity и обеспечила скорость 112,8 токена в секунду на RTX 4090 при использовании llama.cpp и speculative decoding. Сильными сторонами являются uncensored-характер модели, большой контекст, доступность нескольких уровней квантования и эффективное соотношение качества, размера и скорости. Результаты зависят от конкретного уровня квантования, оборудования, длины генерации и настроек запуска; для коротких запросов измеренная скорость значительно ниже пиковой, а варианты низкой битности, особенно Q2, заметно теряют качество. Для некоторых квантов полный набор тестов ещё не завершён. Лицензия — Apache 2.0.

Qwen3-VL-2B-Thinking-GGUF — мультимодальная vision-language модель серии Qwen3-VL, разработанная командой Qwen. Данный вариант подготовлен Unsloth в формате GGUF и предназначен для локального запуска и эффективного инференса в совместимых средах, включая llama.cpp. Модель рассчитана на анализ изображений, текста и видео, генерацию ответов с усиленным рассуждением, решение STEM- и математических задач, распознавание текста и структур документов, пространственный анализ, понимание временной динамики видео, а также взаимодействие с графическими интерфейсами и инструментами. Заявлены возможности визуального программирования по изображениям и видео, включая генерацию Draw.io, HTML, CSS и JavaScript. Размер модели составляет 2B параметров. Она использует мультимодальную архитектуру Qwen3-VL с механизмами Interleaved-MRoPE, DeepStack и выравниванием текста с временными метками. Заявлена длина контекста 256K токенов с возможностью расширения до 1M. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Модель ориентирована на сочетание визуального восприятия, текстового понимания и рассуждений, но README не содержит подробных числовых результатов тестирования или информации о конкретных ограничениях качества. Лицензия — Apache 2.0. Для запуска в llama.cpp рекомендуется использовать параметр --jinja из-за исправлений шаблона чата Unsloth.

unsloth/Qwen3-VL-8B-Instruct-bnb-4bit — 4-битная квантованная версия мультимодальной модели Qwen3-VL-8B-Instruct, опубликованная Unsloth на основе модели Qwen от Qwen Team. Она предназначена для работы с текстом и изображениями, а также для анализа видео, визуального распознавания, OCR, пространственного и мультимодального рассуждения. Модель имеет размер 8B параметров и поддерживает контекст длиной 256K токенов с возможностью расширения до 1M. Среди её возможностей заявлены управление графическими интерфейсами компьютеров и мобильных устройств, генерация Draw.io, HTML, CSS и JavaScript по изображениям и видео, анализ пространственных отношений, понимание длительных видео с временной локализацией событий, STEM- и математическое рассуждение, а также распознавание широкого спектра объектов и сцен. OCR поддерживает 32 языка и устойчив к низкому освещению, размытию и наклону текста. К архитектурным особенностям относятся Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения признаков разных уровней ViT и выравнивание текста с временными метками. Квантованный 4-битный формат ориентирован на более экономичное по памяти развёртывание, однако README не приводит точные требования к оборудованию, результаты для данной квантованной версии или детальные ограничения качества. Модель распространяется по лицензии Apache-2.0.

Rombos-LLM-V2.6-Nemotron-70b — текстовая генеративная модель на архитектуре Llama, опубликованная разработчиком rombodawg. По README, это результат последнего этапа непрерывного дообучения модели Nemotron-70B от NVIDIA; метаданные также указывают на слияние моделей Llama 3.1 70B Base, Llama 3.1 70B Instruct и Nemotron-70B-Instruct. Модель содержит 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Весовые файлы представлены в формате safetensors. Лицензия — Llama 3.1; условия её использования определяются этой лицензией.

SpydazWeb AI — дообученная языковая модель Leroy Dyer для диалогов, генерации текста и работы в сценариях с планированием и агентным взаимодействием. Она основана на SpydazWeb_AI_ChatQA_005/006 и использует плотную архитектуру Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для ответов на вопросы, составления сводок, генерации и объяснения кода, перевода, выявления сущностей и тем, а также ролевых диалогов. В README также заявлены сценарии RAG, планирования и вызова функций; карточка упоминает обучающие данные из OpenHermes, SlimOrca, Cosmopedia, CulturaX и других наборов. Заявления автора о широких знаниях и точности не являются независимой оценкой качества. Модель принимает текст и генерирует текст. В тегах указаны английский, испанский, каталонский, хинди, суахили, игбо, сомалийский, коса, зулу, хауса, акан, африкаанс, бамбара и сунданский языки; README описывает многоязычное обучение, но не подтверждает одинаковое качество для всех перечисленных языков. Лицензия — Apache-2.0. Модель обозначена как uncensored и предназначена в том числе для ролевых диалогов; медицинские ответы могут быть ненадёжными и требуют проверки специалистом.

Tele-FLM (также FLM-2) — открытая многоязычная языковая модель на 52,2 млрд параметров, разработанная BAAI и TeleAI. Это плотный декодерный Transformer, обученный примерно на 2 трлн токенов; архитектура использует RoPE, RMSNorm и SwiGLU и во многом совместима с Llama. Контекст модели составляет 4096 токенов. Модель предназначена для генерации текста и извлечения признаков, включая многоязычные запросы и задачи, где важны фактические суждения. В обучающих данных преобладают английский и китайский языки; также включены код и тексты на других языках. Доступны веса и сведения о разработке и обучении модели. Модель распространяется по лицензии Apache 2.0. По предупреждению разработчиков, она может воспроизводить предвзятые или оскорбительные примеры и выдавать небезопасный контент; ответы следует проверять.

Vikhr-Llama3.1-8B-Instruct-R-21-09-24 — русско- и англоязычная унимодальная языковая модель команды VikhrModels, дообученная на базе Meta-Llama-3.1-8B-Instruct. Это плотная causal language model семейства Llama с 7,5 млрд параметров, предназначенная для диалогов и генерации текста. Модель поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors по лицензии Apache-2.0. Модель подходит для ответов на инструкции и вопросы, рассуждений, суммаризации, генерации кода и ролевого диалога. Отдельно обучена для grounded RAG: может использовать предоставленные документы и выбирать их идентификаторы для ответа. В README авторы описывают этапы SFT и собственный метод выравнивания SMPO и приводят результаты внутренних бенчмарков; эти оценки не гарантируют качество на иных данных. У модели отмечен низкий уровень безопасности ответов, поэтому перед применением в пользовательских сценариях нужны собственные проверки. Для режима RAG требуется специальный системный промпт, и модель может дополнять сведения из документов собственными знаниями. Авторы рекомендуют низкую температуру генерации; системные промпты лучше использовать для задания стиля, а не персонажа.

XCurOS-0.1-8B-Instruct — проприетарная инструкционно настроенная языковая модель, разработанная XCurOS. Она построена на архитектуре Qwen2 с плотной трансформерной моделью примерно на 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговых помощников и выполнения инструкций в локальной или облачной инфраструктуре, включая защищённые корпоративные среды. Заявлены рассуждения, программирование, автоматизация рабочих процессов и анализ больших структурированных и неструктурированных текстовых документов; в метаданных также отмечен интерфейс для вызова инструментов. Карточка заявляет поддержку английского и арабского языков. Модель распространяется по проприетарной лицензии: личное и исследовательское использование допускается на частном сервере или локальной инфраструктуре. Коммерческое применение требует отдельной лицензии XCurOS; перераспространение и перепродажа без письменного разрешения запрещены. Качество заявленных возможностей и пригодность для конкретных задач в карточке не подкреплены результатами оценки.

Apertus-8B-Instruct-2509 — диалоговая языковая модель Swiss AI Initiative, дообученная на базе Apertus-8B-2509. Это плотный decoder-only Transformer с 10,3 млрд параметров, предназначенный для генерации ответов, многоязычного диалога и использования инструментов. Модель поддерживает более 1800 языков и контекст до 65 536 токенов. Базовая модель обучалась с нуля на 15 трлн токенов из веб-данных, кода и математических материалов; постобучение включало supervised fine-tuning и выравнивание QRPO. Веса и материалы обучения открыты, разработчики заявляют о соблюдении согласия владельцев данных и прозрачности обучения. Для запуска подходят Transformers, vLLM и другие совместимые среды. Модель может быть полезна для ответов на вопросы, составления текстов и работы с длинным контекстом на разных языках. Генерации могут содержать фактические ошибки, нелогичность и предвзятость. Встроенного фильтра персональных данных нет, поэтому важную информацию следует проверять, а для фильтрации PII применять отдельный актуальный фильтр. Лицензия — Apache 2.0.

Это мультимодальная модель Gemma 4 E4B, разработанная Google DeepMind и представленная в формате GGUF. Данная версия основана на checkpoint coder3101/gemma-4-E4B-it-qat-q4_0-unquantized-heretic, прошла Quantization-Aware Training и предназначена для запуска через llama.cpp, в том числе на устройствах с ограниченными ресурсами. Модель работает с текстом, изображениями и аудио, поддерживает системные сообщения, нативный вызов функций и настраиваемый режим рассуждений. Архитектура использует гибридное внимание со скользящим окном и глобальным вниманием; модель содержит 42 слоя, размер скользящего окна составляет 512 токенов, а контекстное окно — 131 072 токена. Эффективный объём параметров заявлен на уровне 4,5 млрд при 8 млрд параметров с учётом embeddings. Основные текстовые тензоры представлены в формате Q4_0_PURE, согласованном с QAT-калибровкой; vision/audio projector доступен в вариантах Q8_0 и BF16. Для мультимодального ввода требуется отдельный projector-файл. Особенностью версии heretic является постобработка с помощью Heretic v1.2.0 и метода Arbitrary-Rank Ablation, направленная на подавление отказов при сохранении рассуждений и мультимодальных возможностей. Заявленные показатели отказов являются самоотчётными и не подтверждены независимым тестированием. Использование формата ограничено Q4_0_PURE: стандартные варианты вроде Q4_K_M или Q5_K_M для этой QAT-модели не рекомендуются, поскольку могут ухудшить качество. Модель распространяется по лицензии Gemma; условия определяются официальными условиями Google Gemma.

LibertAIDAI/GLM-5.3-NVFP4 — квантизированная версия GLM-5.3, разработанного Z.ai (Zhipu), подготовленная LibertAI. Модель предназначена для генерации текста, диалоговых приложений, рассуждений, работы с инструментами и обработки длинного контекста; заявлена поддержка английского и китайского языков. Модель содержит около 753 млрд параметров и использует архитектуру glm_moe_dsa с разреженным MoE-механизмом на 256 маршрутизируемых экспертов и DeepSeek-sparse attention. Заявленный контекст составляет до 1 млн токенов. Вариант NVFP4 квантизирует преимущественно веса экспертных FFN-слоёв, тогда как attention, маршрутизаторы, общие эксперты, эмбеддинги, нормализации и другие чувствительные компоненты сохраняются в BF16. Размер весов сокращён примерно с 1403 до 433 GiB, а сходство с исходными весами по round-trip cosine составляет 0,9961. Основное преимущество модели — существенное снижение требований к памяти: она рассчитана на запуск, в частности, на четырёх GPU B200 и поддерживается vLLM и SGLang без специальной сборки. Ограничениями остаются крайне большой общий размер модели, необходимость мощной многографической GPU-конфигурации и возможные потери точности, связанные с квантизацией. Модель имеет лицензию glm-5.3; в карточке указана лицензия other со ссылкой на лицензию базовой модели.

K-EXAONE-236B-A23B-NVFP4A16 — сборка модели K-EXAONE, разработанной LG AI Research и дополнительно квантизированной компанией FuriosaAI. Это авторегрессионная языковая модель-трансформер с архитектурой Mixture-of-Experts (ExaoneMoE), предназначенная для генерации текста, многоязычного диалога и задач, требующих рассуждений. Модель поддерживает корейский, английский, испанский, немецкий, японский и вьетнамский языки, а также режимы с рассуждением и без него. Модель содержит 236 млрд параметров, из которых 23 млрд активируются для каждого токена; используется 128 экспертов, 8 активных экспертов и 1 общий эксперт. Архитектура сочетает чередующиеся слои sliding-window и глобального внимания. Веса квантизированы в формате NVFP4, а активации и KV-кэш сохраняются в 16-битной точности. Поддерживаются вызов инструментов и OpenAI-совместимый API. Для штатного запуска FuriosaAI предусмотрены Furiosa LLM и ускорители FuriosaAI RNGD; конфигурация запуска использует четыре карты RNGD. К сильным сторонам относятся большой масштаб, мультиязычность, поддержка рассуждений и инструментального вызова, а к ограничениям — необходимость специализированной аппаратной конфигурации для запуска через Furiosa LLM и потенциальные компромиссы, связанные с 4-битной квантизацией. NVFP4A16 также заявлен как совместимый с vLLM, SGLang и Transformers. Модель распространяется по лицензии K-EXAONE AI Model License; в карточке она обозначена как лицензия other.

MiniCPM4.1-8B-GPTQ — квантизированная в формате GPTQ версия большой языковой модели MiniCPM4.1-8B, разработанной командой OpenBMB. Модель предназначена для генерации и обработки текста, включая диалоговые приложения, следование инструкциям, задачи, требующие рассуждений, понимание длинных текстов и вызов инструментов. Она поддерживает китайский и английский языки и рассчитана на эффективное использование на периферийных устройствах и конечных пользовательских системах. Модель содержит 8 миллиардов параметров и относится к гибридным reasoning-моделям: её можно использовать в режиме глубокого рассуждения и в обычном режиме без рассуждений. В архитектуре заявлен механизм разреженного внимания InfLLM v2, при котором при обработке текста длиной до 128K токенов каждый токен взаимодействует менее чем с 5% токенов, что должно снижать вычислительные затраты. GPTQ-квантизация уменьшает требования к памяти и может ускорить инференс на совместимом оборудовании, однако README не содержит точных требований к ресурсам, результатов тестирования именно этой сборки или подробностей о влиянии квантизации на качество. К сильным сторонам относятся ориентация на эффективный инференс, поддержка длинного контекста, гибридный режим рассуждений и наличие оптимизаций для локального запуска. Ограничения и перечень конкретных поддерживаемых аппаратных платформ в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

Карточка модели nttruong1007/qb-internlm25-7b на Hugging Face совпадает с карточкой internlm/internlm2_5-7b-chat, поэтому описание составлено по ней. InternLM2.5-7B-Chat — диалоговая языковая модель семейства InternLM2.5, разработанная командой InternLM. Это плотная авторегрессионная модель архитектуры InternLM2 с 7,4 млрд параметров, предназначенная для практических сценариев общения и генерации текста. В README заявлены сильные способности к математическим рассуждениям, работе с длинными контекстами и выбору, вызову и проверке результатов инструментов; метаданные указывают контекстное окно 32 768 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, рассуждений и агентных сценариев с инструментами. Карточка приводит результаты OpenCompass и примеры использования через Transformers, vLLM и LMDeploy. В README также заявлена работа с контекстом до миллиона единиц текста при использовании LMDeploy, однако это выходит за пределы длины контекста, указанной в метаданных модели. Основной язык карточки — китайский; модель также предназначена для англоязычных сценариев. Лицензия обозначена как other, поэтому конкретные условия следует проверять в репозитории. Модель может генерировать предвзятые, дискриминационные или иные вредоносные ответы.

Qwen3-30B-A3B-Instruct-2507-FP8 — это инструктивная авторегрессионная текстовая модель семейства Qwen3, представленная в репозитории furiosa-ai и предназначенная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. В основе лежит архитектура Mixture-of-Experts (MoE): модель содержит около 30,5 млрд параметров, из которых примерно 3,3 млрд активируются для каждого токена. Модель работает только в режиме non-thinking, поддерживает ввод и вывод текста, а также выпущена под лицензией Apache 2.0. Модель предназначена для следования инструкциям, рассуждений над текстом, многоязычных задач и использования инструментов через function calling. Она поддерживает вызовы инструментов с parser hermes, применяемым в серии Qwen3, и может обслуживаться через OpenAI-совместимый API Furiosa-LLM. Указанный вариант рассчитан на работу с четырьмя картами FuriosaAI RNGD, использующими tensor parallelism с размером 32 processing elements. Веса статически квантизированы в FP8, активации динамически квантизируются в FP8 во время выполнения, а KV-кэш сохраняется в 16-битной точности. Это может снизить требования к памяти и повысить эффективность инференса, но README не содержит данных о размере контекстного окна, поддерживаемых языках, точных показателях качества и производительности, поэтому эти характеристики оценить нельзя. Основное ограничение — привязка описанной конфигурации к Furiosa-LLM и оборудованию FuriosaAI RNGD; для других фреймворков следует обращаться к карточке исходной модели Qwen.

Qwen3.5-35B-A3B-quantized.w4a16 — это квантованная мультимодальная языковая модель на базе Qwen/Qwen3.5-35B-A3B, опубликованная пользователем apolo13x. Базовая модель разработана командой Qwen. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа изображений, ответов на вопросы и других задач преобразования мультимодального ввода в текст. Модель использует архитектуру Qwen3.5 с разреженной MoE-конфигурацией 35B-A3B, где общий размер составляет около 35 млрд параметров, а активируется примерно 3 млрд параметров. Веса квантованы до INT4 в формате GPTQ с конфигурацией W4A16 с использованием llm-compressor. Это уменьшает размер модели с 67,0 до 20,4 ГБ, примерно в 3,3 раза, при среднем восстановлении точности 99,5% относительно исходной модели. В указанных тестах модель показала 81,31% на GPQA Diamond, 94,60% на IFEval и 91,95% на MMLU-Redux. Сильной стороной модели является существенное снижение требований к хранению и инференсу при сохранении близкой к исходной точности. Ограничения связаны с потерями, возможными при 4-битном квантовании, а также с тем, что на 27 февраля 2026 года модель поддерживалась в nightly-версии vLLM, что может означать менее стабильную совместимость по сравнению со стабильными релизами. Сведения о размере контекстного окна и поддерживаемых языках в README не указаны. Модель распространяется по лицензии Apache-2.0.

philbert440/Qwen3.8-27B-NVFP4 — это 4-битная NVFP4-квантизованная версия плотной мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для работы с текстом и изображениями, включая задачи рассуждения, ответов на вопросы, анализа визуальной информации и генерации текста. Режим рассуждений включён по умолчанию, а визуальная часть модели и голова MTP для спекулятивного декодирования сохранены. Модель содержит 27 млрд параметров и использует гибридную архитектуру из 64 слоёв: 16 слоёв с полноценным вниманием и 48 слоёв GatedDeltaNet с линейным вниманием. Основная часть весов представлена в формате NVFP4 E2M1 с групповым масштабированием FP8, при этом отдельные чувствительные компоненты, эмбеддинги, выходная голова, vision tower и MTP-head сохранены в BF16. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов посредством YaRN. Доступный размер файлов модели — около 25,2 ГБ. Главное преимущество этой сборки — оптимизация под инференс на видеокартах NVIDIA V100: она рассчитана на запуск на двух V100 с 32 ГБ памяти через 1Cat-vLLM и, согласно приведённым измерениям, обеспечивает около 42–47 токенов в секунду в однопоточном режиме рассуждений. К ограничениям относятся зависимость от совместимого стека 1Cat-vLLM и особенности поддержки аппаратных платформ; заявленные показатели получены на конкретной конфигурации и могут отличаться в других условиях. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-4B-Thinking-1M-GGUF — мультимодальная vision-language модель в формате GGUF, подготовленная Unsloth на базе Qwen/Qwen3-VL-4B-Thinking. Это reasoning-ориентированная версия семейства Qwen3-VL с плотной архитектурой и примерно 4 млрд параметров, предназначенная для локального и эффективного развёртывания, в том числе через llama.cpp с использованием шаблонов чата Jinja. Модель принимает текст и изображения, а также ориентирована на понимание видео. Она предназначена для визуального вопросно-ответного взаимодействия, распознавания и анализа изображений, OCR, понимания документов, STEM- и математического рассуждения, пространственного анализа, генерации кода и взаимодействия с графическими интерфейсами и инструментами. Заявлены улучшенные возможности визуального распознавания, анализа временной структуры видео и работы с длинным контекстом: базовый контекст составляет 256K токенов с возможностью расширения до 1M. Ключевые архитектурные особенности включают Interleaved-MRoPE для пространственно-временного позиционного кодирования, DeepStack для объединения многоуровневых признаков ViT и выравнивание текста с временными метками для анализа событий в видео. Заявлена поддержка OCR на 32 языках, однако полный список языков модели в карточке не приведён. Сильными сторонами являются сочетание текстового и визуального рассуждения, работа с длинными документами и видео, пространственное понимание и сценарии visual agent. Ограничения включают зависимость качества от используемой квантизации GGUF, вычислительных ресурсов и совместимости программного окружения; конкретные параметры квантизации и результаты тестов в README не указаны. Модель распространяется по лицензии Apache-2.0.

XVERSE-13B-256K — многоязычная плотная авторегрессионная языковая модель, разработанная Shenzhen Yuanxiang Technology. Это длинноконтекстная версия XVERSE-13B-2: модель прошла продолжение предобучения с настройкой ABF и дообучение с учителем на основе NTK. В метаданных указано 13,2 млрд параметров; README заявляет окно контекста до 256 тысяч токенов, тогда как метаданные указывают native context в 32 768 токенов. Модель предназначена для работы с длинными документами и последовательностями: ответов на вопросы по одному или нескольким текстам, суммаризации литературы и отчетов, анализа текстов и дополнения кода. Для расширения контекста применяются RoPE с измененной базовой частотой и динамическая интерполяция NTK; обучение включало длинные последовательности от 32K до 256K. README описывает многоязычные возможности и приводит оценку на LongBench с задачами на английском, китайском и кодом. Модель принимает текст и генерирует текст. Она может выдавать неточные, предвзятые или оскорбительные ответы, поэтому результаты требуют проверки, а перед развертыванием рекомендуется провести тесты безопасности для конкретного применения. Лицензия Apache-2.0.

C4AI Command-R — исследовательская генеративная языковая модель с открытыми весами, разработанная Cohere For AI. Модель предназначена для рассуждений, суммаризации, ответов на вопросы и многоязычной генерации, а также демонстрирует высокую эффективность в сценариях Retrieval-Augmented Generation (RAG). В README указано, что модель относится к крупным языковым моделям размером около 35 млрд параметров; также доступны варианты на 32 и 35 млрд параметров. Многоязычные возможности оценивались для 10 языков. Сведения об архитектуре, максимальной длине контекста и точном перечне поддерживаемых языков не приведены. К сильным сторонам относятся открытые веса, поддержка широкого спектра текстовых задач, многоязычность и ориентация на RAG-сценарии. Ограничения связаны с исследовательским статусом модели, отсутствием подробных данных о характеристиках и применимостью условий некоммерческой лицензии CC BY-NC 4.0. В README также указано, что конвертацию выполнила Homebrew.

DeepSeek-V3.1-Terminus-W4AFP8 — смешанно-точная квантованная версия DeepSeek-V3.1-Terminus. Репозиторий модели связан с deepseek-ai/DeepSeek-V3.1-Terminus; по метаданным это производная модели с архитектурой DeepSeek V3 и классом DeepseekV3ForCausalLM. Модель содержит 37,6 млрд параметров и рассчитана на генерацию текста, включая диалог и вызов инструментов через соответствующий интерфейс. Контекст составляет до 163 840 токенов. Веса плотных слоёв сохраняют формат FP8 исходной модели, а веса MoE-слоёв представлены в INT4 с активациями FP8 (W4AFP8). В README приведены результаты тестирования в режиме без рассуждений; для инференса описан запуск через SGLang версии 0.5.2 или новее с tensor parallel. Модель распространяется по лицензии MIT. Карточка не уточняет языки и специфические ограничения качества.

Dolphin-Mistral-24B-Venice-Edition-1.2-GGUF — это набор квантованных GGUF-версий модели Dolphin-Mistral-24B-Venice-Edition, разработанный пользователем douganger на основе релиза 1.2 от dphn. Модель предназначена для запуска локально с использованием совместимых инструментов, включая llama.cpp, и ориентирована на мультимодальные сценарии с обработкой текста и изображений, а также на работу с инструментами. Архитектурно это модель семейства Mistral с размером около 24 млрд параметров; доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 10,69 до 23,33 ГБ. Для версии 1.2 заявлены поддержка vision, контекст длиной до 131 тыс. токенов и улучшенный tool calling. Vision-адаптеры и importance matrix включены в сборку. README не указывает полный перечень поддерживаемых языков. Сильные стороны модели — широкий контекст, мультимодальность, улучшенная работа с инструментами и несколько вариантов квантования с разным компромиссом между размером и качеством; Q4_K_M обозначен как хороший вариант по умолчанию, а Q8_0 — практически эквивалентный исходным весам BF16. Ограничения связаны с требованиями к памяти, зависящими от выбранного квантования, а также с тем, что фактическая поддержка vision и tool calling зависит от совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

RedHatAI/GLM-5.2-NVFP4-FP8 — квантизированная версия модели zai-org/GLM-5.2, разработанная RedHatAI. Это текстовая авторегрессионная модель для генерации текста, построенная на архитектуре GlmMoeDsaForCausalLM. Она принимает текст и возвращает текст, поддерживает английский и китайский языки и предназначена прежде всего для высокопроизводительного инференса и развёртывания через vLLM, включая сценарии с рассуждениями и вызовом инструментов. Модель использует смешанную точность: веса и активации механизмов внимания представлены в FP8 с блочным масштабированием, а эксперты MoE — в FP4 (NVFP4). Такая оптимизация снижает среднее число битов на параметр примерно с 16 до 4–5, уменьшая размер на диске и потребность в GPU-памяти примерно на 70–75% по сравнению с исходной версией BF16. Контекстная длина в README не указана; для конфигураций с контекстом до 1M токенов предлагается обращаться к рецепту vLLM для GLM-5.2. Главное преимущество модели — существенное сокращение требований к памяти при сохранении большей части качества исходной модели: на GPQA Diamond она набрала 89,1 против 91,2 у незаквантизированной версии, что соответствует восстановлению 97,7% результата. Ограничения включают небольшое снижение точности, зависимость от совместимой версии vLLM и необходимость исправления из pull request #47780. Модель распространяется по лицензии MIT.

Granite-4.0-H-Tiny-Base — базовая языковая модель IBM Granite Team для генерации текста и кода. Это декодерный гибридный MoE-трансформер примерно на 500,2 млн параметров с компонентами GQA и Mamba2; модель обучена с нуля на смеси открытых и проприетарных данных. Контекст — до 131 072 токенов. Модель предназначена для суммаризации, классификации и извлечения информации, ответов на вопросы, генерации текста с длинным контекстом и автодополнения кода, включая Fill-in-the-Middle. В первую очередь поддерживает английский, а также немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Весы доступны в формате safetensors; лицензия Apache 2.0. Модель не прошла safety alignment, поэтому может генерировать проблемные ответы. Возможны предвзятость, дезинформация, галлюцинации и дословное воспроизведение фрагментов обучающих данных.

harkov000/hermes-dolphin-8B-v0.2 — объединённая языковая модель на архитектуре Llama, созданная с помощью mergekit методом SLERP из cognitivecomputations/dolphin-2.9.4-llama3.1-8b и NousResearch/Hermes-3-Llama-3.1-8B. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; метаданные также отмечают интерфейс вызова инструментов. Она принимает текст и генерирует текст. В карточке указана лицензия? Нет сведений о лицензии, поэтому условия использования определить нельзя.

Ling-2.5-1T — открытая большая языковая модель семейства Ling, разработанная Inclusive Intelligence. Это модель для генерации текста и диалогов, следования инструкциям, рассуждений и работы в агентных сценариях с вызовом инструментов. В репозитории указаны архитектура Mixture of Experts на базе Bailing Hybrid и класс BailingMoeV2_5ForCausalLM; метаданные сообщают 59 млрд параметров, а README заявляет 1 трлн общих и 63 млрд активных параметров. Модель распространяется в формате Safetensors и поддерживает контекст до 131 072 токенов согласно метаданным; README описывает расширение контекста до 1 млн токенов с YaRN. Гибридная архитектура линейного внимания рассчитана на высокую пропускную способность, в том числе при длинных контекстах. Модель предназначена для чат-ботов, сложных запросов и интеграции с агентными платформами; разработчики заявляют улучшения рассуждений и следования инструкциям относительно предыдущей версии. README отмечает, что при сложных агентных взаимодействиях и длительном выполнении задач модель пока уступает передовым системам. Лицензия — MIT. Языки, на которых модель специально обучена или которые поддерживает, в предоставленных данных не названы.