II.2Создание и понимание программного кода

Qwen3-32B-quantized.w4a16 — языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen3-32B от Qwen. Она предназначена для рассуждений, function calling, мультиязычного следования инструкциям, перевода и создания специализированных экспертных решений после дообучения. Модель использует архитектуру Qwen3ForCausalLM, принимает текстовые входы и генерирует текст. Веса линейных операторов в трансформерных блоках сжаты до INT4 с применением GPTQ, симметричной поканально-групповой схемы и размером группы 128; остальные характеристики базовой модели, включая точный набор языков и исходный размер контекста, в README не указаны. Квантование уменьшает размер на диске и требования к памяти GPU примерно на 75% по сравнению с представлением весов в 16 бит. Для развёртывания рекомендуется использовать vLLM, включая режим совместимого с OpenAI API сервера. К сильным сторонам относятся существенное снижение потребления памяти и возможность эффективного запуска крупной модели на ограниченных GPU-ресурсах при сохранении назначения базовой модели. Ограничения связаны с потерями качества, возможными при квантовании, а также с тем, что README не содержит численных результатов оценки и подробностей о производительности. Модель распространяется по лицензии Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

RedHatAI/Qwen3.5-9B-quantized.w8a8 — квантизированная версия мультимодальной модели Qwen/Qwen3.5-9B, разработанная RedHatAI. Модель принимает текст и изображения и генерирует текст, поэтому предназначена для диалоговых систем, анализа изображений, ответов на вопросы, следования инструкциям и задач рассуждения. Модель содержит около 9 млрд параметров и использует INT8-квантизацию весов и активаций линейных операторов в трансформерных блоках. Размер модели на диске составляет около 14,0 ГБ вместо 19,3 ГБ в формате BF16. Энкодер изображений, токеновые эмбеддинги и слои linear attention оставлены в BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании через vLLM; доступен также текстовый режим с пониженным потреблением памяти. Ключевое преимущество модели — существенное сокращение размера и требований к памяти при сохранении качества, близкого к исходной Qwen/Qwen3.5-9B: на приведённых тестах показатели квантизированной версии находятся практически на уровне базовой модели. Ограничения включают зависимость от совместимого стека vLLM и частичную, а не полную квантизацию компонентов. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B-imatrix-GGUF — это квантизированная GGUF-версия базовой модели Qwen3.6-35B-A3B, подготовленная liodon-ai с использованием калибровки importance matrix (iMatrix). Базовую модель разработала команда Qwen компании Alibaba Cloud. Модель предназначена для локальной генерации текста, диалогов и выполнения инструкций через llama.cpp, Ollama, LM Studio и Jan. Модель использует MoE-архитектуру с 35 млрд параметров, из которых активно 3,5 млрд, и поддерживает контекст до 128K токенов. Доступны варианты квантизации от Q2_K до Q8_0, включая i-кванты IQ2_M, IQ3_M и IQ4_XS. iMatrix-калибровка повышает связность и качество следования инструкциям при низкой разрядности по сравнению со стандартной квантизацией, сохраняя меньший размер файлов. Ограничения зависят от выбранного варианта: более сильная квантизация снижает качество, а для запуска требуются от 6 до 36,9 ГБ памяти в зависимости от файла. Лицензия Apache 2.0.

unsloth/Qwen3-VL-4B-Instruct-1M-GGUF — GGUF-версия мультимодальной модели Qwen3-VL-4B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Это инструкционная vision-language модель с архитектурой Dense, предназначенная для понимания и генерации текста на основе текстовых и визуальных данных, включая изображения и видео. Модель подходит для описания и анализа изображений, OCR, обработки длинных документов, визуального и математического рассуждения, пространственного анализа, понимания видеосцен, генерации HTML/CSS/JS и Draw.io по изображениям или видео, а также взаимодействия с графическими интерфейсами и инструментами. Заявлены контекст Native 256K с расширением до 1M токенов, поддержка OCR на 32 языках и улучшения для временной привязки событий в видео. Среди архитектурных особенностей указаны Interleaved-MRoPE, DeepStack и Text-Timestamp Alignment. К сильным сторонам относятся сочетание текстового и визуального понимания, работа с длинным контекстом, расширенные возможности OCR, пространственного и видеоанализа, а также относительно компактный размер 4B параметров. README не содержит точных результатов бенчмарков, сведений о конкретном формате или уровне GGUF-квантизации, требованиях к оборудованию и полном перечне поддерживаемых языков, поэтому производительность и ресурсоёмкость в конкретной конфигурации требуют проверки. Для llama.cpp рекомендуется использовать параметр --jinja. Модель распространяется по лицензии Apache-2.0.

Rhea-72b-v0.5 — языковая модель, разработанная David Kim в рамках проекта Rhea. Это дообученная версия abacusai/Smaug-72B-v0.1: автор использовал SFT на открытых наборах данных и DPO с данными предпочтений, частично созданными методом SGD. Модель занимает 71 млрд параметров, построена на плотной архитектуре Llama и предназначена для генерации текста. Она принимает контекст до 32 768 токенов и работает с текстом на английском языке. Модель подходит для диалоговых ответов, рассуждений, вопросов и ответов, а также текстовых задач, представленных в обучающих наборах, включая математику, код и отдельные медицинские и финансовые примеры. В README приведены результаты Open LLM Leaderboard, включая среднее значение 81,22, но эти показатели относятся к указанной автором оценке и не гарантируют качество в конкретном применении. Часть обучающих данных закрыта или недоступна; независимые ограничения качества в карточке не описаны. Лицензия — Apache-2.0.

XVERSE-65B — мультиязычная базовая большая языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Она построена на плотной архитектуре Decoder-only Transformer и предназначена для генерации текста, включая продолжение запросов и подготовку материалов для многошагового диалога, ответов на вопросы и суммаризации. В модели 65,6 млрд параметров, контекст — до 16 384 токенов; она использует BPE-токенизатор с словарём из 100 534 токенов и распространяется в формате PyTorch. Модель обучена на 2,6 трлн токенов из веб-страниц, кода, энциклопедий, книг, научных публикаций и других источников. README указывает поддержку 41 естественного языка, включая китайский, английский, русский и испанский; наибольшие доли обучающих данных приходятся на английский и китайский. Лицензия Apache-2.0. Это базовая, а не специально настроенная для диалога модель, поэтому качество следования инструкциям и ответы в формате ассистента не гарантируются; возможны ошибки и смещения, характерные для генеративных языковых моделей.

Larryvrh опубликовал версию Yi-6B-200K от 01.AI, преобразованную для совместимости с архитектурой Llama и удобства использования. Это плотная авторегрессионная языковая модель с примерно 5,8 млрд параметров и контекстом до 200 000 токенов, распространяемая в формате Safetensors. Она предназначена для генерации текста, включая ответы на вопросы, понимание длинных текстов, рассуждения, математику и задачи по коду; карточка описывает оценивание на наборах MMLU, CMMLU, C-Eval и других бенчмарках. Модель поддерживает китайский и английский языки. Лицензия — Apache-2.0. Результаты генерации могут быть ошибочными или проблематичными; в README также отмечено, что оценки бенчмарков зависят от промптов, постобработки и настроек декодирования.

Baichuan2-7B-Chat-4bits — 4-битная квантованная чат-модель семейства Baichuan 2, разработанного Baichuan Intelligence. Это плотная авторегрессионная языковая модель на 7 млрд параметров для диалогов и генерации текста на китайском и английском языках. Модель обучена на корпусе объёмом 2,6 трлн токенов; доступный контекст составляет 4096 токенов. Модель предназначена для ответов в чате, генерации текста и решения общих языковых задач, включая сценарии в областях права, медицины, математики, программирования и перевода. В README отмечены результаты оценки на китайских и англоязычных бенчмарках. Для запуска требуется PyTorch 2.0 или новее. Для академического использования модель открыта. Коммерческое использование требует соблюдения Apache 2.0 и специального соглашения сообщества Baichuan 2, включая получение официального разрешения; для него также указаны ограничения по масштабу и типу организации. Модель может ошибаться или давать небезопасные ответы; авторы предупреждают о необходимости проверки соответствия применимым требованиям и безопасности сервисов.

DeepSeek-V3.1-Base — базовая языковая модель, разработанная DeepSeek AI. Она предназначена как основа для последующего дообучения и создания прикладных версий, включая варианты с режимами рассуждения и без рассуждения, поддержкой вызова инструментов и агентскими сценариями. Модель ориентирована на обработку длинного контекста и сложных текстовых запросов. Модель построена на архитектуре Mixture-of-Experts: общий размер составляет 671 млрд параметров, из которых для одного токена активируется 37 млрд. Максимальная длина контекста — 128K токенов. В README не указаны точный набор поддерживаемых языков и мультимодальные возможности, поэтому подтверждённо описать её можно только как текстовую языковую модель. Для обучения использовалось расширение длинного контекста в два этапа, а веса и активации представлены в формате UE8M0 FP8. К сильным сторонам относятся большой контекст, высокая вычислительная ёмкость при меньшем числе активируемых параметров и пригодность в качестве базы для специализированного дообучения. Ограничения включают очень высокие требования к ресурсам для развёртывания и отсутствие в предоставленных данных подробных результатов оценки, перечня языков и описания мультимодальности. Модель распространяется по лицензии MIT.

GDN-primed-HQwen3-32B-Instruct — гибридная языковая модель, разработанная командой Hybrid Model Factory на основе Qwen3-32B с помощью конвейера Priming. Это инструкционно настроенная причинная языковая модель с 64 слоями: 32 слоя Attention и 32 слоя Gated DeltaNet (GDN), разновидности модели пространства состояний. Веса представлены в формате safetensors, заявленный размер — 29,7 млрд параметров, контекст — до 131 072 токенов. Модель принимает текст и генерирует текст; карточка указывает поддержку диалога и выполнения инструкций. Модель предназначена для диалога, ответов на вопросы, следования инструкциям, задач по математике, знаниям, программированию и рассуждению, в том числе при работе с длинным контекстом. По данным разработчика, гибридная архитектура сокращает нагрузку на KV-кэш и может ускорять генерацию на длинных контекстах, сохраняя близкое к базовой модели качество; в опубликованных оценках отставание от Transformer-базовой модели составляет около 2,5–3 пунктов на длинных контекстных задачах и около 1–1,5 пункта в среднем на коротких задачах. Эти результаты зависят от сценария и условий запуска. Модель не является reasoning-чекпойнтом и не поддерживает вызов инструментов. Доступна по лицензии Apache 2.0.

MuXodious/gemma-4-12B-it-QAT-SOMPOA-heresy — дообученная версия мультимодальной инструкционной Gemma 4 12B от Google DeepMind. Автор репозитория применил к базовой модели метод abliteration с инструментом Heretic и настройками Self-Organizing Maps и Magnitude-Preserving Orthogonal Ablation; по карточке, доля отказов в указанном тесте снизилась с 522/535 до 34/535. Модель предназначена для диалога, рассуждений и генерации текста, а также для анализа изображений, видео и аудио; семейство Gemma 4 также поддерживает код и вызов инструментов. Для этой версии в карточке названы размер 12B, контекст до 256K токенов и поддержка более 140 языков. Архитектура — плотная Gemma4UnifiedForConditionalGeneration; репозиторий содержит веса safetensors. Карточка описывает её как вариант Gemma с ослабленными отказами, но не приводит отдельной оценки качества этой конкретной модификации. Базовая модель Gemma 4 QAT использует веса, подготовленные с учётом квантования, однако в этом репозитории указан вариант unquantized Q4_0, а формат файлов — safetensors. Лицензия — Apache-2.0.

llmfan46 представил uncensored-вариант Gemma 4 26B A4B IT, дообученный с изменением компонента attn.o_proj. Это диалоговая мультимодальная модель для анализа изображений и генерации текста; карточка указывает на поддержку чата и vision, а также на архитектуру Gemma 4 и формат safetensors. Базовая модель разработана Google DeepMind, использует гибридный механизм внимания и рассчитана на контекст до 256 тысяч токенов. Модель подходит для ответов на вопросы по изображениям и документам, распознавания текста и рукописей, понимания графиков и интерфейсов, а также для диалогов, рассуждений, программирования и вызова инструментов. Вариант предназначен для ослабления ограничений базовой модели, однако карточка не описывает метод дообучения и не приводит отдельные оценки качества именно этой версии. Поддерживаемые базовой линейкой языковые и аудиовозможности не следует полностью переносить на этот чекпойнт: метаданные подтверждают только image-text-to-text и vision. Модель выпущена по лицензии Apache-2.0. Возможны предвзятость и пробелы в данных, ошибки в фактах и затруднения с неоднозначными или сложными запросами; маркировка uncensored также означает, что ответы могут быть менее ограничены защитными механизмами.

Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Llama 3.3 70B, разработанной Meta и подготовленной в формате GGUF сообществом lmstudio-community; в метаданных также указан quantized_by: bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи обработки естественного языка. Она относится к семейству текстовых моделей и содержит около 70 миллиардов параметров. Сведения о конкретном варианте квантизации, размере контекста, поддерживаемых языках, точных модальностях и требованиях к аппаратному обеспечению в представленном README отсутствуют. Крупный размер модели потенциально обеспечивает высокое качество рассуждений и генерации, однако обычно требует значительных вычислительных ресурсов; влияние выбранной квантизации на качество и производительность здесь не уточняется. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо предоставлять текст лицензии, указывать «Built with Llama» и соблюдать применимую политику допустимого использования; для некоторых очень крупных коммерческих сервисов предусмотрены дополнительные лицензионные условия.

Neurona 8B Beta — предварительная испаноязычная языковая модель от Iker, созданная дообучением Meta-Llama-3-8B. Это экспериментальная первая итерация проекта для проверки скриптов и инфраструктуры обучения; модель содержит около 7,5 млрд параметров и использует архитектуру Llama с плотным декодером causal language modeling. Модель предназначена для генерации текста и диалогов на испанском и английском языках. Обучение на смеси инструкционных, разговорных и тематических наборов данных формирует возможности ответов на вопросы, суммаризации, перевода между английским и испанским, помощи с кодом, function calling и работы со сценариями RAG. Контекст составляет 8192 токена. Модель распространяется в формате safetensors и использует лицензию Llama 3. README обозначает её как предварительную версию в разработке, поэтому качество и надёжность отдельных возможностей могут быть непостоянными; условия лицензии Meta Llama 3 распространяются на использование модели.

MaziyarPanahi/Mistral-Large-Instruct-2411-GGUF — это набор файлов модели в формате GGUF для Mistral-Large-Instruct-2411, разработанной компанией mistralai и преобразованной в GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сервисах, совместимых с GGUF. Формат GGUF поддерживается llama.cpp и рядом библиотек и интерфейсов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и ctransformers. Это позволяет запускать модель локально, в том числе с аппаратным ускорением и через OpenAI-совместимые серверы, в зависимости от выбранного инструмента. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Сведения об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, точных характеристиках вариантов квантования и лицензии в README не указаны. Поэтому пригодность конкретного варианта для определённых задач и аппаратной конфигурации следует оценивать отдельно.

MyAwesomeModel — модель из репозитория liufeftwer145, распространяемая через Hugging Face и предназначенная для извлечения признаков; в метаданных указаны библиотека Transformers, PyTorch и тег BERT. README описывает обновлённую версию модели с улучшенными способностями к рассуждению и выводу, а также применением алгоритмической оптимизации на этапе post-training. Модель заявлена для математического и логического рассуждения, понимания текста, ответов на вопросы, классификации, анализа тональности, генерации кода и текста, суммаризации, перевода, диалогов, поиска знаний и следования инструкциям. README также упоминает поддержку системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска, а также доступ через чат-интерфейс и API. В README приведены результаты внутренних или заявленных benchmark-оценок по нескольким категориям, включая математику, программирование и общую логику; для AIME 2025 указано повышение точности с 70% до 87,5% по сравнению с предыдущей версией. Рекомендуемая температура составляет 0,6. Модель распространяется по лицензии MIT.

NVIDIA Nemotron 3.5 Lightning 30B-A3B — APEX GGUF — это набор измеренно распределённых и оптимизированных GGUF-квантизаций базовой модели NVIDIA Nemotron 3.5 Lightning 30B-A3B от NVIDIA. Рецепт APEX и инструментарий предоставлены LocalAI, а движок квантизации — llama.cpp. Модель предназначена для генерации текста, диалоговых приложений и сценариев с инструментами, включая последовательный tool-calling, при запуске через llama.cpp. Архитектура Nemotron-H гибридная: 52 слоя сочетают Mamba2 SSM и MoE, причём полное attention используется только в 6 слоях. MoE включает 128 маршрутизируемых экспертов и общий эксперт; активно используется около 3B параметров из примерно 31,6B. Контекст поддерживается до 128k токенов, а благодаря архитектуре KV-кэш занимает около 6 KiB на токен, или примерно 0,75 GiB при контексте 128k. В комплект включена MTP-голова для speculative decoding. Доступны варианты mini на 3,56 bpw и 13,66 GiB, compact на 4,42 bpw и 16,91 GiB, а также i-quality на 5,62 bpw и 21,53 GiB; compact и i-quality на момент описания ещё загружались. Сильные стороны модели — большой контекст при сравнительно небольших требованиях к памяти, специализированная importance matrix-квантизация, измеренное распределение битов по тензорам и сохранённая поддержка speculative decoding. Вариант mini рассчитан на видеокарту с 16 ГБ памяти и полный контекст 128k. Ограничения включают необходимость достаточно новой версии llama.cpp, явной настройки размера контекста и учёт того, что модель генерирует подробные рассуждения, увеличивая расход выходных токенов. Лицензия указана как openmdw-1.1.

Myric/Qwen3.6-35B-A3B-APEX-GGUF — это квантизированная GGUF-версия модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации текста и запуска через llama.cpp; доступна в вариантах APEX i-quality и i-compact, включая версии v2 с более точным хранением отдельных коэффициентов состояния. Лицензия — Apache 2.0. Модель использует разреженную MoE-архитектуру с 40 слоями, 256 маршрутизируемыми и одним общим экспертом, гибридом GatedDeltaNet и периодического полноразмерного внимания, а также головкой NextN/MTP. Объём параметров — 35 млрд, из которых около 3 млрд активируются на токен. Квантизация выполнена со специально рассчитанной PyTorch importance matrix, охватывающей все слои и MTP-головку; заявлена высокая близость к эталонной квантизации по perplexity. Доступны текстовый режим и мультимодальный режим с отдельным vision-проектором, однако сам проектор в состав репозитория не входит. Рекомендуемый размер контекста в примере запуска — 32 768 токенов. Сильными сторонами являются MoE-эффективность, сохранение качества при уменьшении размера модели, поддержка tool calling через шаблоны llama.cpp и возможность работы с vision при подключении совместимого проектора. Ограничения связаны с крупным размером файлов: 23,5 ГБ для i-quality и 17,4 ГБ для i-compact; для видеокарт с 16 ГБ требуется размещать маршрутизируемые эксперты на CPU. Для мультимодального запуска нужен отдельный mmproj-файл, а качество и скорость зависят от выбранного уровня квантизации и доступной памяти.

Riyan200324200324/Qwen3.8-27B — это GGUF-версия модели Qwen3.8-27B, основанная на Qwen/Qwen3.8-27B и модифицированная HauhauCS в профиле Aggressive. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео. Aggressive-профиль ориентирован на прямые ответы без выраженного отказного поведения и с минимальным вступлением на сложных запросах; при этом README предупреждает, что для критически важных задач с длинным контекстом более сбалансированный профиль может быть надёжнее. Это плотная причинная языковая модель на 27 млрд параметров с отдельным vision-проектором BF16 для мультимодального ввода. Архитектура включает 64 слоя языковой модели, скрытый размер 5120, размер FFN 17408, словарь 248 320 токенов, 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Поддерживаются встроенный MTP/NextN и дополнительный профиль ускорения HauhauCS FastMTP 32K. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Заявлены английский, китайский и мультиязычный режимы. Сильные стороны модели — широкий набор текстовых и мультимодальных возможностей, большой контекст, варианты GGUF-квантизации от Q2 до Q8 и ускорение FastMTP. Ограничения включают зависимость мультимодального режима от отдельного vision-проектора, возможное снижение качества при агрессивной квантизации и менее осторожное поведение из-за uncensored-профиля. Модель распространяется по лицензии Apache-2.0.

leonsarmiento/Qwen3.8-27B-3bit-mlx — мультимодальная модель VLM, разработанная на основе Qwen3.8-27B от Qwen и конвертированная автором в формат MLX с помощью mlx-vlm. Она предназначена для работы с текстом и изображениями, включая диалоговые, аналитические и программные сценарии. Модель поддерживает контекст до 262 тысяч токенов и рассчитана на запуск в экосистеме MLX, в частности через mlx-vlm, oMLX и LM Studio. Архитектура представляет собой плотную гибридную модель с 64 слоями: 48 используют линейное внимание, а 16 — полное внимание. Размер модели — 27B параметров. Применена смешанная квантизация: большинство языковых слоёв сжаты до 3 бит, эмбеддинги и lm_head — до 4 бит, а vision tower сохранён с 8-битной точностью. Объём модели составляет около 12,71 ГБ, пиковое потребление памяти в заявленном тесте — 15,61 ГБ. Модель поддерживает режимы с рассуждением и без него; по умолчанию в этой сборке reasoning_effort установлен на low, что сокращает задержку и длину рассуждений. Сильными сторонами являются поддержка изображений, большой контекст, сниженное потребление памяти и более высокая скорость декодирования по сравнению с равномерной 4-битной версией при сопоставимом качестве на приведённых тестах. Ограничения включают зависимость от MLX-совместимого программного обеспечения и аппаратной конфигурации, а также компромисс между качеством, скоростью и глубиной рассуждений при 3-битной квантизации. Лицензия — Apache-2.0.

RedHatAI/Qwen3.8-27B-INT4 — квантизированная версия модели Qwen/Qwen3.8-27B, разработанная RedHatAI. Это мультимодальная модель с архитектурой Qwen3_5ForConditionalGeneration: принимает текст и изображения, генерирует текст. Заявлены поддерживаемые языки английский и китайский. Размер контекста в README не указан. Модель предназначена для диалоговых приложений, следования инструкциям, рассуждений, решения математических задач, ответов на вопросы и обработки визуально-текстовых запросов. Веса линейных операторов в блоках Transformer квантизированы до INT4, активации сохраняют исходную точность, а KV-cache использует FP8. Оптимизация снижает размер на диске и требования к памяти GPU примерно на 75% по сравнению с 16-битным представлением и подготовлена для инференса через vLLM с поддержкой выбора инструментов и мультимодального кодировщика. По результатам оценки модель сохранила большую часть качества BF16-версии на тестах IFEval, MMLU-Pro, GSM8K Platinum, MATH-500, GPQA Diamond и AIME 2025; небольшое снижение наблюдается на большинстве benchmark-ов, хотя на GSM8K Platinum результат оказался выше. Ограничения включают возможные потери качества из-за квантизации, отсутствие сведений о размере контекста и неполное описание требований к аппаратному обеспечению. Модель распространяется по лицензии Apache-2.0.

RadixArk/Qwen3.8-27B-NVFP4-BF16-LMHead — мультимодальная плотная модель семейства Qwen3.8-27B, разработанная Qwen и подвергнутая квантованию RadixArk с помощью NVIDIA Model Optimizer. Это производный чекпойнт без дополнительного обучения или дообучения RadixArk: почти все тензоры используют смешанную NVFP4 W4A4-квантизацию, веса внимания — FP8, а lm_head, MTP и визуальные тензоры сохранены в исходной точности BF16. Размер модели — 27 млрд параметров. Модель предназначена для диалоговых систем, AI-агентов, чат-ботов, RAG-систем и других приложений с поддержкой текста, изображений и видео. Она принимает текст и визуальные данные, генерирует текст и поддерживает нативный контекст до 262 144 токенов. Для запуска заявлена интеграция с SGLang на Linux и совместимость с GPU NVIDIA Blackwell; чекпойнт проверен на GB300. В README приведены результаты на GSM8K — 96,13% — и Terminal-Bench 2.1 — 69,4% в одном из протоколов. Ключевое преимущество модели — предварительное квантование, рассчитанное на эффективное развертывание, при сохранении lm_head в BF16; заявленные результаты близки к результатам варианта с квантованным lm_head. Ограничения включают зависимость от совместимой инфраструктуры NVIDIA Blackwell и SGLang, а также типичные для базовой модели риски неточных, неполных, нерелевантных или предвзятых ответов. Лицензия — Apache License 2.0; возможности, обучение, ограничения и условия использования унаследованы от исходной модели Qwen3.8-27B.

NVIDIA Qwen3-Next-80B-A3B-Instruct NVFP4 — это квантизированная версия авторегрессионной текстовой модели Qwen3-Next-80B-A3B-Instruct, разработанной Alibaba. NVIDIA подготовила и оптимизировала эту версию с помощью TensorRT Model Optimizer; сама базовая модель не является разработкой NVIDIA. Модель предназначена для генерации текста, чат-ботов, AI-агентов, RAG-систем и других приложений на базе больших языковых моделей. Модель использует архитектуру Transformers с сетевой архитектурой Qwen3NextForCausalLM, принимает текстовые последовательности и генерирует текст. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Количество параметров в карточке не раскрыто. Веса и активации линейных операторов внутри трансформерных блоков переведены в формат NVFP4, что уменьшает число бит на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно в 3,3 раза. К сильным сторонам относятся сниженные требования к памяти и готовность к ускоренному выводу через TensorRT-LLM. Основные ограничения связаны с привязкой к NVIDIA GPU, совместимостью прежде всего с микроархитектурой NVIDIA Blackwell и предпочтительной средой Linux; для использования требуется дополнительное тестирование на данных конкретного сценария. Модель распространяется по лицензии Apache License 2.0 и допускает коммерческое и некоммерческое использование. Для инференса заявлена интеграция с TensorRT-LLM; результаты полной оценки в предоставленной карточке приведены не полностью.

Qwen3-VL-30B-A3B-Instruct-1M-GGUF — мультимодальная vision-language модель семейства Qwen3-VL, разработанная командой Qwen и представленная в формате GGUF с оптимизациями Unsloth Dynamic 2.0. Это instruct-версия, предназначенная для диалога, анализа изображений и видео, генерации текста по визуальному контексту, OCR, визуального рассуждения, решения STEM- и математических задач, а также взаимодействия с графическими интерфейсами и инструментами. Модель использует MoE-архитектуру: в названии указано 30B параметров, из которых 3B активируются для отдельного запроса. Она поддерживает текст и визуальные данные, включая изображения и видео. Заявлен нативный контекст 256K токенов с возможностью расширения до 1M, что позволяет работать с книгами, длинными документами и многочасовыми видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных представлений, DeepStack для объединения признаков ViT, а также выравнивание текста с временными метками для локализации событий в видео. OCR поддерживает 32 языка. Сильные стороны модели — объединённое понимание текста и визуального контекста, распознавание объектов и документов, пространственное и временное рассуждение, генерация кода и разметки по изображениям и видео, а также потенциальная работа визуального агента с GUI. README не содержит точных результатов тестов, сведений о конкретных языках общего текстового общения, размерах файлов и параметрах отдельных квантований, поэтому характеристики производительности и требования к ресурсам оценить нельзя. Для llama.cpp рекомендуется использовать параметр --jinja из-за исправлений chat template. Модель распространяется по лицензии Apache-2.0.

NobodyWho/Qwen_Qwen3-4B-GGUF — это квантизированная версия текстовой instruction-following модели Qwen3-4B, разработанной командой Qwen. Репозиторий предоставляет модель в формате GGUF, адаптированном прежде всего для инференса через библиотеку NobodyWho; GGUF-квантизации подготовлены bartowski. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций и сценариев с вызовом инструментов или функций. Она поддерживает режим рассуждений с явным выводом пошагового решения и работает более чем со 100 языками. Указана только текстовая модальность. Модель содержит около 4 миллиардов параметров и поддерживает контекст длиной до 32 768 токенов. В README приведён вариант Q4_K_M, однако характеристики других вариантов квантизации могут отличаться. К сильным сторонам относятся сравнительно небольшой размер, переносимый формат GGUF, поддержка мультиязычной генерации, инструментальных вызовов и режима рассуждений. Ограничения включают неизвестную дату отсечения знаний и отсутствие опубликованных бенчмарков в данном README; также квантизация может влиять на качество и скорость по сравнению с исходной моделью. Лицензия — Apache 2.0.

Smaug-Llama-3-70B-Instruct — чат-модель Abacus.AI, полученная дообучением meta-llama/Meta-Llama-3-70B-Instruct по рецепту Smaug для повышения качества многошаговых диалогов. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации ответов и ведения диалога; она использует формат запросов Llama 3 Instruct и контекст до 8192 токенов. Модель рассчитана на многошаговые беседы и широкий круг текстовых запросов. В карточке приведены результаты MT-Bench и Arena-Hard, где авторы сообщают о высоком качестве ответов; также указаны результаты нескольких тестов знаний и рассуждений. Это заявления из карточки, а не гарантия результатов в конкретных задачах. Лицензия — Llama 3; перед использованием следует соблюдать её условия.

Deplyze-Mini — компактная языковая модель, разработанная командой Deplyze Core ML Team для анализа зависимостей программного обеспечения и рисков цепочки поставок. Это причинная языковая модель на базе Qwen/Qwen2.5-0.5B-Instruct, дообученная с помощью адаптера LoRA; в репозитории указано 444,4 млн параметров. Модель принимает структурированные результаты детерминированных сканеров и формирует решения для CI/CD, объяснения уязвимостей и рекомендации по исправлению. Карточка указывает контекст 2048–4096 токенов и поддержку английского языка. Репозиторий использует формат safetensors, библиотеку Transformers и лицензию Apache-2.0. Модель предназначена для оценки риска зависимостей, сортировки находок уязвимостей, рассуждений о совместимости версий, проверки подозрительных признаков пакетов и анализа соответствия лицензий заданной политике. Её подход рассчитан на выводы, основанные на предоставленных фактах сканирования; модель не должна заменять источники данных об уязвимостях или объявлять пакет гарантированно безопасным. Качество выводов зависит от полноты и точности входных данных: нестандартные схемы версий требуют нормализации, а глубокие транзитивные цепочки — предварительного обхода графа сканером.

LilaRest/gemma-4-31B-it-NVFP4-turbo — репакованная и оптимизированная версия Gemma 4 31B IT, основанная на моделях Google gemma-4-31B-it и NVIDIA Gemma-4-31B-IT-NVFP4. Модель предназначена для генерации текста, диалоговых приложений, ответов на вопросы и других задач, поддерживаемых text-generation. Это текстовая версия: веса и энкодеры для обработки видео и аудио удалены. Модель использует квантизацию NVFP4 и рассчитана на GPU NVIDIA с архитектурой Blackwell, включая RTX 5090, RTX PRO 6000 и B200, с объёмом видеопамяти не менее 20 ГБ. По заявленным данным, она занимает около 18,5 GiB памяти, примерно в 2,5 раза быстрее базовой модели и обеспечивает более высокую производительность при параллельной обработке запросов. Заявлен контекст до 16K токенов. В бенчмарках модель получила 72,73% на GPQA Diamond и 83,93% на MMLU Pro, сохранив близкое к исходной модели качество, но с потерей примерно 1–3%. Основные ограничения — зависимость от совместимого оборудования NVIDIA Blackwell, необходимость соответствующих версий Transformers, vLLM и CUDA, а также отсутствие мультимодальной поддержки аудио и видео. По README, модель распространяется по лицензии Apache 2.0.

GWQ-9B-Preview — дообученная на синтетическом наборе Chain of Continuous Thought языковая модель семейства Gemma 2 от prithivMLmods. Это плотная decoder-only Transformer-модель с 9 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия на английском языке. Заявленные сценарии включают ответы на вопросы, суммаризацию, рассуждения, творческое письмо и выполнение инструкций. Модель принимает текст и выдаёт текст. Использует архитектуру Gemma2ForCausalLM, формат весов safetensors и контекст длиной до 8192 токенов. Лицензия — Gemma. Карточка предупреждает о возможных фактических ошибках и предвзятости, а также о требованиях к вычислительным ресурсам для модели такого размера.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes 2 Pro, разработанной NousResearch на основе Meta Llama 3 8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для текстового диалога, генерации текста и инструкций, а также сценариев с function calling и выдачей структурированных данных в JSON. Модель содержит около 8 миллиардов параметров, работает в текстовой модальности и ориентирована преимущественно на английский язык. В карточке указаны дообучение с применением DPO и RLHF, использование синтетических данных, дистилляции и датасета OpenHermes-2.5, а также формат запросов ChatML. Размер контекста в предоставленных данных не указан. Главное преимущество этой версии — доступность большого набора квантизаций с разным балансом качества, размера и требований к памяти: от Q8_0 до низкоразрядных IQ- и Q-вариантов. Более качественные варианты Q6_K и Q5_K_M рекомендованы для большинства задач, тогда как низкоразрядные версии подходят для систем с ограниченной памятью, но могут заметно уступать в качестве. Модель распространяется по лицензии Apache 2.0.