I.11Классификация, ранжирование и сопоставление

Qwen2-VL-72B-Instruct — мультимодальная модель компании Qwen, дообученная для следования инструкциям на основе Qwen/Qwen2-VL-72B. Она принимает текст и изображения, а также видео для визуального анализа, и формирует текстовые ответы. Модель содержит 71,5 млрд параметров, использует архитектуру Qwen2-VL с динамическим разрешением изображений и мультимодальным позиционным кодированием M-ROPE; длина контекста составляет 32 768 токенов. Модель предназначена для ответов на вопросы по изображениям и видео, анализа документов и визуального содержимого, а также диалога и создания текстового описания по визуальному материалу. Она поддерживает разные разрешения и пропорции изображений; в README также описана возможность интеграции в системы, управляющие устройствами по визуальному окружению и текстовым инструкциям. Видеовход ограничен локальными файлами, а аудио в видео модель не понимает. Согласно README, известные ограничения включают неточный подсчёт объектов, слабое пространственное рассуждение, трудности со сложными многошаговыми инструкциями и ограниченное распознавание конкретных людей и объектов интеллектуальной собственности. Данные об изображениях актуальны до июня 2023 года. Модель распространяется под лицензией с меткой Hugging Face «other»; конкретные условия лицензии следует сверить в карточке репозитория.

Qwen/Qwen3-0.6B-MLX-bf16 — версия модели Qwen3, подготовленная для запуска с библиотекой MLX. Это плотная авторегрессионная языковая модель с 507,9 млн параметров, основанная на Qwen/Qwen3-0.6B-Base; в репозитории указаны веса safetensors и лицензия Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, математических задач, генерации кода, перевода и сценариев с вызовом инструментов. Модель поддерживает режимы с рассуждениями и без них, которые можно переключать при формировании запроса. Карточка описывает поддержку более 100 языков и диалектов. Контекст в метаданных указан как 40 960 токенов; README базовой модели приводит 32 768 токенов. Модель компактна по числу параметров и рассчитана на запуск через MLX, однако карточка не приводит отдельной оценки качества именно этой версии на конкретных задачах. Как и другие небольшие языковые модели, она может ошибаться в фактах, рассуждениях и коде; для режима рассуждений важен подбор параметров генерации.

Qwen3-235B-A22B-Instruct-2507-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, а распространение модели представлено в рамках программы LM Studio Community Models. Модель предназначена для генерации текста и выполнения инструкций в сценариях локального запуска через совместимое программное обеспечение, включая LM Studio и llama.cpp. Из доступных данных известно, что исходная модель имеет размер 235B параметров, из которых 22B являются активными, однако сведения о конкретном типе квантизации, поддерживаемых языках, модальностях и размере контекста в README не указаны. К сильным сторонам относятся крупный масштаб исходной модели, инструкционная настройка и возможность использования GGUF-формата в локальной инфраструктуре. Ограничения связаны с отсутствием в предоставленной карточке подробностей о производительности, точности, аппаратных требованиях, вариантах квантизации и лицензии. Модель предоставляется третьими сторонами; LM Studio не является её разработчиком и не гарантирует точность, безопасность или пригодность результатов.

Sehyo/Qwen3.5-122B-A10B-NVFP4 — квантизированная версия модели Qwen/Qwen3.5-122B-A10B, подготовленная Sehyo с использованием схемы квантования NVFP4. Модель относится к семейству Qwen3.5 и имеет MoE-архитектуру; для загрузки и запуска используется библиотека Transformers, а для поддержки NVFP4 рекомендуется nightly-версия vLLM. Модель предназначена для запуска Qwen3.5-122B-A10B в более компактном квантизированном формате, что может быть полезно для инференса больших языковых моделей и сценариев, где важны снижение требований к памяти и эффективное выполнение. Квантование выполнено с помощью VLLM LLM Compressor с поддержкой Qwen3.5 MoE. При калибровке использовано 512 образцов из наборов ultrachat_200k и Nemotron-Post-Training-Dataset-v2, максимальная длина последовательности составляла 4096 токенов, а калибровка охватывала всех экспертов MoE. Ключевые особенности — NVFP4-квантование и наличие весов MTP (multi-token prediction), добавленных для поддержки speculative decoding в vLLM. Ограничения README не описывает: неизвестны точный размер контекста исходной модели, поддерживаемые языки, модальности, показатели качества и требования к оборудованию. Лицензия в предоставленных данных не указана.

OnlyTextLLMs/Qwen3.5-2B-OnlyText — текстовая причинно-следственная языковая модель на базе Qwen/Qwen3.5-2B. Разработчик репозитория удалил из исходной модели компоненты обработки изображений и аудио и мультимодальные специальные токены, сохранив текстовую основу, языковую голову и черновую MTP-голову; дополнительного обучения не проводилось. Модель имеет плотную архитектуру Qwen3_5ForCausalLM, около 1,7 млрд параметров по метаданным и контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст; заявленный интерфейс также поддерживает вызов инструментов. Репозиторий использует Transformers и формат safetensors. Лицензия — Apache-2.0. Удалённые аудио- и визуальные компоненты исключают обработку изображений и аудио; сведения о языках в предоставленных данных не приведены.

lued/Qwen3.8-27B-AEON-UNCENSORED-INT8-W8A16-MTP — квантованная версия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, основанной на Qwen/Qwen3.8-27B. За исходную архитектуру и базовую модель отвечает Qwen, за abliteration — AEON-7, а данный репозиторий содержит числовую W8A16-квантизацию, подготовленную lued. Модель предназначена для диалоговых и мультимодальных сценариев с обработкой текста и изображений, а также для развёртывания в vLLM на видеокартах Ampere. Модель имеет размер 27B параметров, поддерживает vision tower, режимы reasoning и нативный контекст до 262 144 токенов. Веса языковой модели представлены в INT8 с FP16 или BF16-активациями по схеме W8A16; голова MTP сохранена в BF16 для speculative decoding. Конфигурация оптимизирована для тензорного параллелизма на двух RTX 3090 и поддерживает FP8 E4M3 KV-кэш. Расширение контекста до 1 млн токенов с YaRN указано как отдельная возможность исходной модели и не гарантируется данной конфигурацией. Сильные стороны модели — сниженное потребление памяти по сравнению с BF16-версией, сохранение мультимодальности, большого контекста и MTP, а также отсутствие заявленных отказов на проверенном наборе промптов у исходной uncensored-версии. Ограничения включают зависимость от совместимой конфигурации vLLM, Ampere-ориентированную оптимизацию, необходимость учитывать доступную KV-память и возможное отличие поведения от стандартной Qwen3.8-27B из-за abliteration. В README указана лицензия Apache-2.0.

Qwen3.8-27B-NVFP4-vllm — квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и опубликованной пользователем kekzle. Модель предназначена для запуска в vLLM и imp; поддерживает текстовые и визуальные входы, при этом в карточке указан английский язык. Это гибридная архитектура с компонентами GDN, vision tower и MTP draft head, однако подробные сведения о точной архитектуре и максимальном контексте не приведены. Линейные веса внимания, MLP и GDN-проекций сжаты в NVFP4 с группами размера 16 по схеме W4A16, а embeddings, lm_head, нормализации, vision tower и MTP draft head сохранены в исходной точности BF16. Размер весов уменьшен примерно с 51,75 до 19,2 ГиБ, что позволяет разместить модель на видеокарте с 32 ГиБ памяти. По приведённым измерениям на RTX 5090 модель достигла perplexity 4,6158, скорости декодирования до 87,4 токена в секунду и результата 45/45 в тестовом наборе качества. Сильные стороны модели — существенная экономия памяти, поддержка работы с текстом и изображениями, совместимость с vLLM и imp, а также возможность запуска на потребительских видеокартах Blackwell sm_120, где опубликованные варианты с FP8 attention могут не работать. Ограничения связаны с экспериментальным характером квантования без калибровки активаций, меньшей производительностью vLLM на sm_120 из-за fallback на Marlin и необходимостью настраивать число последовательностей и параметры памяти. Для многошаговых диалогов рекомендуется выделять не менее примерно 400 токенов на ответ, поскольку бюджет включает внутреннее рассуждение. Модель распространяется по лицензии Apache-2.0. Квантованная версия создана из официального релиза BF16 с помощью экспериментального квантовщика imp.

Qwen3-VL-30B-A3B-Instruct — мультимодальная модель семейства Qwen3-VL, опубликованная Red Hat AI. Это MoE-модель для диалога и генерации ответов по тексту и визуальным данным; в README указана конфигурация с 30 млрд параметров и активной частью A3B. Она предназначена для анализа изображений и видео, визуального рассуждения, OCR, пространственного понимания и взаимодействия с инструментами. Модель также может распознавать интерфейсы и выполнять задачи через GUI, а по изображениям и видео создавать код для Draw.io, HTML, CSS и JavaScript. README заявляет контекст 256 тысяч токенов с возможностью расширения до 1 млн, поддержку OCR на 32 языках и улучшенное понимание длительных видео с привязкой событий ко времени. Среди архитектурных особенностей названы Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Репозиторий содержит веса в формате safetensors; для работы указана библиотека Transformers. Лицензия — Apache-2.0. Описание не приводит результатов бенчмарков или точного перечня поддерживаемых языков; заявленные возможности и качество следует оценивать на целевых данных и сценариях.

Kaoeiri/Qwenwify2.5-32B-v4.71-ED — языковая модель для генерации текста и диалогов, созданная слиянием нескольких моделей семейства Qwen2.5 при помощи mergekit. В README указан метод DARE TIES и базовая модель Qwen/Qwen2.5-32B-Instruct; в слияние также вошли модели, ориентированные на диалог, рассуждения, ролевые сценарии и японский язык. Модель использует плотную архитектуру Qwen2ForCausalLM, содержит 32 млрд параметров и имеет контекстное окно 32 768 токенов. Метаданные указывают поддержку китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков, а также интерфейс для вызова инструментов. Она подходит для диалогов, генерации текста и сценариев ролевого общения; подробные сравнительные оценки качества в карточке не приведены. Лицензия в предоставленных данных не указана.

Spark-X2.5-1.7B Community Quants — это набор GGUF-квантизаций модели Spark-X2.5-1.7B, разработанной XHToken. Данные варианты опубликованы сообществом пользователем darioooooo0o и предназначены для локального запуска текстовой генерации, в том числе агентных сценариев с вызовом инструментов, через llama.cpp или совместимую инфраструктуру. Для GGUF требуется форк llama.cpp от XHToken, поскольку архитектура spark2_5 пока не входит в upstream llama.cpp. Модель имеет 1,7 млрд параметров, гибридное внимание с соотношением 3:1 между sliding-window и full attention и поддерживает нативный контекст до 1 млн токенов. Доступны варианты Q8_0, Q6_K, Q4_K_M и IQ4_XS размером примерно от 1,0 до 1,7 ГБ. Квантизация выполнена с использованием importance matrix; варианты рассчитаны на полностью GPU-резидентный запуск, начиная примерно с видеокарт с 4 ГБ памяти, при этом доступный контекст зависит от объёма VRAM и выбранной точности. Сильные стороны модели — компактный размер, высокая скорость декодирования, большой контекст и проверенная поддержка tool calling, включая сложные схемы, параллельные вызовы и многошаговые циклы с результатами инструментов. Ограничение уровня исходной модели — риск бесконечных циклов рассуждений на расплывчатых открытых вопросах; для автономных систем рекомендуется задавать бюджет рассуждений и тайм-ауты. Лицензия — Apache-2.0.

WINTER-FROST-3 — дообученная brucoder модель для генерации текста и диалогов. Она основана на WINTER-FROST-2-PRO, использует плотную архитектуру Qwen2 и содержит 7,1 млрд параметров. Модель принимает текст и поддерживает контекст длиной до 32 768 токенов; в карточке указан английский язык. В метаданных также отмечен интерфейс взаимодействия с инструментами. Модель подходит для текстовых запросов, диалогов и сценариев, где нужно вызывать инструменты через соответствующий интерфейс. При обучении использовались Unsloth и библиотека TRL от Hugging Face. Лицензия — Apache-2.0.

Yarn-Mistral-7b-64k-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель примерно на 7,1 млрд параметров, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.2 и NousResearch/Yarn-Mistral-7b-64k методом SLERP. Модель использует архитектуру Mistral и предназначена для генерации текста и ответов на инструкции в формате чата. Слияние объединяет параметры внимания и MLP двух моделей с разными весами. Базовый вариант Mistral-7B-Instruct-v0.2 имеет контекст до 32 768 токенов; имя и источник второго компонента указывают на вариант Yarn с расширенным контекстом, но README не подтверждает фактическую длину контекста итоговой модели. Распространяется в формате safetensors по лицензии Apache-2.0.

YuLan-Mini-Instruct — компактная языковая модель, разработанная командой YuLan и предназначенная для диалогов и выполнения инструкций. Это дообученная версия YuLan-Mini: авторы применили supervised fine-tuning, preference fine-tuning и обучение с подкреплением. Модель семейства Llama имеет плотную архитектуру и около 2,2 млрд параметров по метаданным; в README указано 2,4 млрд. Контекст составляет около 28 тысяч токенов. Модель подходит для ответов на вопросы, следования инструкциям, рассуждений, решения математических задач и написания кода. В обучении использовались открытые и синтетические данные, в том числе материалы по математике, науке и китайским бытовым знаниям. Метаданные указывают поддержку английского и китайского языков и возможности чата и генерации кода. Авторы отмечают конкурентные результаты на задачах рассуждения, математики и программирования, но указывают на слабые результаты в тестах, требующих обширных знаний, например MMLU. Модель распространяется по лицензии MIT.

airoboros-65b-gpt4-1.4 — языковая модель на архитектуре LLaMA с 65 млрд параметров, дообученная автором jondurbin методом QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов и генерации текста: отвечает на вопросы, следует инструкциям, пишет тексты и код, поддерживает ролевые и многоходовые разговоры, загадки и викторины. Для ответов по заданному контексту в карточке описан специальный формат промпта, который помогает модели опираться на предоставленные источники. Модель принимает текст и выдаёт текст. Указанная длина контекста — 2048 токенов; веса опубликованы в формате PyTorch. README предупреждает, что модель ещё не тестировалась, и отмечает, что ответы по контексту могут быть выдуманы, если контекст не содержит ответа. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое.

c4ai-command-r-08-2024-GGUF — это квантизированная версия языковой модели c4ai-command-r-08-2024, разработанной CohereForAI и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. В карточке указано, что она поддерживает английский, французский, немецкий, испанский, итальянский, португальский, японский, корейский, китайский и арабский языки. Модель относится к классу text-generation; сведения о размере, архитектуре и длине контекста в представленном README не указаны. Квантизация может снизить требования к ресурсам по сравнению с исходной моделью и упростить локальное развертывание, однако потенциально сопровождается потерей качества относительно полной версии. Доступ к исходной модели регулируется лицензией CC BY-NC 4.0 и дополнительным лицензионным соглашением Cohere; использование разрешено только в некоммерческих целях. Для доступа также предусмотрена форма с подтверждением согласия с условиями лицензии.

CollectiveCognition-v1.1-Mistral-7B-Mistral-7B-Instruct-v0.2-slerp — объединённая модель на основе Mistral-7B-Instruct-v0.2 и CollectiveCognition-v1.1-Mistral-7B, созданная с помощью метода SLERP. Это плотная авторегрессионная языковая модель Mistral с 7,1 млрд параметров для диалогов и генерации текста по инструкциям; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст, поэтому подходит для диалоговых помощников и задач генерации на естественном языке. Репозиторий содержит веса Safetensors в формате bfloat16. Лицензия — Apache-2.0. В README описана схема слияния, но отдельные результаты оценки качества и подробные ограничения модели не приведены.

Citaman/command-r-20-layer — объединённая языковая модель семейства Cohere, созданная методом SLERP с помощью mergekit на основе Citaman/command-r-21-layer. В метаданных указаны 18,5 млрд параметров, архитектура CohereForCausalLM и формат safetensors; конфигурация объединения использует срезы слоёв исходной модели и тип bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Контекст составляет 8192 токена. Карточка не указывает отдельные поддерживаемые языки или условия лицензии, поэтому их нельзя надёжно определить по имеющимся данным.

DeepSeek-R1-0528-Qwen3-8B-MLX-4bit — это 4-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и формата MLX, ориентированного на работу на устройствах с Apple Silicon. Модель предназначена для генерации текста и связанных с ней языковых сценариев. README не содержит сведений о точном числе параметров, поддерживаемых языках, размере контекста, модальностях или специализированных ограничениях исходной модели. Ключевое преимущество версии — уменьшенный размер благодаря 4-битному представлению и оптимизация для Apple Silicon; при этом квантование может снижать точность по сравнению с исходной моделью, а применение вне экосистемы MLX и Apple Silicon может быть ограничено. Модель распространяется по лицензии MIT.

Gemma 1.1 7B IT — инструктивно дообученная текстовая языковая модель Google из семейства Gemma, созданного на основе исследований и технологий Gemini. Это декодерная модель с открытыми весами, рассчитанная на диалог и генерацию текста по инструкциям; её можно запускать на компьютере или в собственной облачной инфраструктуре. Модель подходит для ответов на вопросы, суммаризации, рассуждений, создания текстов и разговорных интерфейсов. В карточке семейства указана поддержка английского языка. Относительно компактный размер облегчает развёртывание при ограниченных вычислительных ресурсах, однако конкретный объём параметров и длина контекста в предоставленных данных не приведены. Ответы могут содержать фактические ошибки, отражать смещения обучающих данных и не учитывать тонкие языковые нюансы; качество также зависит от формулировки запроса и контекста. Для Gemma действует лицензия Gemma; при использовании следует соблюдать её условия и политику запрещённого использования Google.

Gemma4-12B-Reasoning-Distill — это производная от Google Gemma 4 12B Instruct, подготовленная пользователем yuxinlu1 и распространяемая в формате GGUF. Модель предназначена для локального и офлайн-использования через llama.cpp и совместимые приложения, включая LM Studio, Jan и Ollama. Она ориентирована на диалоги, генерацию текста, программирование и задачи, требующие рассуждений; дообучение выполнено на синтетических данных рассуждений, связанных с Claude Opus 4.6, 4.7 и 4.8. Модель использует архитектуру Gemma 4 и имеет размер 12B параметров. Доступны варианты квантования Q2_K, Q4_K_M, Q6_K, Q8_0 и F16 размером примерно от 4,5 до 22,2 ГБ. Максимальная длина контекста заявлена до 131K токенов и зависит от квантования, объёма памяти и типа KV-кэша. Поддерживается режим рассуждений через нативный thought channel Gemma; рекомендованные параметры генерации — temperature 1.0, top_p 0.95 и top_k 64. Дополнительно доступен MTP draft-модель для speculative decoding, способная ускорять генерацию без изменения результата при использовании свежей версии llama.cpp. Сильные стороны модели — небольшой объём по сравнению с полноразмерными моделями, возможность запуска на локальном оборудовании, приватность и отсутствие зависимости от облачного API. Ограничения включают англоязычную направленность, стилистический характер синтетических рассуждений, необходимость перепроверять факты и числа, а также сниженную безопасность: модель менее склонна к отказам и не считается safety-aligned, поэтому для production-сценариев нужны собственные защитные механизмы. Производительность и доступный контекст зависят от выбранного квантования и оборудования. В README указана лицензия Apache 2.0 для производной модели и базовой модели Google Gemma 4.

Ghost 8B Beta — большая языковая модель компании Ghost X, разработанная Hieu Lam на основе meta-llama/Meta-Llama-3-8B. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров для диалогов, генерации текста, многоязычных задач и вызова функций через инструменты. В репозитории заявлена версия с контекстом 8192 токена; README также описывает отдельный вариант на 131072 токена. Модель рассчитана на английский, вьетнамский, испанский, португальский, немецкий, итальянский, французский, корейский и китайский языки. Разработчик сообщает о продолженном предварительном обучении, дообучении с многоязычным буфером и этапе настройки по человеческой обратной связи. Модель поставляется в формате safetensors; README также упоминает варианты BF16, GGUF и AWQ. Модель предназначена для создания многоязычных чат-ассистентов, ответов на вопросы и выполнения инструкций, в том числе с использованием инструментов. В README приведены высокие сравнительные результаты, но методика и подробности оценивания здесь не раскрыты. Указана лицензия Ghost Open LLMs LICENSE вместе с Llama 3 LICENSE; перед использованием следует проверить условия обеих лицензий. Модель — бета-версия, и разработчик рекомендует более новую Ghost 8B Beta 1608.

GLiNER-relex-large-v0.5 — модель семейства GLiNER для совместного распознавания именованных сущностей и извлечения отношений из текста. Она использует единую энкодерную архитектуру: определяет фрагменты сущностей, формирует пары кандидатов с помощью графовых свёрточных сетей и классифицирует отношения между ними. Модель поддерживает zero-shot извлечение: при обработке можно задавать собственные типы сущностей и отношений без дообучения, в том числе сопровождать метки текстовыми описаниями. Сущности и отношения извлекаются за один проход; при необходимости доступно извлечение только сущностей. Это подходит для построения графов знаний, анализа документов и разметки текстовых корпусов. Для развертывания предусмотрен экспорт в ONNX. Модель опубликована Knowledgator в формате safetensors и распространяется по лицензии Apache-2.0. Результаты зависят от выбранных схемы меток и порогов извлечения; README рекомендует подбирать пороги под задачу.

canada-quant/GLM-5.3-Flash-W4A16-MTP — это квантизированная версия мультимодальной модели GLM-5.3-Flash, разработанной zai-org и подготовленной canada-quant. Модель предназначена для генерации текста и обработки изображений с текстом, включая сценарии с очень длинным контекстом и ускоренным инференсом на совместимом GPU-оборудовании. Заявлены английский и китайский языки, архитектура Transformers и контекст до 1 048 576 токенов. В модели применяется weight-only-квантизация INT4 (W4A16, GPTQ, group-128) для 36 288 routed-expert GEMM-операций. Веса занимают около 177,7 GiB вместо примерно 599 GiB в BF16. Компоненты внимания, маршрутизатор, shared experts, embeddings, vision tower и BF16 MTP draft head сохранены без квантизации; MTP используется для speculative decoding. Артефакт рассчитан на запуск, в частности, на 4× H100/H200, 4× RTX PRO 6000 или 2× DGX Spark, при этом максимальный подтверждённый контекст зависит от конфигурации оборудования. Сильные стороны модели — существенно сниженные требования к памяти, поддержка длинного контекста, мультимодальность и ускорение генерации за счёт MTP. README приводит высокие результаты на AIME 2026 и GSM8K, а также сравнительные показатели производительности на H100, H200 и DGX Spark. Ограничения включают зависимость доступного контекста и скорости от конкретного оборудования и serving stack; модель не является новой базовой разработкой, а сохраняет возможности исходной GLM-5.3-Flash с компромиссами квантизации. Лицензия — MIT.

GLM-5.3-NVFP4 — квантизированная версия модели GLM-5.3 от Z.ai, опубликованная в формате NVIDIA Model Optimizer. Это текстовая генеративная модель для запуска и обслуживания задач генерации текста; README также указывает поддержку reasoning и вызова инструментов через соответствующие парсеры. Модель предназначена для работы на GPU NVIDIA Blackwell с архитектурой SM100 и новее, непосредственно через SGLang или vLLM. В модели используются веса и статические активации линейных слоёв маршрутизируемых MoE-экспертов в формате NVFP4, а KV-кэш хранится в FP8. Размер контрольной точки составляет 433 GiB. Доступна опциональная speculative decoding с draft-моделью GLM-5.3-DFlash2 и семью токенами на шаг проверки. Языки, размер контекста, точное число параметров и полный перечень модальностей в README не указаны; по имеющимся данным модель относится к текстовым, а не мультимодальным системам. К сильным сторонам относятся существенное сжатие представления вычислений, поддержка специализированного инференса на современных GPU NVIDIA и близкие к исходной FP8-версии результаты на приведённых тестах: например, 95,1 против 94,3 на AIME 2025 и 91,2 против 91,1 на GPQA Diamond. Ограничения включают требование GPU NVIDIA Blackwell, крупный объём контрольной точки и отсутствие данных о производительности на другом оборудовании. Модель распространяется по лицензии GLM-5.3 License, унаследованной от базовой модели.

Это GGUF-квантизации инструкционной модели Gemma 3 4B IT, разработанной Google и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалогов, генерации и обработки текста, а также поддерживает работу с изображениями через vision-компонент. Она может использоваться локально в LM Studio, llama.cpp и других совместимых проектах. Модель содержит около 4 миллиардов параметров и доступна в вариантах BF16, F32/F16 для vision-компонента и многочисленных квантизациях от Q8_0 до Q2_K_L, что позволяет выбирать баланс между качеством, размером файлов и требованиями к памяти. Для анализа изображений требуется отдельный файл mmproj и сборка llama.cpp с поддержкой Gemma 3. В README не указаны поддерживаемые языки, размер контекста и точные архитектурные характеристики. Сильными сторонами являются локальный запуск, широкий выбор уровней квантизации и мультимодальные возможности. Более низкие варианты квантизации экономят память, но снижают качество; некоторые форматы отмечены как устаревшие или нерекомендуемые. Лицензия в предоставленных данных не указана.

Infinity-Parser2-Pro-AWQ-W4A16 — это квантизированная int4-модель W4A16 для задач анализа изображений и текста, включая OCR, разбор документов и работу с визуально-языковыми запросами. Модель основана на infly/Infinity-Parser2-Pro и подготовлена пользователем spectator2026 для запуска на GPU NVIDIA A100 с архитектурой sm80, где исходный путь FP8 не поддерживается. Квантизация выполнена методом AWQ с помощью llm-compressor и применяется только к маршрутизируемым экспертам. Механизмы внимания, GDN/линейное внимание, общий эксперт, vision tower и lm_head сохранены в формате bfloat16. Размер модели уменьшен примерно с 70 ГБ в bf16 до 21 ГБ. Данные о количестве параметров, поддерживаемых языках и размере контекстного окна в README не указаны. По результатам воспроизведения с AI-оценкой модель показывает близкое к исходной bf16-версии качество: 66,9 против 69,7 на MMStar, около 89 против 86,2 на OCRBench и 96,4 против 96,4 на DocVQA. Основное ограничение — необходимость корректной настройки vLLM и передачи параметра chat_template_kwargs с отключением режима рассуждений; без этого ответы могут попадать в reasoning channel. Модель распространяется по лицензии Apache-2.0.

Jantrit-7B — языковая модель на архитектуре Mistral, созданная автором репозитория с помощью LazyMergekit путём слияния OpenHermes-2.5-Mistral-7B и Dolphin-2.6-Mistral-7B методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст. Базовые модели предназначены для общения, генерации текста и помощи с кодом, однако README не приводит отдельной оценки качества Jantrit-7B. Сведения о лицензии в предоставленных данных отсутствуют.

Jan-v3-4B-base-instruct-GGUF — квантованная версия компактной языковой модели Jan-v3-4B-base-instruct, разработанной Jan (janhq) и преобразованной в формат GGUF с помощью llama.cpp командой GGUF Quantizer Space. Модель предназначена для генерации текста, следования инструкциям, локального запуска, лёгкой помощи в программировании и последующей тонкой настройки под прикладные задачи. Модель относится к авторегрессионным causal language models и содержит около 4 млрд параметров, 36 слоёв и Grouped Query Attention с 32 головами для запросов и 8 для ключей и значений. Заявлена нативная длина контекста 262 144 токена. Модель получена посредством посттренировочной дистилляции от более крупной модели; README не указывает поддерживаемые языки и не заявляет мультимодальность, поэтому её следует рассматривать как текстовую. Основные преимущества — компактность, возможность локального развертывания через llama.cpp или Ollama, улучшенное следование инструкциям и пригодность в качестве основы для дообучения. Доступны варианты квантования от Q2_K до Q8_0: меньшие варианты требуют меньше ресурсов, но сильнее теряют в качестве, тогда как Q4_K_M и Q5_K_M обозначены как сбалансированный и высококачественный рекомендуемые варианты. Ограничения включают потери качества при агрессивном квантовании, а также отсутствие в README подробных данных о результатах бенчмарков, языках и ограничениях безопасности. Для исходной модели указана лицензия Apache 2.0.

K2-Horizon-32B MLX 6-bit — 6-битная квантизованная версия плотной авторегрессионной языковой модели IFM/K2-Horizon-32B, подготовленная hermitdave для запуска на компьютерах Apple Silicon через MLX. Модель содержит 31,2 млрд параметров по метаданным, а README описывает исходную архитектуру как декодер с 64 слоями. Заявленная длина контекста — 524 288 токенов. Модель предназначена для генерации текста, диалогов, рассуждений и агентных задач; карточка характеризует исходную модель как reasoning-модель и приводит результаты нескольких бенчмарков. Квантование уменьшает объём весов примерно до 24 ГБ, что, согласно README, позволяет запускать модель на устройствах Apple Silicon с 64 ГБ памяти. Для использования указаны MLX и mlx-lm; README также сообщает о необходимости патча oMLX версии 0.6.4 или новее для поддержки типа модели и формата вызовов инструментов. Это чекпойнт Stage 1; автор README сообщает, что ожидается финальный чекпойнт с улучшенными результатами. Модель выпущена по лицензии Apache-2.0. Данные о поддерживаемых естественных языках в источниках не приведены.

K2-Horizon-MoVA-36B-A4B-GGUF — квантованная версия модели IFM/K2-Horizon-MoVA-36B-A4B, опубликованная abenzerps в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и поддерживает сценарии диалогов и вызова инструментов; доступен формат tool calling с вариантами xml, json и xml_typed. Это разреженная Mixture-of-Experts-модель с архитектурой Mixture-of-Values attention (MoVA): всего 36 млрд параметров, из которых примерно 4 млрд активируются для каждого токена. Исходная модель поддерживает контекст до 524 288 токенов (512K), а заявленный язык — английский. Модель текстовая и не требует vision projector. Доступны варианты квантования Q3_K_M, Q4_K_M, Q4_0, Q5_K_M, Q6_K и Q8_0 размером примерно от 17,66 до 39,83 ГБ. Ключевое преимущество модели — сочетание большого контекстного окна, разреженной MoE-архитектуры и нескольких вариантов квантования для выбора компромисса между качеством и требованиями к памяти. Для запуска требуется сборка llama.cpp с поддержкой архитектуры K2 Horizon, включая форк MBZUAI-IFM до появления поддержки в основной ветке. Лицензия исходной модели — Apache-2.0; фактическая производительность зависит от выбранной квантовки и доступной памяти.