I.11Классификация, ранжирование и сопоставление

mlx-community/Qwen3-Next-80B-A3B-Instruct-4bit — это 4-битно квантизированная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.27.1. Модель предназначена для генерации текста и выполнения задач по инструкциям в приложениях, использующих экосистему MLX, включая локальный запуск через библиотеку mlx-lm. Из README известно, что модель является текстовой и относится к pipeline text-generation. В её названии указаны размер 80B и конфигурация A3B, однако подробности архитектуры, поддерживаемые языки, длина контекста и набор модальностей не приведены. Ключевое преимущество версии — 4-битное представление, потенциально уменьшающее требования к памяти при локальном использовании, но README не содержит данных о качестве, производительности или ограничениях квантизации. Модель распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Instruct-MLX-8bit — это 8-битная квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, адаптированная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и работы с широким спектром задач, поддерживаемых инструкционной языковой моделью, включая диалоговые сценарии и локальное использование через совместимую программную среду. Модель содержит 80B параметров, при этом заявлена конфигурация A3B; точная архитектура, поддерживаемые языки и размер контекстного окна в README не указаны. Формат MLX и 8-битная квантизация оптимизированы для Apple Silicon, что делает модель более подходящей для локального запуска на таких устройствах по сравнению с полноразмерной версией. Ограничениями являются зависимость от совместимого окружения MLX и оборудования Apple Silicon, а также возможные типичные для генеративных моделей ошибки, неточности и нежелательный контент. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

Rombos-LLM-V2.5-Qwen-32b — текстовая генеративная модель, созданная Rombodawg на основе Qwen2.5-32B-Instruct. Автор описывает её как результат непрерывного дообучения и слияния инструктивной и базовой моделей методом TIES; метаданные также связывают модель с Qwen/Qwen2.5-32B-Instruct. Модель построена на плотной архитектуре Qwen2 и содержит 32 млрд параметров. Модель предназначена для диалога и генерации текста, включая сценарии с вызовом инструментов через соответствующий интерфейс. Она принимает текст, выдаёт текст и рассчитана на контекст до 32 768 токенов. Карточка заявляет более высокую производительность по сравнению с исходными instruct- и base-моделями, но не приводит бенчмарков или подробностей проверки этого заявления. Поддерживаемые языки отдельно не перечислены. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README сообщает, что квантизованные версии и бенчмарки пока готовятся.

Shisa V2 Llama 3.3 70B — двуязычная чат-модель общего назначения, разработанная Shisa.AI на основе Meta-Llama-3.3-70B-Instruct. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов; репозиторий содержит веса в формате safetensors. Модель обучали с акцентом на улучшение японского языка, сохраняя возможности английского, с помощью расширенного синтетического постобучения и оптимизации инструктивного поведения. Модель предназначена для диалогов, следования инструкциям и генерации текста на японском и английском языках; также предусмотрен интерфейс вызова инструментов. По опубликованным оценкам, она превосходит базовую Llama 3.3 70B Instruct по ряду японских тестов, но результаты на английских бенчмарках неоднородны и зависят от теста. Для запуска проверена совместимость с vLLM и SGLang. Лицензия — Llama 3.3; использование регулируется условиями лицензии Meta.

SuperGemma4-26b-abliterated-multimodal — производная мультимодальная модель на базе Google Gemma 4 26B IT, опубликованная Jiunsong. Это плотная модель с условной генерацией, предназначенная для диалогов, следования инструкциям и вызова инструментов. Она принимает текст и изображения и генерирует текст; в карточке заявлена поддержка английского и корейского языков. Модель поставляется в формате BF16 в формате Transformers, с шаблонами чата и вызова инструментов для настройки локального и серверного запуска. Автор README описывает обновление стабильности от 18 апреля: улучшения обработки ложных предпосылок, форматирования JSON и вызовов инструментов, извлечения из длинного контекста и устойчивости к зацикливанию. Приведены результаты внутренних проверок; в проверке сервера отмечены несоответствия в безопасных отказах и обработке текстовых запросов к мультимодальному серверу. Лицензия указана как Gemma; условия применения следует сверять с лицензией Gemma.

IsValorum/Thomson-1.0-Small-APEX-I-MiniPlus-V2-GGUF — это квантованная версия модели Thomson-1.0-Small, разработанной Thomson Reuters и преобразованной в формат GGUF пользователем IsValorum. Модель предназначена для запуска через совместимые инструменты, включая llama.cpp, и ориентирована на юридические, аудиторские и финансовые сценарии, а также на обработку документов, изображений, таблиц и OCR. Модель использует архитектуру mixture-of-experts (MoE) и поддерживает мультимодальный режим image-text-to-text с обработкой текста и изображений. В README указана поддержка английского, китайского, испанского, французского, немецкого, португальского, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Квантование APEX-I-MiniPlus выполнено с учётом чувствительности отдельных тензоров: маршрутизаторы сохранены в F32, выходная голова — в Q6_K, attention gates — в Q8_0, а основные эксперты — не ниже калиброванного уровня 3 бит. Это должно обеспечивать более высокую точность по сравнению с плоскими 3-битными квантованиями, однако конкретные характеристики размера, объёма контекста и производительности именно этой версии в представленном фрагменте README не указаны. Сильными сторонами являются сочетание компактного квантованного формата, мультимодальности, многоязычности и оптимизации для задач, требующих анализа юридических и финансовых материалов. Ограничения связаны с потерями точности, неизбежными для квантованной версии, зависимостью скорости от оборудования и отсутствием в доступных данных полного набора характеристик и результатов тестирования именно этой модели. Лицензия — Apache-2.0.

Yi-1.5-9B-Chat-GGUF — это квантизированная в формате GGUF языковая модель для генерации текста и диалогового взаимодействия. Исходную модель Yi-1.5-9B-Chat разработала компания 01-ai, а квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для локального использования, в том числе через LM Studio, и распространяется под лицензией Apache 2.0. Модель содержит около 9 миллиардов параметров и относится к семейству Yi, построенному на архитектуре, совместимой с Llama. Она была дополнительно обучена на корпусе объёмом 500 млрд токенов и дообучена на 3 млн разнообразных примеров. Заявленные сценарии включают программирование, математику, рассуждения, выполнение инструкций, понимание языка, здравый смысл и чтение с пониманием. Для общения рекомендуется использовать шаблон ChatML. Сведения о поддерживаемых языках, размере контекста, точной архитектуре и других технических характеристиках в README не приведены. К сильным сторонам относятся универсальность, возможности диалогового режима и пригодность для запуска на локальном оборудовании благодаря квантизации. Ограничения включают отсутствие опубликованных подробных технических характеристик, а также типичные для языковых моделей риски неточных, вредных или неподходящих ответов; результат зависит от выбранного варианта квантизации и настроек запуска.

Zero-Mistral-24B — текстовая большая языковая модель, разработанная ZeroAgency.ru и дообученная на базе mistralai/Mistral-Small-3.1-24B-Instruct-2503. В отличие от базовой модели, в этой версии удалены возможности работы с изображениями. Модель рассчитана прежде всего на русский и английский языки; для обучения использовались Big Russian Dataset и собственный набор данных Shkolkovo.online. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, математические задачи и рассуждения. По данным карточки, она сохраняет контекст до 128 тысяч токенов и имеет 23,4 млрд параметров. Доступны веса Safetensors и варианты GGUF, включая BF16, F16 и квантованные версии. Для запуска описана поддержка Transformers, vLLM и llama.cpp. Лицензия — MIT. Разработчики отмечают хорошие математические навыки и некоторые способности к рассуждению; результаты тестов приведены в карточке. Карточка не содержит подробных сведений о характерных ошибках или систематических ограничениях качества.

ZEUS-8B-V19 — объединённая языковая модель семейства Llama 3.1, созданная T145 с помощью mergekit и метода DARE TIES. В основу слияния положена unsloth/Meta-Llama-3.1-8B-Instruct; также объединены Llama-3.1-SuperNova-Lite, Llama-3.1-Storm-8B, Llama-3.1-SauerkrautLM-8b-Instruct и Llama-3.1-8B-Lexi-Uncensored-V2. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Она предназначена для диалогов и генерации текста, поддерживает интерфейс вызова инструментов и контекст до 131 072 токенов. Карточка приводит результаты оценивания на IFEval и BBH. Лицензия в предоставленных данных не указана.

ZhiXi-13B-Diff — дифференциальные веса модели ZhiXi, разработанной проектом KnowLM для извлечения знаний. Чтобы восстановить веса, их необходимо применить к LLaMA-13B. В карточке описаны полное предварительное обучение на китайских и английских корпусах и последующая настройка инструкциями для извлечения сущностей, отношений и другой информации. Модель также сохраняет способности к работе с английским языком и кодом; приведены примеры перевода и следования инструкциям. Это плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров и контекстом 2048 токенов. Она принимает текст и генерирует текст; карточка заявляет поддержку китайского и английского языков. Файлы представлены в формате PyTorch, лицензия — Apache-2.0. Дифференциальный формат требует исходных весов LLaMA-13B для восстановления модели.

Anthropic-ai/Aiaudiotranslate — мультиязычная разговорная языковая модель на архитектуре Qwen3.5 с 7,2 млрд параметров. Согласно карточке, это независимый проект открытой модели, дообученной для следования инструкциям, устойчивого поведения ассистента, рассуждений, письма, суммаризации и помощи с программированием. Метаданные указывают контекст до 262 144 токенов и варианты весов Safetensors и GGUF, включая квантизированные сборки. Модель предназначена для диалога и генерации текста на разных языках; в README также заявлены задачи транскрибирования и перевода аудио, но описание репозитория сосредоточено на текстовом ассистенте и не подтверждает аудиовход. Лицензия — MIT. Карточка называет проект независимым и неофициальным; приведённые в README показатели бенчмарков описаны как основанные на Qwen3.5 9B.

ALIA-40b-instruct-2605 — инструкционная версия многоязычной языковой модели ALIA, разработанная командой BSC-LT. Это плотная decoder-only модель семейства Llama с 38,3 млрд параметров, доступная в формате safetensors и рассчитанная на работу через Transformers. Контекст модели — до 163 840 токенов. Модель предназначена для диалога и выполнения текстовых инструкций: она генерирует и суммирует тексты, отвечает на вопросы и переводит. Улучшены следование инструкциям и системным подсказкам, форматирование ответов, многоходовый диалог и работа с длинным контекстом. Постобучение в основном ориентировано на испанский, каталанский, баскский, галисийский и английский языки; качество для других языков не гарантируется. Модель находится в разработке и не прошла этап выравнивания безопасности. Она не поддерживает нативный вызов функций и не предназначена для автономного выполнения задач; сложные рассуждения, математику и код следует проверять. Авторы рекомендуют температуру генерации 0–0,2 без штрафа за повторы. Лицензия — Apache-2.0.

Allura-forge Llama-3.3-8B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Llama-3.3-8B-Instruct, разработанной allura-forge. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, работу с системными инструкциями и выполнение задач в формате чат-ассистента. Модель представлена в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. Доступны варианты от BF16 до Q3 и IQ-квантизаций с размером файлов примерно от 4 до 16 ГБ. Квантизация выполнена bartowski с использованием imatrix и llama.cpp; рекомендованы варианты Q4_K_M, Q5 и Q6 для баланса качества и требований к памяти. Используемый шаблон запросов соответствует формату Llama 3.3 с ролями system, user и assistant. Это текстовая модель: сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Более сильные квантизации обеспечивают качество, близкое к исходной модели, но требуют больше оперативной или видеопамяти; компактные варианты подходят для устройств с ограниченными ресурсами и могут заметнее терять в качестве. Лицензия указана как llama3.3.

Astra-v1-12B — языковая модель на архитектуре Mistral, разработанная P0x0 как дообучение Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и предназначена для генерации текста и выполнения инструкций в диалоговом формате. Её можно применять для создания и редактирования текстов, суммаризации, ответов на вопросы и диалоговых систем. В README заявлена настройка на качество и стиль ответов Claude 3 Sonnet и Opus. Указанное в метаданных контекстное окно — 1 024 000 токенов. Модель принимает текст и выдаёт текст. Карточка не подтверждает специализацию на конкретном языке или предметной области. Модель распространяется по лицензии Apache 2.0. README предостерегает от использования для принятия решений в реальном времени в критически важных сценариях и от генерации вредоносного или предвзятого контента.

A.X 4.0 — большая языковая модель SK Telecom для понимания корейского языка и применения в корпоративной среде. Репозиторий skt/A.X-4.0 содержит плотную авторегрессионную модель семейства Qwen2, с классом Qwen2ForCausalLM и весами в формате safetensors; README указывает, что модель основана на Qwen2.5 и дополнительно обучена на крупных корейских наборах данных. Метаданные каталога указывают 71,1 млрд параметров, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для диалогов, понимания длинных документов и текстовых задач на корейском языке; интерфейс также поддерживает вызов инструментов. README сообщает о результатах на корейских тестах KMMLU и CLIcK и об экономном использовании токенов при обработке корейского текста. В карточке также упомянута облегчённая версия A.X 4.0 Light, но этот репозиторий содержит основную модель. Для запуска README указывает Transformers версии 4.46.0 или новее; для использования вызова инструментов через vLLM — версии 0.6.4.post1 или новее. Лицензия обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

A.X K2 NVFP4 — квантизированная версия языковой модели A.X K2 от SK Telecom. Это модель типа Mixture-of-Experts с 688 млрд параметров, из которых 33 млрд активны при обработке запроса. Вариант NVFP4 применяет к routed experts квантизацию NVFP4 W4A4, а attention, router, shared expert и dense layer хранит в FP8, embedding и LM head — в BF16; заявлено примерно двукратное сокращение объёма памяти по сравнению с FP8-чекпойнтом. Модель предназначена для диалоговой генерации текста, рассуждений, следования инструкциям и агентных сценариев. Режим thinking подходит для сложных задач, а non-thinking — для коротких ответов с меньшей задержкой. Конфигурация YaRN поддерживает контекст до 256K токенов; README также описывает тесты извлечения фактов при масштабировании до 512K. Для запуска на одном узле указаны четыре NVIDIA B200 и форк vLLM с поддержкой A.X K2. Модель ориентирована на английский, корейский, китайский, японский и испанский языки; проект подчёркивает понимание корейского языка и культуры. В README заявлено качество, сопоставимое с FP8-версией, и идеальный результат на описанном тесте NIAH, но эти результаты не характеризуют все задачи. Лицензия — Apache-2.0.

Aya-23-35B — мультиязычная большая языковая модель с открытыми весами, разработанная Cohere Labs и Cohere. Это авторегрессионная модель на основе оптимизированной архитектуры Transformer с 35 млрд параметров, дообученная следовать инструкциям. Она предназначена для диалога и генерации ответов на текстовые запросы на 23 языках, включая русский, английский, китайский, арабский, хинди и японский. Модель принимает и выдаёт только текст, поддерживает контекст длиной до 8192 токенов и доступна в формате safetensors для Transformers. Модель подходит для многоязычных чат-ботов, ответов на вопросы, создания и редактирования текстов, а также перевода и суммаризации. Лицензия CC-BY-NC-4.0 запрещает коммерческое использование; также требуется соблюдать политику допустимого использования Cohere Labs. В карточке указано, что Aya 23 — более ранняя версия по сравнению с Aya Expanse.

Aya Expanse 8B — разработанная Cohere Labs многоязычная авторегрессионная языковая модель с оптимизированной архитектурой Transformer и 8 млрд параметров. Это выпуск весов семейства Command, дополнительно обученный с учителем, с применением обучения на предпочтениях, настройки безопасности и слияния моделей. Модель предназначена для диалогов и генерации текста на 23 языках, включая русский, английский, арабский, китайский, хинди, японский и испанский. Она принимает и выдаёт только текст, поддерживает контекст до 8 тысяч токенов и может использоваться для многоязычных ответов на вопросы, написания и преобразования текста. Модель выпущена для исследовательского использования; лицензия CC-BY-NC-4.0 запрещает коммерческое применение, а использование также регулируется политикой допустимого использования Cohere Labs. Заявления о сравнительных результатах основаны на оценках из карточки модели и не гарантируют качество для конкретных задач.

Beepo-22B — дообученная модель на базе Mistral-Small-Instruct-2409, опубликованная concedo. Это плотная языковая модель с 22 млрд параметров и контекстом до 32 768 токенов; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова функций. Автор дообучал её для более послушного выполнения инструкций и снижения ограничений, стараясь сохранить способности исходной instruct-модели. Модель подходит для диалоговых помощников, генерации текста и выполнения пользовательских инструкций. Карточка рекомендует формат инструкций Alpaca; исходный формат Mistral Instruct также поддерживается. В метаданных указан английский язык. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.

Это квантизированная версия большой языковой модели c4ai-command-r-plus-08-2024 в формате GGUF, подготовленная пользователем bartowski на основе модели CohereForAI с использованием llama.cpp. Разработчик исходной модели — Cohere for AI. Модель предназначена для генерации текста и может применяться в диалоговых системах, создании и преобразовании текстов, а также в других сценариях, поддерживаемых задачами text-generation. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков. Конкретные архитектурные параметры, количество параметров, размер контекста и доступные варианты квантования в предоставленных данных не указаны. Формат GGUF и использование llama.cpp позволяют запускать модель в совместимом локальном программном окружении, однако характеристики производительности и качества зависят от конкретной квантованной версии и оборудования. Модель распространяется по лицензии CC-BY-NC-4.0 и предназначена только для некоммерческого использования; для доступа также требуется согласие с условиями лицензии Cohere. Условия лицензии следует учитывать при интеграции и распространении модели.

Euphrates-14B — объединённая языковая модель на архитектуре Qwen2, опубликованная Sakalti. Она создана методом TIES с помощью mergekit на основе Spestly/Athena-1-14B и включает веса Qwen/Qwen2.5-14B. Модель содержит 14 млрд параметров, работает с текстом и рассчитана на генерацию текста и диалоговые сценарии; метаданные также отмечают интерфейс вызова инструментов. Максимальная длина контекста — 32 768 токенов. Модель может применяться для диалоговых помощников, составления и продолжения текстов, а также интеграции с приложениями, использующими вызов инструментов. В карточке указаны библиотека Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

EXAONE-Deep-32B GGUF — квантизированная GGUF-версия языковой reasoning-модели EXAONE-Deep 32B, разработанной LG AI Research. Репозиторий Mungert содержит вариант базовой модели LGAI-EXAONE/EXAONE-3.5-32B-Instruct, преобразованный с помощью llama.cpp. Модель предназначена для генерации текста, решения математических задач, рассуждений, программирования и диалогового использования. Модель содержит около 30,95 млрд параметров без эмбеддингов, 64 слоя и использует Grouped-Query Attention с 40 Q-головами и 8 KV-головами. Размер словаря составляет 102 400 токенов, контекст — до 32 768 токенов. Заявлена поддержка английского и корейского языков. Формат GGUF ориентирован на запуск через совместимые инструменты, включая llama.cpp; конкретные характеристики зависят от выбранного уровня квантизации. Ключевая особенность сборки — экспериментальный подход к квантизации: отдельные важные слои переводятся в более высокую точность с помощью tensor-type bumping. Это может повысить точность при заданном размере файла, особенно на низких уровнях квантизации, но увеличивает объём модели. Модель ориентирована на задачи, требующие рассуждений, однако README не содержит полной информации о требованиях к оборудованию, ограничениях применения и сравнительных результатах именно этой GGUF-сборки. Лицензия указана как EXAONE; подробные условия находятся в файле LICENSE.

Falcon-H1-1.5B-Instruct — многоязычная авторегрессионная языковая модель семейства Falcon-H1, разработанная командой TII. Это дообученная для следования инструкциям версия Falcon-H1-1.5B-Base с гибридной архитектурой, сочетающей Transformer-внимание и блоки SSM/Mamba. Модель содержит 1,1 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям: она подходит для ответов на вопросы, рассуждений, математических задач, программирования и работы с научными знаниями. В карточке заявлена поддержка 18 языков, включая арабский, английский, хинди, японский, китайский и русский. Для запуска указаны Transformers, vLLM и llama.cpp; метаданные репозитория отмечают формат safetensors. В README указана лицензия Falcon-LLM License, тогда как метаданные Hugging Face обозначают лицензию как other. Перед использованием следует проверить условия лицензии в репозитории. Как компактная модель на 1,1 млрд параметров, она может уступать более крупным моделям на сложных задачах; заявленные в карточке результаты бенчмарков не гарантируют качество на конкретных данных.

Это форк FLAN-T5 XXL, опубликованный philschmid на Hugging Face. Модель представляет собой плотную encoder-decoder архитектуру T5ForConditionalGeneration с 5,8 млрд параметров и предназначена для генерации текста по текстовому запросу. В карточке приведён пример развёртывания на Inference Endpoints и пользовательского обработчика для запуска на одном NVIDIA A10G; файлы модели представлены в формате PyTorch. FLAN-T5 прошла инструкционное дообучение на более чем тысяче дополнительных задач и рассчитана на широкий круг сценариев: ответы на вопросы, суммаризацию, перевод и другие задачи преобразования текста. README заявляет поддержку английского, русского и множества других языков. Лицензия — Apache 2.0. Указание README на «квантизированную» версию расходится с метаданными, где формат обозначен как PyTorch; подтверждения конкретного формата квантизации в метаданных нет.

QuantFactory/gemma-2-9b-GGUF — это квантованная версия языковой модели Gemma 2 с 9 млрд параметров, созданная на основе google/gemma-2-9b с использованием llama.cpp. Разработчик исходной модели — Google. Модель относится к авторегрессионным decoder-only моделям для генерации текста и распространяется в формате GGUF. Модель предназначена для текстовых задач, включая ответы на вопросы, суммирование, рассуждения, диалоговое взаимодействие и другую генерацию текста. Указана поддержка английского языка. Квантование уменьшает требования к вычислительным ресурсам и делает модель более подходящей для запуска на локальных компьютерах и в инфраструктуре с ограниченными ресурсами, однако может сопровождаться снижением качества по сравнению с исходными весами; конкретный уровень квантования в README не указан. Ключевые ограничения — текстовая модальность, отсутствие сведений о размере контекста, точной схеме квантования и результатах оценки именно этой сборки. Использование регулируется лицензией Gemma и соответствующими условиями Google.

cyankiwi/GLM-4.6V-Flash-AWQ-4bit — 4-битная AWQ-квантизированная версия GLM-4.6V-Flash, разработанная Ton Cao на основе модели GLM-4.6V-Flash от Z.ai. Модель относится к семейству GLM-V и предназначена для локального развертывания и приложений с низкой задержкой. Это мультимодальная модель для задач image-text-to-text: она обрабатывает изображения и текст, поддерживает китайский и английский языки, а также сценарии визуального понимания документов, таблиц, графиков, интерфейсов и скриншотов. Семейство GLM-4.6V заявляет поддержку контекста до 128K токенов, мультимодального function calling, анализа многостраничных документов, генерации смешанного текстово-графического контента и восстановления HTML/CSS по скриншотам; README не уточняет, одинаково ли все эти возможности реализованы именно в данной AWQ-версии. Размер базовой GLM-4.6V-Flash составляет 9B параметров. Квантизация выполнена методом AWQ с точностью 4 бита и group size 32, с использованием llm-compressor и набора 5CD-AI/LLaVA-CoT-o1-Instruct. Заявленный объём памяти снижен примерно с 19,2 до 8,3 ГБ, что делает модель более подходящей для локального запуска. Для инференса рекомендуется vLLM; README не приводит подробных результатов бенчмарков или анализа возможной потери качества после квантизации. Модель распространяется по лицензии MIT. Для запуска указаны vLLM и актуальная версия Transformers.

Карточка модели unsloth/GLM-4-9B-0414 на Hugging Face совпадает с карточкой zai-org/GLM-4-9B-0414, поэтому описание составлено по ней. GLM-4-9B-0414 — текстовая генеративная модель семейства GLM-4 от Z.ai. По метаданным это плотная архитектура GLM-4 с 8,8 млрд параметров, рассчитанная на контекст до 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. Модель поддерживает диалог и интерфейс вызова инструментов. Она предназначена для генерации текста в диалоге и решения общих задач с инструкциями. В README описан вариант GLM-Z1-9B-0414 с усиленными рассуждениями, особенно в математике, однако карточка относится к GLM-4-9B-0414, поэтому эти свойства нельзя уверенно приписать ей. Метаданные указывают китайский и английский языки. Лицензия — MIT.

Infinity-Parser2-Flash-GGUF — мультимодальная модель понимания документов, разработанная infly-ai на базе infly/Infinity-Parser2-Flash. Это быстродействующая версия семейства Infinity-Parser2, предназначенная для анализа изображений документов, PDF и другого визуально-текстового содержимого. Модель поддерживает распознавание и структурирование макета, выделение элементов документа с ограничивающими рамками и категориями, извлечение текста, распознавание таблиц, графиков, математических и химических формул, а также document VQA и общее мультимодальное понимание. Результаты могут представляться в Markdown, HTML и LaTeX в зависимости от типа элемента. Модель обучалась на почти 5 млн разнообразных образцов документов с применением многоцелевого обучения с подкреплением и проверяемыми наградами. Заявлена скорость до 1 624 токенов в секунду, что в 3,68 раза выше предыдущей Infinity-Parser-7B; показатели составляют 86,0% на olmOCR-Bench, 72,2% на ParseBench и 91,98% на OmniDocBench-v1.6. Доступны файлы GGUF в форматах от Q2_K до F32, а также мультимодальные проекторы; поддерживаются llama.cpp, Transformers, vLLM и vLLM-server через пакет infinity_parser2. Основные ограничения — поддержка преимущественно английского и китайского языков, снижение точности на сложных графиках и повернутых элементах таблиц, а также отсутствие детального сохранения текстового форматирования вроде полужирного и курсивного начертания. Модель распространяется по лицензии Apache-2.0.

Mungert/Jan-nano-128k-GGUF — это набор GGUF-квантизированных моделей Jan-Nano-128k, созданный Mungert на основе Menlo/Jan-nano с использованием llama.cpp. Модель предназначена для текстовой генерации и исследовательских задач, включая анализ научных статей и длинных документов, синтез информации из нескольких источников, сложные рассуждения и многошаговые диалоги. Указывается совместимость с серверами Model Context Protocol (MCP) и поддержка вызова инструментов при соответствующей конфигурации. Ключевая характеристика модели — нативное контекстное окно до 128 тысяч токенов, рассчитанное на работу с большими объёмами текста без типичной деградации качества при расширении контекста. Модель компактная, но точный размер параметров, архитектура и перечень поддерживаемых языков в карточке не указаны; заявлен английский язык. Доступны варианты GGUF-квантизации, причём автор применяет повышение точности отдельных важных слоёв для улучшения качества на низких уровнях битности, особенно для MoE-моделей, ценой увеличения размера файлов. Сильными сторонами являются длинный контекст, ориентация на глубокий анализ документов и возможность локального запуска через llama.cpp или vLLM. Ограничения включают зависимость характеристик от выбранного варианта квантизации, отсутствие подробных данных о ресурсах и точности, а также необходимость специальной настройки масштабирования RoPE и максимальной длины контекста при развёртывании. Модель распространяется по лицензии Apache 2.0.

Jimi — дообученная версия instruction-tuned модели Google DeepMind gemma-4-E4B-it, разработанная автором или командой leeroy-jankins. Модель создана с помощью supervised instruction tuning на данных для вопросов и ответов, суммаризации, рассуждений, синтеза кода и понимания документов. В обучении использовались, в частности, FineTome-100k и наборы данных по финансовому и бюджетному регулированию США. Модель предназначена для retrieval-augmented generation (RAG), ассистентов с поддержкой инструкций и многошагового диалога, открытых вопросов и ответов, генерации и суммаризации текста, а также анализа юридических и финансовых документов. Она также может использоваться как компактная базовая модель для дальнейшей специализации. Заявлены улучшенная работа с контекстом, следование инструкциям, предметное рассуждение и поддержка связных многоходовых разговоров. Jimi относится к классу моделей примерно на 4B параметров; для базовой Gemma 4 E4B указаны 4,5B эффективных параметров, 42 слоя, скользящее окно внимания 512 токенов и контекст до 128K токенов. Архитектура Gemma 4 использует гибридное внимание с локальными и глобальными слоями. Для базовой модели заявлены обработка текста и изображений, а также аудио для малых вариантов Gemma 4, однако README не уточняет, какие мультимодальные возможности непосредственно сохранены и проверены именно в Jimi. В метаданных указан английский язык. К сильным сторонам относятся компактный размер, потенциально быстрая работа на пользовательских GPU, пригодность для RAG и задач с финансово-бюджетной документацией. Ограничения включают отсутствие подробных результатов бенчмарков и количественной оценки качества, а также недостаток информации о фактических поддерживаемых модальностях и языках самой Jimi. Модель распространяется по лицензии MIT.