I.3Извлечение и структурирование данных

Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Карточка модели thoddnn/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

XVERSE-13B — многоязычная языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Это плотная decoder-only модель на архитектуре Transformer с 13,2 млрд параметров и контекстом до 8192 токенов. Репозиторий содержит веса PyTorch; лицензия Apache-2.0 разрешает коммерческое использование на её условиях. Модель предназначена для генерации текста, многоходового диалога, ответов на вопросы и суммаризации. Она обучалась на разнообразных данных более чем на 40 языках; в карточке особо отмечены китайский и английский, а также русский и испанский. BPE-токенизатор использует словарь размером 100 534 токена. В карточке также приведены оценки на тестах по пониманию языка, рассуждениям, математике и программированию. Как и другие большие языковые модели, XVERSE-13B может генерировать неточные, предвзятые или оскорбительные ответы. Для конкретного применения разработчикам рекомендуется проверять безопасность и качество ответов. В README указана более новая версия XVERSE-13B-2, обученная на большем объёме данных; описываемая здесь модель — исходная версия.

Apertus-70B-2509 — большая языковая модель семейства Apertus, разработанная Swiss AI Initiative. Это плотный авторегрессионный трансформер с 97,7 млрд параметров по метаданным репозитория; в карточке семейство описано как модель на 70 млрд параметров. Модель обучена с нуля на 15 трлн токенов, а затем прошла supervised fine-tuning и выравнивание QRPO. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. Модель предназначена для генерации текста, многоязычных запросов и работы с длинным контекстом до 65 536 токенов. Карточка заявляет поддержку более 1 800 языков и возможность использования инструментов; модель рассчитана на запуск через Transformers, vLLM, SGLang и MLX. Разработчики также описывают её как полностью открытую и обученную на данных с соблюдением требований согласия и отказа от использования. Модель подходит для диалоговых и агентных сценариев, ответов на вопросы, создания и продолжения текста, а также задач на разных языках. Генерируемый текст может содержать фактические ошибки, логические несоответствия и предвзятость; встроенного фильтра персональных данных нет, поэтому важную информацию нужно проверять, а защиту от вывода персональных данных организовывать отдельно.

Карточка модели squ0sh/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

NVIDIA DeepSeek-V3-0324-NVFP4 — квантизованная FP4-версия авторегрессионной языковой модели DeepSeek V3-0324, подготовленная NVIDIA с помощью TensorRT Model Optimizer. Это сторонняя сборка по требованиям NVIDIA, а исходную модель разработала DeepSeek AI. Модель принимает текст и генерирует текст; поддерживает диалог и интерфейс вызова инструментов. В метаданных указан размер 37,6 млрд параметров и контекст до 163 840 токенов. Модель предназначена для развёртывания в системах AI-агентов, чат-ботах, RAG и других приложениях на базе генеративного ИИ. Квантизация весов и активаций линейных операторов до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза. Для указанного в README сценария развёртывания нужны TensorRT-LLM и восемь GPU NVIDIA B200; заявлена совместимость с Linux. README сообщает о готовности к коммерческому и некоммерческому использованию, а метаданные указывают лицензию MIT.

DeepSeek-V4-Pro-Qwen3.5-4B-bf16 — конверсия в формат MLX модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-4B, подготовленная mlx-community с помощью mlx-vlm 0.4.4. Это плотная мультимодальная модель семейства Qwen3.5, доступная в точности BF16 и рассчитанная на инференс на компьютерах Apple Silicon через MLX. Модель принимает текстовые запросы, изображения и видеоданные; поддерживает чат и интерфейс вызова инструментов. Базовая модель дообучена на дистиллированных ответах DeepSeek-V4-Pro для пошагового решения задач по математике и естественным наукам. Метаданные карточки также указывают поддержку английского, китайского, испанского, русского и японского языков. Конверсия сохраняет шаблон чата и мультимодальный процессор исходной модели. Для работы с изображениями и видео README рекомендует mlx-vlm. Лицензия — Apache 2.0, унаследованная от исходной модели. Подробности о качестве и ограничениях следует сверять с карточкой исходной модели.

Dolphin X1 8B — языковая модель для генерации текста, разработанная командой Dolphin на основе dphn/Dolphin-X1-8B и Llama 3.1 8B Instruct. Версия с идентификатором dphn/Dolphin-X1-8B-GGUF предназначена для запуска моделей в формате GGUF. Модель ориентирована на общее назначение и диалоговое взаимодействие, включая сценарии, аналогичные использованию универсальных ассистентов. Модель имеет архитектуру Llama 3.1 с размером около 8 миллиардов параметров и поддерживает текстовую модальность. Она сохраняет стандартный шаблон чата Llama 3 и позволяет задавать тон, характер и правила поведения через системный промпт. Заявленная особенность Dolphin — повышенная управляемость: владелец приложения самостоятельно определяет системные инструкции, выравнивание и способы обработки данных. Сведения о поддерживаемых языках и размере контекста в README не указаны. К сильным сторонам относятся универсальность, возможность локального или контролируемого развёртывания, совместимость с Ollama, LM Studio, Transformers, vLLM, SGLang и TGI, а также стремление сохранить или улучшить возможности Llama 3.1 8B Instruct при снижении ограничений на ответы. Ограничения модели и её поведения зависят от выбранных инструкций и настроек выравнивания; заявленная доля успешного прохождения набора Dolphin-refusals составляет 95,96%, а показатели MMLU и IFEVAL приведены в README без дополнительного описания методики. Лицензия указана как Llama 3.1.

systalyze/gemma-4-26B-A4B-it-ExpertsINT4-FP8 — это оптимизированная для инференса смешанно-точная квантованная версия мультимодальной модели google/gemma-4-26B-A4B-it, разработанной Google DeepMind. Квантование и выпуск модели выполнены Systalyze. Архитектура Gemma4ForConditionalGeneration принимает текст и изображения и генерирует текст; модель предназначена для мультимодального чата, следования инструкциям, рассуждений и работы с инструментами. Базовая модель представляет собой MoE-архитектуру с 30 слоями и 128 экспертами. Веса MoE-экспертов квантованы в INT4 методом GPTQ с размером группы 64, а остальные линейные слои Transformer используют динамическое FP8-квантование с активациями FP8 на уровне токенов. Router, эмбеддинги, lm_head и vision tower сохраняются без квантования. Чекпойнт занимает около 16 ГБ против 49 ГБ у BF16-версии, то есть примерно в 3,1 раза меньше, и загружается напрямую в vLLM через формат compressed-tensors. Сильная сторона модели — существенное снижение требований к памяти и высокая производительность при низкой и средней конкурентности: в приведённых тестах прирост относительно FP8 достигал 54,4% при concurrency 8. При высокой конкурентности 16–32 запросов обычная FP8-версия производительнее, поэтому выбор зависит от профиля нагрузки. Качество в целом близко к базовой модели, однако на отдельных задачах, включая GPQA Diamond, MMLU-Pro, HumanEval и DROP, наблюдается снижение результатов. Веса модели распространяются по лицензии Apache-2.0.

GLM-4.7-Flash-RAZOR-24B-A3B-E48of64 — производная диалоговая модель семейства GLM, созданная Nickyang методом RAZOR: из 64 маршрутизируемых экспертов в каждом MoE-слое удалена четверть, осталось 48. Градиентного дообучения и восстановления после обрезки не проводилось; сохранены исходные веса оставшихся компонентов. По README, в контрольной точке 24,123 млрд параметров с учётом MTP, а метаданные каталога указывают 4,1 млрд параметров; эти значения расходятся, поэтому размер модели требует проверки. Архитектура использует GLM-4.7-Flash и реализацию glm4_moe_lite в Transformers; контекст — 202752 токена. Модель предназначена для диалоговой генерации текста, рассуждений и программирования с длинным контекстом. Сокращение пула экспертов уменьшает объём хранимых экспертных весов примерно на четверть, при этом README сообщает, что вычисления на токен практически не меняются. Контрольная точка хранится в bfloat16, в семи шардах safetensors; для запуска требуется сборка Transformers с нативной поддержкой glm4_moe_lite. Обрезка экспертов необратима и может менять разнообразие, форматирование и завершение ответов, даже если точность на отдельных задачах в целом сохраняется. Поведение на областях, далёких от конечного калибровочного корпуса, не охарактеризовано. Лицензия — MIT.

davidsyoung/GLM-5.3-EXL3-TR3-3.25bpw — квантизированная версия GLM-5.3 от zai-org, подготовленная в формате EXL3/TR3 с использованием смешанной точности. В основе лежит MoE-модель GLM-5.3 объёмом 755 млрд параметров с архитектурой glm_moe_dsa: 78 слоёв и 256 маршрутизируемых экспертов на слой, включая MTP. Модель предназначена для генерации текста, сложного программирования и задач с длинной цепочкой рассуждений. Заявлены английский и китайский языки, а также поддержка библиотеки Transformers на уровне метаданных модели. Маршрутизируемые эксперты в слоях 3–78 квантизированы методом EXL3 с усреднённой точностью 3,25 бит на параметр: 192 эксперта на слой используют K3, а 64 наиболее чувствительных к ошибке — K4. Внимание, эмбеддинги, нормализации, lm_head и ранние плотные MLP сохранены в BF16; shared experts хранятся в BF16 и обслуживаются с online K6. Квантизация выполнена без калибровочных данных, с использованием trellis-поиска и детерминированных параметров. По измерениям README, отклонение от BF16-учителя при FP8 KV-кэше составило KLD 0,026103 на проверочных окнах. Главное преимущество — существенное снижение требований к памяти: модель рассчитана на запуск в конфигурации TP4 на четырёх GPU с 96 ГБ памяти и FP8 KV-кэшем, что делает крупную GLM-5.3 доступнее для локального сервинга. Ограничения связаны с нестандартным форматом: требуется стек на базе exllamav3-b12x или sparkinfer-lineage, поддерживающий смешанные projection tiers, TP4, DCP4/MTP3 и FP8 KV-кэш. Стандартный загрузчик vanilla exllamav3 несовместим и может выдавать некорректный текст; README также не указывает максимальную длину контекста. Лицензия обозначена как glm-5.3; подробные условия приведены по ссылке на лицензию базовой модели.

Granite-Embedding-311M-Multilingual-R2 — модель эмбеддингов текста, разработанная командой Granite Embedding компании IBM. Она использует плотный bi-encoder на архитектуре ModernBERT с 311,6 млн параметров и выдаёт векторы размерностью 768 для запросов, документов, фрагментов текста и кода. Максимальная длина контекста — 32 768 токенов; эмбеддинги можно сокращать до 512, 384, 256 или 128 измерений с постепенным снижением качества. Модель предназначена для семантического поиска, сопоставления запросов и документов, поиска по длинным текстам и межъязыкового поиска. Она поддерживает более 200 языков, а для 52 языков, включая русский, и ряда языков программирования прошла дополнительное обучение на парах для поиска и межъязыкового сопоставления. Поддерживаются Python, Go, Java, JavaScript, PHP, Ruby, SQL, C и C++. Векторы можно сравнивать, например, по косинусному сходству. В README указаны контрастивное дообучение, дистилляция знаний и слияние моделей. Доступны форматы Safetensors, ONNX и OpenVINO; лицензия Apache 2.0. Качество зависит от языка: для низкоресурсных языков оно может быть ниже, чем для языков с расширенной поддержкой; длинные входы сверх лимита контекста обрезаются. Фильтрация обучающих данных и синтетические данные могут вносить смещения.

Kanana-2-1.3B-Instruct — компактная языковая модель Kakao для диалогов и выполнения инструкций. Это плотная авторегрессионная модель примерно с 1 млрд параметров, полученная из Kanana-2-3B с помощью каскадного pruning и дистилляции, а затем настроенная для следования инструкциям. Модель использует гибридное внимание: три слоя Sliding Window Attention на каждый слой полного внимания; размер окна — 1024 токена. Поддерживает контекст до 32 768 токенов и снижает расход памяти KV-кэша при длинном контексте. Модель рассчитана на компактное развёртывание, в том числе на устройствах с ограниченными ресурсами. Она предназначена для общения и генерации текста по инструкциям; в карточке серии также описаны оценки для задач работы с инструментами, кода, математики и знаний. Токенизатор повышает эффективность обработки корейского языка по сравнению с предыдущим поколением Kanana. Для запуска доступны Transformers с пользовательским кодом архитектуры, vLLM и SGLang с настройкой из репозитория. Лицензия в метаданных указана как other; конкретные условия следует сверить с файлами лицензии репозитория. Для SGLang карточка рекомендует версию 0.5.1 и предупреждает о снижении точности и скорости при использовании backend flashinfer.

deltanym/llama-3.1-120b-instruct — текстовая разговорная модель, созданная методом слияния через mergekit на основе meta-llama/Llama-3.1-70B-Instruct. В карточке указана конфигурация passthrough; модель использует плотную архитектуру семейства Llama и формат safetensors. Метаданные указывают 120,8 млрд параметров и контекстное окно до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения, включая сценарии с интерфейсом вызова инструментов. В основе лежит многоязычная instruct-модель Meta; README описывает её как воспроизведение Meta-Llama-3-120B-Instruct с использованием Llama 3.1 70B вместо Llama 3. Лицензия в предоставленных данных не указана.

amd/Llama-3.1-70B-Instruct-FP8-KV — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Advanced Micro Devices (AMD) с применением инструментария Quark и калибровочных образцов из датасета Pile. Модель предназначена для задач генерации текста и инструкционного взаимодействия, а также для эффективного развертывания через совместимый с vLLM backend. Точные поддерживаемые языки и размер контекстного окна в README не указаны. Квантизация выполнена для всех линейных слоёв, кроме lm_head: веса и активации представлены в формате FP8 с симметричным масштабированием на тензор, а KV-cache также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, но способен незначительно ухудшать точность по сравнению с исходной моделью. На тесте Perplexity-wikitext2 значение perplexity составило 3,8561 против 3,7797 у исходной Meta-Llama-3.1-70B-Instruct; результаты получены в режиме псевдоквантизации и могут отличаться от фактического инференса. Для использования требуется экспортированный формат Quark и окружение с Quark; поддерживается развёртывание с использованием vLLM. Лицензия указана как llama3.1, при этом модификации принадлежат Advanced Micro Devices, Inc.; применимые условия следует уточнять в лицензии Meta по указанной ссылке.

DavidAU/Llama-3.2-4X3B-MOE-Ultra-Instruct-10B-GGUF — инструкционная текстовая модель на базе Llama 3.2, собранная с использованием Mergekit из четырёх экспертных моделей Llama 3.2 3B. В состав входят базовая модель общего назначения, модель для программирования, модель для логики и рассуждений и модель для работы с промптами. Архитектура Mixture of Experts объединяет около 10 млрд параметров; по умолчанию используются два эксперта, но поддерживается настройка на одного, трёх или четырёх экспертов. Модель предназначена для генерации текста общего назначения, следования инструкциям, программирования, логических задач, prompt engineering, творческого и художественного письма, ролевых сценариев и reasoning. Заявлен контекст до 128 000 токенов. Указан английский язык, формат распространения — GGUF, а для запуска требуется шаблон Llama 3 или Command-R. Количество активных экспертов влияет на баланс между качеством и скоростью: большее число экспертов может повышать качество, но снижает производительность. К заявленным сильным сторонам относятся высокая скорость на совместимом оборудовании, стабильная генерация, низкая perplexity и особенно развитые способности к созданию подробной прозы и художественных текстов. При этом результаты могут заметно различаться между повторными генерациями из-за смены выбранных экспертов, а слишком высокая температура способна ухудшать следование инструкциям. Модель распространяется по лицензии Apache 2.0.

Карточка модели marvalai/MiniMax-M3 на Hugging Face совпадает с карточкой dshive/MiniMax-M3, поэтому описание составлено по ней. MiniMax-M3 — мультимодальная модель семейства MiniMax, представленная в репозитории dshive/MiniMax-M3. Она принимает текст и изображения и предназначена для диалогов, анализа визуального содержимого, работы с видео, программирования и длительных агентных сценариев. В README заявлены около 428 млрд параметров, примерно 23 млрд активируемых параметров и контекст до 1 млн токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA); в карточке указана архитектура MiniMax-M3-VL и формат весов safetensors. Разработчик заявляет ускорение обработки длинного контекста и сильные результаты в задачах программирования и совместной работы с агентом. Для использования описаны MiniMax Agent и MiniMax API, а также локальное развёртывание через Transformers. Репозиторий опубликован под лицензией other; конкретные условия лицензии следует проверять в карточке модели.

Nemotron-3-Nano-30B-A3B-GGUF — большая языковая модель, разработанная NVIDIA Corporation и представленная в GGUF-формате сообществом Unsloth на основе NVIDIA-Nemotron-3-Nano-30B-A3B-BF16. Модель предназначена для генерации текста, ответов на пользовательские запросы, решения задач с рассуждением и без него, а также для коммерческих приложений. Она может сначала формировать рассуждение, а затем итоговый ответ; режим рассуждений настраивается через chat template. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего предусмотрено 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. Каждый MoE-слой содержит 128 экспертов и одного общего эксперта, при этом на токен активируются 5 экспертов. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. В README размер контекста и точные параметры GGUF-квантизации не указаны. Сильными сторонами модели являются сочетание режимов рассуждения и обычной генерации, разреженная MoE-архитектура с относительно небольшим числом активных параметров и многоязычная поддержка. Включение промежуточных рассуждений обычно повышает качество на сложных запросах, тогда как отключение рассуждений может немного снижать точность. Ограничениями являются отсутствие в предоставленных данных подробных результатов тестирования, сведений о размере контекста и характеристик конкретной GGUF-квантизации. Модель разрешена для коммерческого использования на условиях NVIDIA Open Model License.

Phi-3-medium-4k-instruct-GGUF — это квантизированная GGUF-версия языковой модели Phi-3-medium-4k-instruct, разработанной Microsoft и подготовленной к квантизации компанией Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия, включая задачи обработки естественного языка и работы с кодом. Указана поддержка нескольких языков, но их точный перечень в карточке не приведён. Модель использует архитектуру Phi, имеет контекст до 4000 токенов и поддерживает формат GGUF с вариантами квантизации от 2 до 8 бит, а также f16. Размер файлов составляет примерно от 5,14 до 27,9 ГБ. Вариант Q4_K_M обозначен как рекомендуемый баланс размера и качества, а Q5_K_M и Q5_K_S — как варианты с очень низкой потерей качества. Модель совместима с LlamaEdge версии 0.11.2 и выше и использует шаблон запросов phi-3-chat. Основное преимущество этой версии — возможность локального запуска с выбором компромисса между потреблением памяти, размером файла и качеством ответов. Низкобитные варианты экономичнее, но могут заметно терять в качестве; для большинства практических сценариев рекомендуется избегать Q2_K и ряда более агрессивных квантизаций. Карточка не содержит данных о точном числе параметров, обучающих данных, результатах оценки, аппаратных требованиях или ограничениях безопасности. Модель распространяется по лицензии MIT.

QRWKV-QwQ-32B — 32-миллиардная языковая модель от Featherless AI, созданная в рамках проекта RADLADS. Авторы преобразовали Qwen/QwQ-32B в вариант с линейным вниманием RWKV, используя дистилляцию внимания; модель унаследовала знания и языковые данные родительской модели. Она предназначена для диалогов и генерации текста, включая рассуждения при выводе, а также поддерживает интерфейс вызова инструментов. Модель использует плотную архитектуру RWKV6Qwen2, работает с контекстом до 131 072 токенов и распространяется в формате safetensors через Transformers. В README приведены результаты ряда бенчмарков, где QRWKV-QwQ-32B в некоторых тестах немного превосходит Qwen/QwQ-32B. Авторы заявляют о снижении вычислительных затрат при работе с длинным контекстом; модель поддерживает около 30 языков, унаследованных от семейства Qwen. Лицензия — Apache-2.0. Для запуска через Transformers требуется разрешить загрузку удалённого кода. Результаты тестов ограничены указанными настройками оценки и сами по себе не гарантируют качество на прикладных задачах; в README также отмечено, что модель имеет ограничения по числу поддерживаемых языков по сравнению с более ранними многоязычными моделями RWKV.

RedHatAI/Qwen3-1.7B-quantized.w4a16 — компактная языковая модель для генерации текста, разработанная Red Hat совместно с Neural Magic на основе Qwen/Qwen3-1.7B от Qwen. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных решений после дообучения. Она принимает текст и генерирует текст, поддерживая архитектуру Qwen3ForCausalLM и контекст длиной до 40960 токенов в конфигурации оценки. Ключевая особенность модели — INT4-квантизация весов линейных операторов в трансформерных блоках. Используется асимметричная поканальная по группам схема с размером группы 64 и алгоритм GPTQ, реализованный в llm-compressor; веса lm_head не квантизуются. Переход с 16 до 4 бит уменьшает размер на диске и требования к GPU-памяти примерно на 75%, что делает модель более удобной для эффективного развертывания, в частности через vLLM. К ограничениям относятся возможные потери качества, связанные с квантизацией, а также отсутствие в README количественных результатов оценки и подробного перечня поддерживаемых языков. Лицензия модели — Apache-2.0; использование должно соответствовать применимым законам и нормативным требованиям.

Qwen3.6-35B-A3B-Brainwaves-Nex-GGUF — GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для генерации текста, диалогов, инструкционного взаимодействия, рассуждений, математических и STEM-задач, программирования и многоязычных сценариев. В метаданных указаны английский, китайский, японский и испанский языки; также отмечены instruction tuning, SFT, LoRA и distillation, однако подробности обучения не приведены. Доступны варианты квантования от Q2_K до Q8_0, включая IQ4_XS, с размером файлов примерно от 13,3 до 37,9 ГБ. Для мультимодального использования предоставляются дополнительные файлы mmproj в форматах Q8_0 и F16, поэтому поддержка изображений зависит от совместимого программного обеспечения и подключения соответствующего компонента. Архитектура, точный размер активной и общей параметризации, максимальная длина контекста и перечень поддерживаемых модальностей в README явно не описаны. Сильной стороной модели является широкий выбор квантований, позволяющий выбирать между требованиями к памяти, скоростью и качеством; автор README рекомендует Q4_K_S и Q4_K_M как быстрые варианты, а Q6_K и Q8_0 отмечает как варианты высокого качества. Ограничения включают возможную потерю качества на низких уровнях квантования, экспериментальный характер исходной модели и отсутствие опубликованных оценок производительности. Распространение указано по лицензии Apache-2.0.

llmfan46/Qwen3.6-35B-A3B-uncensored-heretic — мультимодальная чат-модель независимого автора, созданная на основе Qwen/Qwen3.6-35B-A3B. Это вариант с ослабленным отказом на запросы: в карточке приведено сравнение, где доля отказов составляет 10 из 100 против 83 из 100 у исходной модели. Модель предназначена для диалога, анализа изображений и сценариев агентного программирования с вызовом инструментов. Архитектура Qwen3.5 MoE содержит 35 млрд параметров, из которых активируется около 3 млрд; README также описывает языковую модель с визуальным энкодером и 262 144 токена нативного контекста, расширяемого до 1 010 000. Указаны возможности сохранения рассуждений в истории диалога и результаты тестирования MMLU, но эти сведения не гарантируют качество на конкретных задачах. Модель принимает текст и изображения и выдаёт текст. Файлы представлены в формате safetensors, библиотека для работы — Transformers. Лицензия Apache-2.0. Поскольку модель специально снижает число отказов, она может отвечать на запросы, которые исходная модель отклоняет; ответы следует проверять, особенно в чувствительных сценариях.

TeichAI/Qwen3-8B-Gemini-2.5-Flash-Distill-GGUF — языковая модель, разработанная TeichAI на базе unsloth/Qwen3-8B. Модель обучена методом дистилляции на крупном наборе данных TeichAI/gemini-2.5-flash-11000x, созданном на основе Gemini 2.5 Flash. Она предназначена для генерации текста общего назначения, включая программирование, научные задачи, юридические и исторические вопросы, а также маркетинговые сценарии. Модель содержит 8 миллиардов параметров. В README указана поддержка английского языка, однако сведения о точной архитектуре, модальностях, размере контекстного окна и дополнительных языках отсутствуют. К сильным сторонам относятся универсальная область применения и обучение на данных, связанных с Gemini 2.5 Flash; при этом качество и поведение модели могут зависеть от особенностей дистиллированного набора данных и базовой Qwen3-архитектуры. Лицензия — Apache-2.0.

nvidia/Qwen3-8B-NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-8B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста и может применяться в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Модель построена на архитектуре Transformers и содержит около 8,2 млрд параметров. Она работает с текстовыми входами и генерирует текстовые последовательности, поддерживает контекст длиной до 131K токенов. Веса и активации линейных операторов внутри transformer-блоков квантизированы в формат FP4, что ориентировано на эффективный инференс. Поддерживается TensorRT-LLM; модель оптимизирована для систем с GPU NVIDIA, включая микроархитектуру Blackwell, и предпочтительно используется в Linux. Сильной стороной модели является готовая предварительная квантизация для развертывания и потенциально более эффективный инференс на совместимом оборудовании по сравнению с CPU-сценариями. Ограничения включают зависимость от экосистемы NVIDIA и TensorRT-LLM, а также отсутствие в README подробных сведений о языках, результатах оценки качества и характеристиках исходного обучения. Для калибровки использовался датасет cnn_dailymail; наборы данных обучения и тестирования не раскрыты. Модель распространяется по лицензии Apache 2.0 и заявлена как пригодная для коммерческого и некоммерческого использования.

mlx-community/Qwen3-Next-80B-A3B-Instruct-4bit — это 4-битно квантизированная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.27.1. Модель предназначена для генерации текста и выполнения задач по инструкциям в приложениях, использующих экосистему MLX, включая локальный запуск через библиотеку mlx-lm. Из README известно, что модель является текстовой и относится к pipeline text-generation. В её названии указаны размер 80B и конфигурация A3B, однако подробности архитектуры, поддерживаемые языки, длина контекста и набор модальностей не приведены. Ключевое преимущество версии — 4-битное представление, потенциально уменьшающее требования к памяти при локальном использовании, но README не содержит данных о качестве, производительности или ограничениях квантизации. Модель распространяется по лицензии Apache-2.0.

SuperGemma-4-12b-abliterated — дообученный инструкционный чекпойнт на 12 млрд параметров, созданный на основе google/gemma-4-12B-it. Разработчик объединил обработку направления отказов в весовом пространстве с дополнительным постобучением для следования инструкциям, программирования, технических ответов на корейском языке, форматирования JSON и вызовов инструментов. Модель распространяется как единый чекпойнт без необходимости подключать адаптер во время работы. Модель предназначена для диалогов, выполнения инструкций и генерации кода. README описывает снижение лишних отказов и приводит результаты внутренних и публичных проверок, однако они не гарантируют качество на других запросах. В метаданных также заявлена мультимодальная архитектура семейства Gemma 4 с возможностью работы с изображениями, видео и аудио у базовой модели; явное подтверждение этих входов для данного чекпойнта в README отсутствует. Модель загружается через Transformers, веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка указывает английский и корейский языки; дополнительное постобучение особенно ориентировано на технические ответы на корейском.

Карточка модели sabeshbesh/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Карточка модели t-kawata/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Virtuoso-Lite-PreDistill — экспериментальная текстовая модель для генерации и диалогов от Arcee AI. Согласно карточке, это предварительная версия Virtuoso-Lite: вариант стандартного обучения SFT и объединения с RLHF, подготовленный для проверки перед дополнительными этапами обучения. В README описана дистилляция логитов Deepseek-V3 на примерно 1,1 млрд токенов и архитектура Llama-3; метаданные Hugging Face указывают архитектуру LlamaForCausalLM, 9,9 млрд параметров и базовую модель tiiuae/Falcon3-10B-Base. Доступны веса в формате safetensors, библиотека Transformers и контекстное окно до 32 768 токенов по метаданным. Модель предназначена для чат-ботов и виртуальных помощников, анализа данных, исследовательских прототипов и STEM-обучения. В README заявлены возможности рассуждения, генерации и отладки кода, а также решения математических задач; метаданные отмечают интерфейс вызова инструментов. Основной язык не указан, поэтому язык не классифицируется. Лицензия обозначена как falcon-llm-license в README и как other в метаданных; перед использованием следует проверить условия распространения в карточке модели.