I.3Извлечение и структурирование данных

TelperionAI/Qwen3.8-27B-INT4-AWQ-GPTQ — квантизированная версия языковой модели Qwen3.8-27B, основанная на базовой модели Qwen/Qwen3.8-27B. Модель создана с использованием llm-compressor и сочетает AWQ-масштабирование, учитывающее активации, с последующей GPTQ-квантизацией. Она предназначена для запуска и генерации текста в задачах общего назначения, включая программирование, математику, STEM, диалоговые и многоязычные сценарии. Основная часть MLP-слоёв квантизирована в INT4 с группами размера 32 и асимметричными шкалами, отдельные компоненты используют INT8, а эмбеддинги, lm_head, нормализации, параметры состояния GDN, vision tower и MTP-head сохранены в BF16. Размер модели на диске составляет около 25,1 ГБ; требуется видеокарта с Compute Capability не ниже 7.5, поэтому поддерживаются Turing, Ampere, Ada и Blackwell без необходимости FP8 или FP4. Контекст, точное число языков и полный набор модальностей в README не указаны, однако присутствует vision tower и заявлена калибровка на многоязычных данных. Ключевое преимущество модели — повышенная близость к исходной BF16-версии по сравнению с некоторыми другими 4-битными сборками: в заявленном тесте совпадение top-1 составило 96,30%, а медианная позиция первого расхождения генерации — 48 токенов. Модель поддерживает vLLM и MTP speculative decoding, но скорость на Blackwell примерно в 2,3 раза ниже, чем у NVFP4-варианта. Размер 25,1 ГБ не позволяет комфортно разместить её на одной видеокарте с 24 ГБ памяти с учётом KV-кэша, а результаты оценены только на одном корпусе и не проверены на независимом распределении. Распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-oQ4e-100K-MTP — это нативно квантованная версия Qwen3.8-Flash-Next, разработанная jedisct1 для среды oMLX и OpenAI-совместимого API на базе MLX. Модель предназначена для coding agents, других агентных сценариев, работы с текстом и изображениями, а также tool calling через совместимые клиенты. Она сохраняет vision tower Qwen4, MTP-голову и нативную архитектурную настройку контекста 262 144 токена, однако для конфигурации с 128 ГиБ памяти рекомендован безопасный общий лимит контекста 100 000 токенов. Основной формат весов — аффинное квантование oQ4e с размером группы 64; крупная PLE-таблица использует 4-битное квантование с размером группы 32. Часть компонентов оставлена в BF16 для сохранения качества вывода и эффективности MTP, а отдельные маршрутизируемые проекции — в Q8. Размер весов составляет примерно 108,8 млрд байт в 22 файлах safetensors. Модель поддерживает визуальный ввод, а README подтверждает успешное распознавание изображений и проверку вызова инструментов, но точный набор поддерживаемых языков не указан. Сильными сторонами являются очень длинный контекст, поддержка изображений и инструментов, совместимость с OpenAI API, prompt caching через SSD и оптимизация для локального запуска на Mac с 128 ГиБ памяти. Ограничения — необходимость oMLX, SSD-offload для полного контекста, значительные требования к памяти и рекомендация отключать MTP для coding agents: при включении MTP в тестах один из десяти защитных сценариев tool calling не был пройден. Модель распространяется по лицензии qwen-community-1.0; это лицензия с обозначением other, а её полный текст находится в файле LICENSE.

RavenXAILabsLLC-Qwen3.8-27B-Abliterated-Unified-Frontier-Model-IQ-Injected-MLX-MTP — открытая текстовая генеративная модель, разработанная RavenX AI Labs LLC на основе PocketAiHub/Qwen3.8-27B-Abliterated-MLX-4bit. По данным карточки, модель объединяет дистиллированные примеры и паттерны рассуждения из нескольких заявленных frontier-моделей и дополнительно обучалась на задачах программирования, агентного tool calling, анализа безопасности, финансов и трейдинга. Заявлены 1 159 426 обучающих примеров и сохранение планирования в весах без явных тегов рассуждений в ответах. Модель предназначена для генерации текста, программирования, структурированного анализа, агентских сценариев с вызовом инструментов и API, анализа уязвимостей и задач, связанных с безопасностью. Архитектура указана как Qwen3_5, размер — 27 млрд параметров, формат — MLX 4-bit; поддерживается библиотекой MLX и ориентирована прежде всего на запуск на Apple Silicon. В карточке также заявлена совместимость с ESI и MTP drafter для speculative decoding, а рекомендуемый объём памяти составляет около 15,5 ГБ. Указан английский язык; поддержка других языков и размер контекстного окна не уточняются. Сильными сторонами заявлены универсальность, навыки программирования и рассуждений, агентское взаимодействие с инструментами, а также оптимизация для локального запуска на устройствах Apple. Производитель сообщает о результате 93% на собственном наборе из 18 тестов, однако подробная методика и независимое подтверждение этого показателя в README не приведены. Ограничениями являются отсутствие подтверждённых сведений о контекстном окне, мультимодальности, качестве на разных языках и независимых бенчмарках; возможности в сфере пентестинга и безопасности требуют осторожного применения и проверки результатов. Лицензия указана как Apache-2.0.

NoxNotreve/Ternary-Bonsai-2-27B-gguf — компактная GGUF-версия Bonsai 2 27B, разработанная проектом Prism ML на основе Qwen3.8-27B. Это авторегрессионная языковая модель для генерации текста, рассуждений, программирования и агентских сценариев с вызовом инструментов. Она предназначена для локального запуска через llama.cpp на CPU, GPU с CUDA или устройствах Apple с Metal, включая стандартные ноутбуки и одноплатформенные конфигурации. Модель содержит около 27,36 млрд параметров и использует гибридную архитектуру с примерно 75% линейного и 25% полного внимания, SwiGLU, RoPE и RMSNorm. Заявленная длина контекста составляет 262 тысячи токенов. Языковая часть, включая эмбеддинги, проекции внимания, MLP и выходную голову, представлена в троичном формате со значениями −1, 0 и +1, групповым масштабированием FP16 и эффективной плотностью около 1,72 бита на параметр. Доступны упаковки PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Для обработки изображений предусмотрена отдельная vision tower в формате Q8_0, поэтому модель поддерживает текстовый режим и опциональный мультимодальный ввод при наличии соответствующего пакета. Сильные стороны модели — существенно меньший размер по сравнению с FP16, сохранение возможностей рассуждения, математики, программирования и агентского поведения в сверхнизкой разрядности, а также пригодность для локального использования. Согласно README, она сохраняет 98,2% показателей FP16 на наборе из 14 тестов, однако эти результаты зависят от методики оценки и совместимых низкоразрядных ядер. Для работы требуются версии llama.cpp с поддержкой кастомных троичных ядер; стандартные реализации могут не загрузить файл или не обеспечить заявленную производительность. Модель распространяется по лицензии Apache 2.0.

Ternary-Bonsai-2-27B-mlx-2bit — производная версия Qwen/Qwen3.8-27B от Prism ML, предназначенная для локального запуска диалоговой модели и агентов. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и вращением Hadamard. Размер модели — 27,36 млрд параметров, включая языковую часть и башню зрения. Репозиторий занимает около 8,60 ГБ; заявлена поддержка контекста до 262 тысяч токенов и обработка изображений. Модель рассчитана на генерацию текста, рассуждения, программирование и вызов инструментов на ноутбуках и GPU, в том числе без передачи данных в облако. README сообщает о сохранении 98,2% среднего результата FP16 на 14 бенчмарках и приводит показатели производительности для отдельных устройств; это заявления разработчика, а фактическая скорость зависит от оборудования и совместимого низкобитного runtime. Для корректной работы нужны специализированные ядра MLX или CUDA, а для версии MLX — совместимая среда MLX. Качество ниже полного FP16, особенно на сложных задачах; башня зрения в поставке не квантизирована. Лицензия — Apache-2.0.

protoLabsAI/Agents-A1-NVFP4 — квантизированная версия модели InternScience/Agents-A1, разработанная и проверенная protoLabs. Это агентная гибридная MoE-модель класса Qwen3.5-35B-A3B для генерации текста, рассуждений, работы с инструментами, function calling, программирования и других агентных сценариев. Модель предназначена для запуска через vLLM, прежде всего на GPU NVIDIA Blackwell, включая RTX PRO 6000 и RTX 50xx. Модель использует квантизацию NVFP4 W4A4 с калибровкой всех экспертов MoE и занимает около 21,8 ГБ. В контрольной точности сохранены маршрутизаторы MoE, DeltaNet-линейное внимание, эмбеддинги, lm_head, vision tower и MTP-тензоры. В README заявлена поддержка длинного контекста с проверками на длинах до 60K токенов; для работы у верхней границы рекомендуется оставить более 5K токенов запаса либо отключить режим рассуждений. Веса vision tower присутствуют, но рекомендуемая конфигурация vLLM работает только в текстовом режиме. Языки явно не указаны. По приведённым тестам NVFP4-версия превосходит официальную FP8-версию на наборах reasoning-v2, function-call и claw agentic, но немного уступает ей в code spec-delta. На одной RTX PRO 6000 заявлена скорость до 215 токенов в секунду при однопоточном чате. Ограничения включают зависимость от специальной конфигурации vLLM с marlin MoE backend на sm120, несовместимость spec-decode с этим backend и необходимость учитывать значительные затраты контекста при длинных рассуждениях. Модель распространяется по лицензии Apache-2.0.

Bigstral-12b-32k — диалоговая языковая модель от ehartford, созданная с помощью mergekit на основе Mistral-7B-Instruct-v0.2. Веса слоёв исходной модели расположены в чередующемся порядке, образуя плотную архитектуру MistralForCausalLM размером 12,3 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в формате диалога [INST]…[/INST], включая написание кода. Большое окно контекста позволяет работать с длинными запросами и документами. Репозиторий использует формат safetensors и библиотеку Transformers; для запуска автор также приводит команду Ollama. Лицензия — Apache-2.0. README не приводит сведения о поддерживаемых языках или подробную оценку качества, поэтому их нельзя определить по имеющимся данным.

EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

Карточка модели SteveCIB77/embeddinggemma-300m на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

Карточка модели jigmam/embeddinggemma-int8 на Hugging Face совпадает с карточкой google/embeddinggemma-300m, поэтому описание составлено по ней. EmbeddingGemma — компактная модель эмбеддингов Google DeepMind на 300 млн параметров, построенная на Gemma 3 с инициализацией T5Gemma. Она преобразует текстовые запросы и документы в векторы и предназначена для семантического поиска, оценки сходства, классификации и кластеризации. Модель поддерживает более 100 языков и рассчитана на локальное использование на телефонах и компьютерах с ограниченными ресурсами. Модель принимает текст с контекстом до 2048 токенов и выдаёт эмбеддинги размерностью 768; с помощью Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Она подходит для поиска документов и кода по запросу, поиска материалов для систем вопросов и ответов, обнаружения дубликатов и тематической группировки текстов. Для работы предусмотрена библиотека Sentence Transformers. Качество представлений зависит от охвата и возможных смещений обучающих данных; модель может хуже учитывать тонкие языковые оттенки, сарказм и переносный смысл. Лицензия указана как Gemma; применяются условия использования Gemma и её политика запрещённого использования.

mlx-community/gemma-4-e4b-it-qat-OptiQ-4bit — это квантизированная MLX-модель, созданная сообществом mlx-community с использованием инструментария mlx-optiq на базе Google Gemma-4 E4B IT QAT. Она предназначена для локального запуска на устройствах с Apple Silicon без PyTorch и облачных сервисов. Модель поддерживает генерацию текста, а через mlx-optiq — работу с изображениями и текстом, а также ускорение генерации с помощью speculative decoding. В основе лежит quantization-aware-trained модель google/gemma-4-E4B-it-qat-q4_0-unquantized, обученная с учетом последующей низкобитной квантизации. Используется чувствительная к слоям mixed-precision схема: 221 компонент работает в 8-битном формате, 122 — в 4-битном. Достигнутая точность составляет 5,17 бит на вес, размер модели на диске — около 7 ГБ, размер группы — 64. Для vision-компонента используется отдельный bf16-файл. Калибровка проводилась на данных шести типов: обычный текст, рассуждения, код, агентские сценарии, вызовы инструментов и инструкции с ограничениями. По заявленным тестам модель показывает Capability Score 68,67, что на 1,19 пункта выше равномерной 4-битной квантизации той же базы; наиболее заметный прирост отмечен в HumanEval и задаче длинного контекста HashHop. Она подходит для текстовых задач, программирования, рассуждений, следования инструкциям, вызова инструментов и мультимодального анализа изображений. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, больший размер по сравнению с равномерной 4-битной версией и необходимость mlx-optiq для image-text режима и speculative decoding. Лицензия указана как Apache-2.0, при этом базовая Gemma распространяется по Gemma Terms of Use.

google-gemma-4-12B-it-GGUF-Q4_K_M — квантизированная версия базовой модели google/gemma-4-12B-it, опубликованная пользователем sigmanih с использованием Sigma Studio. Модель предназначена для генерации текста, диалоговых помощников, программирования, повседневных задач, рассуждений и агентских сценариев с вызовом инструментов. Она распространяется в формате GGUF с квантизацией Q4_K_M и рассчитана на запуск через совместимые движки, включая llama.cpp и SigmaEngine. Заявлены архитектура gemma4, 12 млрд активных параметров, 48 transformer-слоёв, скрытое измерение 3840 и контекстное окно до 262 144 токенов. Размер файла составляет около 6,87 ГБ; для полной выгрузки на GPU рекомендуется около 19,5 ГБ видеопамяти, а для CPU или гибридного режима — около 19,3 ГБ оперативной памяти. В README указаны английский и итальянский языки. Рекомендуемое оборудование — видеокарта с 24 ГБ VRAM либо система с 32–64 ГБ RAM. По приведённым автором оценкам, модель набрала 77% на совокупности из 100 тестовых заданий, показала 100% на HumanEval, 89% на ARC-Challenge, GSM8K, MATH, MMLU-Pro и TruthfulQA, но существенно слабее выступила на GPQA, HellaSwag и MMLU. В режиме пошагового рассуждения заявлено преимущество над прямой генерацией, однако приведённые бенчмарки являются результатами собственной оценки публикации и не гарантируют аналогичную точность в прикладных задачах. К ограничениям также относятся требования к памяти, потери качества из-за квантизации и неполная информация о мультимодальности и точных условиях обучения. В README лицензия в метаданных обозначена как other, а в отдельном значке указана Apache-2.0, поэтому перед использованием необходимо проверить фактические лицензионные условия репозитория и исходной модели.

IFM/K2-Horizon-7B-GGUF — это GGUF-версия модели K2-Horizon-7B, разработанной IFM. Репозиторий предназначен для запуска модели с помощью llama.cpp и содержит тензоры в исходной точности BF16, метаданные токенизатора и совместимый с llama.cpp шаблон чата. Модель представляет собой плотную decoder-only архитектуру среднего размера в семействе K2-Horizon, с 7B параметров в основном ядре и контекстным окном на 524 288 токенов. Она ориентирована на генерацию текста, агентские сценарии, программирование, задачи с длинным контекстом и рассуждения. В README указан английский язык. Модель оценивается на математических, инженерных, кодировочных и long-context-бенчмарках; среди заявленных характеристик — результат 70,6 на SWE-bench Verified и 73,3 на HMMT Feb 2026. К сильным сторонам относятся большое нативное контекстное окно, открытость обучающих данных, рецепта, кода обучения и ресурсов оценки, а также наличие промежуточных чекпойнтов. Для запуска требуется версия llama.cpp с поддержкой архитектуры K2 Horizon; на момент публикации такая поддержка находилась в разработке, а совместимая ветка доступна в форке MBZUAI-IFM. Модель распространяется по лицензии Apache-2.0.

Linkbricks-Horizon-AI-Avengers-V4-32B — дообученная Saxo и командой Linkbricks Horizon-AI языковая модель на архитектуре Qwen2 с 32 млрд параметров. Она основана на Saxo/Linkbricks-Horizon-AI-Avengers-V3-32B; авторы сообщают о дообучении SFT и DPO, а также ORPO, примерно 35% параметров модели. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Для неё указано контекстное окно 32 768 токенов. Модель предназначена для генерации и написания текста, перевода между корейским, японским, китайским и английским языками, суммаризации, анализа отзывов и публикаций в социальных сетях, задач по программированию, математике и логическим рассуждениям. По заявлению авторов, при обучении использовались многоязычные новостные и вики-корпуса, наборы для перевода и другие данные по перечисленным задачам. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

Matryoshka Text Embedding v1 — мультиязычная модель эмбеддингов текста на базе энкодера XLM-RoBERTa, дообученная с применением Matryoshka Representation Learning. Она преобразует тексты в векторы для семантического поиска, сравнения предложений и извлечения документов; поддерживает семь размерностей эмбеддинга от 64 до 1024, что позволяет выбирать компромисс между качеством, скоростью и объёмом хранения. Максимальная длина последовательности — 8194 токена по метаданным модели; README указывает 8192 токена. Модель предназначена для поиска по научной литературе, правовым и медицинским документам, веб-страницам и каталогам товаров, а также для рекомендаций и индексации больших коллекций. В карточке заявлена поддержка более 100 языков; метаданные отдельно перечисляют английский, арабский, немецкий, испанский, французский, китайский, русский, турецкий, корейский, японский, итальянский, португальский и нидерландский. Метаданные указывают 658,7 млн параметров, тогда как README приводит около 568 млн. Модель выпущена hasankursun и дообучена на FacebookAI/xlm-roberta-base. Для лучшего соответствия исходному качеству используют полную размерность или крупные векторы; усечение уменьшает требования к хранению и вычислениям, но может снизить качество. Лицензия CC-BY-NC-4.0 разрешает использование с обязательной атрибуцией и ограничивает коммерческое применение.

Meta-Llama-3-8B-Instruct-llamafile — это инструкционная версия языковой модели Llama 3, разработанная Meta и упакованная в исполняемый формат llamafile проектом Mozilla Ocho. Версия содержит около 8 млрд параметров и предназначена для локального запуска на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64. Указанный вариант связан с квантованием, выполненным jartine, и основан на meta-llama/Meta-Llama-3-8B-Instruct. Модель принимает только текст и генерирует текст и код. Она ориентирована прежде всего на англоязычные диалоговые сценарии, работу в формате ассистента и задачи генерации естественного языка. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention; модель дообучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Длина контекста составляет 8k токенов, данные обучения включают более 15 трлн токенов общедоступных онлайн-данных, дата отсечения знаний — март 2023 года. Сильными сторонами являются возможность автономного локального запуска без отдельной сложной инфраструктуры, поддержка распространённых настольных операционных систем и оптимизация для диалогового взаимодействия. Ограничения включают работу преимущественно с английским языком, текстовую модальность, статичность обученной версии и возможные потери качества или рост галлюцинаций при использовании более агрессивных форматов квантования. Модель распространяется по пользовательской коммерческой лицензии Llama 3; применение должно соответствовать условиям Llama 3 Community License, Acceptable Use Policy и действующему законодательству.

Natsumura Assistant 1.0 — разговорная модель общего назначения из серии Natsumura, разработанная Tohur. Это плотная авторегрессионная модель семейства Llama 3.1 с 7,5 млрд параметров и контекстом до 131 072 токенов; она предназначена для диалогов и помощи с широким кругом текстовых задач. Модель дообучена на основе meta-llama/Meta-Llama-3.1-8B-Instruct с использованием наборов Natsumura Identity, Dolphin, Dolphin Coder, OpenHermes 2.5 Uncensored и UltraChat Uncensored. Карточка характеризует её как uncensored и отмечает высокую готовность следовать запросам. Модель принимает текст и генерирует текст; заявлена лицензия Llama 3.1 Community License.

Openai_gpt-oss-20b-NEO-GGUF — это набор квантованных GGUF-версий модели openai/gpt-oss-20b, подготовленный DavidAU с использованием NEO Imatrix и собственного NEO-набора данных. Модель предназначена для генерации текста, диалогов, программирования, решения задач, рассуждений, мозгового штурма и творческих сценариев. В карточке заявлена лицензия Apache-2.0. Модель имеет архитектуру Mixture of Experts с 20 млрд параметров и поддержкой до 24 экспертов, из которых можно активировать часть в зависимости от сценария. Доступны варианты IQ4_NL, Q5_1 и MXFP4_MOE с различными настройками квантования; указана поддержка контекста до 128k токенов. Основной заявленный язык — английский. Также заявлена поддержка использования инструментов и browsing, однако подробности совместимости зависят от программного обеспечения для запуска. Сильные стороны модели — универсальность, задачи программирования и заявленное улучшение производительности благодаря NEO Imatrix, особенно в некоторых низко- и среднебитных вариантах квантования. Ограничения включают зависимость качества от выбранного кванта, числа активных экспертов, семплеров и настроек запуска; автор отдельно отмечает проблемы квантования, связанные с необычными размерами тензоров исходной модели. Рекомендуется проверять конкретный файл и параметры в используемом inference-интерфейсе.

Карточка модели inference-optimization/Qwen3-30B-A3B-Thinking-2507-REAP-25-nonuniform на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Thinking-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

Карточка модели inference-optimization/Qwen3-30B-A3B-Thinking-2507-REAP-25-uniform на Hugging Face совпадает с карточкой Qwen/Qwen3-30B-A3B-Thinking-2507, поэтому описание составлено по ней. Qwen3-30B-A3B-Thinking-2507 — причинная языковая модель семейства Qwen3 от команды Qwen. Это модель типа Mixture of Experts с 30,5 млрд параметров, из которых при генерации активируются около 3,3 млрд; в архитектуре 128 экспертов, одновременно используются 8. Она предназначена для диалогов и сложных задач рассуждения, включая математику, науку, программирование, следование инструкциям и работу с инструментами. Модель поддерживает только режим рассуждения и имеет нативное контекстное окно 262 144 токена. В README отмечены улучшения в глубине рассуждений, общих возможностях и обработке длинного контекста. Модель принимает текст и генерирует текст; сведения о поддерживаемых естественных языках в предоставленных данных отсутствуют. Модель распространяется под лицензией Apache-2.0. Длинные рассуждения могут приводить к большому объёму вывода, а для высоких нагрузок на контекст требуются значительные вычислительные ресурсы; README рекомендует актуальную версию Transformers и описывает запуск через vLLM или SGLang.

jc-builds/Qwen3.5-4B-Q4_K_M-GGUF — это 4-битная квантованная версия базовой модели Qwen/Qwen3.5-4B, разработанной Alibaba Cloud. Квантование Q4_K_M и упаковка в формат GGUF выполнены для запуска на устройствах пользователя, в частности на iPhone, iPad и компьютерах Mac с Apple Silicon, через llama.cpp. Модель распространяется по лицензии Apache 2.0. Модель предназначена для генерации текста, рассуждений, программирования, следования инструкциям и использования инструментов. Она поддерживает режим reasoning с тегами <think> и ChatML-формат запросов. В README заявлены мультимодальные возможности с ранним объединением зрительных данных, однако vision encoder предоставляется отдельно. Указана поддержка 201 языка и диалекта, включая английский, китайский, японский, корейский, русский и другие языки. Архитектура представляет собой гибрид Gated DeltaNet и полноразмерного softmax-внимания в соотношении 3:1: из 32 слоёв восемь блоков содержат по три слоя DeltaNet и одному attention-слою. Модель имеет около 4 миллиардов параметров, размер файла составляет примерно 2,6 ГБ, а нативное контекстное окно — 262 144 токена; для расширения контекста заявлена совместимость с YaRN. Гибридная архитектура рассчитана на снижение потребления памяти, что делает модель подходящей для локального и мобильного вывода. Ограничениями являются потеря точности из-за 4-битного квантования, высокие требования к оперативной памяти для длинного контекста и то, что заявленные мультимодальные функции требуют отдельного vision encoder.

Qwen3.6-35B-A3B-UD-MLX-3bit — это 3-битно квантованный вариант модели Qwen3.6-35B-A3B, подготовленный Unsloth в формате MLX на базе модели Qwen. Модель предназначена для генерации текста, программирования, агентных сценариев и задач, связанных с анализом изображений, поскольку включает языковую модель с vision encoder. В README отдельно отмечены улучшения для frontend-разработки, рассуждений на уровне репозитория, сохранения контекста рассуждений и вызова инструментов. Архитектура представляет собой causal language model с Mixture of Experts: всего 35 млрд параметров, из которых активируются 3 млрд. Модель содержит 40 слоёв, 256 экспертов с маршрутизацией к 8 экспертам и одним общим экспертом, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленным расширением до 1 010 000 токенов. Поддержка языков в предоставленных данных не указана. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, возможности работы с изображениями и специализация на кодинге и агентных рабочих процессах. Ограничения связаны с 3-битным квантованием и зависимостью от совместимого стека MLX; влияние квантования на качество в README не описано. Модель распространяется по лицензии Apache-2.0.

RadixArk Qwen3.8-2.4T-A95B-NVFP4 — квантизированная версия причинно-следственной языковой модели Qwen3.8-2.4T-A95B, созданной Qwen. Квантизацию выполнила RadixArk с использованием NVIDIA Model Optimizer и схемы experts-only NVFP4; RadixArk не обучала и не дообучала модель. Архитектура — Transformer Mixture-of-Experts с 2,4 трлн общих параметров и 95 млрд активируемых параметров. Модель предназначена для генерации текста, AI-агентов, чат-ботов, RAG-систем и других текстовых приложений. Она принимает и возвращает текст, поддерживает контекст до 262 144 токенов и работает только в режиме рассуждений; мультимодальные входы и отключение thinking mode не поддерживаются. Квантизации подвергнуты линейные операторы в MLP-блоках маршрутизируемых экспертов, остальные компоненты сохраняют точность исходного чекпойнта. Для запуска рекомендуется SGLang на Linux и совместимое оборудование NVIDIA Blackwell, в частности конфигурация 8×B300; заявленная интеграция с другими платформами не указана. По приведённым оценкам на конфигурации 8×B300 модель получила 97,73% на GSM8K, 98,75% pass@1 и 100% pass@16 на AIME 2026, 70,6% pass@1 на SWE-bench Verified и 87,64% pass@1 на Terminal-Bench 2.1. Ограничения и характеристики обучения унаследованы от исходной модели; README предупреждает о возможном воспроизведении токсичных высказываний и общественных предубеждений из обучающих данных. Модель распространяется по лицензии Qwen3.8-Max, обозначенной как other.

Qwen3.8-27B-heretic-ara-NVFP4 — производная модель hwkranger на базе Qwen/Qwen3.8-27B, прошедшая ARA-abliteration у trohrbaugh и последующую квантизацию NVFP4 от автора репозитория. Модель предназначена для генерации текста, агентных и программных сценариев, вызова инструментов, а также обработки изображений и видео. Она ориентирована прежде всего на запуск через vLLM на NVIDIA GB10 и DGX Spark с унифицированной памятью. Модель содержит 27B параметров и использует формат квантизации W4A16 NVFP4; размер на диске составляет около 20 ГБ вместо 52 ГБ у исходной BF16-версии. Vision tower и MTP-голова сохранены без квантизации, что обеспечивает работу с изображениями и видео и поддерживает speculative decoding через vLLM. Нативный контекст составляет 262 144 токена; в рекомендуемой конфигурации используется 131 072 токена. Поддерживаются шаблон чата Qwen3, reasoning-разметка с тегами <think> и вызов инструментов в формате qwen3_coder. К сильным сторонам относятся сниженные требования к памяти, высокая пропускная способность при параллельной обработке запросов и отсутствие отказов от ответов вследствие удаления исходного refusal-поведения. MTP может повысить скорость однопоточной и многопоточной генерации, но его draft-голова не обучалась на аблитерированных весах, поэтому acceptance rate ниже; также описан единичный сбой CUBLAS при смешанной нагрузке prefill и decode. Квантизация может снизить точность, поэтому критичные сценарии следует проверять сравнением с BF16-моделью. Модель унаследует знания, смещения и ограничения базовой модели; для публичного доступа необходимы собственные защитные механизмы. Лицензия — Apache-2.0.

Spark-X2.5-4B MLX 4-bit — 4-битная MLX-квантизованная версия языковой модели XHToken/Spark-X2.5-4B, разработанной XHToken. Это универсальная текстовая модель для рассуждений, программирования, использования инструментов и агентских рабочих процессов. Модель содержит около 4 миллиардов параметров и поддерживает текстовую генерацию с нативным контекстом до 1 048 576 токенов. Размер файла весов составляет 2,31 ГБ. Модель предназначена для запуска в экосистеме MLX на совместимом оборудовании Apple, а её архитектура spark2_5 на данный момент поддерживается Spark-MLX-LLM. Совместимость с oMLX и стандартным MLX-LM в README не заявлена. К сильным сторонам относятся существенно уменьшенный размер 4-битных весов и очень длинное контекстное окно, что подходит для обработки больших документов и длительных агентских сценариев. При этом README не содержит подробных результатов тестирования, сведений о языках, конкретных мультимодальных возможностях или ограничениях качества. Модель распространяется по лицензии Apache-2.0.

Это конверсия в формат MLX модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, опубликованная сообществом mlx-community. Модель построена на архитектуре Qwen3.5 и предназначена для диалогов, работы с текстом и кодом, а также обработки изображений и видеовходов; доступны интерфейсы вызова инструментов. Веса представлены в BF16, сохранены шаблон чата и настройки мультимодального процессора. Репозиторий ориентирован на запуск на Apple Silicon через mlx-vlm; для мультимодального использования рекомендуется эта библиотека. Модель поддерживает английский, китайский, испанский, русский и японский языки. Лицензия — Apache 2.0, унаследованная от исходной модели. Размер параметров и длина контекста в предоставленных данных не приведены. Подробности о назначении и ограничениях исходной модели следует уточнять в её карточке.

unsloth/gemma-3-4b-it-bnb-4bit — это 4-битная версия instruction-tuned модели Gemma 3 4B, подготовленная Unsloth на базе google/gemma-3-4b-it. Семейство Gemma разработано Google DeepMind и распространяется с открытыми весами. Вариант предназначен для диалогов, генерации текста, ответов на вопросы, суммаризации, рассуждений и понимания изображений. Модель поддерживает мультимодальный ввод: текст и изображения с последующей генерацией текста. Для модели 4B заявлено контекстное окно до 128K токенов и максимальный объём вывода 8192 токена; изображения нормализуются до 896×896 и кодируются в 256 токенов каждое. Указана поддержка более 140 языков, включая английский. Модель совместима с библиотекой Transformers, а 4-битное представление снижает требования к памяти и упрощает локальное развёртывание, однако может несколько ухудшать точность по сравнению с полноразмерными вариантами. Модель рассчитана на запуск в условиях ограниченных ресурсов, включая локальные компьютеры и собственную облачную инфраструктуру. README не содержит подробностей о конкретной архитектуре, результатах тестирования или известных ограничениях качества для отдельных языков и задач. Использование регулируется лицензией Gemma и соответствующими Terms of Use Google.

GLM-4-32B-0414-uncensored-heretic-v2-GGUF — набор GGUF-квантизаций 32-миллиардной языковой модели GLM-4-32B-0414. Модель разработана на основе zai-org/GLM-4-32B-0414 независимым автором llmfan46 с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA). Это декензурированная версия модели, ориентированная на генерацию текста на английском и китайском языках. Модель предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания артефактов, function calling, поисковых вопросов и ответов, а также подготовки отчётов. Заявлены 32 млрд параметров и предварительное обучение исходной модели на 15 трлн единиц высококачественных данных, включая синтетические данные для рассуждений. README не содержит сведений о размере контекстного окна и мультимодальных возможностях; указанный pipeline относится к генерации текста. Ключевая особенность — существенно меньше отказов в сравнении с исходной моделью: 7 из 100 против 100 из 100 в приведённом тесте, при заявленном KL divergence 0,0555. Доступны варианты BF16, Q8_0, Q6_K, Q5_K_M, Q5_K_S и Q4_K_M; Q8_0 описан как близкий к исходному качеству, а Q4_K_M — как подходящий для систем с ограниченной VRAM. Квантизации совместимы с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Снижение ограничений может сопровождаться меньшей безопасностью и не гарантирует сохранение всех характеристик исходной модели. Лицензия — MIT.

GLM-5.3-Flash-BF16 — мультимодальная модель семейства GLM от Z.ai для диалогов и задач с изображениями. По карточке модели, она содержит 320 млрд параметров, из которых 18 млрд активны при обработке. Архитектура GLM5 Next сочетает разреженное и линейное внимание; модель обучена с нуля и использует мультимодальную предобучающую выборку объёмом 30 трлн токенов. Модель предназначена для анализа изображений и текста, программирования и агентных сценариев. В README заявлены улучшения относительно GLM-5.2 и эффективность при работе с длинным контекстом. Доступны уровни reasoning_effort low, high и max; для локального развёртывания перечислены Transformers, vLLM, SGLang и другие фреймворки. Метаданные указывают поддержку английского и китайского языков и интерфейс чата с обработкой изображений. Лицензия — MIT.

Granite-4.2-3B GGUF — это набор квантизированных версий компактной reasoning-модели Granite-4.2-3B, разработанной IBM и распространяемой пользователем NANI-Nithin в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста, решения математических и многошаговых задач, программирования, агентских сценариев и вызова инструментов. Она поддерживает встроенное рассуждение с использованием блоков <think>...</think> и режимы полного, отключённого и облегчённого рассуждения, позволяющие выбирать баланс между качеством и задержкой ответа. Модель построена как плотный decoder-only Transformer с 3 млрд параметров, Grouped Query Attention с 40 attention heads и 8 KV heads, RoPE с θ = 10 000 000 и MLP-блоками. Заявлено контекстное окно 512K токенов, подходящее для длинных документов, многошаговых диалогов и сложных agentic workflows. В README явно указана текстовая генерация; сведения о поддерживаемых языках и мультимодальности не приведены. К сильным сторонам относятся малый размер, встроенное reasoning, гибкие режимы рассуждения, поддержка reasoning-augmented tool calling и широкий выбор квантизаций — от BF16 и почти без потерь Q8_0 до сильно сжатых вариантов для устройств с ограниченной памятью. К ограничениям относятся неизбежное снижение качества при агрессивной квантизации, а также отсутствие в предоставленных данных результатов бенчмарков и подробностей о языковом покрытии. Модель и её квантизированные варианты заявлены под лицензией Apache 2.0, допускающей коммерческое и исследовательское использование.