I.1Поиск и навигация по информации

GKA-primed-HQwen3-8B-Reasoner — гибридная языковая модель Amazon, созданная на основе Qwen3-8B с помощью конвейера Hybrid Model Factory Priming. В ней 18 слоёв Attention и 18 слоёв Gated KalmaNet (GKA), слоя пространства состояний, который выполняет онлайн-регрессию с постоянным объёмом памяти и линейной стоимостью по длине последовательности. Модель содержит 7,6 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста, многошаговых рассуждений на длинном контексте, решения математических и научных задач, программирования, следования инструкциям и вызова инструментов. Поддерживает режимы рассуждения с пошаговой внутренней генерацией и без него. По данным авторов, гибридная архитектура снижает нагрузку на KV-кэш и ускоряет инференс на длинных контекстах, сохраняя качество, близкое к Qwen3-8B; результаты различаются в зависимости от задачи. Карточка приводит слабый результат на SciCode относительно базовой модели. Модель доступна в формате Safetensors, точность в карточке указана как bfloat16. Лицензия — Apache 2.0. Для длинных генераций авторы рекомендуют vLLM; точность генерации на длинном контексте зависит от настроек кэша.

Qwen3.6-35B-A3B-NVFP4 — это посттренированная квантованная версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и опубликованной пользователем ykarout. Модель представлена в формате Hugging Face Transformers и предназначена для генерации текста, программирования, агентных сценариев и обработки задач с изображениями благодаря архитектуре с vision encoder. Модель использует причинную языковую архитектуру с Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Она включает 40 слоёв, 256 экспертов, 8 маршрутизируемых и 1 общего активируемого эксперта, а также сочетает Gated DeltaNet и Gated Attention. Квантование выполнено в формате NVFP4 с 4-битными весами и FP8 KV-кэшем; конфигурация оптимизирована для архитектуры NVIDIA Blackwell. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Поддерживаемые языки в README не указаны. Сильными сторонами модели заявлены агентное программирование, работа с интерфейсами и репозиториями, сохранение контекста рассуждений между сообщениями и высокая эффективность за счёт MoE-архитектуры и квантования. Ограничения включают зависимость производительности от совместимого программного и аппаратного окружения, особенно при использовании Blackwell-оптимизаций, а также возможные потери качества, характерные для 4-битного квантования. В README приведены результаты SWE-bench, включая 73,4 для SWE-bench Verified и 67,2 для SWE-bench Multilingual, но полная методика оценки не описана. Лицензия — Apache 2.0.

RadixArk Qwen3.8-2.4T-A95B-NVFP4 — квантизированная версия причинно-следственной языковой модели Qwen3.8-2.4T-A95B, созданной Qwen. Квантизацию выполнила RadixArk с использованием NVIDIA Model Optimizer и схемы experts-only NVFP4; RadixArk не обучала и не дообучала модель. Архитектура — Transformer Mixture-of-Experts с 2,4 трлн общих параметров и 95 млрд активируемых параметров. Модель предназначена для генерации текста, AI-агентов, чат-ботов, RAG-систем и других текстовых приложений. Она принимает и возвращает текст, поддерживает контекст до 262 144 токенов и работает только в режиме рассуждений; мультимодальные входы и отключение thinking mode не поддерживаются. Квантизации подвергнуты линейные операторы в MLP-блоках маршрутизируемых экспертов, остальные компоненты сохраняют точность исходного чекпойнта. Для запуска рекомендуется SGLang на Linux и совместимое оборудование NVIDIA Blackwell, в частности конфигурация 8×B300; заявленная интеграция с другими платформами не указана. По приведённым оценкам на конфигурации 8×B300 модель получила 97,73% на GSM8K, 98,75% pass@1 и 100% pass@16 на AIME 2026, 70,6% pass@1 на SWE-bench Verified и 87,64% pass@1 на Terminal-Bench 2.1. Ограничения и характеристики обучения унаследованы от исходной модели; README предупреждает о возможном воспроизведении токсичных высказываний и общественных предубеждений из обучающих данных. Модель распространяется по лицензии Qwen3.8-Max, обозначенной как other.

unsloth/Qwen3-VL-4B-Thinking-GGUF — GGUF-версия мультимодальной модели Qwen3-VL-4B-Thinking, разработанной командой Qwen и подготовленной Unsloth с исправлениями шаблона чата. Модель предназначена для обработки текста и изображений, визуального понимания и рассуждений, анализа документов, OCR, STEM- и математических задач, пространственного анализа, понимания видео, а также взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру с 4 млрд параметров и относится к reasoning-ориентированной версии Thinking. Заявлена поддержка контекста длиной 256K токенов с возможностью расширения до 1M, а также обработки изображений, видео и текста. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных измерений, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа событий в видео. OCR поддерживает 32 языка, однако полный перечень языков в README не приведён. Сильные стороны модели — сочетание языкового и визуального понимания, мультимодальное рассуждение, работа с длинным контекстом, пространственными отношениями, видео и сложными визуальными документами. Ограничения, связанные с точностью, вычислительными требованиями и конкретными параметрами GGUF-квантизации, в README не описаны; фактические возможности зависят от используемого варианта файла и среды запуска. Модель распространяется по лицензии Apache-2.0.

Solar Pro 4 — большая языковая модель компании Upstage, предназначенная для длительных задач и агентных сценариев. В карточке указано контекстное окно размером 524 тыс. токенов. Модель рассчитана на работу с длинными документами и задачи офисной продуктивности. README также отмечает поддержку агентных рабочих процессов, но не приводит подробностей об архитектуре, размере модели, языках или условиях лицензии.

Spark-X2.5-4B Community Quants — набор GGUF-квантизаций модели Spark-X2.5-4B, разработанной XHToken и опубликованной сообществом. Модель предназначена для генерации текста, диалоговых и агентских сценариев с использованием инструментов, включая работу с файлами, терминалом, памятью и выполнением кода. Доступны варианты для видеокарт с 4, 8, 12 и 16 ГБ памяти, рассчитанные на полностью GPU-резидентный запуск через llama.cpp. Базовая модель содержит около 4,1 млрд параметров и использует гибридное внимание: соотношение слоёв sliding-window и full attention составляет 3:1. Заявлен нативный контекст до 1 млн токенов, однако на потребительских видеокартах практический предел определяется объёмом KV-кэша и существенно ниже. Квантизации используют importance matrix, рассчитанную на мультиязычном тексте. Варианты включают Q6_K, Q5_K_M, а также смешанные Q3_K_M и Q4_K_M; размер файлов составляет примерно от 2,0 до 3,2 ГБ. Модель поддерживает режим рассуждений, формат вызова инструментов и мультиязычные данные, но точный перечень языков в README не указан. Сильными сторонами являются компактный размер, высокая эффективность использования VRAM, поддержка длинного контекста и близкое к эталонному качество у вариантов Q6_K и Q5_K_M. Более компактные варианты позволяют запускать модель на видеокартах с 4–8 ГБ памяти, но заметно уступают по показателям perplexity и демонстрируют более высокую вероятность пропуска требуемых вызовов инструментов. Для запуска требуется форк llama.cpp от XHToken, поскольку архитектура spark2_5 пока отсутствует в upstream-версии. Модель распространяется по лицензии Apache-2.0.

ERNIE-4.5-21B-A3B-Thinking-GGUF — текстовая MoE-модель, разработанная Baidu и представленная в формате GGUF. Она предназначена для сложных задач рассуждения, включая логические задачи, математику, естественные науки, программирование, генерацию текста и академические тесты. Модель также поддерживает эффективное использование инструментов и вызовы функций. Модель содержит 21 млрд параметров, из которых для каждого токена активируется около 3 млрд. Архитектура включает 28 слоёв, 20 Q-голов и 4 KV-головы, 64 текстовых эксперта с активацией 6 экспертов, 64 vision-эксперта с активацией 6 экспертов и 2 общих эксперта. Указана длина контекста 131 072 токена. Основная модальность — текст; заявленные языки — английский и китайский. К сильным сторонам относятся улучшенные качество и глубина рассуждений, поддержка длинного контекста, инструментов и function calling, а также вычислительная эффективность MoE-архитектуры благодаря активации только части параметров на каждом токене. README рекомендует модель прежде всего для высокосложных задач, однако отмечает повышенную длину рассуждений, что может увеличивать задержку и расход ресурсов. Для запуска полной модели указана конфигурация с GPU объёмом 80 ГБ и FastDeploy 2.2; для работы через Transformers требуется версия 4.54.0 или новее. Модель распространяется по лицензии Apache 2.0.

unsloth/gemma-3-27b-it-qat-GGUF — instruction-tuned мультимодальная модель семейства Gemma 3, разработанная Google DeepMind и подготовленная Unsloth в формате GGUF с QAT-квантизацией. Модель основана на google/gemma-3-27b-it-qat-q4_0-unquantized и имеет размер 27 млрд параметров. Она принимает текст и изображения, а генерирует текст; поддерживает более 140 языков, включая английский, указанный в карточке модели. Изображения нормализуются до разрешения 896×896 и представляются как 256 токенов каждое. Контекстное окно составляет 128K токенов, максимальный объём генерируемого ответа — 8192 токена. Модель предназначена для ответов на вопросы, суммаризации документов, рассуждений, генерации текста и анализа изображений. Большое контекстное окно и мультимодальность подходят для работы с длинными документами и визуальными данными, а GGUF и квантизация ориентированы на локальное развертывание на ноутбуках, настольных компьютерах и собственной инфраструктуре с ограниченными ресурсами. К возможным ограничениям относятся компромисс между эффективностью и качеством, связанный с квантизацией, а также отсутствие в доступных данных подробностей об аппаратных требованиях, результатах тестирования и ограничениях безопасности. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use.

gemma-4-E2B-it-qat-GGUF — мультимодальная instruction-tuned модель семейства Gemma 4, разработанная Google DeepMind и представленная в формате GGUF пользователем или организацией prithivMLmods. Модель предназначена для локального запуска на ноутбуках и мобильных устройствах, а также для исследований и приложений на базе llama.cpp. Она поддерживает работу с текстом, изображениями и аудио, включая генерацию текста, распознавание речи, перевод речи, анализ изображений, OCR, анализ кадров видео и native function calling. Доступен настраиваемый режим рассуждений. Модель имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров вместе с embedding-слоями, использует Per-Layer Embeddings и Quantization-Aware Training (QAT). Архитектура включает 35 слоёв с чередованием локального sliding window attention на 512 токенов и глобального внимания, а также отдельные vision- и audio-энкодеры примерно на 150 млн и 300 млн параметров соответственно. Контекстное окно составляет 128K токенов, словарь — 262 тысячи токенов, заявлена поддержка более 140 языков; в README явно указан английский язык. Доступны варианты GGUF от Q2_K до Q8_0, а также BF16, F16 и F32, с размером основных файлов примерно от 2,98 до 18,5 ГБ. К сильным сторонам относятся мультимодальность, большое контекстное окно, оптимизация QAT для снижения требований к памяти и локального инференса, а также широкий выбор уровней квантования. Ограничения — заметные требования к памяти для старших вариантов, а также отсутствие подробных данных о производительности на конкретном оборудовании и практических ограничениях мультимодальных возможностей. Лицензия — Apache-2.0.

GLM-4.7-Flash-FP8-Dynamic — динамически квантованная в формате FP8 версия языковой модели GLM-4.7-Flash. Квантование выполнено командой Unsloth на базе модели zai-org/GLM-4.7-Flash; исходную модель разработала команда GLM. Модель распространяется для генерации текста и предназначена для быстрого и эффективного локального инференса. GLM-4.7-Flash — разреженная MoE-модель с общей конфигурацией 30B параметров и активными 3B параметрами. Она поддерживает английский и китайский языки и может применяться для рассуждений, программирования, агентских сценариев, вызова инструментов и других задач генерации текста. В README приведены высокие результаты на ряде тестов, включая AIME 25, GPQA, SWE-bench Verified, τ²-Bench и BrowseComp, однако показатели зависят от условий оценки и не гарантируют аналогичную производительность в прикладных задачах. Ключевое преимущество этой версии — снижение вычислительных требований и ускорение инференса благодаря динамическому FP8-квантованию, при заявленном Unsloth сохранении высокой точности. Модель поддерживается фреймворками vLLM, SGLang и Transformers, но для некоторых сценариев требуются актуальные версии из основных веток проектов. В README не указаны размер контекста и мультимодальные возможности; описанная версия ориентирована на текстовые задачи. Лицензия — MIT.

Hy3 preview-Base — предварительно обученная языковая модель Tencent Hy Team для генерации текста. Она построена на архитектуре Mixture-of-Experts (MoE); README описывает семейство Hy3 preview как модель с 295 млрд параметров и 21 млрд активных параметров, тогда как метаданные этого репозитория указывают 16,6 млрд параметров. Модель предназначена для задач рассуждения, следования инструкциям, работы с длинным контекстом, программирования и агентных сценариев; эта версия является базовой, предварительно обученной моделью. Метаданные указывают контекст до 262 144 токенов и возможность диалогового использования. Для запуска README рекомендует vLLM или SGLang и отмечает необходимость нескольких GPU с большим объёмом памяти. Карточка приводит результаты тестов по математике, STEM, коду и агентным задачам, но они не гарантируют качество в конкретном приложении. В репозитории указаны веса safetensors и лицензия other; условия лицензии следует уточнить в её тексте перед использованием.

IFM/K2-Horizon-7B-FP8 — плотная авторегрессионная decoder-only модель класса 7B, разработанная IFM. Это FP8-квантизированная версия модели IFM/K2-Horizon-7B, предназначенная для генерации текста и оценки возможностей в задачах рассуждений, программирования, работы с длинным контекстом и агентных сценариях. Модель поддерживает контекстное окно до 524 288 токенов и заявлена для работы с английским языком. Все линейные слои, кроме lm_head, квантизированы в FP8: веса используют статическое масштабирование блоками 128×128, а активации — динамическое масштабирование группами 1×128. По данным разработчиков, версия FP8 близка к исходной BF16-модели по результатам внутренних оценок, при этом требует меньше памяти и обеспечивает более быстрый вывод на совместимом с FP8 оборудовании. Сильными сторонами модели являются большой контекст, открытость обучающих данных, кода обучения и оценочных ресурсов, а также доступность промежуточных чекпойнтов. Ограничения включают специализацию на текстовой модальности, заявленную поддержку английского языка и зависимость преимуществ FP8 от аппаратного обеспечения. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-VL-32B-Instruct — мультимодальная инструкция-модель семейства Qwen2.5-VL, разработанная командой Qwen. Это плотная модель с 32 млрд параметров на архитектуре Qwen2_5_VL, предназначенная для диалога и анализа изображений и видео; используется через Transformers и распространяется в формате safetensors по лицензии Apache-2.0. Модель распознаёт объекты и текст на изображениях, анализирует диаграммы, графики и макеты, отвечает на вопросы по визуальным материалам, формирует структурированные данные и локализует объекты с помощью координат, рамок или точек. Она также поддерживает понимание длинных видео с указанием временных отрезков и может выступать визуальным агентом для сценариев управления компьютером или телефоном. README сообщает об улучшенных математических рассуждениях, логике и ответах на вопросы о знаниях. Карточка указывает контекст до 128 000 токенов в метаданных; README уточняет, что базовая конфигурация рассчитана на 32 768 токенов, а для более длинных текстов применяется YaRN. Для изображений поддерживается динамическое разрешение с компромиссом между качеством, скоростью и расходом памяти; для видео в текущем описании поддерживаются локальные файлы. Модель ориентирована на английский язык согласно языковым тегам карточки. Результаты бенчмарков приведены в README, но не гарантируют качество в конкретном сценарии.

AxionML/Qwen3.5-2B-NVFP4 — мультимодальная причинная языковая модель с vision encoder, разработанная AxionML на основе Qwen/Qwen3.5-2B. Модель предназначена для задач, сочетающих работу с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и развёртывание в открытых системах обслуживания моделей. Модель содержит около 2 млрд параметров, 24 слоя и имеет нативную длину контекста 262 144 токена. Архитектура объединяет Gated Delta Networks, Gated Attention и разреженную Mixture-of-Experts согласно описанию семейства Qwen3.5; заявлена поддержка 201 языка и диалекта. Эта версия использует NVFP4-квантизацию весов и активаций линейных слоёв, выполненную с помощью NVIDIA TensorRT Model Optimizer, что уменьшает размер на диске и потребление GPU-памяти примерно в четыре раза по сравнению с BF16. Квантизация ориентирована на эффективный inference на GPU с архитектурой Blackwell. Сильными сторонами модели являются компактный размер, мультимодальность, длинный контекст и готовность к эффективному обслуживанию. Квантизация может немного снизить точность: в приведённых тестах NVFP4-версия уступает исходной Qwen3.5-2B на ряде языковых бенчмарков. README не содержит полного описания требований к оборудованию, всех результатов для визуальных задач или детальных ограничений применения. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

Qwen3.8-27B-abliterated-GGUF — GGUF-квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, опубликованная пользователем prithivMLmods. Это вариант Qwen3.8-27B, созданный с применением abliteration — редактирования активаций, направленного на удаление поведения, связанного с отказами. Модель представляет собой плотную causal language model на 27 млрд параметров с нативным vision encoder и поддержкой обработки текста и изображений. Модель предназначена для локального запуска через llama.cpp и совместимые среды, а также для генерации и анализа текста, понимания изображений и видео, визуальных вопросов и ответов, OCR, описания изображений и видео, документного анализа и визуального рассуждения. Заявлены поддержка английского и китайского языков, контекст до 262 144 токенов с возможностью расширения до 1 млн через YaRN, а также управление глубиной рассуждений параметром reasoning_effort. Архитектура включает 64 слоя с чередованием блоков линейного внимания Gated DeltaNet и периодических слоёв Gated Attention. Доступны варианты от BF16 и F16 до Q2_K–Q8_0, что позволяет выбирать между качеством и требованиями к памяти; размеры файлов составляют примерно от 10,7 до 53,8 ГБ, отдельно поставляются мультимодальные проекторы. К ограничениям относятся отсутствие MTP-голов в формате GGUF, поэтому преимущества Multi-Token Prediction и связанной спекулятивной декодировки исходной модели недоступны. Abliteration является экспериментальным подходом и может влиять на поведение и надёжность модели. В README указана лицензия Apache 2.0.

Primitive-AI Qwen3.8-27B-mixed-NVFP4-FP8 — это квантизированная версия модели Qwen/Qwen3.8-27B, опубликованная организацией Primitive AI. Модель предназначена для генерации текста, задач общего назначения и сценариев с инструментальным вызовом. Она поддерживает работу через Transformers и stock vLLM, а также speculative decoding с сохранённой MTP-головой. Модель использует смешанную квантизацию NVFP4/FP8 и занимает около 20,7 GiB — примерно в 2,5 раза меньше версии BF16 и на 28% меньше собственной версии Qwen в FP8. Она протестирована на GPU Blackwell и A100: на Blackwell применяются нативные FP4/FP8-ядра, а на A100 используется fallback Marlin W·A16. В заявленных измерениях модель показала общую оценку 88,8 против 89,3 у BF16, пропускную способность 908 токенов в секунду при конкуренции 32 и до 2,5-кратного ускорения при конкуренции 1. К сильным сторонам относятся существенно сниженное потребление памяти, высокая скорость инференса, совместимость с обычным vLLM без калибровочных данных и сохранение возможностей speculative decoding, дающего прирост до 101% с DSpark drafter. Ограничения связаны с потерями точности относительно BF16, особенностями поддержки аппаратных платформ и тем, что приведённые результаты получены на конкретном наборе из 1370 заданий и не гарантируют аналогичную производительность в других сценариях. Языки, максимальный контекст и точная архитектура в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-VL-2B-Thinking-GGUF — мультимодальная vision-language модель серии Qwen, разработанная командой Qwen. Это GGUF-версия базовой модели Qwen3-VL-2B-Thinking, предназначенная для локального запуска через llama.cpp, Ollama и другие инструменты, совместимые с GGUF. Модель сочетает языковую модель примерно на 2 млрд параметров с vision encoder и работает с текстом и изображениями, а также поддерживает анализ видео. Релиз включает языковые веса в форматах FP16, Q8_0 и Q4_K_M и отдельный vision encoder в FP16 или Q8_0. Заявлены расширенный контекст до 256K токенов с возможностью масштабирования до 1M, визуальное и пространственное рассуждение, OCR для 32 языков, понимание документов, STEM-задач, видео и пользовательских интерфейсов. Архитектурные особенности включают Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Модель подходит для визуального вопросно-ответного взаимодействия, распознавания и структурирования текста на изображениях, анализа документов и видео, визуального рассуждения, генерации кода и задач визуального агента. Наличие нескольких уровней точности позволяет выбирать баланс между качеством, скоростью и требованиями к памяти, а поддержка CPU, NVIDIA GPU, Apple Silicon и Intel GPU упрощает локальное развертывание. Ограничения включают возможное снижение качества при квантовании, зависимость производительности от оборудования и отсутствие в README подробных числовых результатов тестирования и полного списка поддерживаемых языков. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-VL-32B-Instruct-bnb-4bit — четырёхбитная версия мультимодальной модели Qwen3-VL-32B-Instruct, опубликованная Unsloth на базе модели Qwen. Она предназначена для обработки текста и изображений, а также для понимания видео: генерации ответов по визуальному содержимому, OCR, анализа документов, пространственного и STEM-рассуждения, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель имеет плотную архитектуру с 32B параметров в исходной версии и использует квантизацию bitsandbytes 4-bit, что снижает требования к памяти по сравнению с полноточными весами. В архитектуре заявлены Interleaved-MRoPE для обработки времени и пространственных координат, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. Нативная длина контекста составляет 256K токенов с возможностью расширения до 1M. Для OCR заявлена поддержка 32 языков, однако полный перечень языков в README не приведён. Сильные стороны модели — объединённое понимание текста и визуальных данных, анализ длинных документов и продолжительных видео, распознавание объектов и сцен, пространственное рассуждение и задачи визуального агента. Ограничения и точные требования к оборудованию, результаты численных бенчмарков, полный список поддерживаемых языков и характеристики квантизации в README не указаны; четырёхбитное представление может влиять на точность по сравнению с исходной моделью. Лицензия — Apache-2.0.

DeepSeek-V3 — крупная языковая модель, разработанная командой DeepSeek и представленная в репозитории Unsloth на базе deepseek-ai/DeepSeek-V3. Она предназначена для задач генерации и обработки текста, включая диалоговые приложения, продолжение текста, адаптацию под специализированные наборы данных и запуск через совместимые инструменты Transformers, vLLM или GGUF. В README указан английский язык модели. Модель использует архитектуру Mixture-of-Experts (MoE) с 671 млрд общих параметров, из которых 37 млрд активируются для каждого токена. В ней применяются Multi-head Latent Attention (MLA), архитектура DeepSeekMoE, стратегия балансировки нагрузки без вспомогательной функции потерь и обучение с предсказанием нескольких токенов, которое может использоваться для ускорения speculative decoding. Предобучение выполнено на 14,8 трлн токенов, после чего проведены Supervised Fine-Tuning и Reinforcement Learning. К сильным сторонам относятся высокая заявленная производительность, эффективность MoE и стабильность обучения; ограничением являются очень большие требования к вычислительным ресурсам для запуска и обучения, а размер контекста и мультимодальные возможности в README не указаны. Лицензия — MIT.

mlx-community/DeepSeek-V4-Pro-Qwen3.5-9B-4bit — это 4-битная MLX-квантизированная версия модели Jackrong/DeepSeek-V4-Pro-Qwen3.5-9B, подготовленная сообществом mlx-community с использованием mlx-vlm 0.4.4. Модель предназначена прежде всего для запуска на компьютерах Apple Silicon через MLX и сохраняет шаблон диалогов и конфигурацию мультимодального процессора исходной модели. Модель поддерживает текстовые и программные запросы, работу с изображениями и входными данными в видеоформате, а также сценарии tool use и function calling. В карточке она обозначена как MoE-модель семейства Qwen3.5 с размером 9B; языки включают английский, китайский, испанский, русский и японский. Для мультимодальных задач рекомендуется использовать mlx-vlm, а для текстовых и кодовых сценариев возможен соответствующий инструментарий MLX. Ключевое преимущество версии — сниженное потребление памяти благодаря 4-битной affine-квантизации языковых весов при сохранении мультимодальных компонентов для изображений и видео. Ограничения связаны с зависимостью от экосистемы MLX и Apple Silicon, а также с возможной потерей точности из-за квантизации; сведения о контекстном окне, производительности и качестве по отдельным задачам в README не приведены. Лицензия — Apache 2.0, унаследованная от исходной модели.

Aratako/Mixtral-8x7B-Instruct-v0.1-upscaled — экспериментальная инструктивная языковая модель, созданная автором Aratako с помощью mergekit: слои исходной mistralai/Mixtral-8x7B-Instruct-v0.1 чередуются методом passthrough. Архитектура — Mixtral MoE для генерации текста и диалогов; в репозитории указано 12,3 млрд параметров и контекст до 32 768 токенов. Модель предназначена для ответов на запросы, ведения диалога, написания текстов, извлечения сведений, программирования и рассуждений. Карточка приводит результаты MT-Bench, где модель показывает неоднородные изменения относительно исходника по отдельным категориям; это не гарантирует качества на других задачах. Указаны языки английский, французский, итальянский, немецкий и испанский. Веса опубликованы в формате safetensors под лицензией Apache-2.0. Это экспериментальное слияние слоёв одной модели; README описывает метод и сравнительный бенчмарк, но не подтверждает независимую проверку результатов.

Qwen3.8-27B-MXFP8 — это квантизированная версия мультимодальной модели Qwen3.8-27B, опубликованная пользователем chriswritescode на базе модели Qwen/Qwen3.8-27B. Квантизация выполнена с помощью NVIDIA TensorRT Model Optimizer 0.45.0 по схеме MXFP8 (OCP microscaling FP8, размер блока 32). Модель предназначена для задач генерации текста и изображений с текстом, включая диалоговые сценарии, работу с кодом, мультимодальный анализ и использование инструментов через совместимые серверы инференса. Размер контрольной точки составляет 32 ГБ в восьми сегментах. Квантизированы линейные слои языковой модели, тогда как vision tower, отдельные компоненты гибридного внимания, embed_tokens, lm_head и встроенная MTP-голова сохранены в BF16. KV-кэш не квантизирован; поддерживается speculative decoding через MTP. Заявленный контекст — до 262 144 токенов при конфигурации vLLM из README. Точные языки и полный набор модальностей базовой модели в README не описаны, однако указана проверка на многоязычных данных и наличие vision tower. По результатам специального сравнения с BF16-версией модель показала более низкую дивергенцию, чем официальная Qwen3.8-27B-FP8, однако эти измерения характеризуют близость распределений, а не качество выполнения прикладных задач; публичные task-бенчмарки для этой контрольной точки не проводились. Практическое ограничение — аппаратная зависимость MXFP8: нативная поддержка заявлена для Blackwell (SM100+). В vLLM модель работает на SM80+ через Marlin с вычислениями в BF16, тогда как SGLang без специального пути конвертации требует SM100+. Лицензия Apache 2.0, унаследованная от базовой модели.

Merlinoz11/Solar-Open2-Apex-GGUF — GGUF-версия модели Solar Open 2 от Upstage, семейства больших языковых моделей с открытыми весами. Это модель с архитектурой Hybrid-Attention Mixture-of-Experts: всего около 250 млрд параметров, из которых на каждом токене активируются примерно 15 млрд. Гибридное чередование линейного и обычного внимания рассчитано на эффективную генерацию в длинном контексте; базовая модель поддерживает контекст до 1 048 576 токенов. Модель предназначена для агентных сценариев: многошагового рассуждения и выполнения задач, вызова инструментов, работы с документами, офисных задач и программирования. README описывает поддержку английского, корейского и японского языков. В метаданных этой копии указаны задача text-generation, чат-возможности и формат GGUF; отдельная специализация данного репозитория сверх базовой модели не уточняется. Для запуска полной модели README приводит конфигурацию с восемью GPU, каждый с памятью не менее 141 ГБ; фактические требования зависят от длины контекста и настроек. GGUF может быть удобен для локального развёртывания, но карточка этой копии не сообщает точный уровень квантизации или требования к ресурсам. Лицензия обозначена как other, поэтому условия использования следует проверять в исходной карточке и документах лицензии Upstage.

Spark-X2.5-4B MLX 4-bit — 4-битная MLX-квантизованная версия языковой модели XHToken/Spark-X2.5-4B, разработанной XHToken. Это универсальная текстовая модель для рассуждений, программирования, использования инструментов и агентских рабочих процессов. Модель содержит около 4 миллиардов параметров и поддерживает текстовую генерацию с нативным контекстом до 1 048 576 токенов. Размер файла весов составляет 2,31 ГБ. Модель предназначена для запуска в экосистеме MLX на совместимом оборудовании Apple, а её архитектура spark2_5 на данный момент поддерживается Spark-MLX-LLM. Совместимость с oMLX и стандартным MLX-LM в README не заявлена. К сильным сторонам относятся существенно уменьшенный размер 4-битных весов и очень длинное контекстное окно, что подходит для обработки больших документов и длительных агентских сценариев. При этом README не содержит подробных результатов тестирования, сведений о языках, конкретных мультимодальных возможностях или ограничениях качества. Модель распространяется по лицензии Apache-2.0.

T-pro-it-2.1 — русскоязычная диалоговая модель семейства Qwen3, разработанная командой T-tech и дообученная на базе Qwen/Qwen3-32B. Это плотная языковая модель с 29,7 млрд параметров и контекстом до 40 960 токенов по метаданным; README отдельно указывает нативный контекст 32 768 токенов. Модель предназначена для диалога, следования сложным инструкциям, генерации текстов в несколько шагов и сценариев с вызовом инструментов. По заявлению разработчиков, она улучшена относительно T-pro-it-2.0 в следовании инструкциям и вызове инструментов; обучение включало инструкционный midtraining, SFT и оптимизацию GRPO с последующим слиянием экспертов методом SLERP. Модель принимает текст и генерирует текст, поддерживает русский язык, а также показывает результаты на англоязычных наборах оценки. README указывает режим без рассуждений (non-thinking). Для использования доступны веса в формате Safetensors и библиотека Transformers; лицензия — Apache-2.0. Разработчики предупреждают, что внедряющие модель самостоятельно отвечают за дополнительное обучение, надзор и приемлемость ответов. Приведённые в карточке бенчмарки являются результатами разработчиков и не гарантируют качество в конкретной прикладной системе.

Arcee-Nova — языковая модель от Arcee AI для диалогов и широкого круга задач генерации текста. Она объединяет Qwen2-72B-Instruct с пользовательской моделью, дообученной на смеси данных общего назначения. В метаданных указаны плотная архитектура Qwen2, 71,5 млрд параметров и контекст до 32 768 токенов. Модель предназначена для рассуждений, творческого письма, программирования и понимания естественного языка. Её можно применять для чат-ботов поддержки, подготовки материалов и документации, помощи в разработке ПО, анализа данных, исследовательской работы и разбора юридических или учебных материалов. README сообщает о высокой производительности на наборе оценивания OpenLLM Leaderboard 2.0, но не приводит подробностей протокола оценки. Модель принимает и генерирует текст. Репозиторий содержит веса Safetensors; README также ссылается на доступные сборки GGUF. Лицензия обозначена как other, поэтому конкретные условия использования следует проверять в материалах репозитория. В README не описаны конкретные языки и ограничения качества.

Это GGUF-квантизированная версия gemma-3-12b-it-ultra-uncensored-heretic, разработанная независимым автором LLMfan46 на базе Google Gemma 3 12B Instruct. Модель создана с использованием Heretic v1.2.0 и метода Arbitrary-Rank Ablation (ARA) для снижения встроенных ограничений на ответы при сохранении исходных возможностей. По приведённому сравнению, частота отказов снизилась с 97 до 4 из 100, а KL-дивергенция составляет 0,0131 относительно оригинальной модели. Модель предназначена для генерации текста, ответов на вопросы, анализа, суммаризации, рассуждений и понимания изображений. Gemma 3 поддерживает текстовые и графические входные данные с генерацией текста, контекст до 128K токенов, выход до 8192 токенов и более 140 языков. Для мультимодальной работы требуется отдельный vision projector. Доступны варианты GGUF с квантованием от BF16 и Q8_0 до IQ3_XXS; версии с более низкой разрядностью занимают меньше места, но могут сильнее терять в качестве. Модель совместима с llama.cpp, LM Studio, Ollama и другими инструментами для GGUF. Сильной стороной является сочетание относительно компактного размера 12B, мультимодальности, длинного контекста и уменьшенного числа отказов. Ограничения включают возможное снижение качества при агрессивном квантовании, необходимость vision projector для работы с изображениями и потенциальные риски, связанные с ослаблением механизмов отказа. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google. Базовые модели Gemma разработаны Google DeepMind.

GLM-Z1-32B-0414 — языковая модель с 31,6 млрд параметров от Zhipu AI (zai-org), созданная на базе GLM-4-32B-0414. Это плотная autoregressive-модель семейства GLM-4 для генерации текста и диалогов, обученная рассуждению и дообученная с помощью reinforcement learning на задачах математики, программирования и логики. Поддерживает китайский и английский языки; родной контекст — 32 768 токенов. Модель предназначена для сложных задач, где полезны пошаговые рассуждения: решения математических задач, помощь с кодом, логический анализ, ответы на вопросы и подготовка отчётов. Карточка также указывает интерфейс для вызова инструментов. Для входов длиннее 8 192 токенов README рекомендует при необходимости включать YaRN; это может немного ухудшить качество на коротких текстах. В истории диалога следует сохранять только видимый пользователю ответ, поскольку модель использует скрытое рассуждение. Модель распространяется по лицензии MIT.

HelixLM-CheckpointHub — текстовая авторегрессионная модель семейства HelixLM, поддерживаемого Nimbus AI Lab. Она предназначена для генерации ответов и диалогов, включая решение математических и логических задач, программирование и вызов функций. В карточке описаны улучшения рассуждений после дополнительной вычислительной подготовки и оптимизаций на этапе постобучения; заявлено повышение результата GPQA-Diamond с 58% до 76,5% по сравнению с предыдущей версией HelixLM. Модель доступна в формате PyTorch и использует библиотеку Transformers. README рекомендует температуру 0,6 и приводит системный промпт для ассистента. Также описаны сценарии вопросов по загруженным файлам и генерации с результатами веб-поиска. Размер модели и длина контекста в предоставленных данных не указаны. Для модели заявлена лицензия MIT. README отмечает улучшения в снижении галлюцинаций и поддержке вызова функций, но не приводит подробных оценок, методики сравнения или ограничений по применению; фактическое качество на конкретных задачах может отличаться от benchmark-результатов.

Meta Llama 3.1 70B Instruct — крупная текстовая языковая модель Meta для диалоговых сценариев. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention; версия Instruct прошла supervised fine-tuning и обучение с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, рассчитана на многоязычный диалог и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель предназначена для создания чат-ассистентов, ответов на вопросы и других задач генерации естественного языка. Её также можно применять для создания синтетических данных и улучшения других моделей. Модель относится к семейству Llama 3.1 размером 70 млрд параметров; в репозитории используются веса Safetensors, библиотека Transformers, а для экономии памяти доступны варианты запуска с 8- и 4-битным представлением. Карточка сообщает о сильных результатах семейства на распространённых отраслевых тестах, но не приводит здесь конкретных показателей для этой версии. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки в целевом применении, а карточка не рекомендует диалог на неподдерживаемых языках без дообучения и дополнительных системных мер. Условия использования задаёт пользовательская Llama 3.1 Community License с Acceptable Use Policy; лицензия допускает коммерческое и исследовательское применение при соблюдении этих условий.