II.2Создание и понимание программного кода

MiniCPM4.1-8B-GGUF — это компактная большая языковая модель серии MiniCPM4.1, разработанная командой OpenBMB. Модель предназначена для генерации текста, диалоговых приложений, выполнения инструкций, задач, требующих рассуждений, и локального запуска на периферийных устройствах. Она поддерживает режимы глубокого рассуждения и обычной генерации, а также гибридный режим с объединением этих подходов. Модель содержит 8 млрд параметров и распространяется в формате GGUF, ориентированном на эффективный инференс в совместимых инструментах. Архитектура использует обучаемый разреженный механизм внимания InfLLM v2: при обработке текста длиной до 128K токенов каждому токену требуется вычислять релевантность менее чем с 5% токенов, что снижает вычислительные затраты при работе с длинным контекстом. Модель обучалась с применением низкоточного вычисления FP8 и стратегии Multi-token Prediction; заявлены поддержка китайского и английского языков и текстовая модальность. К сильным сторонам относятся эффективность, пригодность для локального и периферийного развертывания, поддержка длинного контекста и режимов с рассуждением. Ограничения включают отсутствие в предоставленных данных точного описания максимального контекстного окна именно для данной версии, требований к аппаратному обеспечению, результатов бенчмарков и особенностей совместимых GGUF-рантаймов. Модель распространяется по лицензии Apache-2.0.

thelamapi/next2.5-i1-GGUF — GGUF-версия Next 2.5, мультимодальной vision-language модели примерно на 4 млрд параметров, разработанной и дообученной компанией Lamapi в Турции на базе Qwen 3.5-4B. Модель ориентирована на работу с текстом и изображениями, включая анализ документов и OCR, визуально-пространственные задачи, рассуждения, математику, программирование и генерацию текста. В README также заявлена поддержка видео, включая длительные видеоматериалы. Модель поддерживает турецкий, английский, немецкий, испанский, французский, русский, китайский, японский и корейский языки; при этом особый акцент сделан на турецком и английском языках и культурном контексте Турции. Заявлен режим рассуждений с блоками <think>...</think> перед ответом и контекст до 262 144 токенов. Обучение включало instruction tuning и DPO, а также наборы данных для рассуждений, мультимодальных задач и генерации текста. К сильным сторонам относятся сочетание компактного размера, мультимодальности, заявленной производительности в задачах знаний и рассуждений и возможность использования на периферийных устройствах. Ограничения включают небольшой по современным меркам объём модели, возможные ошибки в распознавании изображений, видео и фактах, а также то, что приведённые в README сравнительные результаты не подтверждены независимой проверкой. Модель распространяется по лицензии Apache-2.0.

bunnycore/Qwen-2.5-7B-R1-Stock — слитая с помощью mergekit методом Model Stock языковая модель на архитектуре Qwen2. В основу объединения легла Qwen/Qwen2.5-7B-Instruct; также использованы DeepSeek-R1-Distill-Qwen-7B и модель Qwen-2.5-7b-rp-lora на базе Qwen2.5-7B-Instruct. Модель содержит 7,1 млрд параметров, работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции и задачи, где полезны возможности включённых базовых моделей. Доступна на английском языке; метаданные также указывают интерфейс вызова инструментов. Лицензия и специальные ограничения применения в предоставленных данных не описаны.

Qwen3.8-27B-3bit-MLX-TextOnly — текстовая квантованная версия модели Qwen3.8-27B, разработанной командой Qwen и преобразованной в формат MLX пользователем lukaskremla с помощью mlx-lm 0.31.2. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений и использования инструментов, включая задачи с длинным контекстом и многоязычные приложения. Модель сохраняет возможности преобразования текста в текст и не содержит vision tower, поэтому не поддерживает обработку изображений. Она использует 3-битное квантование весов с affine- и RTN-подходами и размером группы 64; заявленный размер базовой модели — 27B параметров. Формат MLX ориентирован на запуск с использованием экосистемы MLX и mlx-lm. Конкретные поддерживаемые языки и максимальная длина контекста в README не указаны. К преимуществам относятся сниженные требования к памяти по сравнению с полноразмерной моделью, поддержка текстовой генерации, рассуждений, инструментов и длинного контекста. Ограничения связаны с отсутствием мультимодальности и возможными потерями качества из-за 3-битного квантования; точные показатели производительности не приведены. Модель распространяется по лицензии Apache-2.0.

Карточка модели ArchiveStudio/Qwen3-Reranker-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Reranker-8B, поэтому описание составлено по ней. Qwen3-Reranker-8B — текстовая модель для переранжирования, разработанная командой Qwen. Она оценивает релевантность пар «запрос — документ» и помогает упорядочить найденные кандидаты так, чтобы наиболее подходящие фрагменты оказались выше. Модель предназначена для поиска по текстам и коду, включая многоязычный и межъязыковой поиск, например как этап извлечения контекста в RAG-системах. Модель основана на плотной авторегрессионной архитектуре Qwen3 и дообучена на базе Qwen/Qwen3-8B-Base. В ней около 7,6 млрд параметров; метаданные указывают контекст до 40 960 токенов, а README — 32 тыс. токенов. Заявлена поддержка более 100 языков. Модель поддерживает инструкции, настраиваемые под задачу; в README отмечено, что их применение может улучшать результаты поиска. Для получения оценки релевантности модель принимает текстовую пару и выдаёт оценку, пригодную для ранжирования. В README указано, что по умолчанию это разность логитов; при необходимости её можно преобразовать в вероятность. Для работы с моделью заявлена библиотека Transformers, также описано использование Sentence Transformers. Лицензия — Apache-2.0.

cyankiwi/Qwen3-VL-8B-Instruct-AWQ-4bit — 4-битная AWQ-квантизованная версия мультимодальной модели Qwen3-VL-8B-Instruct, разработанной командой Qwen. Модель предназначена для обработки изображений, видео и текста: она поддерживает визуальные вопросы и ответы, описание и анализ изображений, OCR, понимание документов и видео, пространственное рассуждение, STEM- и математические задачи, а также взаимодействие с графическими интерфейсами и инструментами. В README также заявлена генерация Draw.io, HTML, CSS и JavaScript по изображениям и видео. Модель имеет плотную архитектуру с 8 млрд параметров, поддерживает текстово-визуальное понимание и контекст до 256K токенов с возможностью расширения до 1M. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных зависимостей, DeepStack для объединения многоуровневых визуальных признаков и выравнивание текста с временными метками для анализа видео. OCR заявлен для 32 языков, однако полный перечень языков в README не приведён. К преимуществам относятся улучшенное распознавание объектов, документов и пространственных отношений, длительный контекст и понимание видео; ограничения конкретной AWQ-квантизации, точные требования к оборудованию и результаты тестов для данного репозитория не указаны. Распространяется по лицензии Apache-2.0.

Mungert/Qwen3-VL-8B-Instruct-GGUF — квантованная GGUF-версия мультимодальной модели Qwen3-VL-8B-Instruct, разработанной командой Qwen и подготовленной пользователем Mungert с помощью llama.cpp. Модель предназначена для задач «изображение—текст»: анализа изображений и видео, генерации текста, визуального вопросно-ответного взаимодействия, OCR, пространственного рассуждения, анализа документов, визуального программирования и взаимодействия с графическими интерфейсами и инструментами. Модель имеет плотную архитектуру с 8 млрд параметров и поддерживает обработку текста, изображений и видео. Заявлены нативный контекст до 256K токенов с возможностью расширения до 1M, понимание длительных видео с временной индексацией, улучшенное пространственное рассуждение и OCR для 32 языков. Среди архитектурных компонентов указаны Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. Формат GGUF ориентирован на запуск через llama.cpp и другие совместимые средства локального инференса. Сильными сторонами являются мультимодальность, распознавание текста в сложных условиях, анализ пространственных и временных отношений, работа с длинным контекстом и возможности визуального агента. Точность и размер файла зависят от выбранного уровня квантования: низкая разрядность может ухудшать качество, тогда как описанный автором подход с повышением точности отдельных слоёв увеличивает размер модели и потенциально сохраняет больше точности. README не содержит подробных результатов тестирования конкретных квантованных файлов и сведений о требованиях к оборудованию. Лицензия — Apache 2.0.

Qwen3-VL-8B-Instruct-GGUF — мультимодальная vision-language модель семейства Qwen3-VL, разработанная командой Qwen; данный репозиторий содержит её веса в формате GGUF и включает исправления chat template от Unsloth. Модель предназначена для диалогов и генерации текста по текстовым и визуальным входам, включая анализ изображений и видео, OCR, визуальное рассуждение, понимание пространственных отношений, обработку документов, визуальное программирование и взаимодействие с графическими интерфейсами через инструменты. Модель имеет плотную архитектуру и размер 8B параметров. Заявлены нативный контекст 256K токенов с возможностью расширения до 1M, поддержка видео с временной привязкой событий и OCR на 32 языках; полный список языков текстового общения в README не указан. Среди архитектурных компонентов упомянуты Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся объединённое понимание текста и изображений, распознавание деталей и документов, пространственный и мультимодальный анализ, а также сценарии визуального агента. Ограничения, точные требования к ресурсам и характеристики конкретной GGUF-квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

QwQ-32B-AWQ — 4-битная AWQ-квантизированная версия reasoning-модели семейства Qwen, разработанная командой Qwen. Модель предназначена для генерации текста и решения сложных задач, где важны пошаговое рассуждение и повышенная точность, включая математические задачи, вопросы с вариантами ответа, диалоговые сценарии и другие задачи, требующие анализа. Она основана на Qwen2.5 и обучалась с использованием предварительного обучения, supervised fine-tuning и reinforcement learning. Это каузальная языковая модель с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещений в QKV-проекциях внимания. Модель содержит около 32,5 млрд параметров, из которых 31 млрд не относятся к эмбеддингам, 64 слоя и механизм GQA с 40 головами для Q и 8 для KV. Заявленная длина контекста составляет до 131 072 токенов, однако для входов длиннее 8192 токенов рекомендуется включать YaRN. В карточке указаны поддержка английского языка и текстовая модальность; модель доступна для запуска через совместимые инструменты экосистемы Hugging Face и рекомендуется к развёртыванию с vLLM. Сильными сторонами модели являются ориентация на рассуждение, конкурентоспособность с современными reasoning-моделями сопоставимого класса и сниженные требования к памяти благодаря 4-битной квантизации. Ограничения включают возможные повторы при жадной декодировке, необходимость подбора параметров sampling и потенциальное ухудшение производительности на коротких текстах при статическом YaRN. Модель распространяется по лицензии Apache-2.0.

Citaman/command-r-11-layer — объединённая языковая модель на архитектуре Cohere, опубликованная Citaman. По карточке, модель получена методом SLERP с помощью mergekit из слоёв Citaman/command-r-12-layer, а метаданные классифицируют её как дообучение этой базовой модели. Модель содержит 11,1 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие; поддерживает интерфейс вызова инструментов. Модель подходит для чат-ботов, генерации ответов и систем, где языковая модель взаимодействует с инструментами. Контекстное окно составляет 8192 токена. В карточке указана архитектура CohereForCausalLM и формат safetensors. Лицензия и целевые языки в предоставленных данных не указаны.

Карточка модели crusoeai/gpt-oss-20b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

deltanym/llama-3.1-120b-instruct — текстовая разговорная модель, созданная методом слияния через mergekit на основе meta-llama/Llama-3.1-70B-Instruct. В карточке указана конфигурация passthrough; модель использует плотную архитектуру семейства Llama и формат safetensors. Метаданные указывают 120,8 млрд параметров и контекстное окно до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения, включая сценарии с интерфейсом вызова инструментов. В основе лежит многоязычная instruct-модель Meta; README описывает её как воспроизведение Meta-Llama-3-120B-Instruct с использованием Llama 3.1 70B вместо Llama 3. Лицензия в предоставленных данных не указана.

giannisan/llama3.1-70B-upscaled-105B — плотная авторегрессионная языковая модель семейства Llama 3.1, созданная методом passthrough-сборки в mergekit из двух перекрывающихся диапазонов слоёв предобученной Llama 3.1 70B. Веса сохранены в формате safetensors; размер модели — около 103,7 млрд параметров, длина контекста — до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия, включая интерфейс вызова инструментов. Большой контекст подходит для работы с длинными документами и многоходовыми диалогами. Карточка не описывает отдельное обучение или специализированную предметную область. Лицензия в предоставленных данных не указана.

furiosa-ai публикует предварительно скомпилированную сборку Meta Llama 3.1 8B Instruct для запуска на ускорителе FuriosaAI RNGD с помощью Furiosa-LLM. Это плотный авторегрессионный трансформер с 7,5 млрд параметров, дообученный следовать инструкциям и поддерживать диалоги и вызов инструментов. Модель принимает и генерирует текст; заявленная длина контекста — 131 072 токена. Сборка использует исходную точность 16 бит без квантизации. Вызов функций поддерживается через парсер llama3_json, а модель доступна через OpenAI-совместимый сервер Furiosa-LLM. Карточка указывает совместимость с RNGD; запуск требует соответствующего оборудования и среды Furiosa-LLM. Модель распространяется по лицензии Llama 3.1 Community License. Метаданные карточки перечисляют английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки; перечень может не исчерпывать языковые возможности базовой модели.

Kaoeiri выпустил объединённую модель для генерации текста на основе Mistral-Small-Instruct-2409 и mistral-small-springdragon-qlora. Слияние выполнено методом task arithmetic с помощью mergekit; архитектура — плотная Mistral, модель содержит 22 млрд параметров и работает с контекстом до 131 072 токенов. Репозиторий содержит веса в формате safetensors, для работы указана библиотека Transformers. Модель предназначена для диалогов и генерации текста; метаданные также отмечают интерфейс вызова функций. Она поддерживает текстовый ввод и выдаёт текст. Лицензия в предоставленных данных не указана.

Ornith-1.5-35B-A3B uncensored (NVFP4) — доработанная и квантованная версия модели Ornith-1.5-35B-A3B от команды Ornith, подготовленная Robert Ressl. Модель основана на архитектуре Mixture-of-Experts: общий размер составляет 35B параметров, около 3B параметров активны при обработке токена. Это текстовая генеративная модель на английском языке, предназначенная для генерации текста, рассуждений, вызова инструментов, исследований безопасности, red-teaming и penetration testing. В README также указано, что мультимодальная оболочка и vision tower сохранены, однако подробные сведения о поддерживаемых визуальных сценариях не приведены. Модель использует abliteration в один проход и формат NVFP4 только для экспертных тензоров; attention, shared expert, router и embeddings остаются в BF16. Размер экспортированной модели составляет около 23 ГБ вместо 71,9 ГБ у BF16-версии, заявленная длина контекста — 262 144 токена. Для запуска рекомендованы SGLang и NVIDIA GPU с поддержкой Blackwell; на одной NVIDIA RTX PRO 6000 Blackwell 96 GB измерена скорость 213 токенов в секунду при коротких запросах. К сильным сторонам относятся существенно сниженная частота жёстких отказов, сохранение инструментального вызова и близкое к базовой модели качество на GPQA-Diamond: 58,6% против 61,1%. Ограничения включают остаточные отказы, возможное влияние квантования на поведение и отсутствие MTP speculative decoding, поскольку тензоры mtp.* были удалены из экспортированного контрольного пункта. Модель по умолчанию ориентирована на рассуждения; для коротких прямых ответов рекомендуется отключать режим thinking. Лицензия — MIT, унаследованная от базовой модели Ornith.

YOYO-AI/Qwen3-30B-A3B-YOYO-Thinking-Chimera — объединённая модель Qwen3, созданная YOYO-AI методом «сшивания» компонентов двух вариантов Qwen3-30B-A3B: Instruct-2507 и Thinking-2507. Веса экспертов маршрутизации и внимания взяты из Thinking, остальные компоненты — из Instruct. Модель предназначена для диалогов, выполнения инструкций и генерации текста с рассуждениями; метаданные также указывают интерфейс вызова инструментов. Архитектура — MoE с классом Qwen3MoeForCausalLM. В метаданных указано 2,6 млрд параметров, формат хранения — safetensors; README сообщает о точности bfloat16 и контексте до 262 144 токенов, а также упоминает вариант длины 1 010 000 токенов без пояснения его условий. Языки карточки — английский и китайский. Модель распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Thinking — языковая модель с открытыми весами от команды Qwen, предназначенная для сложных задач рассуждения и диалогового применения. Она работает только в режиме размышления и может формировать длинные цепочки рассуждений. Модель построена на причинной архитектуре Qwen3-Next с разреженной смесью экспертов (MoE) и сочетает Gated DeltaNet с Gated Attention для работы с длинным контекстом. Всего в ней 80 млрд параметров, из которых активны около 3 млрд; метаданные каталога указывают 2,3 млрд параметров. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000 токенов. Поддерживаются генерация текста, чат и интерфейс вызова инструментов. Модель подходит для многошагового анализа, решения сложных задач и работы с большими текстовыми контекстами. В README заявлены высокие результаты на тестах рассуждения и эффективность инференса, но эти сравнения приведены разработчиком. Для запуска нужны совместимые версии Transformers, SGLang или vLLM и значительные вычислительные ресурсы; README рекомендует несколько GPU и отмечает риск нехватки памяти при длинном контексте. Лицензия — Apache 2.0.

Reflection Llama-3.1 70B — языковая модель, созданная Matt Shumer на основе Meta Llama 3.1 70B Instruct с применением метода Reflection-Tuning. Она предназначена для диалогов и генерации текста, в том числе для задач, требующих пошагового рассуждения и исправления ошибок. Модель имеет плотную архитектуру LlamaForCausalLM, содержит около 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Во время генерации модель разделяет ход рассуждения и итоговый ответ специальными токенами; для диалогов используется шаблон Llama 3.1. Карточка описывает обучение на синтетических данных Glaive и рекомендует системный запрос, задающий формат рассуждений и ответа. Доступны веса в формате safetensors; лицензия — Llama 3.1 Community License. Метаданные указывают интерфейс вызова инструментов, но README не приводит оценок его качества. Модель унаследовала языковые возможности базовой модели; конкретный набор языков в предоставленных данных не перечислен.

AtomicChat/gemma-4-12B-it-GGUF — это квантизированная в формат GGUF версия мультимодальной модели google/gemma-4-12b-it, подготовленная командой Atomic Chat из оригинальных весов Google. Модель предназначена для локального и полностью офлайн-использования через llama.cpp, Ollama, LM Studio, Jan и совместимые инструменты. Она поддерживает работу с текстом, изображениями и аудио, а также сценарии, требующие развитого рассуждения; для изображений в репозитории предусмотрен vision-проектор mmproj. Модель содержит около 11,95 млрд параметров и 48 слоёв. Это плотный decoder с гибридным вниманием: скользящее окно на 1024 токена сочетается с глобальным вниманием. Заявленная длина контекста составляет 256 тысяч токенов, размер словаря — 262 тысячи; архитектура использует 16 attention heads и 8 KV heads. Доступны варианты квантизации от Q2_K до Q8_0, включая IQ3_M и IQ4_XS с importance matrix. Q4_K_M указан как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность ценой требований к памяти. К преимуществам относятся мультимодальность, большой контекст, возможность локального запуска и квантизация с importance matrix, снижающая потери качества в низкобитных вариантах. Ограничения связаны с зависимостью качества и скорости от выбранного варианта квантизации и доступной RAM или VRAM; для корректного применения шаблона чата требуется режим --jinja, а для изображений — vision-проектор и совместимый интерфейс. Результаты в README относятся к базовой модели Google и не являются собственными измерениями Atomic Chat. Лицензия — Apache 2.0.

gte-modernbert-base — англоязычная модель для построения текстовых эмбеддингов, разработанная Tongyi Lab компании Alibaba. Она основана на encoder-only архитектуре ModernBERT и содержит 149 млн параметров; вектор представления имеет размерность 768, максимальная длина входа — 8192 токена. Модель предназначена для семантического поиска, извлечения документов, сравнения предложений и подбора текстов по смыслу, в том числе как компонент систем RAG. В карточке приведены результаты оценок MTEB, BEIR, LoCo и COIR; они показывают эффективность на задачах поиска, включая поиск по длинным документам и коду. Доступны веса в форматах PyTorch, Safetensors и ONNX; для интеграции описано использование Transformers, Sentence Transformers и Text Embeddings Inference. Модель распространяется по лицензии Apache-2.0. Она рассчитана прежде всего на английский язык, поэтому качество для других языков не подтверждено карточкой.

MLX-совместимая 8-битная версия Meta-Llama-3.1-8B-Instruct, опубликованная сообществом mlx-community и основанная на модели Meta Llama 3.1. Это текстовая генеративная языковая модель с инструкционным дообучением, предназначенная для диалогов, выполнения текстовых инструкций и создания текстов. Модель работает в формате text-generation и ориентирована на использование в экосистеме MLX. В названии указаны размер 8B параметров и 8-битное квантование, которое обычно позволяет снизить требования к памяти по сравнению с полноформатными весами, однако конкретные показатели производительности и качества в README не приведены. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о других модальностях и размере контекстного окна отсутствуют. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ на установленных условиях, включая соблюдение Acceptable Use Policy, указание атрибуции и требований к маркировке продуктов. Для распространения материалов необходимо предоставить текст лицензии и отображать обозначение «Built with Llama»; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрено отдельное лицензионное условие.

Это преобразованная в формат MLX версия Meta-Llama-3.1-8B-Instruct, подготовленная сообществом mlx-community на основе модели Meta. Она предназначена для генерации текста в диалоге, ответов на вопросы и выполнения инструкций; также поддерживает интерфейс вызова инструментов. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README указано преобразование с помощью mlx-lm версии 0.19.0; репозиторий содержит веса в формате safetensors с точностью bf16. В карточке перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Лицензия — llama3.1; условия её использования определяются лицензией Meta Llama 3.1.

bunnycore/Qwen2.5-7B-Instruct-Fusion — языковая модель для генерации текста, созданная автором репозитория с помощью слияния нескольких предварительно обученных моделей методом Model Stock через mergekit. В качестве основы использована Qwen/Qwen2.5-7B; также объединены rombodawg/Rombos-LLM-V2.5-Qwen-7b, fblgit/cybertron-v4-qw7B-MGS и sethuiyer/Qwen2.5-7B-Anvita. Модель имеет плотную архитектуру Qwen2 и 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый интерфейс и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Подходит для диалогов и широких задач генерации текста; в README приведены результаты оценивания на IFEval и BBH. Веса опубликованы в формате Safetensors и указана библиотека Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

Qwen3.5-35B-A3B-quantized.w4a16 — это квантованная мультимодальная языковая модель на базе Qwen/Qwen3.5-35B-A3B, опубликованная пользователем apolo13x. Базовая модель разработана командой Qwen. Модель принимает текст и изображения, а генерирует текст, поэтому предназначена для диалоговых сценариев, анализа изображений, ответов на вопросы и других задач преобразования мультимодального ввода в текст. Модель использует архитектуру Qwen3.5 с разреженной MoE-конфигурацией 35B-A3B, где общий размер составляет около 35 млрд параметров, а активируется примерно 3 млрд параметров. Веса квантованы до INT4 в формате GPTQ с конфигурацией W4A16 с использованием llm-compressor. Это уменьшает размер модели с 67,0 до 20,4 ГБ, примерно в 3,3 раза, при среднем восстановлении точности 99,5% относительно исходной модели. В указанных тестах модель показала 81,31% на GPQA Diamond, 94,60% на IFEval и 91,95% на MMLU-Redux. Сильной стороной модели является существенное снижение требований к хранению и инференсу при сохранении близкой к исходной точности. Ограничения связаны с потерями, возможными при 4-битном квантовании, а также с тем, что на 27 февраля 2026 года модель поддерживалась в nightly-версии vLLM, что может означать менее стабильную совместимость по сравнению со стабильными релизами. Сведения о размере контекстного окна и поддерживаемых языках в README не указаны. Модель распространяется по лицензии Apache-2.0.

Pilcothink/Qwen3.8-27B-MixedInt4-AutoRound — это квантизированная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и подготовленной Pilcothink. Модель предназначена для инференса в сценариях обработки текста и изображений, включая рассуждения, работу с инструментами и задачи, поддерживаемые исходной моделью. Это не дообучение, слияние или дистилляция, а производная версия исходного checkpoint. Квантизация выполнена с помощью Intel AutoRound по пользовательской схеме смешанной точности INT4 с размером группы 32. Языковые слои квантизированы, а vision tower сохранён в исходной точности; точное распределение разрядности между компонентами не раскрыто. Заявлена совместимость с поддерживающими AutoRound версиями vLLM. В README указана возможность работы с контекстом до 262 144 токенов, а для специального режима обслуживания — до 1 010 000 токенов, однако такие значения зависят от конфигурации и используемой версии инфраструктуры. Основное преимущество модели — снижение требований к памяти при сохранении близкого к оригиналу качества. В приведённой оценке средний результат составил 76,97% против 77,45% у исходной модели; наиболее заметное снижение наблюдалось в BoolQ, а на GSM8K квантизированная версия показала более высокий результат. При этом результаты бенчмарков не гарантируют идентичное поведение на каждом запросе, мультимодальных или длинноконтекстных нагрузках. Лицензия в карточке не указана; для условий использования, ограничений и лицензирования рекомендуется обращаться к карточке базовой модели Qwen/Qwen3.8-27B.

Vontra/Qwen3.8-Flash-Next-MLX-oQ6-MTP — это общественная MLX-конверсия модели Qwen3.8-Flash-Next, разработанной командой Qwen. Модель предназначена для Apple Silicon и поддерживает сценарии vision-language: работу с текстом и изображениями, диалоговые приложения, анализ визуального содержимого и генерацию текста. Это не официальный релиз Qwen, а производная сборка Vontra, созданная из официальных BF16-весов. Модель использует архитектуру qwen4_exp: sparse mixture-of-experts с 125 млрд параметров (около 6 млрд активных), 48 слоями, 512 маршрутизируемыми экспертами и одним общим экспертом. Она сочетает Gated DeltaNet, Qwen Sparse Attention, расширенные gated residual streams и хешированные bigram/trigram embeddings объёмом 51 млрд параметров. Конфигурируемый контекст составляет 262 144 токена, предусмотрены 24 attention heads и 2 KV heads. Квантование выполнено в формате oQ6 с 6-битной базой и защищёнными модулями в 6/8 бит; размер группы — 32. В сборке сохранён нативный MTP-блок Qwen4Exp для speculative decoding. К сильным сторонам относятся существенно уменьшенный объём вычислений за счёт MoE, поддержка длинного контекста, мультимодальность и ускорение генерации с помощью native MTP. Размер весов составляет около 158,07 ГБ, поэтому модель требует значительных ресурсов. Для работы необходим runtime oMLX или MLX-VLM с явной поддержкой qwen4_exp и native MTP; стандартные runtime без этой поддержки могут не загрузить модель. Приведённые измерения на Apple M3 Studio показывают примерно 28–37 токенов в секунду, но производительность зависит от длины запроса, настроек генерации, версии runtime и доступной памяти. Модель распространяется по Qwen Community License 1.0; текст лицензии включён в репозиторий.

Sakalti/ultiima-72B-v2.0 — объединённая методом DARE TIES языковая модель, созданная с помощью mergekit на основе Sakalti/ultiima-72B с добавлением моделей Homer-v1.0-Qwen2.5-72B и shuttle-3. Модель разработана для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Это плотная архитектура Qwen2 с 71,5 млрд параметров, рассчитанная на контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors; модель использует библиотеку Transformers. Указана лицензия «other», поэтому условия использования следует сверять с лицензиями исходных моделей и карточкой репозитория.

NVIDIA DeepSeek-R1-0528-NVFP4 — квантизованная FP4-версия языковой модели DeepSeek-R1-0528, разработанной DeepSeek и оптимизированной NVIDIA с помощью TensorRT Model Optimizer. Это авторегрессионная трансформерная модель семейства DeepSeek V3 с 37,6 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Длина контекста — до 163 840 токенов. Модель предназначена для текстовой генерации, диалогов, рассуждений и развертывания через TensorRT-LLM. Квантизация весов и активаций линейных слоёв до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза; заявлена совместимость с архитектурой NVIDIA Blackwell. Для развёртывания в README указана конфигурация с восемью GPU B200. README отмечает, что модель не принадлежит NVIDIA и создана на основе сторонней модели DeepSeek. Лицензия — MIT; заявлено коммерческое и некоммерческое использование. Модель может выдавать неточные, нерелевантные или повторяющиеся ответы и воспроизводить токсичный язык и предвзятости из обучающих данных.