I.11Классификация, ранжирование и сопоставление

PrimeIntellect публикует веса Meta Llama 3 70B Instruct, разработанной Meta. Это плотная авторегрессионная языковая модель на архитектуре Transformer с 69,5 млрд параметров. Репозиторий содержит веса, разбитые на части для более эффективной загрузки в Petals; формат файлов — safetensors. Модель принимает текст и генерирует текст и код, а версия Instruct настроена для диалогов с помощью контролируемого дообучения и обучения с подкреплением по обратной связи от людей. Используйте её для чат-ассистентов и генерации текста на английском языке. Контекст модели — до 8192 токенов. Модель предназначена для коммерческого и исследовательского применения в рамках лицензии Meta Llama 3 Community License. Она оптимизирована для полезных и безопасных ответов, но требует дополнительных мер защиты в приложениях: документация отмечает остаточные риски, в том числе связанные с опасным контентом. README указывает английский как целевой язык; использование на других языках обозначено как выходящее за рамки назначения, хотя разработчики могут дообучать модель для дополнительных языков с соблюдением лицензии и политики использования.

MiMo-V2.6-Distill-Qwen-9B-GGUF — это квантизированная версия модели MiMo-V2.6-Distill-Qwen-9B, разработанной XiaomiMiMo и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp. Модель содержит около 9 млрд параметров и предназначена для локального запуска в задачах генерации текста, программирования, агентских сценариев и использования инструментов. Также заявлена поддержка изображений, но для работы с ними требуется отдельный файл mmproj. Модель поддерживает текстовые и графические входные данные, однако сведения о языках и размере контекстного окна в README не указаны. Доступны варианты с разными уровнями квантизации — от BF16 и Q8_0 до более компактных Q3 и IQ-форматов. В качестве компромисса между качеством и требованиями к памяти рекомендуется Q4_K_M размером около 5,84 ГБ; варианты Q6 и Q8 обеспечивают более высокое качество, но требуют больше памяти. Поддержка speculative decoding отсутствует, при этом использовалась imatrix-квантизация. Для корректной работы необходимо применять указанный шаблон промпта на основе специальных токенов ChatML; модель также поддерживает передачу определений инструментов в системном сообщении. README не содержит сведений о лицензии, точной архитектуре, языковом охвате и контекстном окне, поэтому эти характеристики нельзя подтвердить.

MiniCPM5-2B — компактная плотная языковая модель из серии MiniCPM5, разработанная OpenBMB. Репозиторий AIArchiveInfo является побитовой копией openbmb/MiniCPM5-2B: веса не обучались и не изменялись. Модель построена на архитектуре Transformer LlamaForCausalLM и содержит около 2,2 млрд параметров; она принимает текст и генерирует текст. Контекстное окно составляет 131 072 токена. Модель предназначена для локальных ассистентов и сценариев с ограниченными вычислительными ресурсами. Она подходит для диалога, генерации кода, математических и общих рассуждений, работы с длинными контекстами, вызова инструментов и агентных рабочих процессов. В карточке заявлена конкурентоспособность среди моделей сопоставимого размера, в частности в коде, математике, длинном контексте и использовании инструментов. В метаданных указаны английский и китайский языки. Модель распространяется в формате Safetensors и совместима с Transformers; лицензия — Apache-2.0. Ответы могут быть неточными, предвзятыми или оскорбительными, а результаты по медицине, финансам, праву и другим чувствительным темам не являются профессиональной консультацией.

CQDU/MiniMax-M3 — мультимодальная модель семейства MiniMax-M3, разработанная MiniMax. Она предназначена для диалогов с изображениями и видео, программирования и длительных агентных задач. Модель использует разреженное внимание MiniMax Sparse Attention (MSA), имеет около 428 млрд параметров, из которых активируется около 23 млрд, и заявленный контекст до 1 млн токенов. Обучение с совместными текстовыми, визуальными и видеоданными заявлено с самого начала, что поддерживает объединение информации из разных модальностей. Для запуска авторы указывают MiniMax Agent и MiniMax API; README также описывает локальное использование через Transformers и safetensors. Лицензия в метаданных обозначена как other, поэтому условия следует проверять в карточке модели и связанных документах.

coder3101/Muse-Glimmer-30B-heretic-v2 — производная версия Muse Glimmer-30B от Meta Superintelligence Lab, изменённая методом abliteration для снижения частоты отказов. Это плотная причинная трансформерная модель с энкодером восприятия, примерно на 29,6 млрд параметров; она принимает текст и изображения и предназначена для диалогов, мультимодального анализа и агентных сценариев. Модель рассчитана на локальный запуск и поддерживает вызов инструментов, многошаговое планирование и восстановление после ошибок. Её можно применять для анализа скриншотов, диаграмм и документов, программирования, вызова функций и оценки ответов других моделей. В сравнении с исходной моделью в карточке указано 14 отказов из 100 против 58 из 100; это отражает снижение отказов, но не гарантирует точность или безопасность ответов. Карточка отдельно предупреждает о возможных ошибках в рассуждениях, смещённых или нежелательных ответах и ухудшении качества на недостаточно проверенных языках. Аудио не поддерживается, видео специально не оптимизировано. Лицензия — Apache 2.0.

nvidia_AceInstruct-72B-GGUF — это GGUF-квантизованная версия instruct-модели AceInstruct-72B, разработанной NVIDIA и подготовленной пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста в диалоговом и инструкционном формате, включая задачи общего назначения, программирование и математику. В README указана поддержка английского языка. Модель имеет размер 72B параметров; конкретная архитектура и максимальная длина контекста не указаны. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов с размером файлов примерно от 29 до 77 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше оперативной памяти; варианты Q4_K_M, Q5_K_M и Q6_K отмечены как рекомендуемые. Формат рассчитан на запуск через llama.cpp, LM Studio и другие совместимые проекты. К сильным сторонам относятся широкий выбор вариантов квантизации и возможность локального запуска, а также специализация исходной модели на инструкциях, коде и математике. Ограничениями являются высокие требования к памяти даже у компактных вариантов, снижение качества при низкой квантизации и отсутствие в предоставленных данных подробных результатов тестирования, сведений о мультимодальности и контекстном окне. Распространение указано по лицензии CC BY-NC-4.0, которая ограничивает коммерческое использование.

Occamy-1.0 GGUF — это набор квантизированных файлов модели Occamy-1.0, разработанной Accio-Lab, в формате GGUF для запуска через совместимые среды, включая llama.cpp. Модель относится к мультимодальному классу image-text-to-text и поддерживает работу с текстом и изображениями через отдельный vision projector; для текстовых сценариев projector не требуется. Доступны варианты квантизации от IQ2_M и Q2_K до Q8_0, а также F16 vision projector. Размеры файлов составляют примерно от 10,9 до 34,4 GiB, без учёта дополнительной памяти на KV-кэш, контекст, параллельные запросы и изображения. Модель предназначена для генерации текста, программного кода, структурированных JSON-ответов и tool use. В README приведены проверки на задачах GSM8K, HumanEval+, строгом JSON и использовании инструментов, однако они выполнены на небольших выборках и не заменяют полноразмерные бенчмарки. Новые квантизации тестировались для текста, кода, JSON и tool use, но их возможности работы с изображениями повторно не проверялись. Размер контекстного окна, языковой охват и точные параметры архитектуры в представленном README не указаны; при этом модель связана с архитектурой MoE и семейством Qwen3.5 MoE. Для корректной работы важна совместимость токенизатора: выпущенные файлы используют метаданные qwen2, NFC-нормализацию и qwen2-подобные правила, а опубликованные измерения требуют специального переопределения qwen35 и не подтверждают полную эквивалентность токенизации. Квантизация уменьшает требования к памяти, но может снижать качество на низких разрядностях. Совместимость с CPU-only и Apple Silicon в приведённых испытаниях не устанавливалась. Файлы распространяются по лицензии Apache 2.0; отдельная MTP head в эти GGUF-файлы не входит.

OpenChat 3.5-1210 — диалоговая языковая модель, разработанная командой OpenChat и созданная дообучением Mistral-7B-v0.1 на смешанных данных разного качества. Модель с плотной архитектурой Mistral содержит 7,1 млрд параметров и поддерживает контекст до 8192 токенов; доступны веса в формате Safetensors. Она предназначена для генерации ответов в чате, написания и объяснения кода, решения математических задач и других общих текстовых запросов. В карточке также описаны экспериментальные сценарии оценки ответов и предоставления обратной связи. Модель поддерживает два режима диалога: общий режим для чата, программирования и широкого круга задач, а также режим, настроенный на математические рассуждения. Разработчик приводит результаты тестов по программированию, математике и общим знаниям, однако бенчмарки не гарантируют точность в практических задачах. Модель может ошибаться или выдавать убедительно звучащие неверные ответы; режимы и шаблон диалога следует применять согласно карточке. Лицензия — Apache-2.0. Для работы с моделью автор рекомендует OpenChat и сервер с API, совместимым с OpenAI ChatCompletion; в карточке заявлен запуск на потребительском GPU с 24 ГБ памяти. Языки обучения или поддержки явно не перечислены, поэтому языковые возможности сверх текстового диалога здесь не уточняются.

Qwen3.5-9B-Theseus-i1-GGUF — квантизированная версия модели Qwen3.5-9B-Theseus, подготовленная mradermacher на основе модели nightmedia. Распространяется в формате GGUF и предназначена для локального запуска и инференса в совместимых инструментах. В репозитории представлены imatrix-квантизации различных типов и размеров, включая варианты от i1-Q2_K до i1-Q6_K, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Модель ориентирована на генерацию текста, диалоги, программирование, математические и STEM-задачи, рассуждения, творческое письмо, создание историй и ролевые сценарии. Заявлена поддержка английского, китайского, японского и испанского языков. README указывает на мультимодальность и наличие vision-возможностей, однако конкретные характеристики обработки изображений не раскрыты. Также упоминается контекст до 256k или 1M токенов, но точное поддерживаемое значение для этой сборки не указано. К сильным сторонам относятся широкий выбор квантизаций, включая варианты с imatrix, возможность подбора компактной конфигурации и заявленная универсальность задач. Ограничения включают экспериментальный характер исходной модели, возможное снижение качества на низких уровнях квантизации и отсутствие подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

YTan2000/Qwen3.6-27B-TQ3_4S — сборка Qwen3.6-27B, опубликованная YTan2000 в формате GGUF с квантизацией TurboQuant TQ3_4S для локального запуска. В основе — мультимодальная причинная языковая модель с визуальным энкодером на 27 млрд параметров; архитектура семейства Qwen3.5 включает блоки Gated DeltaNet и Gated Attention. Исходная модель имеет контекст до 262 144 токенов, однако в README для конфигурации на GPU с 16 ГБ видеопамяти отмечено, что 32K и 64K помещаются, а 128K — нет. Модель предназначена для диалогов, задач программирования и рассуждений, а также работы с изображениями в поддерживающем это окружении. Файл весов занимает около 13 ГБ. Для нативной поддержки TQ3_4S нужен TurboQuant-совместимый рантайм, например форк llama.cpp tq3; README также сообщает, что для публичной сборки GGUF нет отдельного артефакта mmproj, поэтому возможности обработки изображений могут быть недоступны при таком способе запуска. Указана лицензия Apache-2.0.

Youssofal/Qwen3.6-35B-A3B-MTPLX-Optimized-Balance — локальная модель для генерации текста, опубликованная пользователем или организацией Youssofal и основанная на семействе Qwen3.6. Она предназначена для запуска на компьютерах Apple Silicon через MLX и ускорения генерации с помощью MTPLX — механизма speculative decoding, использующего собственные MTP-головы модели для чернового предсказания токенов с последующей проверкой основной моделью. Модель подходит для локального чата, программирования и других сценариев генерации текста, включая задачи с рассуждениями и обычные контексты разработки. README не указывает поддерживаемые языки и точное максимальное окно контекста. Модель имеет конфигурацию 35B-A3B и архитектуру mixture-of-experts, поставляется в виде 6-битного MLX-квантизованного основного блока с размером группы 64, 8-битными router и gate-тензорами, а также калиброванными INT4 MLX MTP-головами. Нормализации, масштабы, смещения и обычные тензоры сохранены в BF16. Заявлены высокая скорость локальной генерации и практичное потребление памяти; измеренная скорость генерации в режиме MTPLX Sustained Max на Apple Silicon для рекомендованной конфигурации D2 составила около 123–126 токенов в секунду, а скорость обработки промпта в тестах достигала 1756,8–4109,8 токена в секунду в зависимости от длины контекста. Ограничения связаны с применением квантизации, зависимостью от Apple Silicon и MTPLX, а также с тем, что это не полноточный чекпойнт. Лицензия — Apache-2.0.

Mojo24x7/Qwen3.6-35B-A3B-npuaware-rk3588-GGUF — это GGUF-квантизация модели Qwen3.6-35B-A3B, разработанная для ускорения на NPU Rockchip RK3588. Сборка использует backend RKNPU2 в rk-llama.cpp и предназначена для генерации текста, включая работу с документами, кодом, логами и другим длинным контекстом. Модель имеет гибридную архитектуру: 30 блоков Gated-DeltaNet/SSM, 10 полноценных attention-блоков и один MTP-блок. Указана поддержка английского языка. Размер файла Q35-npuaware.gguf составляет 14,89 GiB, средняя точность хранения — 3,60 бит на вес; заявленный контекст — до 32768 токенов. Ключевая особенность сборки — NPU-aware размещение весов: экспертные тензоры переведены в Q3_K и выполняются на CPU, тогда как основные attention- и SSM-проекции сохраняют NPU-совместимые типы Q4_0, Q8_0 и Q6_K. На Radxa ROCK 5B+ с RK3588 и 16 ГБ памяти заявлены показатели 20,4 токена/с для prefilling и 4,8 токена/с для decode, что превосходит сравниваемую квантизацию UD-IQ4_XS при меньшем размере файла. Для работы требуется специальная сборка rk-llama.cpp с backend RKNPU2 и корректными параметрами запуска. Модель особенно подходит для длинных одиночных запросов, но менее эффективна для продолжительных диалогов: из-за рекуррентной архитектуры последующие сообщения требуют повторной обработки большей части контекста. Поддержка 256 экспертов с выбором 8 экспертов на токен обеспечивает MoE-структуру; уменьшение числа активных экспертов до 4 ускоряет decode, но снижает качество. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-UD-MLX-3bit — это 3-битно квантованный вариант модели Qwen3.6-35B-A3B, подготовленный Unsloth в формате MLX на базе модели Qwen. Модель предназначена для генерации текста, программирования, агентных сценариев и задач, связанных с анализом изображений, поскольку включает языковую модель с vision encoder. В README отдельно отмечены улучшения для frontend-разработки, рассуждений на уровне репозитория, сохранения контекста рассуждений и вызова инструментов. Архитектура представляет собой causal language model с Mixture of Experts: всего 35 млрд параметров, из которых активируются 3 млрд. Модель содержит 40 слоёв, 256 экспертов с маршрутизацией к 8 экспертам и одним общим экспертом, а также сочетает Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с заявленным расширением до 1 010 000 токенов. Поддержка языков в предоставленных данных не указана. К сильным сторонам относятся высокая вычислительная эффективность MoE-архитектуры, большой контекст, возможности работы с изображениями и специализация на кодинге и агентных рабочих процессах. Ограничения связаны с 3-битным квантованием и зависимостью от совместимого стека MLX; влияние квантования на качество в README не описано. Модель распространяется по лицензии Apache-2.0.

taurusduan/Qwen3.8-27B-GSQ-RCO-GGUF — это набор GGUF-квантизаций базовой модели Qwen3.8-27B, разработанный Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель предназначена для локального запуска языковой модели, включая мультимодальные сценарии с обработкой изображений через поставляемый vision projector. Файлы совместимы с llama.cpp, Ollama и LM Studio. В набор входят четыре неравномерные квантизации с эффективной разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ. GSQ выполняет посттренировочную скалярную квантизацию, а RCO распределяет типы квантизации по отдельным тензорам с учётом их чувствительности и общего ограничения на размер. Для мультимодального режима используется отдельный проектор mmproj с vision encoder и projector в формате BF16 размером около 0,9 ГБ. Также доступны варианты с Multi-Token Prediction head для speculative decoding в llama.cpp; они примерно на 0,35 ГБ больше. Рекомендуемым вариантом назван IQ3_S: по данным README, он сохраняет качество базовой модели на AIME25 и LiveCodeBench v6 и находится в пределах 0,51 балла от неё на GPQA-Diamond, занимая чуть больше одной пятой размера BF16-модели. Более компактные варианты подходят для экономии памяти, но могут иметь больший компромисс по качеству. Модель и методы квантизации распространяются по лицензии Apache 2.0. Языки и максимальная длина контекста в README не указаны.

Terathox-Coder/Qwen3.8-27B-MTP-GGUF — это общественная GGUF-конверсия и квантованная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Дополнительное обучение или дообучение не выполнялось. Модель содержит 27 млрд параметров, представлена в формате GGUF и использует квантование Q4_K_M; исходные MTP/NextN-тензоры сохранены. Модель предназначена для локальной генерации текста, программирования, задач software engineering, агентных сценариев, технического рассуждения и работы с длинным контекстом. Она совместима с llama.cpp и совместимыми GGUF-рантаймами, включая Ollama. Сохранение MTP/NextN позволяет экспериментировать со спекулятивным декодированием, однако наличие соответствующих тензоров само по себе не гарантирует их фактическое использование: это зависит от версии и настроек рантайма. В README заявлена поддержка языков English, Spanish и Chinese, а локальное тестирование проводилось с контекстом до 204800 токенов. Ключевые преимущества — существенно сниженные требования к памяти по сравнению с исходной BF16-моделью, поддержка локального запуска и сохранённые компоненты MTP/NextN. Размер файла составляет около 16,8 ГБ. Ограничения включают возможное снижение качества из-за квантования Q4_K_M, отсутствие стандартизированных тестов качества для этой сборки и риск неточных, предвзятых или галлюцинированных ответов. Хотя исходная модель обладает мультимодальными возможностями, данный репозиторий содержит только языковой GGUF-артефакт без проверенного мультимодального проектора, поэтому сборку следует считать текстовой. Модель распространяется по лицензии Apache-2.0. Конкретные показатели скорости в README относятся к локальной конфигурации на трёх GPU и не являются стандартизированными бенчмарками качества или производительности.

Qwen3.8-9B — плотная языковая модель на 9 млрд параметров от Empero, полученная дистилляцией рассуждений модели-учителя Qwen3.8 2.4T A95B в архитектуру Qwen3.5-9B. Это полное дообучение всех параметров базовой модели на SFT-примерах: примерно 70 тысяч отобранных трасс учителя по математике, программированию, общим рассуждениям, следованию инструкциям и работе с инструментами. Модель использует архитектуру Qwen3.5 и формат весов Safetensors; нативный контекст составляет 262 144 токена. Она предназначена для генерации ответов с пошаговыми рассуждениями, решения математических задач, написания кода и вызова инструментов. В карточке приведены результаты тестирования на GSM8K и MMLU; на MMLU модель заметно превзошла базовую Qwen3.5-9B, тогда как на GSM8K показала немного более низкий результат. Интерфейс вызова функций поддерживается без дополнительной обёртки. Лицензия — Apache-2.0. Тонкая настройка проводилась только для текста; визуальные возможности унаследованы от мультимодальной базы, но в карточке не оценивались.

LeroyDyer разработал эту дообученную модель семейства Mistral на основе LeroyDyer/Mixtral_AI_CyberTron_DeepMind_III. Это языковая модель с 7,1 млрд параметров для генерации текста; заявленная длина контекста — 32 768 токенов. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Модель предназначена для диалогов и выполнения инструкций, включая помощь с программированием, анализом текста, извлечением сущностей, расчётами и генерацией идей. В карточке также заявлены сценарии консультативного общения и работа с медицинской информацией, однако результаты таких применений не подтверждены приведёнными оценками. Обучающие данные включают наборы для кода, диалогов, математики, преобразования текста в SQL и английского и суахили. Автор описывает модель как разговорную, способную использовать историю диалога и выдавать разнообразные ответы; приведены результаты Open LLM Leaderboard, но не полная таблица. Практическая точность и надёжность заявленных специализированных возможностей могут зависеть от формулировки запроса. Модель принимает текст и генерирует текст.

jondurbin/airoboros-65b-gpt4-1.3 — плотная языковая модель семейства LLaMA с 65 млрд параметров, дообученная автором методом QLoRA на синтетических инструкциях, созданных GPT-4. Она предназначена для диалогов с ассистентом, выполнения инструкций, генерации кода и ответов с рассуждением перед итоговым ответом. Для общения используется шаблон Vicuna с ролями USER и ASSISTANT; модель принимает текст и генерирует текст. Указанная длина контекста — 2048 токенов. README предупреждает о проблемах в этой версии и рекомендует использовать её с осторожностью или дождаться версии 1.4. Модель распространяется по лицензии CC BY-NC 4.0, которая запрещает коммерческое использование.

Apodex-1.1-mini-GGUF — GGUF-квантизированная версия reasoning-first модели Apodex 1.1, разработанной Apodex AI на базе Qwen/Qwen3.5-35B-A3B. Модель предназначена для сложных исследовательских задач с длительным горизонтом выполнения и агентных сценариев: поиска и анализа информации, подготовки отчётов, работы с файлами, наборами данных, электронными таблицами, изображениями, кодом и инструментами. Она может декомпозировать задачу, координировать параллельных субагентов, сохранять состояние, адаптировать план и учитывать обратную связь пользователя. Модель поддерживает текстовую генерацию и заявлена для английского и китайского языков. Для агентной работы предусмотрен нативный function calling, совместимый с шаблоном чата Qwen3.5; поддерживаются рассуждения и OpenAI-совместимые вызовы инструментов. Рекомендуемый максимальный контекст составляет 262144 токена, а максимальная длина генерации — 32768 токенов. В README также указана совместимость с запуском через llama.cpp и дополнительным мультимодальным проектором, однако полный перечень поддерживаемых модальностей и точные параметры GGUF-квантизации для данной карточки не раскрыты. Сильные стороны модели — ориентация на сквозное выполнение сложных задач, работа с внешними инструментами, командная агентная схема и встроенная проверка утверждений по источникам, данным и вычислениям. По приведённым результатам Apodex-1.1-mini особенно хорошо показывает себя в FrontierFinance и остаётся конкурентоспособной на APEX-Agent; при этом эти показатели зависят от Agent Team harness и не гарантируют аналогичное качество в каждом сценарии. Ограничения включают необходимость корректной настройки llama.cpp, парсеров шаблона и инструментов, а также отсутствие в README подробностей о размере файла, требованиях к аппаратному обеспечению и полной оценке надёжности. Лицензия — Apache 2.0.

Карточка модели Oscilla/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

MediaTek Research Breeze-7B-32k-Instruct-v1_0 — чат-модель семейства Breeze, разработанная MediaTek Research на основе Mistral-7B. Это плотный авторегрессионный трансформер с архитектурой MistralForCausalLM и 7,2 млрд параметров, дообученный для диалога и распространённых задач на английском и традиционном китайском. Расширенный словарь содержит 62 тыс. токенов, а контекст достигает 32 768 токенов, что позволяет работать с длинными документами. Модель подходит для многоходового чата, ответов на вопросы, суммаризации и RAG-сценариев, включая поиск ответов в длинных китайских текстах. В README отмечено, что специальной обработки вредоносных запросов нет, поэтому модель может не обеспечивать надёжную защиту от небезопасных ответов. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0.

Camelidae-8x7B — языковая модель семейства Camelidae, разработанная авторами проекта Parameter-Efficient Sparsity Crafting. Это разреженная MoE-модель для генерации текста и выполнения инструкций общего назначения; при обучении использовались QLoRA, адаптеры и эффективное преобразование плотных моделей в Mixture-of-Experts. В карточке указаны обучающие наборы для инструкций, программирования и математики. Модель содержит 6,6 млрд параметров и имеет контекстное окно 4096 токенов. Она построена на архитектуре LLaMA для причинной генерации текста и доступна в формате PyTorch через Transformers; для загрузки карточка приводит пример с trust_remote_code=True. Метаданные отмечают английский язык. Модель подходит для диалоговых ответов, математических рассуждений и помощи с кодом. README описывает результаты семейства Camelidae на тестах, но приведённая таблица относится к Camelidae-8x34B-pro, поэтому её показатели нельзя переносить на версию 8x7B. Лицензия — Apache-2.0.

Карточка модели jinreiyu/cloned-Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Dolphin3.0-Mistral-24B-GGUF — это набор квантованных GGUF-версий языковой модели Dolphin3.0-Mistral-24B, разработанной cognitivecomputations и подготовленной quantized_by bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для генерации текста и запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp; поддерживается формат prompt с ролями system, user и assistant. В README указан английский язык, однако полного описания языковых возможностей нет. Модель имеет 24 млрд параметров и поставляется в вариантах от F32 до низкобитных Q3, Q4, Q5, Q6, Q8 и IQ-квантизаций. Размер файлов составляет примерно от 12,4 до 94,3 ГБ, поэтому требования к памяти зависят от выбранного варианта. Доступны версии, ориентированные на высокое качество, экономию памяти, работу на CPU и Apple Silicon. Среди заявленных наборов данных для обучения или дообучения — OpenCoder, Orca, NuminaMath, Hermes Function Calling, Tulu, Dolphin Coder и другие коллекции инструкций, программного кода и математических задач. Сильные стороны модели — большой размер, широкий набор обучающих данных, поддержка задач генерации текста, программирования, математики и function calling, а также возможность локального запуска с разным компромиссом между качеством и потреблением памяти. Ограничения — отсутствие в README сведений о длине контекста, архитектурных деталях, мультимодальности, результатах тестирования, системных требованиях для конкретных конфигураций и лицензии. Условия лицензирования в предоставленных данных не указаны.

unsloth/DeepSeek-R1-0528-Qwen3-8B-unsloth-bnb-4bit — это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, опубликованная Unsloth и основанная на модели DeepSeek AI. Модель предназначена для диалоговых сценариев и задач, требующих рассуждений, включая математику, программирование и общую логику. Она поддерживает режимы с рассуждением и без него и работает через библиотеку Transformers. Модель имеет размер 8B параметров, однако README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста. По заявленным данным, обновление DeepSeek-R1-0528 улучшает глубину рассуждений и результаты на сложных задачах; в частности, точность на AIME 2025 выросла до 87,5%. Для режима рассуждений не рекомендуется использовать жадное декодирование, поскольку это может снижать качество и приводить к повторениям. Для запуска требуется соблюдать рекомендованный шаблон чата и параметры генерации. Модель распространяется под лицензией MIT. README не приводит подробностей о возможных ограничениях качества, безопасности или применимости в критически важных сценариях.

EXAONE-Deep-7.8B — плотная языковая модель для рассуждений, разработанная LG AI Research. Она предназначена для генерации ответов и решения задач на рассуждение, включая математику и программирование; поддерживает диалоговый режим. Модель дообучена на EXAONE-3.5-7.8B-Instruct и содержит 7,4 млрд параметров. Архитектура — ExaoneForCausalLM с 32 слоями и групповым запросом внимания (32 Q-головы и 8 KV-голов); длина контекста — 32 768 токенов. Модель рассчитана прежде всего на английский и корейский языки. Для запуска рекомендуются Transformers версии 4.43.1 или новее; также перечислены TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. В репозитории доступны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в самой карточке и сопутствующей документации. Модель может выдавать неточные, устаревшие, предвзятые или неподходящие ответы; результаты требуют проверки.

Gemini 2.5 Pro Preview 06-05 — предварительная версия мультимодальной модели Google Gemini 2.5 Pro. Она предназначена для сложных задач рассуждения, программирования, математики и науки. В карточке указаны способности к рассуждению, но подробности об архитектуре, размере и длине контекста не приведены. Модель ориентирована на сценарии, где требуется разбирать запрос и формировать содержательный ответ, включая помощь с кодом и решение математических задач. Метаданные классифицируют её как image-text-to-text, однако README не уточняет поддерживаемые типы входных данных. Условия лицензии в доступных сведениях не описаны.

Gemma-4-12B-it-qat-JANG_4M-CRACK — дообученная и квантизированная версия Gemma 4 12B-it от dealignai. Это плотная мультимодальная модель семейства Gemma4 Unified с единым ранним слиянием модальностей и гибридным скользящим и глобальным вниманием. Она принимает текст, изображения и аудио и предназначена для диалогов, рассуждений, ответов на вопросы и генерации кода; карточка также заявляет многоязычную поддержку и сохранение возможностей базовой модели в работе с изображениями и аудио. Модель использует схему JANG_4M: 8-битное квантование внимания и 4-битное квантование MLP. Разработчик сообщает о 84,2% на MMLU и 97% выполнении вредоносных запросов в тесте HarmBench, где отказ от ответов на такие запросы был удалён. Поэтому модель рассчитана на сценарии без стандартных отказов по этим категориям и требует осторожного контроля применения. Для запуска рекомендованы приложение или API vMLX и Mac на Apple Silicon с достаточной объединённой памятью; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки Gemma 4. Лицензия — Gemma; разработчик указывает исследовательское назначение и возлагает ответственность за соблюдение применимых законов на пользователей.

GLM-4.7-Flash-RAZOR-24B-A3B-E48of64 — производная диалоговая модель семейства GLM, созданная Nickyang методом RAZOR: из 64 маршрутизируемых экспертов в каждом MoE-слое удалена четверть, осталось 48. Градиентного дообучения и восстановления после обрезки не проводилось; сохранены исходные веса оставшихся компонентов. По README, в контрольной точке 24,123 млрд параметров с учётом MTP, а метаданные каталога указывают 4,1 млрд параметров; эти значения расходятся, поэтому размер модели требует проверки. Архитектура использует GLM-4.7-Flash и реализацию glm4_moe_lite в Transformers; контекст — 202752 токена. Модель предназначена для диалоговой генерации текста, рассуждений и программирования с длинным контекстом. Сокращение пула экспертов уменьшает объём хранимых экспертных весов примерно на четверть, при этом README сообщает, что вычисления на токен практически не меняются. Контрольная точка хранится в bfloat16, в семи шардах safetensors; для запуска требуется сборка Transformers с нативной поддержкой glm4_moe_lite. Обрезка экспертов необратима и может менять разнообразие, форматирование и завершение ответов, даже если точность на отдельных задачах в целом сохраняется. Поведение на областях, далёких от конечного калибровочного корпуса, не охарактеризовано. Лицензия — MIT.

Goku-8x22B-v0.1 — дообученная MaziyarPanahi версия v2ray/Mixtral-8x22B-v0.1 на наборе philschmid/guanaco-sharegpt-style. Это диалоговая языковая модель с архитектурой Mixtral типа Mixture of Experts; в карточке указаны 22 млрд параметров, а README приводит конфигурацию на 141 млрд параметров, из которых активны 35 млрд. Контекст составляет до 65 536 токенов, модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев: ответов на вопросы, работы с длинным контекстом, написания кода и задач на рассуждение. В метаданных перечислены английский, французский, итальянский, немецкий и испанский языки. Модель распространяется по лицензии Apache-2.0. Карточка сообщает о тестировании на перечисленных сценариях, но не приводит результатов бенчмарков; качество для математики и программирования отдельно не подтверждено.