I.11Классификация, ранжирование и сопоставление

DeepSeek-V4-Flash-0731 — Abliterated — это дообученная и изменённая версия DeepSeek-V4-Flash-0731, разработанного DeepSeek. Модель предназначена для генерации текста, агентного программирования, рассуждений, инструментального вызова и работы с длинным контекстом. Это текстовая модель на архитектуре Mixture-of-Experts с 284 млрд параметров всего и примерно 13 млрд активных параметров. Она содержит 43 слоя, 256 маршрутизируемых экспертов с выбором top-6, одного общего эксперта, гибридное внимание CSA и HCA, Lightning Indexer, mHC-гиперсвязи и встроенную трёхступенчатую DSpark draft head. Нативный контекст составляет 1 048 576 токенов, в указанной конфигурации модель обслуживается с контекстом 262 144 токена. Поддерживаемые языки в README не указаны, модальность — текстовая. Модель сохраняет исходные эксперты, маршрутизаторы, эмбеддинги, нормализации, параметры mHC и компоненты инструментального вызова; изменены только проекции выходов внимания в 46 модулях. По заявлению авторов, это устраняет поведение отказа: в проведённых тестах доля отказов составила 0%, а соответствие вызовам инструментов — 100%. При этом результаты отражают ограниченные выборки и не доказывают абсолютное отсутствие отказов или ошибок. Модель позиционируется как uncensored и может отвечать на потенциально опасные запросы, поэтому требует осторожного применения и локального запуска на контролируемом оборудовании. Размер составляет около 167 ГБ, используется нативная точность FP4 и FP8 без дополнительного квантования; для указанной конфигурации требуется распределённый запуск на двух NVIDIA DGX Spark с vLLM. Лицензия — MIT. Модель ориентирована прежде всего на локальное и исследовательское использование; ограничения по безопасности и ответственность за применение лежат на пользователе.

DeepSeek-V4-Flash-0731-AWQ — это квантизированная сборка базовой модели deepseek-ai/DeepSeek-V4-Flash-0731, подготовленная в формате AWQ для запуска на компьютерах Apple Silicon через oMLX. Исходная модель представляет собой MoE-архитектуру с 304 млрд параметров, 43 слоями, 256 маршрутизируемыми экспертами на слой, механизмами Hyper-Connections и HISA attention; в README разработчик исходной модели не указан, а автор данной квантизированной сборки также не идентифицирован. Модель предназначена для генерации текста, диалоговых и агентских сценариев, решения математических задач и генерации кода. В сборке маршрутизируемые эксперты квантизированы до 2–3 бит, а attention, общие эксперты, embeddings и head оставлены в 8-битном формате. Основная часть содержит 278,6 млрд квантизированных параметров и занимает около 101,4 ГБ; вместе с квантизированным MTP/DSpark speculative drafter общий размер составляет около 108,2 ГБ. Поддерживаются режимы reasoning_effort low, high и max. Языки и максимальная длина контекста в README не указаны. Сильными сторонами являются возможность запуска очень крупной MoE-модели на одной системе Apple Silicon, высокая скорость генерации около 47–51 токена в секунду на M5 Max с 128 ГБ памяти, а также хорошие результаты на GSM8K и HumanEval — 93,5% и 87,2% соответственно. Главные ограничения связаны с агрессивной 2/3-битной квантизацией: на MMLU сборка получила 64,5% против 81,5% у неквантизированного учителя, то есть потеряла 17 процентных пунктов в задачах на широкий массив знаний. Для длинного контекста рекомендуется 4- или 6-битная квантизация KV-кэша; без специализированных ядер oMLX предварительное заполнение длинного контекста может работать значительно медленнее. Модель распространяется по лицензии, обозначенной как other с именем лицензии deepseek. Полные условия лицензии в README не приведены.

DeepSeek-V4-Flash-0731-REAP37-native-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и вызова инструментов через формат DSML. Она работает только с текстом и не содержит компонентов для обработки изображений. Модель использует архитектуру deepseek_v4 с механизмом внимания HISA, hyper-connections и маршрутизацией экспертов: в 40 слоях применяется обучаемая маршрутизация, а в первых трёх — hash-routing. Из исходных 256 экспертов в каждом слое сохранено 163, что соответствует сокращению примерно на 36,7%. Размер модели на диске составляет около 96 ГБ против примерно 155 ГБ у исходного варианта с 304 млрд параметров. Сохранённая точность является штатной для исходных весов — дополнительное квантование не применялось; выжившие эксперты побитово совпадают с исходным checkpoint. Главное преимущество модели — уменьшенный размер при сохранении исходной 4-битной точности оставшихся весов, а также поддержка нативного вызова инструментов DSML. Модель рассчитана на запуск в экосистеме MLX и тестировалась с oMLX; также доступна через mlx_vlm. Ограничения включают отсутствие независимого сравнения с полной моделью на стандартных бенчмарках, поэтому качество следует проверять на собственных задачах. Лицензия — MIT, унаследованная от базовой модели.

DFlash-Qwen3.5-27B-Uncensored-i1-GGUF — GGUF-квантизированная версия модели DFlash-Qwen3.5-27B-Uncensored, разработанной AEON-7 и квантизированной mradermacher. Модель относится к семейству Qwen3.5 и предназначена для диалоговой генерации текста, рассуждений, программирования, агентских сценариев, вызова функций и работы с инструментами. Доступны варианты для локального запуска через совместимое с GGUF программное обеспечение, включая экосистемы с поддержкой vLLM и llama.cpp-подобных движков. Заявлены размер 27B параметров, гибридная архитектура с hybrid attention, linear attention и gated deltanet, поддержка длинного контекста, текстовой и визуальной информации. Это vision-language модель: для обработки изображений могут потребоваться отдельные mmproj-файлы. В README указан английский язык, однако точный перечень поддерживаемых языков и максимальная длина контекста не приведены. Доступно множество квантизаций от очень компактных IQ1 до более качественных Q5 и Q6; варианты различаются размером, скоростью и качеством, при этом README рекомендует i1-Q4_K_M как быстрый сбалансированный вариант. К сильным сторонам относятся мультимодальность, возможности для программирования, рассуждений, tool calling и локального развертывания с выбором размера файла. Ограничения связаны с потерями качества при низкобитных квантизациях, отсутствием в README количественных бенчмарков и точных требований к памяти, а также с тем, что заявленный uncensored-профиль может означать ослабленные ограничения на содержание. Модель распространяется по лицензии Apache-2.0.

dolphin-2.9.1-mixtral-1x22b-IMat-GGUF — это квантизированная версия текстовой генеративной модели dolphin-2.9.1-mixtral-1x22b, разработанной cognitivecomputations и подготовленной в формате GGUF пользователем legraphista. Модель предназначена для локального запуска и задач генерации текста, включая диалоговое взаимодействие, следование инструкциям, программирование, математические задачи, function calling и агентские сценарии, на которые указывают использованные при обучении наборы данных. Заявленный язык — английский. Модель основана на архитектуре Mixtral и имеет обозначение 1x22b; точные характеристики архитектуры и размер контекстного окна в README не указаны. Доступны варианты от BF16 и FP16 до Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 с размером файлов примерно от 8,27 до 44,48 ГБ. Для ряда вариантов применена IMatrix-квантизация, предназначенная для более эффективного уменьшения размера при сохранении качества. Это позволяет выбирать баланс между требованиями к памяти и качеством вывода, однако квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно у компактных вариантов. Для запуска используются совместимые инструменты экосистемы llama.cpp. Модель распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков, данных о поддерживаемых языках помимо английского, точного контекстного окна или подробных сведений о системных требованиях, поэтому эти характеристики нельзя надежно оценить.

FuseChat-Llama-3.1-8B-Instruct — разговорная языковая модель FuseAI, созданная методом неявного объединения знаний нескольких крупных языковых моделей. В основе лежит плотная архитектура Llama с 7,5 млрд параметров; модель обучена на основе Llama-3.1-8B-Instruct с этапами дообучения с учителем и оптимизации предпочтений (DPO). Для репозитория указаны библиотека Transformers и формат Safetensors, а заявленный контекст составляет 131 072 токена. Модель предназначена для диалога и следования инструкциям, а также для общих задач, математики, программирования и работы с китайским языком. В описании FuseChat-3.0 сообщается об улучшениях на тестах разговорных навыков и следования инструкциям по сравнению с целевой базовой моделью. Модель принимает текст и генерирует текст. Модель распространяется по лицензии Apache-2.0. Результаты, указанные в карточке для серии FuseChat-3.0, не гарантируют аналогичного качества на всех задачах и языках; подробные сведения о качестве именно этого чекпойнта в предоставленном фрагменте карточки отсутствуют.

FuseCyberMix-Qwen-2.5-7B-Instruct — объединённая инструктивная языковая модель, созданная с помощью mergekit линейным слиянием FuseAI/FuseChat-Qwen-2.5-7B-Instruct, Qwen/Qwen2.5-7B-Instruct и fblgit/cybertron-v4-qw7B-UNAMGS. Модель разработана автором репозитория bunnycore и построена на архитектуре Qwen2 с 7,1 млрд параметров; доступна в формате safetensors и рассчитана на контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, написание и преобразование текста, код и структурированные ответы. В метаданных также отмечен интерфейс вызова инструментов. Поддерживаемые языки отдельно не указаны. Это слияние моделей, а не отдельное дообучение; README сообщает о линейном методе слияния, нормализация отключена, использована маска int8, выходной тип задан как bfloat16. Лицензия в предоставленных данных отсутствует. Качество и ограничения конкретного слияния не описаны; практическое качество ответов и корректность вызовов инструментов требуют проверки в целевом приложении.

OnlyTextLLMs выпустила текстовую версию Gemma 4 26B A4B IT: из исходной модели Google удалены компоненты обработки изображений и аудио, а текстовая часть весов и языковая головка сохранены. Это причинная языковая модель Gemma4ForCausalLM с 25,23 млрд параметров по README; метаданные каталога указывают 2 млрд параметров, поэтому размер модели в источниках расходится. Модель предназначена для диалогов и генерации текста. Она принимает текст и выдаёт текст; её контекст составляет 262 144 токена. Модель распространяется по лицензии Apache 2.0.

Карточка модели dealignai/Gemma-4-31B-it-qat-MXFP4-CRACK на Hugging Face совпадает с карточкой Ishowbackup/Gemma-4-31B-it-qat-MXFP4-CRACK, поэтому описание составлено по ней. Gemma 4 31B MXFP4 CRACK — мультимодальная модель на архитектуре Gemma 4, опубликованная dealignai и основанная на google/gemma-4-31b-it. Это дообученная версия с удалёнными отказами, предназначенная для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с изображениями. Модель плотная, использует гибридное скользящее и глобальное внимание и квантизацию MXFP4; для запуска автор рекомендует vMLX на Apple Silicon с достаточной общей памятью. В карточке заявлены сохранение возможностей работы с изображениями и проверка генерации кода и рассуждений. По приведённым авторами оценкам, MMLU составляет 82,9% против 88,6% у базовой модели, а соответствие запросам из категорий HarmBench — 95%; это указывает на заметное снижение отказов, в том числе для опасных запросов. Метаданные указывают лицензию Gemma. Автор обозначает модель как исследовательскую; пользователю следует учитывать лицензионные условия Gemma и применимое законодательство.

haLLAwa3 — объединённая языковая модель AbacusResearch на архитектуре Mistral с 7,1 млрд параметров. Она создана методом слияния mergekit моделей openchat/openchat-3.5-0106 и machinists/Mistral-7B-SQL; в конфигурации указаны метод slerp и точность bfloat16. Модель предназначена для генерации текста и диалоговых ответов, в том числе для задач, где нужны краткие прямые ответы, понимание документов и работа с SQL. Контекст модели составляет до 32 768 токенов. В README приведены результаты Open LLM Leaderboard: средний балл 71,34, включая 67,83 на AI2 Reasoning Challenge и 87,02 на HellaSwag; эти показатели относятся к указанным тестам и не гарантируют точность в конкретном применении. Лицензия — Apache-2.0.

Huihui-NeoHorse-1-4B-abliterated — экспериментальная версия TokenRhythm/NeoHorse-1-4B от Huihui AI с ослабленными отказами, созданная методом abliteration. Это плотная текстовая авторегрессионная модель семейства Qwen3.5 с 3,4 млрд параметров; она предназначена для диалога, следования инструкциям, рассуждений, программирования и агентных сценариев с вызовом инструментов. Модель работает через библиотеку Transformers и поддерживает контекст до 262 144 токенов. Автор описывает изменение как грубую проверку концепции: аблированы слои 5–17. README также упоминает извлечённые из исходной Qwen3.5-4B компоненты MTP и Vision, которые можно отдельно добавить в каталог модели; доступность этих компонентов в основном наборе весов не подтверждена. Снижение защитных ограничений повышает вероятность чувствительных, спорных или неподходящих ответов, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

INTELLECT-1-Instruct — англоязычная инструктивная языковая модель Prime Intellect, созданная на базе INTELLECT-1 и дообученная командой Arcee AI. Она предназначена для диалогов и выполнения инструкций, включая ответы на вопросы, рассуждения, математические задачи и генерацию кода. Модель использует плотную архитектуру Llama с 9,7 млрд параметров и контекстом до 8192 токенов. В README описаны этапы SFT, DPO и объединения вариантов модели; для обучения использовались англоязычные тексты и код, а также данные по математике, инструкциям и многоязычным задачам. Для корректной генерации README рекомендует добавлять BOS-токен в начало каждого примера. Модель принимает текст и генерирует текст. В README приведены результаты тестов на нескольких бенчмарках, но они не гарантируют качество на конкретных пользовательских задачах. Репозиторий распространяется по лицензии Apache 2.0.

KAT-V1-40B (Kwaipilot-AutoThink) — открытая большая языковая модель, разработанная Kwaipilot. Она обучена выбирать, когда явно разворачивать ход рассуждений, а когда отвечать напрямую, чтобы снижать избыточные рассуждения. Модель построена на архитектуре Qwen2, имеет 39,8 млрд параметров и контекстное окно 131 072 токена; для работы с ней указана библиотека Transformers. Модель предназначена для генерации текста в диалогах и решения задач, где полезны как развёрнутые рассуждения, так и краткие ответы. README описывает структурированный формат ответа с режимами включённого и пропущенного рассуждения; метаданные также отмечают интерфейс вызова инструментов. В README сообщается о высоком результате Kwaipilot-AutoThink на LiveCodeBench Pro, но это не раскрывает показатели именно данного чекпойнта KAT-V1-40B. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели. README сообщает, что документация AutoThink и дополнительные обучающие ресурсы планируются к публикации; подробности обучения и ограничения качества этой версии в предоставленных данных не раскрыты.

NousResearch/Llama-3.2-1B — текстовая языковая модель семейства Llama 3.2, разработанная Meta и опубликованная NousResearch. Это авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors через Transformers. Модель предназначена для генерации текста и может служить основой для диалоговых помощников, поиска знаний и суммаризации, а также для мобильных приложений и систем с ограниченными ресурсами. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README также указывает на поддержку генерации кода. Компактный размер и длинный контекст позволяют использовать модель в ресурсоограниченных средах. Как небольшая модель, она может уступать более крупным моделям в качестве ответов и безопасности; для конкретного применения рекомендуется оценивать результаты и предусматривать защитные меры. Использование регулируется лицензией Llama 3.2 Community License — специальным соглашением, допускающим коммерческое и исследовательское применение при соблюдении условий лицензии и Acceptable Use Policy.

mlx-community/Llama-3.3-70B-Instruct-bf16 — конверсия модели Meta Llama 3.3 70B Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm 0.20.1. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текста; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Контекстное окно составляет до 131 072 токенов. Поддерживаемые языки включают английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель подходит для диалоговых ассистентов, генерации и преобразования текста, а также работы с длинными текстовыми контекстами. Репозиторий содержит веса в safetensors и предназначен для использования с MLX. Лицензия — Llama 3.3; условия Meta следует соблюдать при использовании и распространении модели. Для запуска требуется совместимая среда MLX, а модель такого размера предъявляет значительные требования к памяти и вычислительным ресурсам.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF — это квантизированная версия Gradient Llama-3-8B-Instruct-Gradient-1048k в формате GGUF, созданная с использованием llama.cpp. Базовая модель разработана Gradient на основе Meta Llama 3 8B Instruct; исходное семейство Llama 3 разработано Meta. Модель предназначена для генерации текста и кода, диалоговых сценариев, создания ассистентов и обработки очень больших текстовых документов. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention, содержит около 8 млрд параметров и работает только с текстом на входе и выходе. Заявленное контекстное окно расширено с 8 тысяч до более чем 1,04 млн токенов. Расширение выполнено с помощью оптимизации RoPE theta, NTK-aware interpolation и последовательного обучения на контекстах длиной 65K, 262K, 524K и 1048K токенов. В README указан английский язык, а для обучения длинного контекста использовались данные на основе SlimPajama. Ключевое преимущество модели — сочетание относительно компактного размера, формата GGUF для использования в экосистеме llama.cpp и поддержки сверхдлинного контекста, что может быть полезно при анализе крупных документов и длинных последовательностей. Ограничения включают текстовую модальность, отсутствие подробных результатов оценки качества и конкретных характеристик квантизации в представленном README, а также возможное снижение точности по сравнению с полной или менее квантизированной версией. В качестве лицензии указана llama3.

Карточка модели TracNetwork/mayhem-catalog-prism-ml-Ternary-Bonsai-27B-MLX-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Meta Llama 3 70B — большая авторегрессионная языковая модель Meta на 69,5 млрд параметров с плотной архитектурой Transformer и Grouped-Query Attention. Репозиторий содержит веса в формате safetensors; модель принимает текст и генерирует текст и код. Контекст модели составляет 8192 токена. Карточка описывает семейство Llama 3, включающее предварительно обученные и дообученные для следования инструкциям варианты; README указывает, что варианты с инструкционным дообучением используют SFT и RLHF, однако не уточняет вариант этого репозитория. Модель предназначена для генерации текста и кода, а диалоговые сценарии особенно подходят инструкционным вариантам. В README заявлено целевое использование на английском языке; применение на других языках выходит за рамки рекомендаций, хотя дообучение для других языков допускается условиями лицензии и политики использования. Модель статична и обучена на офлайн-данных. Для использования требуется соблюдать пользовательскую лицензию Meta Llama 3 и Acceptable Use Policy; лицензия обозначена в метаданных как нестандартная, а README сообщает о доступности коммерческой лицензии.

microsoft_Phi-4-reasoning-GGUF — это набор GGUF-квантизированных вариантов языковой модели Phi-4-reasoning, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов, решения математических задач, работы с кодом и задач, требующих рассуждений. Модель поддерживает текстовый ввод и вывод; в метаданных указан английский язык. Доступны варианты от BF16 до низкобитных квантов Q8_0, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, требованиями к памяти и скоростью локального запуска. Размер файлов варьируется примерно от 8,4 до 29,3 ГБ. Архитектура, число параметров, максимальный контекст и дополнительные модальности в README не указаны. Сильными сторонами являются наличие вариантов с разным уровнем сжатия, высокая заявленная точность старших квантов и совместимость с llama.cpp, LM Studio и другими проектами на его основе. Ограничения включают возможное снижение качества у низкобитных вариантов, необходимость значительного объёма памяти и отсутствие подробных данных о производительности, контекстном окне и поддерживаемых языках помимо английского. Распространение указано по лицензии MIT.

JANGQ-AI выпускает JANG_6M — квантованный вариант Mistral Small 4 от Mistral AI, подготовленный Jinho Jang для запуска через MLX на компьютерах Apple с большим объёмом памяти. Это модель семейства Mistral3 с архитектурой MoE: 119 млрд параметров всего и около 6 млрд активных на токен; в README указаны 36 слоёв, 128 экспертов с выбором четырёх, MLA-внимание и квантование JANG с точностью 6,04 бита. Для вычислений используется bfloat16. Модель предназначена для диалогов, рассуждений, генерации кода и математических решений, а также анализа изображений через визуальный энкодер Pixtral с заявленным пределом 1540 пикселей. В README заявлены режим рассуждений с маркерами [THINK] и управление reasoning_effort. Указаны размер файлов 84 ГБ, пиковое потребление памяти 95 ГБ и скорость генерации 74 токена в секунду на M3 Ultra; эти показатели относятся к описанной конфигурации тестирования. Карточка называет MLX Studio приложением с полной поддержкой, а также упоминает поддержку oMLX. Лицензия — Apache-2.0. Метаданные связывают модель с базовой Mistral-Small-4-119B-2603 как дообучение, хотя README описывает прежде всего квантование; поэтому происхождение отражено по метаданным, а детали обучения в карточке не раскрыты.

ehristoforu/mllama-3.1-8b-instruct — языковая модель, созданная объединением нескольких моделей семейства Llama 3.1 с помощью mergekit и метода TIES. В качестве основы использована unsloth/Meta-Llama-3.1-8B-Instruct, а в объединение вошли Hermes 3, Skywork-o1, Dolphin, LLaMA-O1 и SuperNova Lite. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям; в метаданных также заявлен интерфейс вызова инструментов. Её можно применять для ответов на вопросы, рассуждений и генерации кода, однако README не приводит отдельных оценок качества или рекомендаций по использованию. Карточка указывает формат safetensors и библиотеку Transformers. Лицензия в предоставленных данных не указана.

Muse-Glimmer-30B-GGUF — набор GGUF-сборок модели Muse Glimmer 30B, разработанной Meta и опубликованной AtomicChat в формате, совместимом с llama.cpp. Модель предназначена для генерации текста, мультимодального анализа изображений, диалоговых сценариев, работы с инструментами, а также задач программирования, написания текстов и рассуждений. Указан pipeline image-text-to-text, однако точная архитектура, поддерживаемые языки и максимальный контекст модели в README не раскрыты. Доступны варианты квантования от Q8_0 и BF16 до IQ2_XXS объёмом примерно от 9,3 до 55,7 ГБ. Для работы с изображениями требуется отдельный vision-проектор mmproj размером около 3,9 ГБ, а для ускоренной генерации можно подключить drafter dflash, добавляющий около 5,5 ГБ к требованиям по памяти. Рекомендуемая сборка AD-IQ4_XS рассчитана примерно на 24 ГБ видеопамяти вместе с vision-проектором и обеспечивает компромисс между размером и качеством; на RTX 5090 заявлена скорость до 39,6 токена в секунду без drafter и до 71,8 с ним. Сильные стороны модели — мультимодальность, поддержка tool calling, несколько вариантов квантования и возможность запуска на одной потребительской видеокарте. Качество снижается по мере уменьшения разрядности, особенно на низких вариантах IQ; speculative decoding требует дополнительной памяти и снижает скорость обработки промпта. Для запуска нужен llama.cpp, собранный из актуальной ветки master с поддержкой Muse Glimmer, а также параметр --jinja для корректной работы шаблона чата и разбора вызовов инструментов. Лицензия — Apache 2.0.

Olmo-3.1-32B-Think — авторегрессионная Transformer-модель семейства OLMo, разработанная Allen Institute for AI (Ai2). Это вариант Think с 31,7 млрд параметров, дообученный на базе allenai/Olmo-3-32B-Think-DPO; в метаданных указан датасет Dolci-Think-RL. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Контекстное окно составляет 65 536 токенов, основным языком карточка называет английский. Модель предназначена для рассуждений и ответов на запросы по математике, программированию, общим знаниям и диалогу. Ai2 сообщает об улучшении решения задач благодаря длинным цепочкам рассуждений; в карточке приведены результаты тестирования, включая 96,2 балла на MATH и 80,6 на AIME 2024. Результаты бенчмарков не гарантируют точность ответов в конкретных сценариях. Модель распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache 2.0; Ai2 указывает на исследовательское и образовательное применение в соответствии с рекомендациями ответственного использования. Модель может выдавать неточные сведения и вредоносный или предвзятый контент, поэтому ответы следует проверять.

Olmo 3 32B Think — плотная авторегрессионная трансформерная языковая модель для генерации текста, разработанная Allen Institute for AI (Ai2). Версия Think обучена для задач рассуждения, включая математику и программирование, а также для диалога и общих вопросов. Модель содержит 31,7 млрд параметров, поддерживает контекст до 65 536 токенов и работает с текстом на английском языке. Это дообученная версия allenai/Olmo-3-32B-Think-DPO, прошедшая обучение с подкреплением на данных Dolci-Think-RL. Модель распространяется в формате Safetensors и поддерживается Transformers версии 4.57.0 и выше. Лицензия Apache 2.0; в карточке указано предназначение для исследований и образования в соответствии с рекомендациями Ai2 по ответственному использованию.

Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

TeichAI/Qwen3.5-27B-Claude-Opus-4.6-Distill — плотная мультимодальная модель семейства Qwen3.5 с 27 млрд параметров, дообученная TeichAI на базе unsloth/Qwen3.5-27B. В README указаны датасет crownelius/Opus-4.6-Reasoning-2100x-formatted и личные данные Claude от EclipseMist; также отмечено, что LoRA предоставил EclipseMist. Модель предназначена для программирования, творческого письма, общего диалога и понимания изображений. Модель принимает текст и изображения и выдаёт текст; карточка также приводит рекомендации для работы с видео. Среди опубликованных проверок — ARC Challenge, GPQA Diamond, HellaSwag и отдельные разделы MMLU; результаты на ARC Challenge и HellaSwag выше, чем у указанной базовой модели, а на GPQA Diamond совпадают. Репозиторий содержит веса safetensors и опубликован под лицензией Apache-2.0. Метаданные относят модель к задачам image-text-to-text и указывают возможности чата и работы с изображениями.

AtomicChat/Qwen3.6-27B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.6-27B, подготовленный и самостоятельно квантизированный командой Atomic Chat из оригинальных весов с использованием importance matrix. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых сценариях, программировании, фронтенд-разработке и рассуждениях на уровне репозитория. Для работы рекомендуется использовать llama.cpp и применять шаблон чата Qwen3.6 через параметр --jinja. Модель содержит 27,8 млрд параметров, имеет плотную decoder-архитектуру с 64 слоями, 24 attention heads и 4 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Базовая Qwen3.6-27B поддерживает текст и изображения, однако представленные в этом репозитории GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты квантизации от Q2_K до Q8_0; Q4_K_M заявлен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при повышенных требованиях к памяти. К сильным сторонам относятся офлайн-запуск, широкий выбор размеров, калибровка всех вариантов с importance matrix и сохранение большинства характеристик полноточной модели, особенно начиная с Q4_K_M. Ограничения включают потерю качества в низкобитных вариантах, значительные требования к оперативной или видеопамяти и отсутствие поддержки изображений в поставляемых файлах. В README указана лицензия Apache-2.0.

Qwen3.6-27B-OBLITERATED — текстовая модель на базе Qwen/Qwen3.6-27B, изменённая разработчиком с помощью метода OBLITERATUS source-tethered ASPA. В карточке указано 26,9 млрд параметров; метаданные каталога сообщают 22,3 млрд. Доступны веса BF16 в safetensors и варианты GGUF с квантованием Q4_K_M, Q5_K_M, Q6_K и Q8_0. Модель рассчитана на локальную генерацию текста и диалог, включая программирование, выполнение инструкций и работу с заданными форматами; основное изменение направлено на снижение отказов при сохранении полезных возможностей исходной модели. Контекстное окно составляет 262 144 токена. Модель принимает текст и выдаёт текст; визуального энкодера нет. Разработчик сообщает о проверках отказов и сохранения возможностей, однако это результаты локальных оценок, а не официальные результаты бенчмарков. Для запуска подходят Transformers и современные локальные среды, включая llama.cpp; для GGUF рекомендуется начинать с Q4_K_M. Лицензия — Apache-2.0.

GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER-GGUF — набор квантованных сборок модели GestaltLabs/Qwen3.6-35B-A3B-NSC-ACE-SABER в формате GGUF для запуска через llama.cpp и совместимые среды. Модель основана на Qwen/Qwen3.6-35B-A3B и имеет конфигурацию на 35B параметров с обозначением A3B; точные архитектурные детали в карточке не раскрыты. Указан английский язык. Репозиторий также содержит компоненты для мультимодальной работы с изображениями и видео, включая visual tower sidecar, поэтому модель предназначена для текстовой генерации и сценариев image-text-to-text при наличии поддержки со стороны используемого runtime. Основные сценарии применения — диалоговые приложения, локальный inference, агентные системы и вызов инструментов. NSC-ACE ориентирован на более стабильный выбор функций, заполнение аргументов и снижение повторяющихся циклов вызова инструментов, а SABER использован как этап калибровки. На исходной safetensors-модели показатель tool-call rate в проверке BFCL составил 95%, точность имён функций — 95%, точность значений обязательных аргументов — 83,54%, а exact required-call accuracy — 77,50%; эти результаты не гарантируются для каждой квантованной версии. В примерах запуска используется контекст 32768 токенов, но максимальный размер контекста явно не указан. Доступны варианты от F16 и Q8_0 до Q2_K. F16, Q8_0, Q6_K и Q5_K_M лучше сохраняют качество, тогда как Q4_K_M предназначен для более ограниченных систем, а Q3 и Q2 требуют компромиссов по качеству, форматированию, точности аргументов и калибровке отказов. Метрики HarmBench-300 и KLD приведены для исходной модели до квантования, поэтому квантованные файлы следует проверять отдельно. Лицензия — Apache-2.0.

Qwen3.6-35B-A3B-OptiQ-4bit-REAP-19B — это квантизированная и подвергнутая экспертному прунингу языковая модель для генерации текста, разработанная сообществом mlx-community на базе mlx-community/Qwen3.6-35B-A3B-OptiQ-4bit. Модель использует архитектуру Mixture-of-Experts: в каждом слое сохранено 128 из 256 экспертов, при этом для каждого токена активируются 8 экспертов. Число параметров уменьшено с 35,1 до 18,8 млрд, размер на диске составляет 13,8 ГБ, а пиковое потребление памяти — около 11,6 ГБ. Данные о поддерживаемых языках и размере контекста в README не указаны. Модель предназначена для локального запуска и генерации текста на устройствах Apple Silicon через MLX, а также для задач следования инструкциям, математических рассуждений, вызова функций и генерации кода. Прунинг выполнен методом REAP без деквантизации, повторной квантизации или дообучения; активные параметры на токен и скорость декодирования сохраняются, а скорость в указанном сравнении выросла с 47,0 до 54,7. По сравнению с исходной моделью Capability Score снизился с 80,03 до 76,57; особенно заметно падение на MMLU, тогда как результаты GSM8K и IFEval улучшились. Модель распространяется по лицензии Apache-2.0.