I.11Классификация, ранжирование и сопоставление

Hob-forge/Qwen3.5-4B-Instruct-GGUF — это текстовая GGUF-квантизованная версия Qwen3.5-4B, разработанной командой Qwen. Издатель Hob Forge не обучал модель, а подготовил собственную редакцию: выполнил конвертацию и квантизацию, проверил шаблон чата и вызов инструментов, а также измерил скорость, потребление памяти и потери качества. Базовая модель распространяется по лицензии Apache-2.0. Модель предназначена для диалогов, генерации текста, помощи в программировании и использования инструментов на компьютерах с ограниченными ресурсами. Она поддерживает режим рассуждений, включённый по умолчанию, и может работать через llama.cpp, Ollama и совместимые приложения. Доступны варианты Q4_K_M, Q5_K_M, Q6_K, Q8_0 и IQ4_XS; рекомендуемым вариантом назван Q4_K_M размером около 2,58 GiB. Указана архитектура с гибридным вниманием: 8 слоёв полного внимания, линейное внимание DeltaNet и однослойный блок MTP. Благодаря этому KV-кэш заметно меньше, чем у плотной модели сопоставимого размера: около 256 MiB при контексте 8K и 1 GiB при 32K. Сильные стороны модели — небольшие требования к памяти, поддержка длинного контекста, высокая скорость на совместимом оборудовании и проверенная работа инструментов. Вариант Q4_K_M, по приведённым измерениям, помещается примерно в 4 GB памяти даже при контексте 32K, хотя такой режим может быть ограничен по запасу ресурсов. Ограничения связаны с размером 4B: модель не относится к передовым и уступает более крупным моделям в сложных задачах. IQ4_XS экономит место, но существенно медленнее на RTX-картах. GGUF-файлы являются текстовыми: визуальные компоненты исходной мультимодальной модели не включены. Для работы требуется современная версия llama.cpp с поддержкой данной архитектуры.

AMAImedia выпустила эту модель в рамках платформы автоматизации многоязычного дубляжа NOESIS; исходную модель создала команда OBLITERATUS. Это дообученная версия Qwen3.8-27B с плотной архитектурой Qwen3_5ForConditionalGeneration, поддержкой чата и изображений. В репозитории указаны формат safetensors и лицензия Apache-2.0. Модель предназначена для диалогов, ответов на вопросы, генерации кода и работы с изображениями. README описывает изменение поведения отказов с помощью удаления направлений отказа из весов и сообщает о результатах внутренних тестов на MMLU и задачах генерации кода. Метаданные перечисляют поддержку многих языков, включая русский, английский, китайский, вьетнамский и японский. README рекомендует температуру 0 и repetition_penalty 1.15 для обычной генерации; при агентном использовании советует температуру 0.1–0.3 и короткие ответы на ход. По данным README, в сравнении с исходной моделью V3 показывает снижение MMLU на 2,1 процентного пункта, а при генерации возможны повторы без настройки repetition_penalty. Модель описана как намеренно менее склонная к отказам на ограниченные запросы, поэтому её ответы требуют самостоятельной проверки.

Qwen3.8-9B-Distill-MTPLX-Q6G64 — локальная MLX-версия модели empero-ai/Qwen3.8-9B-Distill, подготовленная pooyakn73 с использованием MTPLX для нативного multi-token prediction и speculative decoding на Apple Silicon. Это мультимодальная модель архитектуры Qwen3-Next с поддержкой текста и изображений, предназначенная для локальной генерации текста, программного кода и анализа изображений с ускоренным декодированием. Модель содержит около 9 млрд параметров, контекстное окно 262 144 токена и занимает около 8,7 ГБ на диске. Основная часть параметров квантизирована до 6 бит с group size 64 и affine-квантизацией, тогда как MTP draft head и vision tower сохранены в bf16. Такая конфигурация позволяет использовать speculative decoding без потери корректности, а на Apple M5 Pro демонстрирует до 74,9 токена в секунду при оптимальной глубине спекуляции 2. Vision tower восстановлен и сохранён, поскольку стандартный путь конвертации MLX мог его исключать. Сильные стороны модели — сочетание мультимодальности, большого контекстного окна, компактного размера и высокой скорости локального вывода на Apple Silicon. В тесте HumanEval она показала pass@1 81,10% при настройке reasoning effort xhigh, однако более крупные модели в приведённом сравнении достигли около 96% и выше, поэтому модель может уступать им в сложных задачах рассуждения и генерации кода. Указанные показатели скорости и качества зависят от оборудования, настроек декодирования и длины генерации. Модель распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Thinking-GGUF — GGUF-версия модели Qwen3-Next-80B-A3B-Thinking, разработанной командой Qwen и подготовленной Unsloth. Это авторегрессионная языковая модель для генерации текста, ориентированная прежде всего на сложные задачи рассуждения, включая математические задачи, анализ знаний, программирование и агентные сценарии. Модель поддерживает только режим thinking, поэтому при генерации может формировать длинную цепочку рассуждений. Модель использует гибридную архитектуру Gated DeltaNet и Gated Attention, высокоразреженную Mixture-of-Experts с 80 млрд параметров всего и примерно 3 млрд активируемых на токен, а также Multi-Token Prediction. Архитектура включает 48 слоёв и 512 экспертов, из которых активируются 10; нативный контекст составляет 262 144 токена и может быть расширен до 1 010 000 токенов. Ключевые сильные стороны — высокая параметрическая эффективность, сниженные вычисления на токен, ускорение инференса на длинном контексте и хорошие результаты на сложных задачах рассуждения. Ограничения включают обязательный режим thinking, потенциально длинные ответы и отсутствие в предоставленных данных сведений о поддерживаемых языках, точных параметрах GGUF-квантизации и требованиях к оборудованию. Лицензия — Apache 2.0.

BennyDaBall/Qwopus3.8-27B-Flash-NVFP4 — локальная квантованная версия модели Qwopus3.8-27B-Flash, разработанной Jackrong. Это GGUF-модель для запуска через llama.cpp и LM Studio, оптимизированная прежде всего для видеокарт NVIDIA Blackwell, включая RTX 5090. Модель предназначена для программирования, агентских сценариев, работы с инструментами и функциями, генерации кода и диалоговых приложений. В основе находится плотная текстовая модель с 27 млрд параметров и 64 текстовыми слоями, использующая NVFP4 для основных матриц внимания, Gated DeltaNet и MLP. В модели сохранена высокоточная MTP-компонента для встроенного speculative decoding без отдельной draft-модели. Выходные, embedding- и крупные MTP-тензоры имеют более высокую точность, а малые служебные тензоры сохранены в F32. Поддерживается контекст до 262 144 токенов. Модель мультимодальная: для анализа изображений используется отдельный совместимый BF16 vision projector. Заявлены языки English, Chinese, Spanish, Russian и Japanese. К сильным сторонам относятся уменьшенный размер по сравнению с исходной BF16-версией, встроенное ускорение генерации через MTP, поддержка изображений, tool use и function calling, а также готовый шаблон чата с поддержкой мультимодального ввода и сохранения reasoning-контента. Основные ограничения связаны с требованиями к окружению: оптимизация и проверка выполнены на одной RTX 5090 с 32 ГБ памяти, необходима свежая сборка llama.cpp с поддержкой NVFP4, мультимодальности и draft-mtp, а старые runtime могут не загрузить тензоры типа 40. Для работы с изображениями требуется дополнительный файл mmproj; доступный контекст в таком режиме может быть уменьшен из-за расхода памяти. Модель распространяется по лицензии Apache-2.0.

Shuttle-3 — языковая чат-модель компании ShuttleAI Inc., выпущенная в бета-версии в октябре 2024 года. Это дообученная версия Qwen2.5-72B-Instruct с плотной архитектурой Qwen2 и 71,5 млрд параметров; для общения используется формат ChatML. Контекст составляет 32 768 токенов. Модель предназначена для сложных диалогов, многоязычного общения, рассуждений, агентных сценариев и ролевых бесед. В обучении использовались мультиязычные и программные данные, а дообучение включало 130 млн токенов и ролевые данные; модель также настраивали на стиль прозы Claude 3. Репозиторий распространяет веса в формате safetensors. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с лицензией в репозитории. Модель помечена как beta; качество и поведение в отдельных языках и сценариях могут различаться.

Dolphin 3.0 Llama 3.1 8B — универсальная диалоговая модель, созданная Эриком Хартфордом, Беном Гиттером, BlouseJury и Cognitive Computations. Это дообученная версия Meta Llama 3.1 8B с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Модель рассчитана на локальное использование и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов в чате, помощи с программированием и математикой, работы с агентными сценариями и вызовом функций, а также для общих задач. Использует шаблон диалога ChatML; поведение и тон ответа можно настраивать системным промптом. В карточке перечислены обучающие наборы для кода, математики, инструкций и диалогов. Указан английский язык. Модель распространяется в формате Safetensors по лицензии Llama 3.1. Карточка позиционирует её как управляемую владельцем локальную модель; качество и безопасность ответов зависят от системного промпта и применения. В README приведены результаты оценок, но полноценное описание методики оценки отсутствует.

cafepm/gemma-4-12b-it-Q3Q4-GGUF — это смешанно-квантованная версия Gemma 4 12B Instruct, опубликованная cafepm. По карточке, 20% весов квантованы до 4 бит, а остальные 80% — до 3 бит; файлы представлены в формате GGUF. Базовая модель — google/gemma-4-12B-it. Репозиторий предназначен для локального запуска, в том числе для помощи при программировании в VS Code и работы на потребительском оборудовании. Модель принимает текст и изображения и формирует текстовые ответы; поддерживает диалог и визуальное понимание. В карточке базового семейства заявлены анализ документов и изображений, распознавание текста, работа с длинным контекстом и использование инструментов. Для этого конкретного квантованного варианта заявлен контекст до 200 тысяч токенов, однако README также приводит для Gemma 4 12B значение до 256 тысяч; фактический предел зависит от сборки и рантайма. Семейство поддерживает более 35 языков, но список языков для этой сборки не приведён. README заявляет, что схема смешанной точности сохраняет качество генерации уровня Q4 при размере, близком к Q3, и позволяет разместить модель в 8 ГБ VRAM; независимые результаты оценки не приведены. Квантование снижает требования к памяти, но может влиять на качество по сравнению с исходными весами, а длинный контекст требует значительных ресурсов. Указана лицензия Apache-2.0.

TeichAI Gemma 4 31B it Claude Opus Distill — мультимодальная модель диалогового семейства Gemma 4, созданная дообучением unsloth/gemma-4-31B-it с помощью Unsloth на наборах траекторий рассуждений Claude Opus и Sonnet. Она предназначена для диалогов и задач, требующих многошагового анализа: генерации и отладки кода, научных рассуждений, синтеза исследовательских материалов и выполнения инструкций. Архитектура — плотная Gemma4ForConditionalGeneration; модель работает с текстом и изображениями, поддерживает режим рассуждений и использует формат safetensors. В метаданных основная задача указана как image-text-to-text. README описывает вариант с высоким уровнем усилий рассуждения и рекомендует более новую версию v2, отмечая улучшения качества данных и шаблона чата в v2. Модель рассчитана на применение с Transformers и поддерживает переменное разрешение изображений. Карточка не сообщает размер контекстного окна и перечень поддерживаемых естественных языков, поэтому эти характеристики здесь не уточняются. Лицензия — Apache-2.0. Качество и стабильность текущей версии могут уступать v2; заявленные возможности в коде, науке и исследованиях в README не сопровождаются приведёнными здесь количественными результатами оценки.

MiniMax-M3 — мультимодальная модель семейства MiniMax, опубликованная пользователем sdlangshaw; в README оригинальная разработка приписана MiniMax. Она предназначена для диалогов с текстом и изображениями, анализа видео, программирования и агентных задач. Модель содержит около 428 млрд параметров, из которых активируется около 23 млрд, и использует разреженное внимание MiniMax Sparse Attention (MSA). Заявлена длина контекста до 1 млн токенов; README сообщает о повышении скорости обработки длинного контекста относительно M2. Модель поддерживает текстовые и визуальные сценарии, включая видео, и рассчитана на длинные многошаговые задачи: например, разработку кода и совместную работу с агентом. Для использования README указывает MiniMax Agent и MiniMax API, а также локальное развёртывание из репозитория MiniMaxAI/MiniMax-M3. В репозитории sdlangshaw/MiniMax-M3 представлены веса safetensors для Transformers. Лицензия указана как other, без уточнения её условий в доступных данных. Заявления о производительности и возможностях приведены в README модели; они не сопровождаются здесь независимыми результатами проверки.

Nail-Qwen3.6-35B-A3B-GGUF — это 4-битная GGUF-квантизация модели Qwen3.6-35B-A3B, разработанной Qwen и опубликованной peculiar-ragdoll. Модель предназначена для локального запуска через llama.cpp, прежде всего для рассуждений, многошаговых диалогов, агентной работы и автономной разработки программного обеспечения. В поставку также входит улучшенный chat template с принудительно добавляемым системным промптом, который настраивает модель на прямые, лаконичные и ориентированные на результат ответы. Модель использует архитектуру MoE с заявленным размером 35B и активной частью около 3B параметров; доступна в формате GGUF с квантизацией UD-Q4_K_XL. Заявлен нативный контекст до 262 144 токенов, поддерживаются английский и китайский языки. По данным автора, модель особенно сильна в скорости получения ответа, агентном программировании и многоходовых сценариях, сохраняя сопоставимую с более крупными моделями точность на ряде тестов. Увеличенный объём рассуждений может быстрее расходовать контекст, поэтому для очень длинных сессий модель уступает некоторым альтернативам по выносливости. Модель рассчитана на локальное использование и может работать на совместимом оборудовании с ограниченным объёмом памяти; автор указывает, что примерно 180 тысяч токенов контекста с 8-битным KV-кэшем должны помещаться в 24 ГБ памяти. Лицензия — Apache 2.0.

unsloth/Qwen3.5-35B-A3B-MTP-GGUF — это GGUF-версия мультимодальной модели Qwen3.5-35B-A3B, разработанной командой Qwen; конвертацию, квантизацию и публикацию сборки выполнила Unsloth. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживается Transformers, vLLM, SGLang и KTransformers. Архитектура относится к MoE-линейке Qwen3.5; обозначение A3B указывает на модель с общим размером около 35 млрд параметров и примерно 3 млрд активных параметров на токен, однако точные характеристики в представленном README не приведены. Модель ориентирована на диалоговые сценарии, генерацию текста и кода, работу с длинным контекстом, вызов инструментов и использование developer role. Доступна поддержка мультимодальных задач с изображениями, но при использовании MTP некоторые возможности ограничены: режим не поддерживает параллельные последовательности с параметром -np > 1 и работу с --mmproj. MTP speculative decoding может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступно включение и отключение режима рассуждений. К сильным сторонам относятся улучшенные послеобучение и квантизация, заявленные улучшения качества диалогов, программирования, длинного контекста и tool calling, а также возможность эффективного локального запуска в разных вариантах GGUF. Ограничения включают зависимость от совместимого программного обеспечения и специальных настроек для MTP, а также отсутствие в README точных сведений о поддерживаемых языках, максимальной длине контекста и полном наборе мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0.

Claude Fable 5 — модель класса Mythos от Anthropic, предназначенная для автономной интеллектуальной работы и задач программирования. Она принимает текст, изображения и файлы, а выдаёт текст; также заявлена поддержка рассуждений. Модель подходит для сценариев, где нужно анализировать предоставленные материалы и выполнять задачи по коду. Метаданные каталога относят её к задаче image-text-to-text. Данных о размере, контексте, языках и лицензии в предоставленных источниках нет.

Locutusque/DareQwen-2.5-7B — объединённая языковая модель, созданная автором репозитория с помощью mergekit на основе Qwen2.5. В слиянии DARE TIES использованы Qwen2.5-7B, Qwen2.5-7B-Instruct, Qwen2.5-Coder-7B-Instruct и Qwen2.5-Math-7B-Instruct; параметры сохранены в формате bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, а объединение вариантов Instruct, Coder и Math ориентировано на сочетание общих инструкций, программирования и математических задач. В метаданных также отмечен интерфейс вызова инструментов. Указана поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. README предупреждает, что объединённая модель требует дообучения, поэтому её готовность к практическому использованию без дополнительной настройки не подтверждена. Лицензия в предоставленных данных не указана.

J.A.R.V.I.S. — дообученная разговорная языковая модель автора hadadrjt на базе Qwen3-14B, представленная как базовая и облегчённая версия публичного релиза. Это плотная авторегрессионная модель с 14 млрд параметров, контекстом до 40 960 токенов и форматом Safetensors; она предназначена для генерации текста, диалогов и интеграции в чат-боты, агентные сценарии, инструменты и автоматизированные процессы. README описывает ответы на вопросы, объяснения, перевод, написание кода, суммаризацию и творческое письмо. Модель принимает текст и генерирует текст. В README также упоминаются аудио- и графические функции в основном Space, однако они недоступны в терминальной и OpenAI-совместимой версиях API и не подтверждены как возможности этой модели из репозитория. Лицензия — Apache-2.0. Автор предупреждает о возможных предвзятых или ошибочных ответах и не рекомендует применять модель в критически важных сценариях без проверки человеком.

Kanana 1.5 2.1B Instruct — языковая модель компании Kakao, выпущенная в мае 2025 года. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 1,9 млрд параметров и контекстом до 32 768 токенов. Веса доступны в формате Safetensors, лицензия — Apache 2.0. Модель предназначена для диалогов и генерации текста, включая задачи программирования, математики и вызова функций. Она подходит для ответов на вопросы, помощи с кодом, решения математических задач и продолжительных бесед; README отмечает улучшения в этих возможностях по сравнению с предыдущей версией семейства. Модель поддерживает английский и корейский языки; интерфейс вызова функций указан среди её возможностей. Для контекста длиннее 32K токенов README описывает расширение до 128K с помощью YaRN. Качество на конкретных задачах зависит от запроса и сценария; количественные результаты оценки в предоставленной карточке опущены. Kakao указывает, что пользовательские данные Kakao не использовались для предобучения или последующего обучения.

NULLXES SHINRA-4B-INSTRUCT — разработанная NULLXES инструкционно дообученная плотная decoder-only Transformer-модель с архитектурой ShinraForCausalLM и 3,93 млрд параметров. Она служит языковым компонентом системы NULLXES и рассчитана на диалог, выполнение инструкций, генерацию кода и структурированных ответов, а также подготовку черновиков для агентов и инструментов. Поддерживает девять языков: английский, русский, немецкий, французский, испанский, китайский, японский, корейский и арабский. Контекст — до 32 768 токенов; README указывает, что продолжение за пределы 8 192 токенов использует экстраполяцию RoPE YaRN. Модель обучалась на текстах, коде, математике и научных материалах, а затем проходила SFT и DPO-выравнивание. Её можно применять для многоязычной генерации, помощи с программированием, следования инструкциям и выдачи JSON. Модель уступает более крупным системам в многошаговых рассуждениях и работе с редкими языками; остаточный вредоносный контент возможен. README позиционирует её для исследований и внутренней интеграции NULLXES, исключая автономные высокорисковые решения и применение без дополнительных защитных слоёв. Для загрузчиков Hugging Face требуется trust_remote_code=True. Лицензия указана как other, конкретные условия в предоставленных данных не приведены.

Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-NVFP4 — это квантизированная версия модели AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16, опубликованная sakamakismile. Сама базовая модель разработана AEON-7 на основе семейства Qwen; данный репозиторий содержит только квантизированные веса. Модель предназначена для генерации текста, включая диалоговые сценарии, рассуждения, программирование и многоязычные задачи. Используется квантизация NVFP4 W4A4 с размером группы 16: большая часть параметров представлена в 4-битном формате, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bf16. Размер весов уменьшен с 55,6 до 20,58 ГБ. Сохранена MTP-голова для speculative decoding; модель рассчитана на GPU Blackwell SM120 и работу через vLLM. В README указана конфигурация с контекстом до 32 768 токенов и KV-кэшем FP8. Проверялись японское самопредставление, арифметика, проверка простоты чисел и генерация Python-кода; также приведены тесты на английском и французском языках. Сильные стороны модели — существенно меньший размер по сравнению с BF16-версией, возможность размещения на двух видеокартах по 16 ГБ с запасом для KV-кэша и ускорение за счёт speculative decoding. Для длинных запросов рекомендуется устанавливать reasoning_effort в medium: при максимальном уровне модель может чрезмерно долго генерировать блок рассуждений, зацикливаться и не выдавать итоговый ответ. В длинном одnofайловом коде иногда пропускается закрывающая скобка, поэтому рекомендуется использовать синтаксическую проверку. Модель лицензирована по Apache-2.0.

jakeatx выпустил экспериментальный компактный чекпойнт семейства Qwen3.8 Perian на архитектуре Qwen4ExpTextForCausalLM типа MoE. Модель предназначена для генерации текста в диалогах и многошаговых сценариях, включая рассуждения, код, работу с инструментами и поиск по контексту. Она содержит 3,6 млрд параметров и поддерживает контекст до 262 144 токенов. Это производный чекпойнт с упаковкой routed-expert весов в NVFP4 E2M1; таблица PLE n-грамм сохранена в BF16, остальные тензоры оставлены в исходной точности. По README, логический размер тензоров уменьшен на 43,26% относительно исходного чекпойнта. Карточка сообщает о проверках структуры, приближённого сохранения весов и генерации. Модель опубликована под лицензией Apache-2.0. В README указано требование установить включённый компактный runtime patch перед загрузкой; результаты проверки ограничены описанными в карточке тестами. Языковая специализация не заявлена.

Atom-80B — диалоговая языковая модель VANTA Research, дообученная на базе Qwen3-Next-80B-A3B-Instruct для совместной работы с человеком. Это пятая модель проекта Atom, ориентированного на модели с дружелюбным и ориентированным на сотрудничество стилем общения. Модель использует архитектуру Qwen3 Next с разреженной схемой Mixture of Experts (MoE); в метаданных указано 2,3 млрд параметров и контекст до 262 144 токенов. Работает с текстом и предназначена для генерации ответов в формате диалога. Модель подходит для совместного мозгового штурма, синтеза исследовательских материалов, объяснения технических тем, обсуждения кода и творческого решения задач. Разработчик заявляет о сильных сторонах в многошаговых рассуждениях, совместном выполнении задач и устойчивом стиле общения. README не приводит результаты независимых оценок качества, поэтому фактические утверждения следует проверять; модель не предназначена для принятия решений с высокими ставками без контроля человека и не должна заменять медицинскую, юридическую или финансовую консультацию. Лицензия — Apache-2.0.

Cogito v1 preview 14B — инструктивно дообученная генеративная языковая модель компании DeepCogito на архитектуре Qwen2.5-14B. Она принимает текст и генерирует текст, поддерживает прямые ответы и режим с дополнительным рассуждением, который можно включить через системную инструкцию или шаблон чата. Модель рассчитана на программирование, STEM-задачи, следование инструкциям, диалог и вызов инструментов. Модель содержит 14 млрд параметров, использует формат safetensors и поддерживает контекст до 131 072 токенов. По README, её обучали более чем на 30 языках и оптимизировали для многоязычных задач, кода и вызова инструментов. В карточке заявлено обучение методом Iterated Distillation and Amplification и преимущество над сопоставимыми по размеру моделями на типовых бенчмарках; подробности оценок приведены в публикации разработчика. Модель доступна по лицензии Apache 2.0, разрешающей коммерческое использование. Как и другие генеративные модели, она может ошибаться; README не приводит конкретных ограничений или результатов бенчмарков для этого чекпойнта.

DeepSeek-R1-Distill-Qwen-32B-bf16 — языковая модель с архитектурой Qwen2, опубликованная сообществом mlx-community в формате MLX для запуска на устройствах Apple Silicon. Репозиторий содержит 32-миллиардную модель, конвертированную из deepseek-ai/DeepSeek-R1-Distill-Qwen-32B с помощью mlx-lm 0.21.1; исходная модель является дистилляцией DeepSeek-R1 на базе Qwen. Модель предназначена для диалоговой генерации текста и рассуждений, в том числе для решения задач по математике и программированию. Заявленная длина контекста составляет 131072 токена. Поддерживаются чат и интерфейс вызова инструментов. В карточке указана лицензия Apache-2.0. Ограничения по качеству и условиям применения в README не описаны.

dots.ocr-1.5 — мультимодальная модель для распознавания текста и разбора документов, опубликованная под идентификатором MdMonsur/dots.ocr-1.5. В README описана архитектура из визуального энкодера на 1,2 млрд параметров и языковой модели на 1,7 млрд параметров; метаданные указывают 1,5 млрд параметров, архитектуру dots_ocr и контекст 131072 токена. Модель принимает изображения документов и веб-экранов, извлекает текст и структуру, включая расположение элементов, таблицы и формулы. Она также распознаёт текст на изображениях и объектах, отвечает на вопросы по изображениям и преобразует диаграммы, графики и другие структурированные визуальные элементы в SVG-код. README заявляет поддержку широкого набора письменностей; метаданные отмечают английский, китайский и многоязычный режимы. Модель подходит для автоматизации оцифровки документов, веб-страниц и визуальных материалов. README отмечает, что сложные таблицы и формулы остаются трудными, разбор графики в SVG может быть нестабильным, а ошибки парсинга всё ещё возможны. Лицензия — MIT.

MLX-версия модели K2-Horizon-3.7B от IFM, подготовленная сообществом mlx-community для компьютеров Apple с Apple Silicon. Это плотная авторегрессионная языковая модель с 3,7 млрд параметров и контекстом 524 288 токенов, предназначенная для генерации текста и диалогов. Сборка использует веса bf16 без квантизации и формат safetensors; размер на диске — около 10,1 ГБ. Модель подходит для ответов на вопросы, рассуждений, программирования и агентных сценариев в приложениях на базе MLX. Реализация архитектуры K2-Horizon поставляется вместе с репозиторием, поскольку поддержка этой архитектуры в mlx-lm может зависеть от версии библиотеки. Для запуска требуется mlx-lm; в некоторых версиях необходимо разрешить загрузку удалённого кода. Длинный контекст требует значительной дополнительной памяти для KV-кэша. Конвертация сверялась с реализацией IFM на PyTorch. Лицензия — Apache-2.0.

Nex-N2.5-mini-GGUF — набор общественных GGUF-квантизаций модели Nex-N2.5-mini, разработанной Nex-AGI и преобразованной в GGUF пользователем ngquocvinh для запуска через llama.cpp. Модель предназначена для локального текстового поколения и агентных сценариев с длительными цепочками действий, включая работу с компьютером, веб-сёрфинг, визуальное заземление, программирование, рассуждения и вызов инструментов. Исходная модель поддерживает изображения и видео через официальный мультимодальный процессор и шаблон чата; для этого релиз включает отдельный vision projector mmproj-Nex-N2.5-mini-F16.gguf. Архитектура исходной модели — Qwen3.5 Mixture-of-Experts с 256 экспертами, из которых активны 8 на токен, и 40 текстовыми слоями. Размер исходной BF16-версии — 35 млрд параметров, заявленный текстовый контекст — 262 144 токена, однако локальная проверка данного пакета проводилась только с контекстом 4096 токенов. Доступны варианты от Q1_0 до Q8_0; Q4_K_M рекомендуется как практичный баланс памяти и качества, а Q5_K_M, Q6_K и Q8_0 обычно сохраняют больше точности. Низкобитные варианты требуют проверки на конкретной задаче: измерения показывают заметное снижение сходства с BF16, особенно у Q1_0. Релиз не обучает и не дообучает модель, а выполняет только конвертацию и квантизацию, поэтому качество зависит от выбранного профиля и рабочей нагрузки. Приведённые тесты оценивают лишь сходство поведения при предсказании следующего токена и не гарантируют сохранение исходных возможностей в рассуждениях, мультиязычности, работе с изображениями или инструментами. Распространение указано по лицензии Apache-2.0.

Occamy-1.0 APEX-I-MiniPlus-V2.1 Abliterated GGUF — это квантизированная версия Occamy-1.0, разработанная IsValorum на базе Accio-Lab/occamy-1.0. Модель предназначена для генерации текста, рассуждений, программирования и работы с большими контекстами, включая сценарии локального запуска через llama.cpp на системной RAM и GPU. Это аблитерированная версия без стандартных отказов и защитных ограничений, поэтому она ориентирована на пользователей, которым требуется более свободное выполнение запросов, в том числе в задачах кибербезопасности и пентестинга. Модель использует разреженную архитектуру Mixture-of-Experts с 40 слоями и 256 микроэкспертами. В сборке применена кастомная тензорная квантизация: основные эксперты используют IQ3_XXS, периферийные — Q3_K, shared-эксперты — Q5_K, attention-компоненты — Q4_K и Q6_K, выходная голова — Q6_K, а маршрутизаторы — F32. Заявлен контекст до 256K токенов. Поддерживаются английский, китайский, испанский, французский, немецкий, португальский, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Сильными сторонами заявлены компактный размер около 13,74 GiB, сохранение качества рассуждений при квантизации, отсутствие отказов в протестированном наборе запросов и эффективная работа при частичной или полной выгрузке в системную память. Ограничения включают потенциальные риски неконтролируемой генерации из-за удаления защитных механизмов, зависимость производительности от GPU, процессора и пропускной способности памяти, а также отсутствие в представленном README подробных независимых бенчмарков. Лицензия — Apache-2.0.

Ornith-1.0-35B-GGUF-llamacpp-tp1 — это GGUF-версия языковой модели Ornith-1.0-35B, разработанной deepreinforce-ai, подготовленная для запуска через llama.cpp на одной GPU. Модель предназначена для генерации текста и кода, а также для сценариев локального сервинга с различными требованиями к скорости, объёму памяти и точности. В комплект входят варианты квантования Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0, а также вариант IQ4_XS-MTP с интегрированной головой multi-token prediction для ускорения спекулятивной генерации при низкой конкуренции. Размер исходной модели составляет 35B параметров. Доступны артефакты объёмом примерно от 15,61 до 34,37 GiB на диске, с требованиями к загруженной VRAM примерно от 17,27 до 34,77 GiB в зависимости от квантования. Вариант Q4_K_M позиционируется как сбалансированный по скорости и памяти, Q6_K и Q8_0 обеспечивают наиболее высокую точность, а Q3_K_M предназначен для минимального потребления памяти. Для MTP-варианта заявлено ускорение однопоточной генерации примерно в 1,3 раза; при этом длинные детерминированные последовательности не являются побитно идентичными режиму без MTP. Сильными сторонами являются широкий выбор квантований, высокая скорость инференса через llama.cpp и возможность локального запуска на одной GPU. Ограничениями выступают требование режима tp=1, отсутствие поддержки multi-GPU tensor parallel serving в этой версии и неизбежная потеря точности у более компактных квантований. Лицензия — MIT.

Phi-3.5-MoE-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Phi-3.5-MoE-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с кодом и многоязычными запросами, и может запускаться локально через llama.cpp или LM Studio. В набор входят варианты от F16 до низкоразрядных Q2 и IQ-квантизаций размером примерно от 15 до 84 ГБ. Доступны версии с различным компромиссом между качеством, требованиями к памяти и скоростью работы; наиболее качественными считаются F16, Q8_0 и Q6, а Q4-варианты ориентированы на более широкий круг локальных сценариев. Модель относится к архитектуре Mixture of Experts, однако точные сведения о числе параметров, длине контекста и поддерживаемых языках в README не указаны; заявлена многоязычность. Сильные стороны — широкий выбор форматов, локальный запуск и возможность подобрать размер модели под доступные ресурсы. Ограничения зависят от уровня квантизации: уменьшение размера может снижать качество, а даже компактные варианты требуют значительного объёма памяти. Модель распространяется по лицензии MIT.

mlx-community/Qwen3-32B-bf16 — конверсия модели Qwen/Qwen3-32B в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm версии 0.24.0. Это плотная авторегрессионная языковая модель семейства Qwen3 с 29,7 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Для неё указан контекст длиной до 40 960 токенов. Базовая Qwen3 — многоязычная модель для диалога, рассуждений, программирования и работы с инструментами; конкретный перечень поддерживаемых языков в карточке этой конверсии не приведён. Репозиторий содержит веса safetensors и предназначен для использования с библиотекой MLX, в частности через mlx-lm. Модель доступна по лицензии Apache-2.0. Качество и скорость могут зависеть от оборудования и программной среды MLX; приведённые сведения не описывают отдельную проверку этой конверсии.

Qwen3.8-Flash-Next-IQ4_XS-GGUF — это квантизированная версия базовой модели Qwen/Qwen3.8-Flash-Next-FP8 в формате GGUF. Исходная модель разработана командой Qwen, а данный вариант подготовлен пользователем julianmb с использованием ROCmFPX и проверенного конвейера преобразования. Модель предназначена для генерации текста, включая повседневный диалог, программирование и работу с длинным контекстом. В репозитории представлены варианты квантизации IQ4_XS, включая статический файл размером около 116 GiB, imatrix-квантизацию M2 размером около 115 GiB и облегчённый PLE-вариант размером около 91 GiB. Для M2 заявлены 5,56 бит на вес и лучшее измеренное значение perplexity среди представленных вариантов; PLE-вариант уменьшает размер за счёт квантизации 51-миллиардной n-gram lookup table до iq4_nl. Также доступен отдельный MTP-файл Q8_0 размером около 3,9 GiB для ускоренной генерации в совместимых движках. Модель ориентирована на запуск на системах с 128 GiB унифицированной памяти, в частности на Strix Halo, через совместимые сборки llama.cpp и Vulkan. Заявлена работа с контекстом до 256k токенов при использовании SSD-PLE и специальных параметров запуска. Производительность зависит от варианта файла, глубины контекста, MTP и конкретного движка. Важное ограничение — PLE-вариант несовместим с некоторыми форками движков, которые не выполняют требуемую деквантизацию; в таких случаях рекомендуется статический вариант IQ4_XS или M2. Сведения о поддерживаемых языках и точной архитектуре в README не указаны. Лицензия обозначена как qwen-community-license-1.0.