I.11Классификация, ранжирование и сопоставление

Dolphin 3.0 Qwen 2.5 3B — инструктивно настроенная языковая модель от Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations, созданная на базе Qwen/Qwen2.5-3B. Это плотная авторегрессионная модель с 3,1 млрд параметров, контекстом до 32 768 токенов и шаблоном диалога ChatML. Репозиторий содержит веса в формате safetensors. Модель предназначена для локального применения в качестве универсального помощника: она генерирует текст, помогает с программированием и математикой, поддерживает сценарии работы с агентами и вызова функций. Поведение можно настраивать системным промптом, включая тон и правила ответа. В обучающих данных использованы наборы для программирования, математики, инструкций, диалогов и вызова функций; в метаданных указан английский язык. Модель рассчитана на владельцев приложений, которым нужны локальный запуск и контроль над системным промптом и данными. Для запуска можно использовать Transformers, Ollama, LM Studio, vLLM, SGLang или TGI. Лицензия обозначена в метаданных как other; конкретные условия следует проверять на странице модели. Карточка не содержит результатов оценивания качества, поэтому пригодность для конкретных задач нужно проверять отдельно.

insraq/G9v3-3B-heretic — созданная командой AI9Stars версия G9v3-3B, обработанная инструментом Heretic v1.4.0 для снижения числа отказов. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и примерно 2,7 млрд параметров, предназначенная для локального запуска и сценариев с ограниченными ресурсами. Модель поддерживает генерацию текста и диалоговое использование, включая повседневные запросы, программирование, рассуждения и взаимодействие с инструментами. Контекстное окно составляет 131 072 токена; в карточке указаны английский и китайский языки. В сравнении с исходной G9v3-3B модель показала 9 отказов из 100 тестовых запросов против 100 из 100 у оригинала; указанная дивергенция KL — 0,0410. Снижение числа отказов не гарантирует точности или безопасности: ответы могут быть ошибочными, предвзятыми или небезопасными, поэтому их следует проверять, особенно в важных сценариях. Весовые файлы представлены в формате safetensors. Лицензия — Apache-2.0.

G9v3-3B-Heretic-Abliterated-GGUF — плотная каузальная языковая модель с 3 млрд параметров, разработанная командой AI9Stars. Это GGUF-сборка базовой модели Vortecks/G9v3-3B-Heretic-Abliterated, предназначенная для локального запуска на устройствах с ограниченными ресурсами. Модель относится к задачам генерации текста и рассчитана на повседневное использование в роли ассистента, программирование, сценарии с вызовом инструментов и задачи, требующие рассуждений. Заявлена поддержка английского и китайского языков, а также сценариев с длинным контекстом, однако точный размер контекстного окна в README не указан. Сборка представляет собой вариант heretic abliterated: из активационного пространства удалены направления, связанные с отказами, поэтому модель позиционируется как uncensored и обычно отвечает на более широкий круг запросов, чем исходная instruction-tuned версия. Это одновременно является ограничением: у варианта отсутствуют обычные защитные механизмы safety-alignment, поэтому его ответы требуют дополнительной фильтрации и контроля. Доступны варианты GGUF с точностью от F32, F16 и BF16 до различных квантов Q8, Q6, Q5, Q4, Q3 и IQ; размер файлов составляет примерно от 1,4 до 12 ГБ. Квантизации созданы с помощью llama.cpp, а низкобитные варианты IQ1_*–IQ3_XXS — с использованием importance matrix. Модель распространяется по лицензии Apache-2.0. Для запуска и выбора компромисса между качеством, скоростью и потреблением памяти рекомендуется использовать совместимые с llama.cpp GGUF-квантизации; в README отдельно отмечены Q6_K, Q5_K_M, Q5_K_S и Q4_K_M.

AEON-7 выпустил BF16-версию Gemma-4-12B-it с удалёнными отказами и заявленным сохранением возможностей исходной модели. Это плотная мультимодальная модель семейства Gemma 4 с 12 млрд параметров, предназначенная для диалога и следования инструкциям; основная задача в метаданных — генерация текста. В README также указаны сценарии работы с кодом, математическими задачами и рассуждениями. Базовая модель поддерживает работу с изображениями, видео и аудио, однако карточка этой версии описывает прежде всего текстовую генерацию. В README модель позиционируется как точный BF16-вариант семейства K4 для дообучения или запуска на оборудовании без Blackwell. Для загрузки через мультимодальный путь vLLM требуется processor_config.json из карточки базовой модели. Приведённые авторами показатели производительности относятся к DGX Spark и оптимизированному контейнеру AEON vLLM; они не характеризуют другие конфигурации. Модель распространяется по лицензии Gemma Google.

Это квантованная сборка диалоговой модели GigaChat3-10B-A1.8B, опубликованная NikolayKozloff в формате GGUF для запуска через llama.cpp. В README указано, что модель получена из ai-sage/GigaChat3-10B-A1.8B-bf16; метаданные характеризуют базовую модель как MoE с 10 млрд параметров и 1,8 млрд активных параметров. Модель предназначена для генерации текста в диалоге, ответов на вопросы, а также задач по математике и программированию. Базовая модель поддерживает русский и английский языки и контекст до 256 тысяч токенов. Репозиторий указывает формат GGUF BF16, однако название модели также содержит Q6_K; сведения о точном формате файлов в карточке расходятся, поэтому конкретный уровень квантования здесь нельзя подтвердить. Лицензия — MIT.

Giraffe-13b-32k-v3 — авторегрессионная языковая модель на архитектуре Transformer/Llama, разработанная Abacus.AI. Она дообучена на базе Llama 2 13B для работы с контекстом до 32 768 токенов: длинный контекст получен с помощью интерполяции, затем модель дополнительно настроена на выполнение инструкций с использованием ShareGPT и Orca-Chat. В метаданных указано 12,9 млрд параметров. Модель предназначена для генерации текста и диалоговых задач по инструкциям. Длинное окно контекста подходит, например, для ответов на вопросы по объёмным документам и предоставленным результатам поиска; разработчик также сообщает об улучшении рассуждений и математических способностей на бенчмарках. Поддерживаемый язык в карточке явно не перечислен. Модель распространяется по лицензии Llama 2 Community License. Разработчик предупреждает, что безопасность модели не оценивалась, и позиционирует её для исследований и экспериментов; результаты могут содержать ошибки.

Delta-Vector/GLM-4-32B-Tulu-Instruct — плотная языковая модель семейства GLM-4, дообученная автором на смеси Tulu-SFT. Она предназначена для диалогов, следования инструкциям и генерации текста; в метаданных также отмечены сценарии работы с кодом. Модель содержит 31,6 млрд параметров, принимает контекст до 32 768 токенов и использует формат диалога ChatML. Автор сообщает, что при обучении были удалены примеры выравнивания безопасности. Модель рассматривается как ассистент и основа для дальнейшего дообучения; оценка качества на длинном контексте не проводилась, а дополнительного обучения с подкреплением после SFT не было. Репозиторий распространяется по лицензии Apache-2.0.

GRM-3.2-Sky-ONYX-GGUF — это квантованная GGUF-версия модели OrionLLM/GRM-3.2-Sky, подготовленная разработчиком el4. Модель предназначена для текстовой генерации, рассуждений, программирования и агентских сценариев с использованием llama.cpp или Ollama. В README она описывается как MoE-модель примерно на 35 млрд параметров, ориентированная на запуск на потребительском GPU; размер варианта ONYX-mini составляет около 11 ГБ. Ключевая особенность ONYX — адаптивное квантование с динамическим выявлением чувствительных слоёв и использованием Router-Weighted Imatrix, учитывающего вероятности маршрутизации экспертов MoE. Подход должен помогать сохранять качество наиболее важных экспертов и слоёв при сильном уменьшении размера модели. Заявлены возможности генерации кода, многошагового рассуждения и работы с несколькими языками, включая японский, испанский и египетский арабский, однако точный набор поддерживаемых языков и размер контекста в README не указаны. В качестве сильных сторон заявляются компактность, пригодность для локального запуска и сохранение качества в задачах программирования, отладки и многоязычного переключения. При этом приведённые результаты основаны на демонстрационном стресс-тесте, поэтому они не заменяют независимое сравнение с исходной моделью. Степень потери качества из-за квантования, требования к памяти и производительность могут зависеть от конкретного варианта ONYX и оборудования. Лицензия в представленном README не указана.

HunyuanOCR-1.5-GGUF-Updated — GGUF-сборка мультимодальной модели HunyuanOCR-1.5, разработанной Tencent на базе tencent/HunyuanOCR. Это специализированная vision-language модель для распознавания и анализа документов: извлечения текста, разбора структуры и макета, обработки таблиц, графиков и формул, text spotting, информационного извлечения, а также перевода текста с изображений между китайским и английским языками. Поддерживаются английский и китайский языки. Модель использует архитектуру HunYuanVLForConditionalGeneration и рассчитана на работу с изображениями и текстом. Заявлены максимальное разрешение изображения до 4K и контекстное окно до 128K токенов. Версия 1.5 сохраняет архитектурную основу HunyuanOCR-1.0 и добавляет DFlash speculative decoding для ускорения генерации длинных структурированных результатов, включая плотные документы, таблицы и формулы. Доступны варианты точности BF16, F16, F32 и квантизации Q3–Q8, что позволяет запускать модель на CPU, потребительских GPU и ноутбуках через llama.cpp, а также использовать Transformers и vLLM. Сильные стороны модели — объединение нескольких OCR-сценариев в одном VLM, поддержка структурированного разбора документов, длинного контекста, 4K-изображений и локального запуска в GGUF-формате. Ограничения включают заявленную специализацию преимущественно на китайском и английском языках, необходимость совместимых инструментов и компонентов для отдельных режимов инференса, а также возможные компромиссы между качеством и ресурсами при использовании квантизированных вариантов. Распространяется по Tencent Hunyuan Community License Agreement; в метаданных также указана лицензия Apache-2.0.

Карточка модели Cdsnutz/K2-Horizon-3.7B-heretic-xortron на Hugging Face совпадает с карточкой darkc0de/K2-Horizon-3.7B-heretic-xortron, поэтому описание составлено по ней. Это версия IFM/K2-Horizon-3.7B с уменьшенным числом отказов, созданная разработчиком darkc0de методом Heretic v1.4.0. В основе — плотная авторегрессионная модель K2-Horizon с 3,7 млрд параметров ядра и контекстом до 524 288 токенов; метаданные указывают 4,1 млрд параметров всего. Модель предназначена для диалоговой генерации текста, включая рассуждения, задачи по коду и агентные сценарии. По сравнению с исходной моделью в приведённом README тесте частота отказов снизилась с 98 до 11 из 100, а расхождение по KL-дивергенции составило 0,0088. Модель доступна в формате Safetensors и использует библиотеку Transformers. README приводит настройки запуска через vLLM и SGLang. Заявлена лицензия Apache-2.0; уменьшение отказов может повлиять на поведение защитных механизмов.

Llama3.1-8B-Titanium-Forge — языковая модель, созданная ZeroXClem методом слияния четырёх моделей ValiantLabs на базе семейства Llama 3.1. Она объединяет диалоговые навыки ShiningValiant2, математические способности Cobalt, генерацию кода Enigma и структурированный вывод Fireplace2. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст, выдавая текст; заявленная длина контекста — 131 072 токена. Модель предназначена для технических консультаций, решения математических задач, написания и объяснения кода, создания SQL-запросов и JSON, а также для диалоговых помощников и творческого письма. Карточка заявляет поддержку вызова инструментов через интерфейс модели. Основной язык — английский; метаданные не содержат отдельного перечня поддерживаемых языков. Весовые файлы опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Заявленные специализации происходят из карточки и не сопровождаются результатами оценивания; точность ответов, качество на длинном контексте и надёжность структурированного вывода следует проверять для конкретного применения.

Llama-3-Instruct-15B-SPPO-Iter3-SH — чат-модель для генерации текста по инструкциям, описанная автором как увеличенная до 15 млрд параметров версия Llama-3-Instruct-8B-SPPO-Iter3 с заменой проекций. Модель создана с помощью mergekit: объединены Llama-3-Instruct-8B-SPPO-Iter3, L3-Aethora-15B-V2 и Llama-3-Instruct-abliteration-LoRA-8B с использованием методов Passthrough и SLERP. В метаданных указано 14,5 млрд параметров, архитектура LlamaForCausalLM и контекст 8192 токена. Модель предназначена для программирования, научных вопросов и общих инструкций. Карточка указывает формат safetensors и наличие квантованной версии GGUF Q5_K_M; для диалога используется шаблон Llama-3-Instruct. Основной язык базовой модели указан как английский. Лицензия в предоставленных данных не указана.

Locutusque/llama-3-neural-chat-v1-8b — диалоговая языковая модель Locutusque, дообученная на базе Meta Llama 3 8B. Для обучения использовались SFT и DPO, а данные были подобраны с усилением навыков программирования, математики и письма. Модель предназначена для разговорного взаимодействия и генерации текста, включая помощь с кодом, решение математических задач и написание текстов. Это плотная архитектура Llama с 7,5 млрд параметров и контекстом до 8192 токенов; репозиторий содержит веса Safetensors и рассчитан на использование с Transformers. Карточка указывает на широкую языковую поддержку, но не перечисляет конкретные языки. В README приведены результаты нескольких оценок, включая TruthfulQA и GSM8K. Модель унаследовала условия лицензии Llama 3; в метаданных лицензия обозначена как other.

Locutusque/Llama-3-Orca-2.0-8B — разговорная языковая модель, дообученная Locutusque на базе Meta Llama 3 8B преимущественно на SlimOrca и дополнительных данных. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога применяется шаблон ChatML. Модель предназначена для генерации текста в диалогах, а также для задач письма, программирования и математики. В карточке заявлены сильные результаты в написании текстов и коде; количественные оценки качества не приведены. Репозиторий содержит веса в формате Safetensors. Указана лицензия Llama 3; применяются условия лицензии Meta Llama 3.

Maestro-10B — языковая модель примерно с 9,9 млрд параметров, созданная suayptalha дообучением Virtuoso-Lite от arcee-ai на датасете OpenOrca. Она использует плотную архитектуру Llama и предназначена для диалогов и генерации текста; унаследованные от базовой модели сильные стороны включают рассуждения, генерацию кода, математические и технические задачи. Поддерживает контекст до 32 768 токенов и ориентирована на английский язык. Модель подходит для диалоговых ассистентов, ответов на вопросы, помощи с кодом и решения математических и технических задач. Файлы представлены в форматах PyTorch и Safetensors. В карточке указана лицензия «other», поэтому конкретные условия использования следует сверить с лицензией репозитория.

mergekit-community/mergekit-linear-mocebtg — объединённая плотная языковая модель, созданная сообществом с помощью mergekit методом Linear из DeepSeek-R1-Distill-Qwen-32B и mergekit-community/mergekit-model_stock-czbocwb. Она предназначена для генерации текста в диалоговом формате; интерфейс также поддерживает вызов инструментов. Модель построена на архитектуре Qwen2 и содержит 32 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. В метаданных указаны формат safetensors и библиотека Transformers. Базовая DeepSeek-R1-Distill-Qwen-32B дообучена для рассуждений и решения задач по математике и программированию, однако отдельные возможности и качество итогового слияния не описаны. Сведения о лицензии в предоставленных данных отсутствуют.

MiniCPM5-2B — плотная причинная языковая модель семейства MiniCPM5, разработанная командой MiniCPM. Она предназначена для локальных помощников, запуска на устройствах и в условиях ограниченных ресурсов, а также для задач программирования, рассуждений и работы с инструментами. Модель построена на архитектуре LlamaForCausalLM, содержит 2,2 млрд параметров по метаданным и поддерживает контекст до 131 072 токенов. Модель подходит для диалогов, агентных сценариев и обработки длинного контекста. В карточке отмечены сильные результаты относительно моделей сопоставимого размера в программировании, математике, работе с длинным контекстом и инструментами. Указаны английский и китайский языки. Доступны веса safetensors и запуск через Transformers, в том числе на CPU и GPU. Лицензия — Apache-2.0. Ответы могут содержать ошибки, предвзятые или оскорбительные сведения; выводы по медицине, финансам, праву и политике не являются профессиональной консультацией. Модель предоставляется без гарантий.

jondurbin/nontoxic-bagel-34b-v0.2 — экспериментальная чат-модель Джона Дарбина, полученная дообучением Yi-34B-200K с использованием набора Bagel и частичного DPO. Она предназначена для диалогов, ответов на вопросы, следования инструкциям, написания текстов и кода, математических задач и ролевого общения. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. При обучении использовались разнообразные наборы данных для диалогов, чтения с пониманием, программирования, математики и ролевых сценариев. Модель принимает текст и генерирует текст; README описывает форматы запросов Vicuna, Llama 2, Alpaca и ChatML. Карточка характеризует эту версию как довольно сильно цензурированную. Указана лицензия other, поэтому условия использования следует уточнять в карточке модели и у правообладателя.

Карточка модели stgallenquants/OpenThinker-32B на Hugging Face совпадает с карточкой trinityomnis/OpenThinker-32B, поэтому описание составлено по ней. OpenThinker-32B — плотная языковая модель на 32 млрд параметров, созданная дообучением Qwen/Qwen2.5-32B-Instruct командой OpenThoughts на наборе OpenThoughts-114k. Она предназначена для генерации текста в диалоге и задач, где требуется пошаговое рассуждение, включая математику, научные вопросы и программирование. Модель поддерживает контекст до 32 768 токенов; для работы доступны веса в формате Safetensors и интерфейс вызова инструментов. В README приведены результаты оценки на наборах математических и научных задач, но они не гарантируют аналогичного качества на других данных. Обучающие примеры получены с помощью дистилляции DeepSeek-R1, поэтому ответы могут содержать ошибки или необоснованные рассуждения. Модель распространяется по лицензии Apache 2.0.

Ornith-1.5-9B-OBLITERATED — модифицированная версия Ornith-1.5-9B, разработанного DeepReinforce. Модель доработана проектом OBLITERATUS и собрана Pliny the Prompter с применением precision abliteration surgery — удаления поведенческих направлений, связанных с отказами на потенциально опасные запросы. Она предназначена для генерации текста, программирования, рассуждений, исследовательских задач в области alignment и red teaming, а также агентских сценариев и автоматизации. Модель содержит около 9 млрд параметров и использует гибридную архитектуру Qwen3.5 с Gated DeltaNet и полными attention-слоями; редактированию подверглись все 32 трансформерных слоя. Заявлен английский язык, поддерживаются обычный и thinking-режимы, а также текстовая генерация. В репозитории доступны полноточные bf16-веса и варианты GGUF размером от Q2_K до Q8_0; для максимального сохранения характеристик рекомендуются Q8_0 и Q6_K. Указан контекст размером 8192 токена для примера запуска через llama.cpp, однако общий максимальный контекст README явно не подтверждает. Сильной стороной является существенно сниженная склонность к отказам при сохранении возможностей программирования, рассуждений и базовых агентских задач: в приведённых тестах модель показала 3/3 в генерации кода и 5/6 в тесте связности длинного контекста. Ограничения включают падение MMLU примерно на 4 процентных пункта относительно базовой модели, возможные дополнительные отказы в низкобитных квантизациях, частично ухудшенное function calling и риск галлюцинаций в сложных химических и синтетических сценариях. Модель распространяется по лицензии MIT; из-за удаления защитных ограничений результаты требуют независимой проверки и ответственного применения.

6block/Qwen3-14B-GGUF — набор GGUF-квантизированных версий языковой модели Qwen3-14B, разработанной Qwen. Квантизацию выполнил 6block с использованием llama.cpp и метода imatrix; исходная модель доступна как Qwen/Qwen3-14B. Модель предназначена для генерации текста и программного кода, включая двуязычные сценарии на английском и китайском языках, и может применяться локально через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 15,70 до 5,75 ГБ. Для калибровки использовался датасет с английскими, китайскими и программными текстами, что должно помогать сохранять способности к работе с китайским языком и кодом в моделях с низкой разрядностью. Более высокие варианты обычно обеспечивают лучшее качество, а низкоразрядные требуют меньше памяти, но сильнее ограничены потерями качества; I-кванты могут быть эффективнее по качеству на размер, но медленнее K-квантов на CPU. Архитектура, длина контекста и точный набор поддерживаемых языков в карточке не указаны. Модель распространяется по лицензии Apache 2.0. Для запуска требуется подходящее локальное программное обеспечение и объём RAM или VRAM, соответствующий выбранному файлу; конкретные требования зависят от варианта квантизации.

QwQ-SkyT1-32B-Preview — объединённая языковая модель на 32 млрд параметров, созданная методом линейного слияния Qwen/QwQ-32B-Preview и NovaSky-AI/Sky-T1-32B-Preview с помощью mergekit. Она использует плотную архитектуру Qwen2 и предназначена для диалоговой генерации текста; базовые модели рассчитаны в том числе на математические рассуждения и программирование. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и доступна в формате safetensors для библиотеки Transformers. Весовая точность при слиянии — float16. Подходит для диалоговых помощников, решения математических задач и помощи с программированием. Карточка не сообщает отдельной лицензии, поэтому условия использования следует проверять у авторов базовых моделей и в метаданных репозитория. Это предварительная версия, а её практическое качество для конкретных задач требует оценки.

Карточка модели snombi/store1 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

UltraLink-LM — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная OpenBMB. Это дообученная модель семейства Llama-2 размером около 13 млрд параметров, предназначенная для генерации текста по инструкциям и многораундового диалога на английском, французском, русском, испанском и китайском языках. Модель ориентирована на ответы в чате, написание кода и решение математических задач. При дообучении использовались UltraLink, UltraChat, наборы Magicoder, MetaMathQA и англоязычная часть ShareGPT; карточка сообщает о сравнительных оценках на мультиязычных бенчмарках кода, математики и диалога. Контекст модели — 4096 токенов. Веса опубликованы в формате safetensors под лицензией MIT. Заявленные возможности и качество основаны на оценках из карточки; бенчмарки для части языков были переведены с помощью GPT-3.5, а сама карточка отмечает возможную предвзятость оценок. Модель имеет 12,9 млрд параметров, поэтому для запуска требуется соответствующая вычислительная память.

cyberneurova-Qwen3.8-27B-GGUF — набор квантизированных сборок модели cyberneurova-Qwen3.8-27B, разработанной cyberneurova. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio, Jan и других средах, поддерживающих формат GGUF, и относится к задачам генерации текста. Модель имеет размер 27B параметров и доступна в вариантах квантизации от Q2_K до Q8_0 объёмом примерно от 10 до 29 ГБ. Рекомендуется вариант Q4_K_M как компромисс между качеством и требованиями к памяти. Заявлена мультимодальность: для обработки изображений требуется отдельный vision projector mmproj-F16.gguf объёмом около 0,9 ГБ. В README приведён пример контекста 8192 токена, однако максимальный размер контекста явно не указан. Языки не заявлены. К сильным сторонам относятся локальный запуск, несколько уровней квантизации, поддержка изображений и заявленный результат базовой модели 11 из 12 на исполняемом бенчмарке программирования. Ограничения включают зависимость качества и требований к памяти от выбранной квантизации, необходимость дополнительного проектора для работы с изображениями и наличие сокращённых встроенных отказов; пользователь несёт ответственность за применение модели и соблюдение законодательства. Модель распространяется по лицензии Apache-2.0.

mlx-community/Dolphin-2.9.3-Mistral-Nemo-12b-bf16 — преобразованная в формат MLX версия Dolphin 2.9.3 на базе Mistral Nemo, подготовленная сообществом mlx-community. Это плотная языковая модель с архитектурой MistralForCausalLM и 12,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель дообучена на базе mistralai/Mistral-Nemo-Base-2407; среди датасетов указаны Dolphin-2.9, OpenHermes-2.5, наборы для программирования, математики, вызова функций и агентных сценариев. Каталог указывает контекст до 1 024 000 токенов. Репозиторий содержит веса safetensors, а README описывает конвертацию в MLX с помощью mlx-lm 0.16.1, поэтому модель рассчитана на запуск в экосистеме MLX. Подходит для ответов на вопросы, следования инструкциям, генерации кода и решения математических задач. В метаданных указана лицензия Apache-2.0. Практическая применимость заявленной длины контекста и качество на конкретных задачах отдельно не подтверждены в предоставленной карточке.

mlx-community/dolphin-2.9-llama3-8b-4bit-mlx — 4-битная конверсия в формат MLX модели Dolphin 2.9 от Cognitive Computations, выполненная сообществом mlx-community с помощью mlx-lm 0.10.0. В основе — дообученная Meta Llama 3 8B с плотной архитектурой LlamaForCausalLM; в метаданных указано 7,5 млрд параметров и контекст 8192 токена. Модель предназначена для диалоговой генерации текста и ответов на инструкции; среди обучающих данных есть наборы для кода, математики, общения и вызова функций. Модель принимает текст и генерирует текст. Карточка описывает запуск через mlx-lm. Лицензия указана как other, поэтому условия использования следует сверить с исходной карточкой модели и лицензией базовой Meta Llama 3. Подробные сведения об ограничениях и языковом покрытии в доступной карточке не приведены.

Gemma-4-E2B-it-qat-MXFP4-CRACK — мультимодальная модель dealignai на базе Google Gemma 4 E2B Instruct. Она предназначена для диалогов, ответов на вопросы, многошаговых рассуждений и генерации кода, а также принимает изображения и аудио. В карточке заявлены сохранённые возможности работы с изображениями и аудио, поддержка нескольких языков и архитектура Gemma 4 с плотной сетью и гибридным скользящим и глобальным вниманием. Модель представлена в формате MXFP4 с 4-битной квантизацией и рассчитана на запуск через vMLX на компьютерах Apple Silicon с достаточной объединённой памятью. Автор сообщает о сохранении результатов MMLU почти на уровне базовой модели и об удалении отказов на HarmBench; эти оценки приведены в README и не являются независимой проверкой. Для запуска требуется vMLX с поддержкой Gemma 4; стандартные mlx_lm и mlx_vlm, согласно карточке, не обеспечивают полной поддержки. Модель опубликована под лицензией Gemma. Автор указывает исследовательское назначение и возлагает на пользователей ответственность за соблюдение применимых законов и правил.

Это экспериментальная GGUF-квантизация GigaChat3.1-10B-A1.8B, подготовленная ENOSYS на основе ai-sage/GigaChat3.1-10B-A1.8B-bf16. Модель предназначена для генерации текста и диалогового использования; базовая модель — компактная многоязычная MoE-модель GigaChat для диалогов, рассуждений, кода и вызова инструментов. В репозитории приведены варианты квантования с целевой точностью 2,750, 2,875 и 3,000 бит на вес, а также таблица сравнительных метрик. Для калибровки использованы наборы данных с примерами инструментов, математики, кода и английского и русского текста. Тензоры сохранены в F16 для совместимости с архитектурой Nvidia Pascal. Квантование выполнено на нестандартной ветке LLaMA.cpp с дополнительными патчами. Варианты GGUF позволяют запускать модель в совместимых инструментах с поддержкой этого формата. Квантизация снижает точность относительно исходных весов; приведённые метрики указывают на заметные изменения perplexity и распределений выходных вероятностей. Лицензия репозитория — MIT.

Myric/GLM-4.7-Flash-APEX-GGUF — это GGUF-квантизованная версия GLM-4.7-Flash от zai-org, подготовленная в репозитории Myric для запуска через llama.cpp. Модель предназначена прежде всего для генерации текста, агентного программирования и сценариев, где важны локальный запуск и поддержка спекулятивного декодирования. Доступны варианты APEX-i-quality размером 16,60 ГБ, APEX-i-compact размером 13,27 ГБ и APEX-i-mini размером 10,24 ГБ; все они сохраняют MTP draft head. Модель использует MoE-архитектуру с 31,2 млрд общих параметров и примерно 3,6 млрд активных на токен: 64 маршрутизируемых эксперта с выбором top-4 и один общий эксперт. Архитектура основана на DeepSeek и использует MLA-внимание, 47 основных слоёв плюс один MTP-слой, а также контекст до 202 752 токенов. Квантизация выполнена из bf16-чекпойнта с использованием imatrix и смешанной точности: наиболее важные компоненты сохраняются на уровне около 6,4–6,9 бит на вес, а основная компрессия приходится на маршрутизируемые эксперты. В агентном бенчмарке программирования варианты i-quality и i-compact набрали по 53 из 59 тестов, тогда как i-mini — 38 из 59; это показывает, что младшая версия заметно слабее на длинных композиционных задачах. i-quality обеспечивает лучший баланс качества и размера, а i-compact почти не уступает ему на измеренном сценарии. Для загрузки требуется llama.cpp версии b10251 или новее с поддержкой GLM-4.7-Flash MTP; старые версии могут не распознать число тензоров. Лицензия модели — MIT.