I.11Классификация, ранжирование и сопоставление

mlx-community/DeepSeek-R1-Distill-Qwen-1.5B — конвертированная в формат MLX версия компактной языковой модели DeepSeek-R1-Distill-Qwen-1.5B, подготовленная сообществом mlx-community из модели deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B с помощью mlx-lm 0.20.2. Это плотная авторегрессионная модель семейства Qwen2 с 1,5 млрд параметров, предназначенная для диалоговой генерации текста и решения задач рассуждения, математики и программирования. Модель принимает текст и генерирует текст; метаданные указывают контекстное окно 131072 токена и интерфейс для вызова инструментов. Формат MLX ориентирован на запуск с mlx-lm. В карточке приведена лицензия базовой модели только косвенно, поэтому условия лицензирования здесь не уточняются. Возможности и качество унаследованы от базовой модели.

DistilabelCerberus-7B-slerp — слитая модель для генерации текста на основе Mistral, созданная с помощью mergekit из DistilabelBeagle14-7B и OpenHermes-2.5-Mistral-7B. В конфигурации применён метод слияния slerp с разными весами для слоёв self-attention и MLP; модель содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на текстовые запросы. В карточке приведены результаты оценивания на наборах задач рассуждения, понимания здравого смысла и математики. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Dolphin-2.7-mixtral-8x7b-GGUF — квантизированная версия языковой модели Dolphin 2.7 Mixtral 8X7B, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mixtral и предназначена для диалоговых сценариев и генерации текста; README также указывает на использование обучающих наборов для инструкционного следования, программирования и универсальных задач. Заявлен английский язык. Модель поддерживает шаблон запросов ChatML и контекст длиной 4096 токенов. Доступны варианты квантизации от Q2_K до Q8_0 размером примерно от 15,6 до 49,6 ГБ. Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые варианты с балансом между размером и качеством, тогда как более низкие уровни квантизации могут приводить к существенной потере качества. Для запуска через LlamaEdge требуется версия 0.2.8 или новее. README не содержит данных о мультимодальности или поддержке других языков. Лицензия модели — Apache-2.0.

Enteli-49B — текстовая генеративная модель, разработанная командой EnteliMind. В карточке заявлены возможности понимания и генерации текста, рассуждений, программирования и математических задач; также описана адаптация под отраслевые сценарии. Эти заявления о качестве и сравнении с GPT-3.5 не подтверждены приведёнными данными бенчмарков. Метаданные указывают архитектуру MixtralForCausalLM семейства Mixtral с разреженной смесью экспертов (MoE), 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогового использования и выдаёт текст; карточка описывает удобство интеграции через Hugging Face Transformers. README не сообщает поддерживаемые естественные языки или лицензию, поэтому их нельзя уточнить. Модель распространяется в формате safetensors. В карточке заявлены эксперименты с нормализацией EMADNorm, однако подробностей для оценки их влияния на качество не приведено.

Eurux-8x22B-KTO — языковая модель семейства Mixtral, разработанная OpenBMB. Это дообученная версия Mixtral-8x22B: сначала выполнено SFT, затем KTO на многоходовых траекториях UltraInteract и парах предпочтений UltraFeedback. Модель предназначена для генерации текста, рассуждений, диалогов и следования инструкциям; в карточке заявлены сильные результаты в задачах программирования, математики, знаний и рассуждений. Модель использует архитектуру Mixtral MoE, распространяется в формате safetensors, содержит 22 млрд параметров и поддерживает контекст до 65 536 токенов. Для запуска в README приведён пример использования через Transformers и PyTorch. Лицензия — Apache-2.0. Оценочные результаты приведены для набора бенчмарков по коду, математике, рассуждениям, знаниям, следованию инструкциям и диалогу; они не гарантируют качество на конкретных пользовательских данных. Языки обучения или поддерживаемые языки в предоставленных сведениях не перечислены.

Gemma 4 12B MXFP4 CRACK — мультимодальная модель на базе Google Gemma 4 12B Instruct, опубликованная dealignai. Это дообученная и квантизированная 4-битная версия с архитектурой Gemma4 Unified и гибридным скользящим и глобальным вниманием; автор заявляет поддержку изображений и аудио, многоязычность, рассуждения и генерацию кода. Модель предназначена для диалогов, ответов на вопросы, анализа изображений и аудио, многошаговых рассуждений и генерации кода; интерфейс также поддерживает вызов инструментов. README сообщает об удалении отказов и высокой готовности отвечать на запросы из вредоносных категорий HarmBench, при заявленном сохранении результата MMLU базовой модели. Эти показатели приведены автором и не являются независимой проверкой. Для запуска автор рекомендует vMLX с поддержкой Gemma 4 на Mac с Apple Silicon; стандартные mlx_lm и mlx_vlm, согласно README, поддерживают модель не полностью. Лицензия указана как Gemma; автор позиционирует публикацию как исследовательскую и возлагает на пользователей ответственность за соблюдение законов.

GPT-OSS-Swallow 120B SFT v0.1 — двуязычная языковая модель Токийского технологического института, дообученная на базе GPT-OSS. Она предназначена для диалогов на японском и английском языках, перевода между ними, а также решения задач по математике, программированию и естественным наукам. Модель использует архитектуру GPT-OSS с разреженной смесью экспертов (MoE); в метаданных указано 2,1 млрд параметров и контекст до 131 072 токенов. Для инференса разработчики рекомендуют vLLM и советуют ограничивать контекст 32 768 токенами или менее. Обучение включало продолжение предобучения, supervised fine-tuning и последующее обучение с проверяемыми наградами для семейства моделей; этот репозиторий содержит вариант SFT. Авторы сообщают об улучшении японского языка и перевода при сохранении математических и кодовых навыков. Модель не обучали специально для вызова инструментов, управления уровнем reasoning effort и надежной работы с длинным контекстом; ранний выпуск также не настроен на полное соответствие человеческим намерениям и требованиям безопасности. Лицензия — Apache-2.0.

abenzerps/K2-Horizon-7B-MLX-4bit — это 4-битная конверсия модели IFM/K2-Horizon-7B для MLX. Исходная модель представляет собой плотную decoder-only модель примерно на 7 миллиардов параметров, разработанную IFM, а данный вариант подготовлен для использования в экосистеме MLX и MLX-LM. Модель предназначена для генерации текста, рассуждений, программирования, работы с длинным контекстом и использования инструментов. Она поддерживает только текстовую модальность, без vision-проектора и файлов MTP. Заявленный нативный размер контекста исходной модели составляет 524 288 токенов (512K), язык в карточке указан как английский. Вес модели представлен в формате MLX safetensors с аффинным 4-битным квантованием и размером группы 64; общий размер файлов составляет около 5,06 ГБ. Квантование уменьшает требования к памяти и делает модель более удобной для локального запуска на совместимом оборудовании, однако README не приводит сравнений качества именно квантованной версии с исходной моделью. Для загрузки требуется MLX-LM и доверенный удалённый код, поскольку используется специальный загрузчик, сохраняющий grouped RMSNorm. Модель распространяется по лицензии Apache-2.0. README не содержит подробных сведений о результатах бенчмарков, аппаратных требованиях, скорости работы или ограничениях исходной модели, поэтому эти характеристики нельзя оценить точнее.

LLaDA2.0-flash-CAP — языковая модель компании InclusionAI на основе диффузионной архитектуры Mixture-of-Experts. Она предназначена для генерации текста и диалоговых ответов, включая задачи знаний, рассуждений, программирования и математики. Обучение Confidence-Aware Parallel (CAP) повышает уверенность модели в корректных предсказаниях, чтобы ускорить параллельное декодирование. В README указана архитектура базовой LLaDA2.0-flash с 100 млрд параметров, 32 слоями, 32 головами внимания и контекстом 32 768 токенов; метаданные репозитория указывают 5,5 млрд параметров. В сравнении с базовой версией README сообщает ускорение генерации в 1,46 раза при небольшом снижении среднего результата на бенчмарках. Модель работает с текстом; для снижения риска смешения языков авторы рекомендуют температуру 0.0. Репозиторий распространяется по лицензии Apache-2.0.

Mylesgoose/Llama-3.1-70B-Instruct-abliterated — текстовая инструкционная модель на базе Meta Llama 3.1 70B, у которой, согласно карточке, ортогонализован слой 14. Она использует авторегрессионную архитектуру Transformer семейства Llama и предназначена для диалоговой генерации текста; размер составляет 69,5 млрд параметров, контекст — до 131 072 токенов. Модель подходит для многоязычного общения с ассистентом и генерации текста. В карточке базовой модели заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Метаданные отмечают интерфейс вызова инструментов, однако это не означает, что инструменты встроены: их интеграцию выполняет приложение. В карточке производной модели не приведены отдельные оценки качества или подробности изменения слоя, поэтому характеристики исходной Llama 3.1 не следует считать независимой оценкой этой версии. Модель распространяется по лицензии Llama 3.1 Community License (идентификатор лицензии в метаданных: llama3.1); применение регулируется её условиями и политикой допустимого использования.

Это дообученная модель генерации текста artificialguybr на базе Meta Llama 3.2 1B, настроенная на наборе инструкций и диалогов OpenHermes-2.5. Она построена на плотной авторегрессионной архитектуре LlamaForCausalLM и содержит около 1,2 млрд параметров; заявленная длина контекста — 131 072 токена. Модель принимает и генерирует текст, включая код, и рассчитана прежде всего на английский язык, с возможностью работы на других языках Llama 3.2. Модель предназначена для диалогового помощника и агентных сценариев: следования инструкциям, поиска знаний, суммаризации и переформулирования запросов. Компактный размер упрощает запуск по сравнению с крупными моделями, но качество и надёжность могут быть ограничены размером базовой модели и данными дообучения. Возможны смещения и неподходящие ответы; для чувствительных сценариев необходима проверка результатов. Лицензия — Llama 3.2 Community License (llama3.2), с соблюдением её условий и Acceptable Use Policy.

bunnycore/Llama-3.2-3B-TitanFusion-v2 — текстовая языковая модель, созданная слиянием нескольких предварительно обученных моделей семейства Llama 3.2 с помощью mergekit и метода TIES. В качестве базовой использована unsloth/Llama-3.2-3B; в слияние также вошли модели с уклоном в программирование и рассуждения. Модель содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Заявленная длина контекста — 131 072 токена. В карточке не приведены сведения о специальных языковых или предметных ограничениях, а также о лицензии, поэтому их нельзя уточнить по доступным данным.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF-v2 — квантованная GGUF-версия модели gradientai/Llama-3-8B-Instruct-Gradient-1048k, созданная QuantFactory с использованием llama.cpp. В основе лежит Meta Llama 3 8B Instruct, дообученная Gradient при спонсорской поддержке вычислительной инфраструктуры Crusoe Energy. Версия v2 использует обновлённые веса исходной модели и дополнительно усиливает диалоговые возможности ассистента. Модель предназначена для генерации текста и кода, диалоговых сценариев и обработки исключительно текстовых входных данных. Её ключевая особенность — расширенный контекст длиной более 1,04 млн токенов вместо стандартных 8 тысяч у базовой Llama 3. Для этого применялись NTK-aware interpolation, оптимизация параметра RoPE theta и прогрессивное обучение на последовательно увеличивающихся длинах контекста. Архитектурно это авторегрессионная модель на основе оптимизированного Transformer с Grouped-Query Attention; размер — 8 млрд параметров. Заявлена поддержка английского языка. Сильная сторона модели — способность работать с очень большими текстовыми контекстами; в README приведены результаты тестов Needle-in-a-Haystack на длинах до 1 040 200 токенов, включая высокую точность на описанных сценариях. Ограничения включают текстовую модальность, зависимость практической производительности от используемой квантовки и аппаратного обеспечения, а также отсутствие подробных сведений о конкретном формате квантования, требованиях к памяти и скорости инференса. Модель распространяется по лицензии Llama 3.

Модель thebbg/Ma7ee7_Qwen3.8_4B_Distilled — дообученная версия Qwen3, опубликованная разработчиком thebbg. Это плотная языковая модель с архитектурой Qwen3ForCausalLM и 3,7 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия. В карточке указано, что обучение проводилось с Unsloth. Модель принимает текст и выдаёт текст. Для неё заявлено контекстное окно до 262 144 токенов, а в метаданных указан английский язык. Базовая модель описана как подходящая для рассуждений, программирования и диалоговых задач; отдельные специализированные возможности этой версии не описаны. Лицензия — Apache-2.0.

Maba-v1-600M — причинная языковая модель семейства Maba, представленная AndrewThompson1233. Несмотря на название, модель содержит 752 млн параметров, из них 498 млн не относятся к эмбеддингам; она обучена примерно на 150 млрд токенов. Архитектура состоит из 24 слоёв: 18 слоёв линейной рекуррентной Gated DeltaNet-2 и 6 слоёв Grouped-Query Attention. Такая гибридная схема рассчитана на линейное масштабирование по длине контекста и сокращение памяти KV-кэша по сравнению с обычными трансформерами. Модель предназначена для генерации текста и диалогов, а также для задач с кодом, математикой и рассуждениями. В README приведены результаты тестирования на MMLU, GSM8K и ARC-Challenge; для этой версии двухпроходный режим инференса отключён из-за ошибки в параметре обучающего скрипта, поэтому указанные оценки относятся к обычному однопроходному инференсу. Метаданные указывают многоязычную поддержку, включая английский, русский, китайский и ряд европейских языков. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0.

Macaron-V1-Preview-744B-Merged — текстовая генеративная модель от MindLab Research, созданная на базе GLM-5.1 и дополнительно обученная с помощью MinT. Это объединённый полный чекпойнт предварительной версии Macaron-V1-Preview; модель предназначена для диалогов и агентных сценариев с использованием инструментов. Архитектура относится к семейству GLM MoE DSA; в репозитории указано 30,4 млрд параметров и контекст длиной до 202 752 токенов. Модель принимает текст и генерирует текст, поддерживает английский и китайский языки. Чекпойнт распространяется в формате safetensors и загружается через Transformers. Он не эквивалентен полной маршрутизируемой системе Mixture-of-LoRA из релиза на 749 млрд параметров, поэтому поведение может отличаться от неё. Лицензия — MIT.

Marcoroni-neural-chat-7B-v1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и Toten5/Marcoroni-neural-chat-7B-v1 методом SLERP. Модель построена на архитектуре Mistral с плотной причинной языковой моделью и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов, поэтому её можно применять для многошаговых бесед и работы с длинными текстовыми запросами. Метаданные не устанавливают конкретные поддерживаемые естественные языки. Веса представлены в формате Safetensors, тип данных при слиянии указан как bfloat16. Лицензия — Apache-2.0. Качество и поведение могут зависеть от формулировки запроса; ограничения по языкам и отдельным прикладным областям в предоставленных данных не описаны.

EmbeddedLLM выпустила Mistral-7B-Merge-14-v0.3 — экспериментальную объединённую модель на базе Mistral-7B-v0.1. Она создана методом DARE TIES путём слияния 14 моделей Mistral-7B, обученных для диалога, следования инструкциям, работы с документами, математикой и кодом. Модель содержит 7,1 млрд параметров и принимает текст для генерации продолжений и ответов; максимальный контекст составляет 32 768 токенов. Модель рассчитана на генерацию текста, ответы на инструкции и диалоговые сценарии. Авторы приводят средний результат 69,66 в Open LLM Leaderboard и отмечают, что модель может потребовать дополнительной настройки для чата; в README также указана более сильная версия v0.4. Карточка ориентирована на английский язык. Репозиторий распространяется по лицензии Apache-2.0.

AceReason-Nemotron-1.1-7B-GGUF — это GGUF-квантизированная версия языковой модели AceReason-Nemotron-1.1-7B, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста, задач рассуждения, математики и программирования; в метаданных указаны supervised fine-tuning и reinforcement learning. Заявленный язык — английский. Модель содержит 7 миллиардов параметров и поставляется в нескольких вариантах точности, включая BF16, Q8_0, Q6_K, Q5_K, Q4_K и более компактные форматы. Квантизация выполнена с использованием imatrix и llama.cpp, поэтому модель рассчитана на локальный запуск через llama.cpp, LM Studio и совместимые проекты. Для работы используется формат запросов ChatML с ролями system, user и assistant. Размер контекста и точная архитектура в README не указаны. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и компромисс между качеством, требованиями к памяти и скоростью инференса; наиболее качественными в README названы варианты Q6_K_L, Q6_K, Q5_K и Q4_K_L, а Q4_K_M обозначен как типовой вариант для большинства сценариев. Более сильное сжатие уменьшает требования к памяти, но может снижать качество. Лицензия — NVIDIA Open Model License; исходная модель доступна как nvidia/AceReason-Nemotron-1.1-7B.

Olmo-3-7B-Think — авторегрессионная плотная Transformer-модель для генерации текста, разработанная Allen Institute for AI (Ai2). Это вариант семейства Olmo 3 с упором на пошаговое рассуждение; карточка указывает обучение на данных Dolma 3 и последующее дообучение на наборах Dolci. В метаданных базовой моделью названа allenai/Olmo-3-7B-Think-DPO, а связь указана как finetune. Модель предназначена для диалогов и задач, где полезны развёрнутые рассуждения, в частности математики, программирования, ответов на общие вопросы и следования инструкциям. Она содержит 6,9 млрд параметров, поддерживает контекст до 65 536 токенов и рассчитана прежде всего на английский язык. Для запуска используется библиотека Transformers; веса опубликованы в формате safetensors. Модель может давать неточные ответы и без дополнительной фильтрации способна генерировать вредный или чувствительный контент. Результаты следует проверять, а при практическом использовании учитывать возможную предвзятость. Лицензия — Apache 2.0; карточка также ссылается на рекомендации Ai2 по ответственному использованию.

Olmo 3 7B Think SFT — англоязычная авторегрессионная Transformer-модель для генерации текста, разработанная Allen Institute for AI (Ai2). Она предназначена для диалогов и задач рассуждения, особенно математических задач и программирования; обучение с учителем на Dolci-Think-SFT-7B включало также запросы по общим знаниям и чату. Модель имеет плотную архитектуру Olmo3 и 6,9 млрд параметров, принимает текст и поддерживает контекст до 65 536 токенов. Доступна в формате Safetensors для Transformers. Модель дообучена на основе allenai/Olmo-3-1025-7B. Лицензия Apache 2.0; Ai2 указывает исследовательское и образовательное применение в соответствии со своими правилами ответственного использования. Модель может выдавать неточные сведения и без дополнительной фильтрации генерировать вредный или чувствительный контент; результаты следует проверять.

OpenCerebrum-1.0-7B-DPO — открытая языковая модель Locutusque, дообученная методом DPO на базе alpindale/Mistral-7B-v0.2-hf. Это плотная Mistral-модель с 7,1 млрд параметров и контекстом до 32 768 токенов; для обучения использовался формат ChatML. Модель предназначена для генерации текста, ответов на вопросы и следования инструкциям, в том числе для задач программирования, математики, естественных наук и рассуждений. Обучение примерно на 21 тысяче примеров из шести публичных наборов данных было направлено на воспроизведение возможностей Cerebrum; модель работает на английском языке. Модель распространяется по лицензии Apache 2.0. Авторы предупреждают, что она может уступать оригинальной Cerebrum, отражать смещения обучающих данных и требовать заметных вычислительных ресурсов из-за размера 7B.

Pythia 6.9B Tulu — языковая модель Allen Institute for AI, дообученная на смеси наборов инструкций FLAN V2, CoT, Dolly, OpenAssistant 1, GPT4-Alpaca, Code-Alpaca и ShareGPT. Это плотная авторегрессионная модель GPT-NeoX с 8,8 млрд параметров в метаданных и контекстом до 2048 токенов. Модель предназначена для генерации ответов на инструкции, диалоговых запросов, рассуждений и кода. В карточке приведены результаты на наборах тестов для общих знаний, математики, вопросов и ответов и генерации кода; авторы отмечают, что результат зависит от соблюдения обучающего формата с переводом строки после маркера сообщения. Модель поддерживает английский язык. Она распространяется в формате PyTorch и является полным набором весов, а не diff. Условия использования определяются лицензией модели из LICENSE.txt и исходной лицензией Pythia из pythia_license.txt; их конкретные положения в предоставленных данных не приведены.

Orca-4B-Thinking — языковая модель для диалогов и задач, требующих многошаговых рассуждений. Согласно README, модель разработана на основе Qwen3-4B и дообучена в стиле DeepSeek-R1 на наборах OpenThoughts-114k и Mixture-of-Thoughts; метаданные связывают её с Qwen/Qwen3.5-4B. Карточка описывает причинную плотную архитектуру Qwen3, а метаданные указывают 3,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации развёрнутых рассуждений и ответов в математике, программировании, естественных науках и головоломках, а также для следования инструкциям и работы с инструментами. README сообщает о режиме Thinking и приводит оценочные результаты бенчмарков, поэтому заявленные улучшения производительности не следует считать независимой проверкой. Поддерживаются английский, немецкий, испанский, французский и китайский языки по тегам метаданных. Лицензия — Apache-2.0.

orca_mini_v2_7b — языковая модель семейства LLaMA, разработанная Pankaj Mathur совместно с Eric Hartford. Это дообученная плотная авторегрессионная модель примерно с 6,6 млрд параметров для генерации текста по инструкциям и диалоговым запросам. При обучении использовались подходы к построению данных из исследования Orca и наборы WizardLM, Alpaca и Dolly-V2; автор отмечает улучшенные возможности генерации кода по сравнению с предыдущей версией orca_mini_7b. Модель предназначена для ответов на вопросы, выполнения инструкций, диалога и генерации кода на английском языке. Она принимает текст и генерирует текст; родной контекст составляет 2048 токенов. В README приведены результаты оценки на наборах ARC Challenge и HellaSwag. Модель описана как uncensored, поэтому её ответы могут требовать дополнительной фильтрации. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и распространением производных на тех же условиях, но запрещает коммерческое использование.

Ornith-1.5-35B-A3B-Abliterated-ROCmFP4-GGUF — это квантизированная GGUF-версия аблитерированной языковой модели Ornith-1.5-35B-A3B. Базовую модель разработала ornith-ai, аблитерацию выполнила huihui-ai, а BF16 GGUF-исходник предоставила PocketAiHub. Автор данного репозитория добавил варианты квантизации ROCmFP4/ROCmFPX, сборку с поддержкой HIP/ROCm и Vulkan, а также тесты производительности. Модель распространяется по лицензии Apache-2.0. Модель предназначена для генерации текста, включая диалоги, программный код, рассуждения, выдачу JSON, агентские сценарии и работу с инструментами. Это MoE-модель с заявленным общим размером 35B параметров и активной частью около 3B параметров. Доступны варианты квантизации от 4 до 8 бит; размеры файлов составляют примерно от 17,4 до 33,9 ГиБ. В репозитории также указан отдельный vision tower в формате F16 GGUF, позволяющий подавать изображения через параметр mmproj. Языки модели в README не указаны. В приведённых конфигурациях использовался контекст 32768 токенов, однако максимальный размер контекста явно не заявлен. Основное преимущество модели — оптимизация для AMD Ryzen AI Max+ 395 и Radeon 8060S с архитектурой gfx1151: один файл можно запускать через HIP/ROCm или Vulkan, выбирая backend во время запуска. Vulkan показывает более высокую скорость генерации, а ROCm — более высокую скорость обработки длинных входных запросов; 4-битные варианты демонстрируют близкую производительность. Модель прошла заявленные тесты стабильности без усечённых генераций. Для работы требуется специальная сборка ROCmFPX с поддержкой обоих backend; стандартная сборка llama.cpp эти файлы не загружает. Приведённые показатели относятся к конкретной аппаратной конфигурации и могут отличаться на других системах.

unsloth/phi-4 — версия Phi-4 от Unsloth, созданная на основе microsoft/phi-4. Авторы сообщают о переносе модели на архитектуру Llama для упрощения использования и дообучения, а также о внесении исправлений Phi-4. Модель содержит 14,1 млрд параметров и принимает текст, преимущественно в формате чата; длина контекста — 16 384 токена. Модель предназначена для генерации текста и диалогов на английском языке, включая задачи рассуждения, логики, математики и программирования. Её можно использовать как основу для генеративных функций в сценариях с ограничениями по памяти, вычислительным ресурсам или задержке. По карточке базовая Phi-4 разработана Microsoft Research и обучена с использованием синтетических данных, отфильтрованных публичных веб-источников, академических книг и наборов вопросов и ответов; для улучшения следования инструкциям применялись supervised fine-tuning и direct preference optimization. Репозиторий использует формат safetensors и распространяется по лицензии MIT. Модель ориентирована прежде всего на английский язык; как и другие языковые модели, она может ошибаться, поэтому её ответы следует проверять, особенно при использовании в высокорисковых сценариях.

ShayanCyan/phi4-multimodal-quantisized-gguf — это набор предварительно сконвертированных GGUF-весов модели microsoft/Phi-4-multimodal-instruct, подготовленный для локального запуска через специализированную ветку llama.cpp. Репозиторий содержит квантизированную языковую модель phi4-mm-Q4_K_M.gguf и отдельный мультимодальный проектор phi4-mm-omni.gguf с визуальным энкодером на основе SigLIP/Navit-style и аудиоэнкодером Conformer. Нового обучения или новых обучающих данных набор не добавляет. Модель предназначена для локального инференса, исследований, экспериментов и создания прототипов агентов, работающих с текстом, изображениями и аудио. Она поддерживает следование инструкциям, рассуждения, программирование и многоходовой диалог, визуальные вопросы и ответы, создание описаний изображений, анализ документов и графиков, а также автоматическое распознавание речи, перевод с английского на французский и суммаризацию аудио при наличии соответствующего Conformer-пути. Заявленные языки: английский, урду, немецкий, испанский, турецкий, французский и итальянский. Основная языковая модель использует 4-битную групповую квантизацию Q4_K_M, тогда как мультимодальный проектор хранится в F16/F32 для сохранения качества работы с изображениями и аудио. Для запуска требуются совместимые возможности llama.cpp и одновременное подключение языковой модели и mmproj-файла. К преимуществам относятся локальная работа, поддержка нескольких модальностей и снижение требований к памяти за счёт квантизации. Ограничения включают возможные галлюцинации и ошибки интерпретации; модель не следует применять для медицинских, юридических или критически важных решений без проверки человеком. Использование регулируется лицензией phi4-model-license от Microsoft; необходимо соблюдать условия исходной лицензии.

Phi-4-reasoning-plus-GGUF — квантизированная в формате GGUF версия модели Phi-4-reasoning-plus, разработанной Microsoft. Квантизация выполнена bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалогов, программирования, математики и решения многошаговых задач, требующих логического рассуждения. Модель поддерживает контекст до 32 000 токенов и работает с текстом на английском языке. Она дообучена на базе Phi-4 и дополнительно обучалась с применением Reinforcement Learning для повышения точности. Ключевая особенность — ориентация на сложные математические и логические задачи; при этом модель в среднем генерирует примерно на 50% больше токенов, чем базовая версия. В README не указаны точный размер модели, архитектурные детали и наборы данных. Модель распространяется по лицензии MIT. GGUF и llama.cpp упрощают локальный запуск, однако конкретные требования к оборудованию зависят от выбранного уровня квантизации, который в предоставленных данных не указан. Как и другие языковые модели, она может генерировать неточные или неподходящие ответы.

Quartz-R1-8B-Genesis-i1-GGUF — квантизированная версия текстовой модели Vaultek/Quartz-R1-8B-Genesis, подготовленная пользователем mradermacher в формате GGUF. Модель ориентирована на генерацию текста, рассуждения, диалоговые сценарии, программирование и задачи, связанные с математикой; в метаданных также указана совместимость с форматами ChatML и направлениями вроде SWE-bench. Заявлена поддержка русского и английского языков. Модель имеет около 8 миллиардов параметров в базовой версии, однако точная архитектура и размер контекстного окна в README не указаны. Репозиторий содержит набор вариантов квантизации i1, включая IQ- и Q-семейства, с размером файлов примерно от 2,1 до 6,7 ГБ; выбор варианта позволяет учитывать компромисс между качеством, скоростью и требованиями к памяти. В качестве обучающих данных перечислены наборы для образовательных текстов, программного кода, математики, диалогов, рассуждений и русскоязычной дистилляции. Сильной стороной модели является широкий выбор квантизаций, благодаря которому её можно запускать на системах с различным объёмом памяти; для баланса скорости, размера и качества автор рекомендует i1-Q4_K_M. Ограничения связаны с потерями качества у низкобитных вариантов, а также с отсутствием в README подробных результатов бенчмарков, сведений о точной архитектуре, контекстном окне и мультимодальных возможностях. Лицензия в предоставленных данных не указана.