I.11Классификация, ранжирование и сопоставление

Locutusque/Orca-2-13b-SFT_v5 — плотная языковая модель на архитектуре Llama, созданная полным дообучением Microsoft Orca-2-13b на наборах No Robots, EverythingLM, Guanaco, OpenAssistant и Open-Platypus. Модель содержит 12,9 млрд параметров и рассчитана на генерацию текста; карточка отмечает поддержку кода и языки английский, французский, испанский, хинди и китайский. Контекст составляет 4096 токенов, для запросов используется шаблон ChatML. Модель подходит для диалоговых ответов, следования инструкциям, решения задач и генерации кода. В README сообщается о тестовом loss 0,38 на Open-Platypus, но сравнительные оценки качества не приведены. Репозиторий содержит веса в формате safetensors. Для использования необходимо соблюдать исследовательскую лицензию Microsoft Orca-2; метаданные обозначают лицензию как other.

Карточка модели Justbackup/phi-4 на Hugging Face совпадает с карточкой microsoft/phi-4, поэтому описание составлено по ней. Phi-4 — языковая модель Microsoft Research с плотной архитектурой декодерного Transformer и 14,1 млрд параметров. Она принимает текстовые запросы, лучше всего в формате чата, и генерирует текст; длина контекста составляет 16 тысяч токенов. Модель доступна в формате Safetensors и распространяется по лицензии MIT. Модель предназначена для англоязычных сценариев общего назначения, особенно для рассуждений, логики, математики, программирования и следования инструкциям в условиях ограничений по памяти, вычислениям или задержке. При обучении использовались отфильтрованные общедоступные материалы, учебные и синтетические данные, академические книги, наборы вопросов и ответов, а также данные для настройки диалогов. Модель прошла supervised fine-tuning и direct preference optimization; около 8% обучающих данных были многоязычными. Phi-4 может служить компонентом генеративных ИИ-приложений и компактной альтернативой более крупным моделям для ряда задач рассуждения. Это статическая модель со срезом знаний по июнь 2024 года; ответы могут быть неточными, а качество и безопасность следует оценивать для конкретного применения, особенно в высокорисковых сценариях. Карточка указывает на основной фокус на английском языке.

bartowski/phi-4-GGUF — это набор GGUF-квантизаций языковой модели Phi-4, разработанной Microsoft. Модель предназначена для генерации текста, диалоговых сценариев, решения математических задач, программирования и других задач NLP. В README указана поддержка английского языка и текстовая модальность; исходная модель доступна на Hugging Face как microsoft/phi-4. Набор создан с использованием llama.cpp и метода imatrix, включает варианты от F32 и F16 до низкобитных Q2–Q8-квантизаций. Размер файлов варьируется примерно от 4,49 до 58,64 ГБ, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Для запуска рекомендуются llama.cpp и LM Studio. Указан шаблон prompt с маркерами системного, пользовательского и ассистентского сообщений, а также исправления tokenizer по рекомендациям команды Unsloth. Сильная сторона набора — широкий выбор вариантов квантизации, включая версии, ориентированные на высокое качество или ограниченный объём RAM. Ограничения зависят от выбранной квантизации: низкобитные варианты занимают меньше памяти, но обеспечивают более низкое качество. Архитектура, число параметров и размер контекста в README не указаны. Лицензия — MIT.

SII-Enigma/Qwen2.5-7B-Ins-SFT-32k — плотная причинно-языковая модель семейства Qwen2.5 с 7,1 млрд параметров, дообученная на основе Qwen/Qwen2.5-7B-Instruct. В README описан подход AMPO: он использует решения нескольких моделей-учителей, вмешиваясь, когда модель не справляется самостоятельно, и выбирая понятные ей варианты решений. Авторы заявляют, что подход улучшает результативность и эффективность по сравнению с одним RL или SFT. Модель предназначена для генерации текста и диалогов, в том числе для задач рассуждения. Контекст составляет 32 768 токенов; репозиторий использует формат Safetensors и библиотеку Transformers. Метаданные указывают интерфейс вызова инструментов, но README не приводит подробных примеров или результатов оценки именно этого чекпойнта. Указана лицензия Apache-2.0.

Qwen3.5-9B-GLM5.1-Distill-v1-i1-GGUF — квантизированная GGUF-версия модели Jackrong/Qwen3.5-9B-GLM5.1-Distill-v1, подготовленная mradermacher для локального запуска через llama.cpp и совместимые инструменты. Модель основана на Qwen3.5 с заявленным размером 9 млрд параметров и обучалась с использованием дистилляции, SFT и LoRA на наборах данных, связанных с reasoning и длинными цепочками рассуждений, включая Qwen3.5-reasoning-700x и GLM-5.1 Reasoning. Модель предназначена для диалоговой генерации текста, рассуждений, математических и STEM-задач, программирования, исследовательских сценариев и многоязычного применения. В карточке заявлена поддержка английского, китайского, японского и испанского языков. README также описывает модель как vision model; для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Точный размер контекстного окна и детальная архитектура не указаны. Основное преимущество — наличие нескольких вариантов квантизации, позволяющих выбирать компромисс между размером, скоростью и качеством; среди рекомендуемых указаны i1-Q4_K_M и i1-Q4_K_S. Низкобитные варианты экономят память, но могут заметно снижать качество, а модель и её характеристики обозначены как экспериментальные. Распространение заявлено по лицензии Apache-2.0.

Qwen3.6-14B-A3B-FableVibes-GGUF — модель tvall43 на базе Qwen3.6-14B-A3B-FableVibes, представленная в формате GGUF для запуска на локальном оборудовании. Это обобщённая модель рассуждений, дообученная на трассах рассуждений Claude Fable 5 и дополненная данными Claude Opus, Qwen для tool calling и Evol-Instruct-Code. Модель предназначена для генерации текста, решения сложных задач с многошаговым рассуждением, программирования и сценариев, связанных с вызовом инструментов. Она использует архитектуру MoE с примерно 14B активных параметров после pruning исходной модели Qwen3.6-35B-A3B. Поддерживается мультимодальный режим через файлы mmproj, однако конкретные характеристики контекстного окна и полный перечень поддерживаемых языков не указаны. Модель ориентирована на англоязычные сценарии. К сильным сторонам относятся структурированное рассуждение, улучшенные способности к работе со сложными задачами и возможность запуска на потребительском оборудовании благодаря нескольким вариантам квантования: от F16 до Q2_K. Модель поддерживает llama.cpp и совместимые интерфейсы, включая LM Studio, Ollama и text-generation-webui. Ограничениями являются повышенная задержка до первого токена из-за режима thinking, значительный расход токенов на рассуждение и возможное снижение качества в сильно сжатых вариантах квантования. Распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Brainwaves-Nex-i1-GGUF — это GGUF-квантизированная версия модели nightmedia/Qwen3.6-35B-A3B-Brainwaves-Nex, подготовленная mradermacher. Модель предназначена для локального запуска задач генерации текста и диалогов, включая рассуждения, математику, STEM, программирование и многоязычные сценарии. В README также указано, что это vision-модель, поэтому для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Заявлены языки English, Chinese, Japanese и Spanish. Доступны варианты квантизации i1 от Q2_K до Q6_K, включая IQ-квантизации и imatrix-файл; размер файлов составляет примерно от 13,3 до 29,3 ГБ. Вариант Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как компромисс между размером, скоростью и качеством. Точный размер контекста, детальные сведения об архитектуре, результаты тестирования и системные требования в README не указаны. Модель распространяется по лицензии Apache-2.0. К ограничениям относятся неизбежная потеря качества при низких уровнях квантизации, отсутствие подробных бенчмарков и неполная документация по использованию мультимодальных возможностей.

Qwen3.8-27B-Intel-Arc-Tuned-GGUF — это квантованная GGUF-версия модели Qwen3.8 с примерно 27 млрд параметров, подготовленная Greatjedi при участии Gemini для ускоренного запуска на видеокартах Intel Arc через llama.cpp, oneAPI SYCL и аппаратные матричные блоки DPAS. В качестве базовых моделей указаны empero-ai/Qwen3.8-27B-Ridge-GGUF и ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF. Модель предназначена для генерации текста, рассуждений, программного кода и структурированных ответов, включая извлечение JSON. Заявлены английский и китайский языки, а тип задачи в каталоге обозначен как text-generation. Ключевая особенность — преобразование неподдерживаемых на Intel Arc I-Quant-тензоров в преимущественно Q4_K-блоки с сохранением отдельных высокоточных компонентов, rotary embeddings, layer normalization и, в вариантах с MTP, встроенной NextN prediction head. Это устраняет переход к медленной CPU-деквантизации в SYCL-бэкенде. Для Intel Arc Pro B60 24GB заявлена скорость авторегрессионной генерации около 21–22 токенов в секунду, а со встроенным speculative decoding и MTP — до 41,88 токена в секунду; фактические показатели зависят от версии файла, сценария, оборудования и конфигурации запуска. Сильными сторонами являются оптимизация под Intel Arc поколений Battlemage Xe2 и Alchemist Xe, отсутствие необходимости во внешней draft-модели для вариантов со встроенным MTP и заметное ускорение относительно исходных I-Quant-вариантов. Ограничения включают узкую аппаратную специализацию, зависимость от совместимого SYCL-стека и llama.cpp, а также отсутствие в README точных сведений о максимальном контексте и единой архитектурной конфигурации всех вариантов. Модель распространяется по лицензии Apache-2.0.

Ring-flash-linear-2.0 — открытая языковая модель от InclusionAI, полученная дальнейшим обучением inclusionAI/Ling-flash-base-2.0 на дополнительном триллионе токенов. Она предназначена для диалога и генерации текста, включая задачи рассуждения, математики, программирования, науки и творческого письма; также поддерживает интерфейс вызова инструментов. Модель на 5,5 млрд параметров построена на разреженной MoE-архитектуре Bailing с гибридным вниманием: линейное внимание сочетается со стандартным, а для ускорения генерации используются MTP-слои. По данным разработчика, активируется 6,1 млрд параметров, заявлена производительность на уровне плотной модели 40B и контекст до 128 тысяч токенов. Метаданные указывают английский язык; в README заявлены высокая эффективность инференса и результаты на уровне сопоставимых моделей в выбранных тестах. Для запуска README приводит варианты на Transformers, SGLang и vLLM с дополнительными пакетами и версиями зависимостей. Модель распространяется по лицензии MIT. Заявления о скорости и качестве основаны на оценках разработчика; README не приводит в представленном тексте подробностей о наборах данных и ограничениях ответов.

Whittle-Qwen-3.8-35B-A3B-GGUF — это GGUF-квантизированная версия модели Whittle-Qwen-3.8-35B-A3B, разработанной logic65 и подготовленной квантизатором mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, рассуждений, программирования и математических задач. В описании указаны архитектура Mixture-of-Experts, механизмы n-gram memory и conditional memory, hyper-connections и knowledge distillation. Поддерживаются текстовые запросы; заявлены английский, китайский и многоязычный режимы. Размер контекстного окна не указан. Модель распространяется в формате GGUF для запуска через llama.cpp и совместимые инструменты. Доступны варианты квантизации от Q2_K размером около 13,1 ГБ до Q8_0 размером около 37,9 ГБ; варианты Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые, а Q6_K — как обеспечивающий очень хорошее качество. Более сильная квантизация обычно требует больше памяти, но лучше сохраняет качество, тогда как малые варианты экономичнее, однако могут заметнее уступать в точности. В README не приведены результаты бенчмарков и подробные ограничения по производительности. Лицензия модели — Apache-2.0.

Xiaolong-Qwen3-14B — 14-миллиардная плотная языковая модель семейства Qwen3, созданная nbeerbower дообучением Qwen3-14B-abliterated-TIES методом ORPO с использованием QLoRA. Модель ориентирована на диалог и рассуждения; в обучающую выборку вошли примеры по общему, физическому и математическому рассуждению, программированию, а также художественные тексты. Интерфейс модели поддерживает диалог и вызов инструментов. Модель принимает и генерирует текст, имеет контекстное окно 32 768 токенов и распространяется в формате safetensors для Transformers. Карточка описывает её как uncensored; это характеристика поведения модели, а не гарантия точности или безопасности ответов. Лицензия — Apache-2.0.

airoboros-3b-3p0 — экспериментальная языковая модель на архитектуре StableLM Epoch, разработанная jondurbin и обученная на наборе синтетических данных airoboros-3.0. Это плотная причинная языковая модель с 2,7 млрд параметров и контекстом до 4096 токенов; она принимает текст и генерирует текст. Для диалога используется формат Llama 2 Chat. Модель общего назначения с акцентом на следование инструкциям. Она предназначена для ответов на вопросы по заданному контексту, суммаризации, программирования, математических рассуждений с формированием MathJSON, многоходового диалога, генерации аргументов функций и планов выполнения задач. Для расчётов MathJSON предполагает последующую обработку формулы внешним вычислительным механизмом. Модель выпущена под лицензией CC BY-SA 4.0.

Bagel DPO 7B v0.1 — диалоговая языковая модель, разработанная jondurbin и дообученная методом прямой оптимизации предпочтений (DPO) на базе семейства Llama. Модель содержит 7,1 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текстовые запросы. Для общения применяются форматы Vicuna, Llama 2, Alpaca и ChatML; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов и широкого круга инструктивных задач: ответов на вопросы, рассуждений, математики, написания кода и творческих текстов. В описании приведены результаты оценок на наборах ARC, BoolQ, GSM8K, MMLU и других, а также MT-Bench. Обучающие данные включают англоязычные и многоязычные источники, в том числе Belebele; карточка не уточняет полный перечень поддерживаемых языков. Автор предупреждает, что эта DPO-версия может чаще отказывать в ответах, чем недистиллированная от предпочтений версия. В данных обучения присутствует токсичный контент. Модель распространяется под лицензией Apache-2.0.

Карточка модели thoddnn/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

c4ai-command-r7b-12-2024-heretic — модифицированная версия модели CohereForAI Command R7B, созданная автором репозитория с использованием Heretic 1.4.0 и метода направленной абляции (abliteration). Это мультиязычная генеративная языковая модель примерно на 7 млрд параметров, оптимизированная для retrieval-augmented generation (RAG), диалоговых сценариев, локального запуска и надёжного использования инструментов. Указан английский язык, однако в описании заявлена мультиязычность. Модель поддерживает текстовую генерацию и поставляется в форматах BF16 Safetensors и GGUF с квантованиями Q4_K_M, Q5_K_M, Q6_K и Q8_0; доступен запуск через Transformers, llama.cpp, Ollama, LM Studio, Jan, vLLM и SGLang. Ключевая особенность — подавление поведения, связанного с отказами, посредством изменения отдельных направлений весов в выходных проекциях attention и down-проекциях MLP, без дообучения. Это должно сохранять большую часть знаний и возможностей базовой модели, но одновременно означает отсутствие встроенной фильтрации безопасности: модель может выполнять запросы, которые исходная версия отклоняла, включая потенциально нежелательные. Поэтому её не рекомендуется размещать за незащищённым публичным endpoint для сторонних пользователей. Модель рассчитана на локальное использование на потребительских GPU и CPU/Apple Silicon; рекомендуемый объём видеопамяти зависит от квантования и составляет примерно 6–24 ГБ, а для контекста требуется дополнительно около 1 ГБ. Ограничения контекстного окна в README не указаны. Модель наследует лицензию other базовой модели CohereForAI c4ai-command-r7b-12-2024; подробные условия доступны по ссылке на её LICENSE.

Caliburn 12B Merged — языковая модель на архитектуре Transformer семейства Mistral, созданная автором репозитория путём слияния нескольких существующих моделей с помощью MergeKit. Модель содержит 12,1 млрд параметров и предназначена для генерации текста общего назначения; карточка указывает английский язык. В метаданных заявлен контекст 1 024 000 токенов, библиотека Transformers и формат Safetensors. Модель можно использовать для генерации текста, продолжения кода, ответов на вопросы и суммаризации. Метаданные также отмечают интерфейс чата и интерфейс вызова инструментов. Модель распространяется по лицензии MIT. Автор предупреждает о возможных предубеждениях, ошибках и бессмысленных ответах; результаты следует проверять, а для важных решений необходим контроль человека.

Карточка модели jinreiyu/cloned-Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

CortexLM выпустила Cortex-Mini-1-Preview — предварительную версию модели Qwen/Qwen3.8-27B, дополнительно обученную методом post-training. Это плотная причинная языковая модель с нативной обработкой изображений и видео, содержащая 27 млрд параметров. Репозиторий использует Transformers и формат Safetensors. Модель предназначена для диалогов, программирования, агентных сценариев и задач «изображение—текст», а также для исследований и дальнейшей адаптации. Она принимает текст, изображения и видео и генерирует текст. Унаследованный от базовой модели контекст составляет 262 144 токена; с YaRN он может расширяться до 1 000 000 токенов. В карточке указаны английский и китайский языки. Лицензия — Apache 2.0. Это preview-чекпойнт: веса, рецепт обучения, API, дополнительные элементы токенизатора и шаблон чата могут меняться. До замены базовой Qwen3.8-27B следует сравнить поведение, поскольку post-training может повлиять на стиль, отказы и использование инструментов. Настройки длинного контекста и обработки видео унаследованы от Qwen и отдельно не перенастраивались; публичные метрики качества не представлены.

DeepSeek-R1-0528-Qwen3-8B-GGUF — это версия модели DeepSeek-R1-0528-Qwen3-8B в формате GGUF, подготовленная пользователем brittlewis12. Исходную модель разработала DeepSeek AI: она создана дистилляцией цепочек рассуждений DeepSeek-R1-0528 и дообучением базовой Qwen3 8B. Модель предназначена для генерации текста и решения задач, требующих рассуждений, включая математические задачи, программирование, академические исследования и разработку компактных reasoning-моделей. Архитектура модели идентична Qwen3-8B, а конфигурация токенизатора унаследована от DeepSeek-R1-0528. Размер — 8 миллиардов параметров; указанная модальность — текст, основной язык в карточке — английский. Модель распространяется в GGUF — формате, ориентированном на локальный запуск через совместимые инструменты, включая llama.cpp. Размер контекста в README не указан. Для работы поддерживаются системные промпты; добавлять маркер <think> в начало ответа не требуется. Сильная сторона модели — качество рассуждений при относительно небольшом размере: в приведённых оценках она получила 86,0 на AIME 2024, 76,3 на AIME 2025 и сопоставлялась с более крупными моделями. При этом результаты зависят от сценария: на GPQA Diamond модель показала 61,1, а на LiveCodeBench — 60,5, поэтому приведённые показатели не гарантируют одинакового качества на всех задачах. В README не указаны конкретный уровень GGUF-квантизации, требования к памяти, максимальный контекст и подробные ограничения безопасности. Лицензия — MIT.

DeepSeek-R1-Distill-Llama-8B-abliterated — текстовая генеративная модель huihui-ai на архитектуре Llama, созданная методом abliteration на основе deepseek-ai/DeepSeek-R1-Distill-Llama-8B. Разработчик описывает её как экспериментальный вариант, в котором удалены отказы от ответов; базовая модель была дообучена на данных для рассуждений. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста, ответов на вопросы и многошаговых рассуждений, включая математические задачи и программирование — эти возможности унаследованы от базовой модели. В карточке также приведён способ использования через Ollama. README предупреждает, что удаление отказов реализовано грубо и служит доказательством концепции; поэтому поведение модели может быть менее безопасным. Условия лицензии в предоставленных данных не указаны.

unsloth/DeepSeek-R1-Distill-Qwen-14B-unsloth-bnb-4bit — 4-битная динамически квантизированная версия языковой модели DeepSeek-R1-Distill-Qwen-14B. Базовую модель разработала команда DeepSeek, а вариант с квантизацией подготовлен Unsloth. Модель относится к плотным LLM на архитектурной основе Qwen и содержит около 14 млрд параметров. Модель предназначена прежде всего для задач рассуждения, включая решение математических задач, программирование и общий анализ текста. DeepSeek-R1-Distill-Qwen-14B создана методом дистилляции из DeepSeek-R1, поэтому ориентирована на генерацию развернутых рассуждений и решение сложных задач. В README явно указан английский язык; сведения о других языках, мультимодальности и размере контекстного окна не приведены. Ключевое преимущество этой версии — динамическая 4-битная квантизация Unsloth, при которой отдельные параметры выборочно не квантизуются для сохранения большей точности по сравнению со стандартной 4-битной квантизацией. Это может снизить требования к памяти и упростить локальный запуск, однако квантизация потенциально ограничивает точность по сравнению с исходной полноразмерной моделью. Модель распространяется по лицензии Apache-2.0.

unsloth/DeepSeek-R1-Distill-Qwen-32B-bnb-4bit — 4-битная квантованная версия модели DeepSeek-R1-Distill-Qwen-32B, опубликованная Unsloth на основе модели DeepSeek. Модель относится к семейству плотных языковых моделей, дистиллированных из DeepSeek-R1 и построенных на базе Qwen. Разработчики DeepSeek указывают, что эта версия предназначена для задач рассуждения и превосходит OpenAI o1-mini на ряде бенчмарков для плотных моделей. Модель ориентирована на решение сложных задач, включая математические рассуждения, программирование, пошаговый анализ и генерацию текста. В README заявлены способности, связанные с самопроверкой, рефлексией и построением длинных цепочек рассуждений. Указан размер 32B, библиотека Transformers и английский язык; сведения о поддерживаемых модальностях, размере контекста и точной архитектуре в предоставленных данных отсутствуют. Ключевое преимущество варианта — 4-битное представление, потенциально снижающее требования к памяти по сравнению с полноразмерными весами, однако README не содержит точных характеристик производительности или качества именно этой квантованной сборки. Возможными ограничениями являются зависимость результатов от качества квантования и отсутствие подтверждённых данных о контекстном окне и мультиязычности. Модель распространяется по лицензии Apache-2.0.

blackbook-lm/DeepSeek-R1-Distill-Qwen-7B-heretic — разговорная языковая модель на архитектуре Qwen2, основанная на DeepSeek-R1-Distill-Qwen-7B. По метаданным, она содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации ответов и рассуждений, в том числе для задач по математике и программированию. Это вариант с abliteration: в карточке приведено сравнение с исходной моделью, где число отказов на тесте из 100 запросов снизилось с 49 до 5, а KL-дивергенция составила 0,0071. Тегами также отмечено снижение ограничений на ответы. Эти результаты относятся к приведённой в карточке оценке и не гарантируют такого поведения на других запросах. Веса опубликованы в формате safetensors, библиотека для работы — Transformers, лицензия — MIT. Карточка не указывает отдельные языковые характеристики этого варианта; базовая модель семейства DeepSeek-R1 предназначена для рассуждений, математики и кода.

EpistemeAI/Fireball-Llama-3.1-8B-v1dpo — диалоговая языковая модель на архитектуре Llama 3.1, выпущенная EpistemeAI. Это дообученная версия unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit с 7,5 млрд параметров; она поддерживает генерацию текста, диалог и интерфейс вызова инструментов. Модель предназначена для создания чат-ассистентов, генерации ответов и интеграции с внешними инструментами. Контекстное окно составляет 131 072 токена. В карточке описано использование через Transformers и исходную кодовую базу Llama. Указаны английский и поддержка многоязычного ввода и вывода; исходная Llama 3.1 поддерживает также французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Качество и безопасность ответов могут варьироваться: возможны ошибки, предвзятые или нежелательные ответы, поэтому перед развёртыванием нужны проверки для конкретного сценария. Лицензия — Apache-2.0.

Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP — мультимодальная модель семейства Gemma 4, разработанная HauhauCS на основе Gemma 4 26B-A4B-it от Google DeepMind. Это версия с минимизированными отказами, ориентированная на агентный кодинг, рассуждения, творческое письмо, ролевые и разговорные сценарии, а также задачи, где важны надёжность и следование инструкциям. Модель построена по архитектуре MoE с 128 экспертами, из которых 8 активируются для каждого токена, и имеет заявленный контекст 256K токенов. Используется официальная QAT-квантизация примерно до 4 бит в формате GGUF Q4_K_M; основной файл занимает около 16,8 ГБ. Поддерживается ввод изображений через отдельный vision-проектор mmproj размером около 1,2 ГБ. Заявлен английский язык. В комплект входит MTP-драфтер для speculative decoding, который, по данным автора, ускоряет генерацию примерно на 35% без изменения проверенного моделью результата. Сильными сторонами являются сочетание большого контекста, MoE-архитектуры, поддержки изображений, 4-битной QAT-квантизации и оптимизации под llama.cpp, LM Studio, Jan, koboldcpp и другие GGUF-совместимые среды. Ограничения включают зависимость мультимодального режима от отдельного mmproj, необходимость совместимого MTP-драфтера для заявленного ускорения и возможные сбои Gemma 4 в LM Studio при использовании tensor-split на нескольких GPU. Несмотря на позиционирование как uncensored, автор отмечает отдельные пограничные случаи с отказом при первом запросе. Модель распространяется по лицензии Gemma; дополнительные условия лицензии в README не указаны.

Gemma-4 26B-A4B-it — текстовая instruction-tuned модель Google, представленная в формате GGUF. Данная версия конвертирована и квантизирована Arun Prasath E G для запуска через llama.cpp на CPU без GPU; дообучения не выполнялось. Модель использует архитектуру mixture-of-experts с 26 млрд параметров и восемью экспертами. В описании указан английский язык, другие языки и размер контекста не заявлены. Модель предназначена для генерации текста, включая диалоговые ответы, решение задач, ответы на фактические вопросы и написание кода. Основной вариант использует квантизацию Q4_0; также доступна версия с дополнительной квантизацией выходной головы до 2,4 бит на вес. Для ускорения предусмотрен официальный MTP-drafter и speculative decoding. В CPU-сценариях на i9-13900K с 64 ГБ памяти заявлена скорость около 40 токенов в секунду в однопоточном потоке генерации и около 124 токенов в секунду совокупно при batch 32. Сильные стороны модели — возможность локального запуска без GPU, высокая скорость при подходящей конфигурации и сохранение идентичного вывода базовой Q4_0-версии при использовании speculative decoding. Результаты зависят от процессора, пропускной способности памяти, температуры и параметров запуска. Использование только трёх из восьми экспертов является приближением: на тестовых запросах ответы совпали с режимом top-8, но perplexity на необработанном тексте выросла. Для работы требуются совместимые форки llama.cpp и значительный объём памяти; заявленные показатели относятся к конкретному стенду и не гарантируются на другом оборудовании. Базовые веса и MTP-drafter распространяются по условиям Gemma Terms of Use. В репозитории представлены конвертации и квантизации официальных весов Google, а не отдельная дообученная модель.

Huihui-Qwen3.8-27B-abliterated-FP8-v2 — мультимодальная модель для обработки текста и изображений, созданная пользователем batsclamp на основе huihui-ai/Huihui-Qwen3.8-27B-abliterated. Это версия v2, квантизированная из upstream-релиза от 24 августа 2026 года; исходная модель основана на семействе Qwen3.8. Модель предназначена для генерации текста, рассуждений, работы с изображениями, а также сценариев с вызовом инструментов и использованием vLLM. Модель имеет размер 27B параметров и поддерживает контекст до 262 144 токенов при указанной конфигурации обслуживания. Используется гибридная архитектура с Mamba-проекциями и визуальной башней; 256 плотных линейных модулей квантизированы в FP8 E4M3 с поканальными статическими масштабами для весов и динамическим масштабированием по токенам для активаций. Формат хранения — compressed-tensors float-quantized. Визуальная часть, эмбеддинги, нормализации, lm_head и MTP-модуль сохранены в BF16, что позволяет использовать speculative decoding. Преимуществами являются уменьшенный размер по сравнению с BF16-версией, совместимость с vLLM и потенциально более высокая точность квантизации благодаря поканальному масштабированию. При этом качество FP8-варианта не подтверждено полноценными бенчмарками: заявлены только структурная проверка и тестовая генерация. Модель аблитерирована, поэтому у неё удалено исходное поведение отказа и отсутствуют гарантии безопасности оригинального релиза; при высоком уровне reasoning effort она может расходовать очень большой бюджет вывода и возвращать пустой ответ при преждевременном ограничении max_tokens. Лицензия — Apache 2.0.

Huihui-Qwen3.8-27B-abliterated-NVFP4 — квантизированная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная автором репозитория sakamakismile. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, переводов и следования инструкциям. Она также содержит необработанную vision tower, однако мультимодальная работа в README не тестировалась. Модель основана на архитектуре Qwen3.8 с 27 млрд параметров и использует NVFP4-квантизацию W4A4 с размером группы 16. Большинство весов представлены в NVFP4, а lm_head, vision tower, conv1d DeltaNet и MTP head сохранены в bfloat16. Поддерживаются speculative decoding через MTP и запуск в vLLM 0.22 на GPU с архитектурой Blackwell SM120. Размер весов уменьшен с 55,6 до 20,0 ГБ; рекомендуемый контекст — до 32 768 токенов. README не указывает полный список поддерживаемых языков, но результаты проверок включают английский, французский и японский. К сильным сторонам относятся заметное сокращение объёма модели, совместимость с двумя видеокартами по 16 ГБ при наличии запаса под KV-кэш, сохранение MTP-головы для ускоренного декодирования и отсутствие выявленного ухудшения на заявленном наборе проверок после более узкой абляции. Ограничения включают необходимость Blackwell и vLLM 0.22 для описанной конфигурации, неподтверждённую мультимодальную работу, а также периодические пропуски закрывающей скобки при генерации длинных файлов кода; рекомендуется использовать синтаксическую проверку. Модель распространяется по лицензии Apache-2.0. Репозиторий содержит только квантизированные веса, а авторство исходной модели принадлежит huihui-ai.

Hy3-295B-NVFP4 — квантованный экспорт базовой модели Tencent Hy3, подготовленный r0b0tlab с NVIDIA ModelOpt и проверенный в vLLM на двух системах NVIDIA GB10. Это MoE-модель для генерации диалогового текста; артефакт использует калиброванную квантизацию весов W4A4 NVFP4 для поддерживаемых проекций маршрутизируемых экспертов, а проверенный KV-кэш работает в FP8. В README описана практическая проверка контекста до 49 152 токенов, но это измеренная граница конкретного профиля, а не заявленный архитектурный максимум. Модель предназначена для диалогов, рассуждений, ответов на вопросы, задач на следование инструкциям и генерации кода. В README приведены результаты тестов на GSM8K, ARC-Challenge, PIQA, WinoGrande, TruthfulQA, MMLU, IFEval и HumanEval, а также измерения производительности на указанном оборудовании. Результаты относятся к конкретным конфигурациям запуска, данным и контрактам декодирования и не гарантируют качество для любых запросов. В метаданных указана лицензия other; README требует соблюдать лицензии и условия базовой модели, библиотек и наборов данных. Для запуска и заявленной производительности необходимы совместимые аппаратное обеспечение и программный стек; показатели проверки получены на двух GB10 с vLLM и FlashInfer.

Карточка модели muhamad-geosurge/invert-polarity-655db4cc-31b8-41ce-b21b-da1421dcc629 на Hugging Face совпадает с карточкой google/gemma-3-12b-it, поэтому описание составлено по ней. Gemma 3 12B IT — мультимодальная модель с открытыми весами от Google, дообученная для следования инструкциям на основе google/gemma-3-12b-pt. Она принимает текст и изображения и генерирует текст; относится к семейству Gemma 3 и доступна в формате safetensors для Transformers. Модель предназначена для диалоговых приложений, ответов на вопросы и задач понимания изображений, а также для создания и обобщения текста. Контекстное окно — до 128 тысяч токенов, поддерживается более 140 языков. Размер модели — 12 млрд параметров. Модель подходит для извлечения сведений из изображений, составления черновиков, суммаризации и исследовательских задач. Google отмечает, что ответы могут содержать фактические ошибки, отражать предвзятость обучающих данных и хуже справляться со сложными открытыми запросами, языковыми нюансами и задачами, требующими здравого смысла. Лицензия — Gemma; при использовании следует соблюдать условия лицензии и политику запрещённого использования Gemma.