II.3Рефакторинг, миграция и модернизация

Reflection-Llama-3.1-70B-GGUF — квантизированная GGUF-версия модели Reflection-Llama-3.1-70B на базе mattshumer/ref_70_e3. Базовая архитектура относится к семейству Llama и связана с Meta Llama 3; квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, особенно задач, требующих сложного рассуждения, самопроверки и корректировки ответа. Модель имеет размер 70 миллиардов параметров и поддерживает контекст до 128 000 токенов. Это текстовая модель без заявленной поддержки изображений или других модальностей; поддерживаемые языки в README не указаны. Доступны варианты квантизации от 2 до 8 бит в формате GGUF. Рекомендуемыми названы варианты Q4_K_M как сбалансированный по качеству и размеру, а также Q5_K_M и Q5_K_S с очень малой потерей качества. Малые варианты могут заметно снижать качество, а старые форматы Q4_0 и Q5_0 не рекомендуются по сравнению с современными альтернативами. Для работы рекомендуется использовать системную инструкцию, задающую рассуждение внутри тегов <thinking>, итог внутри <output> и исправления внутри <reflection>; также указаны рекомендуемые temperature 0,5 и top_p 0,95. Ограничениями являются большой объём файлов и высокие требования к ресурсам, особенно для вариантов с высокой точностью. Модель распространяется по лицензии llama3.1; дополнительные условия лицензии в README не приведены.

Rombos-LLM-V2.5-Qwen-32b — текстовая генеративная модель, созданная Rombodawg на основе Qwen2.5-32B-Instruct. Автор описывает её как результат непрерывного дообучения и слияния инструктивной и базовой моделей методом TIES; метаданные также связывают модель с Qwen/Qwen2.5-32B-Instruct. Модель построена на плотной архитектуре Qwen2 и содержит 32 млрд параметров. Модель предназначена для диалога и генерации текста, включая сценарии с вызовом инструментов через соответствующий интерфейс. Она принимает текст, выдаёт текст и рассчитана на контекст до 32 768 токенов. Карточка заявляет более высокую производительность по сравнению с исходными instruct- и base-моделями, но не приводит бенчмарков или подробностей проверки этого заявления. Поддерживаемые языки отдельно не перечислены. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0. README сообщает, что квантизованные версии и бенчмарки пока готовятся.

petals-team/StableBeluga2 — версия Stable Beluga 2 от Stability AI, подготовленная для использования в Petals. В основе лежит авторегрессионная языковая модель Llama 2 примерно на 70 млрд параметров, дообученная на внутреннем наборе данных в стиле Orca. Модель предназначена для диалогов и генерации текста по инструкциям на английском языке; заявленный контекст — 4096 токенов. В этой версии веса сохранены в bfloat16 и Safetensors, а также разделены на небольшие шарды по слоям, чтобы клиенты и серверы Petals загружали только нужные части модели. README отмечает небольшую потерю качества при переходе с float32; при использовании NF4-квантизации Petals возможна дополнительная потеря качества. Модель может выдавать неточные, предвзятые или нежелательные ответы, поэтому её следует проверять и настраивать под конкретное применение. Чекпойнт распространяется по лицензии STABLE BELUGA NON-COMMERCIAL COMMUNITY LICENSE AGREEMENT, ограничивающей коммерческое использование.

ZEUS-8B-V7 — языковая модель семейства Llama 3.1, созданная объединением нескольких моделей методом DARE TIES. Автор стремился улучшить предыдущую версию ZEUS, повысив плотность слияния и включив менее ограниченную модель Llama 3.1. В качестве базовой использована unsloth/Meta-Llama-3.1-8B-Instruct; также в слияние вошли LLAMA-3_8B_Unaligned_BETA, Llama-3.1-Storm-8B и Llama-3.1-SuperNova-Lite. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и работает через Transformers. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — до 131 072 токенов. README приводит результаты оценивания, включая IFEval и BBH, но не сообщает языковой охват. Модель распространяется в формате Safetensors по лицензии Llama 3.1. Показатели слияния и отдельные результаты бенчмарков не гарантируют качество на конкретных задачах; README не описывает систематические ограничения или языки, на которых модель проверена.

airoboros-2.2.1-y34b — неофициально дообученная модель DS-Archive на наборе инструкций airoboros 2.2.1 от Jon Durbin, поверх базовой Llama-fied Yi 34B от Charles Goddard. Это плотная авторегрессионная языковая модель семейства Llama с 33,9 млрд параметров, grouped-query attention и контекстом 4096 токенов; формат весов в репозитории — safetensors. Предназначена для диалогов и выполнения текстовых инструкций в формате, производном от Vicuna 1.1. Модель переносит способности следовать инструкциям на основу Yi 34B. В README указано, что для инференса можно использовать 4-битную квантизацию на потребительском GPU с 24 ГБ видеопамяти; также опубликованы варианты EXL2 с разной разрядностью. Лицензия в метаданных обозначена как other, поэтому перед использованием следует проверить условия на странице модели. Обучение неофициальное; контекст ограничен 4096 токенами.

BrurryDog-7b-v0.1 — объединённая языковая модель семейства Mistral, созданная с помощью LazyMergekit из udkai/Turdus, leveldevai/TurdusBeagle-7B и liminerity/Blur-7b-v1.21. Модель с плотной архитектурой MistralForCausalLM содержит 7,1 млрд параметров и рассчитана на генерацию текста, диалоги и выполнение инструкций; нативная длина контекста составляет 32 768 токенов. В README описано слияние методом TIES с нормализацией и int8-маской; итоговые веса сохранены в bfloat16. Для оценки приведены результаты Open LLM Leaderboard, включая среднее значение 74,24, ARC 72,53 и HellaSwag 88,37. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает целевые языки, поэтому языковую специализацию определить нельзя.

DeepSauerHuatuoSkywork-R1-o1-Llama-3.1-8B — объединённая языковая модель, собранная grimjim с помощью mergekit. В основе лежит meta-llama/Llama-3.1-8B; в слияние также включены SauerHuatuoSkywork-o1-Llama-3.1-8B с весом 0,9 и DeepSeek-R1-Distill-Llama-8B с весом 0,1. Использован метод task arithmetic, итоговые веса сохранены в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев, где полезны рассуждения и следование инструкциям. Она содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка приводит результаты оценивания на IFEval и BBH, однако не описывает языки, на которых модель проверена. Лицензия — llama3.1; её условия следует учитывать при использовании и распространении модели.

SanctumAI/gemma-2-9b-it-GGUF — квантизированная GGUF-версия Gemma 2 9B IT, разработанной Google и подготовленной SanctumAI. Это текстовая decoder-only языковая модель с instruction tuning, предназначенная для генерации текста, диалогов, ответов на вопросы, суммирования и задач, требующих рассуждений. Модель работает с текстом и, согласно README, доступна на английском языке. Модель содержит около 9 млрд параметров. Доступны варианты квантизации Q2_K–Q8_0, а также f16; размер файлов составляет примерно от 3,81 до 18,49 ГБ, а оценочная потребность в RAM или VRAM — от 15,14 до 28,82 ГБ в зависимости от варианта. Квантизация позволяет запускать модель на ноутбуке, настольном компьютере или собственной облачной инфраструктуре при выборе подходящего формата, но более компактные варианты могут уступать по качеству менее квантизированным. Модель распространяется по лицензии Gemma. Для корректного диалога следует использовать шаблон Gemma с маркерами начала и конца хода пользователя и модели. README не указывает размер контекстного окна, мультимодальные возможности или поддержку языков помимо английского; также конкретные ограничения качества не описаны. Как и другие языковые модели, она может генерировать неточный, вредный или неподходящий контент, поэтому результаты требуют проверки.

Gemma4-12B Uncensored-HauhauCS-1M-GGUF — GGUF-версия модели, опубликованная satgeze и основанная на HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced, которая, в свою очередь, использует 12-миллиардный dense-чекпойнт Google с квантизацией QAT. Модель предназначена для генерации текста, работы с длинными документами и задач, требующих извлечения информации из больших контекстов. Также заявлена поддержка изображений благодаря vision tower и ускоренного вывода через MTP speculative decoding; запуск ориентирован на llama.cpp и Ollama. Ключевая характеристика модели — контекстное окно до 1 048 576 токенов, увеличенное в четыре раза относительно исходных 262 144 токенов. В README сообщается о сертифицированном needle-in-a-haystack извлечении на всём диапазоне от 64K до 1M токенов, а также о сохранении цепочек многошагового поиска на полном миллионном контексте. MTP ускоряет генерацию примерно на 51% в заявленных тестах, до 218,4 токена в секунду на RTX 5090. Языки явно не указаны. Сильные стороны модели — очень длинный контекст, точное позиционное извлечение и поддержка изображений. Ограничения проявляются в задачах, требующих агрегации данных по всему окну: на больших длинах качество снижается, а режим thinking, по данным README, существенно ухудшает результаты и может зацикливаться или исчерпывать лимит генерации. Для длинноконтекстного извлечения рекомендуется отключать thinking. Модель описана как uncensored и распространяется по лицензии Gemma; конкретные условия лицензии следует учитывать при использовании.

t-firefly/gemma4-e2b-rknn3-rk1828 — мультимодальная версия Gemma 4 E2B IT, подготовленная для запуска на устройстве RK1828 через LlamaPi. Исходную модель разработала Google DeepMind; карточка указывает на форматы GGUF и Safetensors, а метаданные связывают репозиторий с google/gemma-4-E2B-it. Модель принимает текст, изображения и аудио, выдаёт текст и предназначена для диалогов, рассуждений, программирования и агентных сценариев на устройстве или периферийном оборудовании. В README заявлены контекст 256 тысяч токенов и поддержка более 140 языков. Лицензия — Apache-2.0. Сведения о преобразовании весов специально для RKNN3, фактической производительности на RK1828 и совместимости отдельных модальностей в этой сборке ограничены; возможности исходной модели не гарантируют их полной поддержки в данном варианте.

GLM-5.3-Quark-MXFP4 — текстовая авторегрессионная модель для генерации текста, созданная Advanced Micro Devices (AMD) на базе GLM-5.3 от zai-org. Модель предназначена для задач обработки и генерации текста, включая математическое рассуждение и другие сценарии, поддерживаемые базовой моделью. Заявленные языки — английский и китайский; входные и выходные данные представлены в текстовой форме. Архитектура модели обозначена как GlmMoeDsaForCausalLM. Для оптимизации инференса применена посттренировочная квантизация AMD Quark V0.12: router experts и shared experts используют MXFP4, а слои self-attention — FP8 с покомпонентной блочной квантизацией. Слой lm_head, эмбеддинги и некоторые дополнительные слои сохранены в исходном формате. Максимальная длина контекста в приведённой конфигурации vLLM составляет 32 768 токенов, однако размер модели и полная спецификация контекстного окна в README не указаны. Модель ориентирована на запуск через vLLM на системах Linux с ускорителями AMD MI350 или MI355 и ROCm 7.1.1; в README также указаны PyTorch 2.10.0 и Transformers 5.15.1. На тесте GSM8K она получила 91,28 против 91,89 у исходной GLM-5.3, что соответствует восстановлению 99,34% исходного результата и указывает на небольшую потерю точности после квантизации. Лицензия обозначена как glm-5.3; также указано, что модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

MuXodious/gpt-oss-20b-RichardErkhov-heresy — доработанная версия модели OpenAI gpt-oss-20b, созданная сообществом MuXodious с применением модифицированного движка abliteration Heretic и метода Magnitude-Preserving Orthogonal Ablation. Модель предназначена для генерации текста, локального использования, экспериментов, специализированных приложений и сценариев, требующих снижения частоты отказов отвечать. В README заявлены 6 отказов из 100 против 98 из 100 у исходной версии, а также низкое значение KL divergence 0,0802, однако эти показатели относятся к авторской методике оценки и не гарантируют качество или безопасность в практических задачах. Модель основана на gpt-oss-20b — MoE-модели OpenAI с 21 млрд параметров и 3,6 млрд активных параметров, рассчитанной на низкую задержку и локальное выполнение. Она поддерживает генерацию текста, настраиваемый уровень рассуждений, агентные сценарии, вызов функций, веб-браузинг, выполнение Python и структурированные ответы. Указано, что модель обучена для работы с форматом Harmony, который необходимо использовать для корректной работы. Также заявлена посттренировочная MXFP4-квантизация весов MoE, позволяющая запускать исходную gpt-oss-20b примерно в пределах 16 ГБ памяти. Языки и размер контекстного окна для данной версии в README не указаны. К сильным сторонам относятся существенно сниженная склонность к отказам, сохранение близости к исходной модели по метрике KL divergence и пригодность для локальных и исследовательских сценариев. Ограничения включают экспериментальный характер abliteration, возможное повреждение исходных способностей, отсутствие независимых подробных оценок качества и потенциальные риски использования менее ограниченной модели. Модель распространяется по лицензии Apache 2.0.

granite-4.2-8b-MLX-6bit — это 6-битно квантованная версия языковой модели granite-4.2-8b, разработанной командой ibm-granite. Квантование выполнено командой LM Studio с использованием MLX, поэтому модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и поддерживает сценарии, связанные с рассуждениями, режимом thinking и вызовом инструментов. Модель относится к классу текстовых генеративных моделей, имеет размер 8B в исходной версии и работает с текстовой модальностью. В README заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. Размер контекста и дополнительные архитектурные характеристики не указаны. Ключевые преимущества — уменьшенный объём хранения и потенциально более эффективный локальный запуск благодаря 6-битному квантованию и оптимизации MLX для Apple Silicon. Ограничения включают возможные потери качества по сравнению с полной точностью, зависимость от совместимого оборудования и отсутствие в README подробных данных о производительности, точности и размере контекста. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic-i1-GGUF — это квантизированная версия модели MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic, опубликованная и подготовленная в формате GGUF пользователем mradermacher на основе базовой модели GnLOLot. Модель предназначена для генерации текста, диалогов, следования инструкциям, программирования, рассуждений, а также сценариев с вызовом инструментов и функций. Из доступных данных известно, что модель относится к семейству MiniCPM, имеет около 2 млрд параметров и поддерживает английский и китайский языки. Она рассчитана на текстовые задачи; сведения о мультимодальности и размере контекстного окна не указаны. Доступно множество вариантов квантизации GGUF с размером примерно от 0,8 до 1,7 ГБ, что позволяет выбирать между требованиями к памяти, скоростью и качеством. Для большинства сценариев автор рекомендует варианты i1-Q4_K_M или i1-Q4_K_S, тогда как самые компактные варианты могут заметно уступать по качеству. Сильными сторонами модели являются небольшой размер, возможность локального запуска в совместимых с GGUF средах и ориентация на агентные сценарии, вызов функций и программирование. Ограничениями являются относительно малое число параметров, возможное снижение качества в низкобитных вариантах и отсутствие опубликованных сведений о контекстном окне, бенчмарках и фактической эффективности tool-calling. Модель распространяется по лицензии Apache-2.0.

FriendliAI публикует эту версию Mistral-7B-Instruct-v0.2, квантованную в FP8 для более эффективного инференса; исходную модель разработала Mistral AI. Это плотная авторегрессионная языковая модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов на инструкции. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст. Её можно использовать для чат-ботов, ответов на вопросы и выполнения текстовых инструкций. Для запуска в README указан Friendli Container; FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Лицензия — Apache-2.0. README предупреждает, что у исходной instruct-модели нет механизмов модерации, поэтому её ответы могут требовать отдельного контроля.

Карточка модели neongeckocom/NeonLLM-Base на Hugging Face совпадает с карточкой NousResearch/Hermes-2-Pro-Mistral-7B, поэтому описание составлено по ней. Hermes 2 Pro на Mistral 7B — диалоговая языковая модель, разработанная Nous Research совместно с Interstellarninja и Fireworks.AI. Это дообученная плотная модель Mistral с 7,1 млрд параметров; она использует формат ChatML и контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, а также для вызова функций и формирования структурированных ответов в JSON. Авторы сообщают о точности 90% в собственной оценке вызова функций и 84% в оценке JSON-вывода. Она подходит для ассистентов, которым нужно передавать вызовы инструментам и возвращать ответы по заданной схеме. Модель принимает текст и генерирует текст, включая представления вызовов инструментов и JSON. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Результаты оценок приведены авторами модели; качество ответов и корректность вызовов инструментов следует проверять в целевом приложении.

NorMistral-7b-warm-instruct — инструкционно дообученная языковая модель, разработанная Norallm на базе NorMistral-7b-warm, который, в свою очередь, относится к семейству Mistral. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, многоходовые беседы, выполнение инструкций, подготовку текстов и задачи программирования. Основной фокус — норвежские языки Bokmål и Nynorsk; в метаданных также указан язык no. Модель поддерживает ChatML-подобный формат диалогов и контекст длиной 4096 токенов. Размер модели в README явно не указан для инструкционной версии, однако она названа NorMistral-7b-warm-instruct. Дообучение выполнено методом supervised fine-tuning на отфильтрованных и дополненных открытых наборах Aya, OASST, OIG, No Robots, Dolly и Glaive code assistant; preference optimization не применялась. К сильным сторонам относятся открытая доступность, ориентация на норвежскую языковую специфику, поддержка многоходовых диалогов и увеличенный до 4096 токенов контекст относительно базовой модели. Ограничения включают статус первой рабочей итерации, возможные изменения весов, чувствительность к параметрам генерации и отсутствие preference optimization, поэтому качество и устойчивость ответов могут быть неравномерными. Модель распространяется по лицензии Apache-2.0, допускающей коммерческое использование. README не сообщает о поддержке изображений или других модальностей, поэтому модель следует считать текстовой.

OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/OpenHermes-2.5-neural-chat-v3-3-Slerp методом SLERP. Модель содержит 7,1 млрд параметров, предназначена для генерации текста и ответов на инструкции в формате диалога. Контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст; в метаданных отмечена возможность чата. Репозиторий содержит веса в формате Safetensors, а конфигурация слияния указывает тип данных bfloat16. Лицензия — Apache 2.0. Подходит для диалоговых приложений и выполнения текстовых инструкций; конкретные языки, оценка качества и ограничения в предоставленных данных не описаны.

MIRALABS/Ornith-1.5-35B-A3B-W4A16-SYM — симметрично переквантизированная версия мультимодальной модели Ornith-1.5-35B-A3B, разработанная командой Milner Team (MIRALABS) на основе модели ornith-ai. Модель относится к семейству Qwen3.6/3.5 A3B MoE и предназначена для локального запуска и обслуживания через vLLM, включая задачи генерации текста, рассуждений и обработки изображений и видео. В README также указана встроенная поддержка reasoning/tool parser для конфигурации первого запуска. Это MoE-модель с заявленным размером 35B и активной конфигурацией A3B. Маршрутизируемые экспертные слои переквантизированы в W4A16 symmetric с 4-битными весами, 16-битными активациями и размером группы 32; vision tower и MTP head сохранены в BF16. Формат хранения — compressed-tensors/pack-quantized, поддерживается vLLM версии 0.19 и новее с Marlin backend. Заявленный максимальный контекст — 32 768 токенов. Поддерживаемые языки в README не указаны. Сильная сторона модели — возможность запуска MoE-варианта на NVIDIA GPU через vLLM с существенно меньшими требованиями к памяти; на двух RTX 3090 заявлена загрузка примерно по 20 ГБ на GPU. К ограничениям относятся потери качества и расхождения с BF16-версией из-за 4-битной квантизации, а также необходимость совместимой конфигурации vLLM и оборудования. Модель распространяется по лицензии MIT.

Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled — модель, разработанная Jackrong на базе Qwen3.5-9B. Она дообучена методом Supervised Fine-Tuning с использованием LoRA и данных, полученных дистилляцией рассуждений из взаимодействий с Claude-4.6 Opus, а также дополнительных наборов данных для reasoning, науки, следования инструкциям и математики. В обучении использовалась библиотека Unsloth. Модель предназначена для решения сложных задач, требующих структурированного пошагового анализа, планирования, проверки ограничений и формулирования подробных ответов. Она обучена использовать формат рассуждений в тегах <think> и затем выдавать итоговый ответ, при этом автор стремился сократить избыточные повторения и повысить эффективность рассуждений. Указаны языки английский, китайский и корейский; размер базовой модели — 9B параметров. В README модель описана как текстовая, хотя в метаданных pipeline указан image-text-to-text. Сильными сторонами являются компактный размер, акцент на структурированное reasoning и применение к научным, математическим и общим инструкционным задачам. Ограничения включают отсутствие опубликованных сведений о размере контекстного окна, количественных результатах бенчмарков и фактической поддержке изображений. Модель распространяется по лицензии Apache-2.0.

Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-GGUF — модель, разработанная Jackrong на основе плотной архитектуры Qwen3.5-9B. Она дообучена методом Supervised Fine-Tuning с применением LoRA и библиотеки Unsloth на данных, полученных дистилляцией рассуждений из взаимодействий с Claude 4.6 Opus, а также на наборах Jackrong/Qwen3.5-reasoning-700x и nohurry/Opus-4.6-Reasoning-3000x-filtered. Распространяется в формате GGUF и предназначена для использования с llama.cpp и совместимыми инструментами. Основное назначение модели — решение сложных задач с пошаговым рассуждением, включая научные, математические и инструкционные сценарии. Обучение ориентировано на структурирование анализа, разбиение задачи на подзадачи, проверку ограничений и формирование итогового ответа. В заявленном формате модель использует структуру <think>...</think> перед финальным ответом и стремится сокращать избыточные повторения в рассуждениях. Известно, что модель имеет 9 млрд параметров и поддерживает английский и китайский языки. В метаданных также заявлены мультимодальные возможности image-text-to-text и обработка изображений, однако в описании процесса обучения итоговая модель обозначена как text-only, поэтому практическую поддержку изображений следует проверять отдельно. Размер контекста, конкретная GGUF-квантизация и результаты независимых бенчмарков не указаны. Лицензия — Apache-2.0.

Qwen3.6-27B-nvfp4-NInfer — это квантованное мультимодальное представление модели Qwen3.6-27B, подготовленное Neroued для собственного движка NInfer. Модель преобразована из сборки Qwen3.6-27B-PrismaSCOUT-Blackwell-NVFP4-BF16-vllm в нативный формат артефакта .ninfer. Архитектура указана как Qwen3_5ForCausalLM, размер артефакта составляет около 17,07 ГиБ, а веса используют смешанное представление NVFP4/BF16 с оптимизированными путями W4A4 Tensor Core для prefill и A16 NVFP4 для decode. Модель предназначена для генерации текста в режимах с рассуждением и без него, а также для мультимодальных сценариев с изображениями, несколькими изображениями, видео и смешанными сообщениями. Поддерживаются MTP-спекулятивная генерация, повторное использование prefix, CLI и локальное серверное выполнение через общий Engine-маршрут. В карточке приведены результаты оценки: 93,33% на AIME 2025, 93,33% на AIME 2026 и 84,34% на GPQA-Diamond; эти показатели заявлены для режима zero-shot. Основные ограничения связаны с совместимостью: артефакт предназначен только для NInfer и не является checkpoint для Transformers, распространением Safetensors или файлом GGUF. Для работы требуются 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a, CUDA Toolkit 13.1 или новее и сборка NInfer из исходников указанной ревизии или более поздней. В README указана лицензия Apache-2.0. Языки и точный максимальный контекст самой модели явно не указаны; пример сервера демонстрирует логический предел запроса в 240 000 токенов.

Qwen3.6-35B-A3B-Abliterated-Heretic-MLX-4bit — локальная MLX-версия модели Qwen3.6-35B-A3B, подготовленная пользователем Youssofal на базе аблитерированного BF16-чекпойнта. Модель относится к семейству Qwen3.5 MoE и предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и коротких программных фрагментов на устройствах Apple Silicon через mlx-lm. Модель использует разреженную архитектуру Mixture of Experts с общим размером около 35 млрд параметров и обозначением A3B. Применена высококачественная 4-битная смешанная квантизация с учётом чувствительности отдельных слоёв; часть проекций хранится с повышенной точностью 6 бит. В репозитории сохранены компоненты обработки изображений и видео, vision tower и процессорные файлы, поэтому вариант может поддерживать мультимодальные сценарии в совместимых MLX-рантаймах Qwen3.6. Поддерживаемые языки и размер контекста в README не указаны. Ключевая особенность — удаление базового поведения отказа на уровне весов с помощью пайплайна Heretic, поэтому модель отвечает на значительную часть запросов, которые исходная модель отклоняла. В проверке на 25 маркерных запросах она отказала в 3 случаях; также прошла локальные проверки общего чата, краткого рассуждения и генерации кода. Это одновременно является ограничением: встроенные защитные отказы ослаблены или удалены, поэтому модель требует осторожного применения и самостоятельных мер безопасности. В README также не приведены результаты комплексных бенчмарков качества. Распространение указано под лицензией Apache-2.0. Модель ориентирована прежде всего на локальный запуск на Apple Silicon и требует совместимой поддержки MLX для мультимодальных возможностей.

Qwen3.8-27B-Opus-Distill-v2-GGUF — семейство GGUF-квантизаций модели barozp/Qwen3.8-27B-Opus-Distill-v2, разработанной сообществом на базе Qwen/Qwen3.8-27B. Это плотная модель на 27 млрд параметров с гибридной архитектурой Gated-DeltaNet и full-attention, 64 слоями, поддержкой текста и изображений или видео через отдельный vision-модуль mmproj. Модель предназначена для диалогов, генерации текста и решения задач, требующих рассуждений; исходная модель дообучена методом LoRA на 11 716 проверенных примерах рассуждений, связанных с Opus. Главное назначение версии v2 — исправление дефекта v1, при котором некоторые сочетания ограничений формата могли запускать бесконечный цикл самопроверки без видимого вывода. По данным README, новая версия корректно завершается на проверенных тестах и показывает заметный прирост относительно базовой модели в ARC Challenge и GPQA Diamond, при сопоставимых результатах на MMLU и wikitext. Доступны варианты от BF16 и Q8_0 до экстремально низкобитных IQ-квантизаций; Q4_K_M указан как сбалансированный вариант, а выбор зависит от объёма доступной видеопамяти. IQ-квантизации требуют imatrix и актуальной поддержки llama.cpp. Модель может использоваться в llama.cpp в текстовом режиме, а для мультимодального ввода требуется отдельный vision-файл mmproj. Поддержка языков и размер контекстного окна в README не указаны. К ограничениям относятся потери качества при низкобитной квантизации, повышенные требования к памяти для старших вариантов и необходимость отдельного vision-модуля для изображений и видео. Указанная лицензия — Apache-2.0.

Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Карточка модели Rasputin312/Qwen3-Embedding-4B_both_0_pct_3_epochs на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Карточка модели JetLM/SDAR-8B-Chat-b64 на Hugging Face совпадает с карточкой JetLM/SDAR-8B-Chat-b32, поэтому описание составлено по ней. JetLM/SDAR-8B-Chat-b32 — чат-модель семейства SDAR, разработанная авторами SDAR. Она объединяет авторегрессионное обучение с дискретным диффузионным моделированием: авторегрессионная составляющая обеспечивает эффективное обучение, а диффузионный подход позволяет генерировать токены параллельно. В репозитории указана плотная архитектура SDARForCausalLM с 7,6 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для диалогов и генерации текста; в карточке также заявлен интерфейс вызова инструментов. Авторы сообщают о сопоставимой с сильными авторегрессионными моделями общей производительности и преимуществах в некоторых научных задачах рассуждения для моделей SDAR того же масштаба. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Языки и отдельные результаты именно этой версии в карточке не приведены.

YamshadowInex12_Percival_01Yamshadow — слитая модель семейства Mistral, созданная на основе automerger/YamshadowInex12-7B и automerger/Percival_01Yamshadow-7B. Она предназначена для генерации текста по текстовым запросам и работает с контекстом до 32 768 токенов. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и распространяется в формате Safetensors по лицензии Apache 2.0.

agiin-13.6B-v0.1-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и mncai/agiin-13.6B-v0.1 методом SLERP. В каталоге указаны архитектура MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов; модель распространяется в формате safetensors и поддерживает диалоговый режим. Модель предназначена для генерации текста и ответов на инструкции в чат-сценариях. В README описана настройка слияния слоёв внимания и MLP, а базовая модель определена как mistralai/Mistral-7B-Instruct-v0.2. Лицензия Apache-2.0. Данные о специальных доменах и языках применения в карточке не приведены.

Carnice-V3-GGUF — квантованные GGUF-варианты модели Carnice V3 от kai-os, производной от Qwen/Qwen3.8-27B. Модель предназначена для запуска через llama.cpp, включая текстовые, мультимодальные и агентские сценарии с использованием инструментов. В основе лежит объединённая BF16-модель размером 27 781 427 952 параметра; постобучение выполнялось с помощью rank-64 rsLoRA для языковых линейных модулей. Визионные и MTP-модули не дообучались. Заявлена поддержка английского языка, обработки изображений и контекста до 32 768 токенов при указанных настройках запуска. В репозитории доступны варианты Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 15,66 до 27,05 GiB, а мультимодальный проектор поставляется отдельно в формате BF16. Q5_K_M рекомендуется как баланс качества и потребления памяти, Q6_K — когда важнее надёжность агентской работы, а Q8_0 — при приоритете минимальных потерь квантования. Проверки показывают небольшое ухудшение perplexity относительно BF16 и успешный тест вызова инструмента, однако эти результаты не являются широким бенчмарком. Модель может быть полезна для локального инференса, обработки изображений, tool use и Hermes Agent. При этом Carnice V3 не прошла формальную проверку поведенческого качества; внутренние тесты выявили более слабое выполнение длинных задач и соблюдение контрактов инструментов по сравнению с базовой моделью. Модель не рекомендуется для автономных, разрушительных, высокорисковых или производственных агентов без независимой оценки, строгой песочницы и ограничений времени, контекста и числа итераций. Распространение осуществляется по лицензии Apache-2.0.