II.3Рефакторинг, миграция и модернизация

Falcon3-10B-Base — базовая предварительно обученная языковая модель семейства Falcon3, разработанная Technology Innovation Institute. Это плотный авторегрессионный трансформер с 9,9 млрд параметров; в карточке архитектура указана как LlamaForCausalLM. Модель принимает текст и генерирует продолжение, поддерживает английский, французский, испанский и португальский языки, а контекстное окно достигает 32 768 токенов. Модель обучалась на данных из веба, кода, STEM и многоязычных источников; в README заявлены результаты в рассуждениях, понимании языка, следовании инструкциям, программировании и математике. Это сырой базовый чекпойнт: для большинства прикладных сценариев его следует дополнительно дообучить, например с помощью SFT или RLHF. Весовые файлы представлены в формате safetensors. Лицензия — TII Falcon-LLM License 2.0; перед использованием следует учитывать её условия.

Карточка модели allenai/Flex-public-7B-1T на Hugging Face совпадает с карточкой allenai/FlexOlmo-7x7B-1T, поэтому описание составлено по ней. FlexOlmo-7x7B-1T — языковая модель семейства FlexOlmo, разработанная Allen Institute for AI (AI2). Это модель типа Mixture-of-Experts: в ней объединены семь независимо обученных экспертов для публичных данных, новостей, математики, кода, академических текстов, творческого письма и публикаций Reddit. Общий размер указан в карточке как 6,9 млрд параметров, а в README — как 33 млрд; README также сообщает, что публичный эксперт обучен на 1 трлн токенов, а остальные получены его дообучением на отдельных корпусах. Маршрутизатор экспертов не обучен. Модель предназначена для генерации текста и диалогового применения, в том числе для задач, связанных с перечисленными тематическими корпусами. Поддерживает английский язык, работает с текстом и имеет контекст до 4096 токенов. Для запуска README рекомендует Transformers версии 4.57.0 или новее. Репозиторий распространяется под лицензией Apache-2.0. В README приведены результаты оценки по ряду языковых и тематических бенчмарков, однако они относятся к отдельным плотным моделям, а не обязательно к этому MoE-чекпойнту. Отсутствие обученного маршрутизатора ограничивает выводы о фактическом выборе экспертов и качестве итоговой модели.

Gemma-4-26B-A4B-JANG_4M-CRACK — мультимодальная MoE-модель на базе google/gemma-4-26b-a4b-it, подготовленная dealignai. В ней заявлены 128 экспертов с выбором 8 активных, гибридное скользящее и глобальное внимание, режим рассуждений и обработка изображений. Репозиторий содержит квантизированные веса в формате safetensors; профиль JANG_4M использует указанные авторами уровни точности 8 и 4 бит для разных частей модели. Для запуска рекомендован vMLX или совместимый движок MLX с поддержкой Gemma 4; в README указаны Mac на Apple Silicon и 24 ГБ или больше объединённой памяти. Модель предназначена для диалогов, программирования, общих вопросов и анализа изображений. Автор сообщает о тестах на HarmBench, MMLU и наборе запросов по кибербезопасности, однако это результаты собственных проверок, а не независимая оценка качества. Модель намеренно ослабляет отказы на вредоносные запросы, что повышает риск получения небезопасных инструкций; показатели бенчмарков сами по себе не гарантируют качество или безопасность в практических сценариях. Лицензия — Gemma; README описывает модель как исследовательскую и возлагает ответственность за соблюдение законов на пользователя.

Grug 67B A2B Datakit SFT 262K — чекпойнт Grug MoE, дообученный методом supervised fine-tuning на смеси данных для агентных сценариев и рассуждений. Разработчик — open-athena. Архитектура GrugMoeForCausalLM использует 256 маршрутизируемых экспертов с выбором top-4 и общий эксперт; всего около 67 млрд параметров, примерно 2 млрд активных параметров на токен. Модель принимает текст и генерирует текст, поддерживает чат и интерфейс вызова инструментов. В конфигурации задан контекст до 262 144 токенов, но работа на длинном контексте не проверена. Обучающие источники включают OpenThoughts code, SWE-ZERO, Penfever traces, NuminaMath и данные GLM для следования формату и сжатия контекста. Модель может быть полезна для агентных задач, рассуждений, работы с кодом и математикой, однако качество генерации, безопасность и численная эквивалентность исходному чекпойнту не оценены. Для запуска требуется среда с поддержкой Grug MoE; эта версия ещё не проверена в ранее использованной сборке vLLM, а загрузка через стандартный Transformers не подтверждена. Лицензия — OpenMDW-1.1.

HelixLM — языковая модель из серии открытых моделей Helix, разработанная Helix Lab. Это плотная авторегрессионная модель семейства Llama для генерации текста; карточка описывает её как релиз-кандидат, дообученный с чередованием этапов рассуждения. Модель ориентирована на математические задачи, понимание кода и многошаговые логические задачи, а также поддерживает диалог и интерфейс вызова функций. HelixLM рассчитана на решение сложных задач с более продолжительным внутренним рассуждением перед ответом. Разработчик сообщает о конкурентных результатах на внутренних наборах проверки, но не приводит размер модели или длину контекста. Для запуска рекомендуется температура 0,6; модель также предлагается через игровую площадку и API. Модель распространяется по лицензии Apache-2.0. Это релиз-кандидат; заявленные показатели основаны на внутренних тестах и в README не приведены подробные сведения о методике оценки. Увеличенный бюджет рассуждений может повышать расход токенов и задержку ответа.

TelperionAI/Huihui-Qwen3.8-27B-abliterated-NVFP4 — это 27-миллиардная смешанно-квантизованная версия модели huihui-ai/Huihui-Qwen3.8-27B-abliterated, подготовленная с помощью llm-compressor. Основные MLP-слои используют NVFP4, часть модулей — FP8, а эмбеддинги, нормализации, vision tower и MTP-голова сохранены в BF16. Размер модели составляет около 24,7 ГБ. Для нативного NVFP4 требуется GPU архитектуры Blackwell; запуск ориентирован на vLLM и поддерживает tensor parallelism. Максимальный размер контекста в README не указан. Модель предназначена для высокопроизводительной генерации текста, включая программирование, математику, STEM, диалоги и мультиязычные сценарии. В комплекте присутствует MTP-голова для speculative decoding, однако её acceptance rate не измерен. На Blackwell заявлена существенно более высокая скорость декодирования по сравнению с INT4-сборкой, но с большей потерей точности относительно BF16-версии. Оценка проводилась только на одном корпусе и без downstream-бенчмарков; vision tower не квантизован, а модель тестировалась преимущественно как текстовая. Базовая модель была подвергнута abliteration: upstream из неё удалены направления, связанные с отказами, и это поведение наследуется данной версией. Модель распространяется по лицензии Apache-2.0.

WhiskyAKM публикует NVFP4-квантизированную GGUF-версию K2-Horizon-3.7B, модели семейства IFM. Это плотная авторегрессионная модель-декодер с 3,7 млрд параметров и контекстом до 524 288 токенов; репозиторий предназначен для запуска через llama.cpp и другие совместимые с GGUF движки. Модель поддерживает диалоговую генерацию текста, а карточка указывает английский язык. Версия NVFP4 использует 4-битный формат и ориентирована на совместимое оборудование NVIDIA Blackwell. В README приведены результаты исходной модели на математических, кодовых и других тестах, однако они не характеризуют отдельно качество этой квантизированной сборки. Базовая модель описана как предназначенная для генерации текста, программирования и рассуждений. Лицензия — Apache-2.0.

Orion-zhen разработал чат-модель Orion-zhen/Llama3-70B-Orion-Chinese на основе failspy/Llama-3-70B-Instruct-abliterated-v3, дообучив её методом DPO. Это плотная авторегрессионная модель семейства Llama 3 с 69,5 млрд параметров, контекстом 8192 токена и поддержкой диалога; карточка демонстрирует ответы на китайском языке с более оживлённой подачей и частым использованием эмодзи. Модель предназначена для диалога на китайском, рассуждений, ответов на вопросы и генерации кода. В README приведены примеры решения математических и логических задач, бытовых вопросов, анализа эмоций и написания кода. Метаданные также связывают обучение с наборами предпочтений для китайского и английского диалога, математики, физического рассуждения, кода и других ответов. Файлы опубликованы в формате Safetensors. Лицензия — Llama 3; применимость и условия использования следует сверять с её условиями. Примеры README показывают возможные ошибки в рассуждениях и небезопасные советы, поэтому ответы требуют проверки; инструкция по расширению контекста до 32k в карточке не подтверждена как штатная длина контекста модели.

Phi-3-mini-4k-instruct-4bit — это 4-битная версия модели Phi-3-mini-4k-instruct, преобразованная сообществом mlx-community в формат MLX из исходной модели Microsoft. Конвертацию выполнил Prince Canuma с использованием mlx-lm 0.10.0; модель предназначена для запуска и генерации текста через экосистему MLX. Модель решает задачи генерации текста и диалогового взаимодействия на английском языке, включая ответы на вопросы, составление текстов и помощь с кодом. Она содержит около 3,7 млрд параметров и поддерживает контекст длиной до 4096 токенов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной версией, что удобно для локального запуска на совместимом оборудовании Apple Silicon и других средах MLX. Модель распространяется по лицензии MIT. Ограничения исходной Phi-3-mini-4k-instruct, включая возможные ошибки, галлюцинации, чувствительность к формулировкам запросов и риски при использовании с непроверенным кодом или фактическими сведениями, сохраняются; результаты требуют проверки человеком.

Nsnshs/qwen2.5-coder-uncensored — дообученная разговорная модель генерации текста на архитектуре Qwen2, основанная на unsloth/Qwen2.5-Coder-7B-Instruct-bnb-4bit. Разработчик указывает, что обучение проводилось с использованием Unsloth и библиотеки TRL; в репозитории представлены веса Safetensors. Модель предназначена для диалоговой генерации текста и может применяться к задачам, характерным для базовой серии Qwen2.5-Coder, включая помощь с программированием. Она содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и имеет интерфейс вызова инструментов. В карточке указан английский язык. Модель распространяется по лицензии Apache-2.0. Карточка не описывает конкретные данные дообучения, качество на задачах программирования или значение пометки «uncensored», поэтому эти свойства нельзя оценить по доступным сведениям.

Qwen3-4B-AgentCoder — языковая модель Брюно Пистоне на 4 млрд параметров, дообученная на базе Qwen/Qwen3-4B-Thinking-2507. Она предназначена для генерации кода, многошаговых рассуждений и вызова инструментов в диалоговых сценариях. Модель — причинная языковая модель с режимом рассуждения и контекстом около 264 тысяч токенов; при дообучении использовались наборы данных для работы с инструментами, генерации кода и рассуждений, а затем применялся DPO для предпочтения более связных и качественных ответов. Модель подходит для задач программирования на Python, JavaScript и других языках, математических и логических задач, ответов на вопросы и сценариев с инструментами. Карточка сообщает о результатах на HumanEval, HumanEval+ и GSM8K, но качество вызова инструментов зависит от сложности сценария, а код может содержать синтаксические ошибки. Модель не рекомендуется для конфиденциальных данных, критически важных решений и задач, требующих экспертной специализации или полной объяснимости. Лицензия — Apache 2.0.

Это конверсия в формат MLX модели DavidAU/Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored, выполненная с помощью mlx-vlm 0.6.10. Модель основана на плотной мультимодальной архитектуре Qwen3.5 с 40 млрд параметров и принимает текст и изображения, формируя текстовые ответы. Она предназначена для диалогов, рассуждений, программирования и творческого письма; в метаданных также заявлены режимы работы с изображениями. Модель поддерживает английский и китайский языки. Репозиторий содержит веса safetensors в формате MLX и распространяется по лицензии Apache-2.0. Подробности обучения и дополнительные ограничения в карточке этой конверсии не описаны; за характеристиками исходной модели следует обращаться к её карточке.

A3Pz0/Qwen3.8-27B-TURBO-Fable-Uncen-MTP-GGUF — это многос этапная дообученная и объединённая версия Qwen3.8-27B, разработанная автором DavidAU с использованием Unsloth, методов Cold Fusion и Fable Fusion. Модель распространяется в формате GGUF с обычными и MTP-квантами, включая варианты с точностью 4 и 8 бит, и ориентирована на работу на потребительском оборудовании. Модель предназначена для решения общих задач, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и reasoning, а также оптимизация для сокращения объёма рассуждений и ускорения генерации при сохранении детализации ответа. В карточке указаны английский и китайский языки. Архитектура и размер унаследованы от Qwen3.8-27B; поддержка изображений заявлена через тег image-text-to-text, но подробности мультимодальных возможностей в README не приведены. К сильным сторонам относятся заявленные автором высокие результаты на наборах ARC-C и ARC-E, улучшение по сравнению с базовой Qwen3.8-27B, сокращение числа токенов рассуждений и наличие вариантов для разного объёма памяти. Ограничения включают отсутствие независимой проверки приведённых бенчмарков, неполные сведения о контекстном окне и мультимодальности, а также возможную специфику поведения uncensored/abliterated-дообучения. Лицензия — Apache-2.0.

Stable LM 2 12B — базовая авторегрессионная языковая модель, разработанная Stability AI. Это плотный трансформер-декодер с 11,6 млрд параметров по метаданным (в README указано 12,1 млрд), обученный на 2 трлн токенов текстовых и программных данных. Модель предназначена для дальнейшей тонкой настройки под прикладные задачи. Модель генерирует продолжение текста по текстовому запросу. В архитектуре используются Rotary Position Embeddings, групповые запросы внимания и токенизатор Arcade100k; максимальная длина контекста — 4096 токенов. В обучающих данных есть несколько европейских языков и код, однако в README основным языком назван английский. Это базовая модель, поэтому её поведение и пригодность для конкретной задачи требуют оценки и, как правило, дообучения. Она может выдавать ненадёжный, небезопасный или нежелательный текст, включая отражение предвзятостей обучающих данных. Указана Stability AI Community License; условия коммерческого использования следует проверять по лицензии модели.

BitNet b1.58 2B4T — языковая модель для генерации текста, разработанная Microsoft Research. Она предназначена для диалоговых сценариев, следования инструкциям и работы с текстом и кодом. Модель обучена на 4 триллионах токенов и содержит около 2 миллиардов параметров; заявленный язык — английский. Модель построена на архитектуре Transformer с модифицированными BitLinear-слоями, RoPE, активацией ReLU² в FFN и нормализацией subln. Она обучена с нуля с использованием нативной схемы квантования W1.58A8: веса принимают тернарные значения {-1, 0, +1}, а активации квантуются до 8 бит. Максимальная длина контекста составляет 4096 токенов, используется токенизатор LLaMA 3 с размером словаря 128 256 токенов. Обучение включало предварительное обучение, supervised fine-tuning и DPO. Ключевое преимущество модели — потенциальное снижение требований к памяти, энергопотреблению и задержке благодаря нативным 1,58-битным весам. Однако эти преимущества раскрываются только при использовании специализированной реализации bitnet.cpp; стандартный запуск через transformers не обеспечивает ожидаемого прироста эффективности и может быть сопоставим по скорости и энергопотреблению с полноточными моделями. Представленная BF16-версия предназначена главным образом для обучения и дообучения, а не для развертывания. Модель распространяется по лицензии MIT.

DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели OppokJr/DeepSeek-R1-Distill-Qwen-1.5B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели Vipvamps/DeepSeek-R1-Distill-Qwen-1.5B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели Openintelligent123/DeepSeek-R1-Distill-Qwen-32B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели bbbbiia/DeepSeek-R1-Distill-Qwen-7B на Hugging Face совпадает с карточкой deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B, поэтому описание составлено по ней. DeepSeek-R1-Distill-Qwen-1.5B — плотная языковая модель на 1,5 млрд параметров, выпущенная DeepSeek и построенная на архитектуре Qwen2. Она дообучена на примерах рассуждений, сгенерированных DeepSeek-R1, а её базовая модель — Qwen2.5-Math-1.5B. Модель предназначена для генерации текста в диалогах и решения задач, требующих пошаговых рассуждений, в частности по математике и программированию. Модель принимает текст и генерирует текст; карточка также заявляет поддержку чата и интерфейса вызова инструментов. Контекстное окно составляет 131 072 токена. Веса опубликованы в формате Safetensors, лицензия — MIT. Результаты для семейства дистиллированных моделей приведены в README, но отдельные показатели именно версии 1.5B в доступном фрагменте не указаны.

Карточка модели dedsecisback2026/Hermes на Hugging Face совпадает с карточкой mlabonne/Hermes-3-Llama-3.1-8B-lorablated, поэтому описание составлено по ней. Hermes-3-Llama-3.1-8B-lorablated — диалоговая модель на архитектуре Llama 3.1, опубликованная mlabonne. Это версия NousResearch/Hermes-3-Llama-3.1-8B, изменённая методом abliteration: к ней применили LoRA-адаптер, полученный сравнением вариантов Llama 3.1, а затем объединили веса методом task arithmetic. Модель содержит 7,5 млрд параметров, принимает текст и предназначена для генерации ответов в диалоге; заявленный контекст — до 131 072 токенов. Вариант lorablated рассчитан на ответы на запросы, от которых исходная Hermes 3 могла отказаться, включая допустимые запросы, которые она ошибочно отклоняет. Как и базовая модель, она подходит для инструкций, рассуждений и генерации кода. README называет модель uncensored, поэтому её ответы могут включать контент, который базовая модель отфильтровала бы. Лицензия в предоставленных данных не указана.

Huihui-gemma-4-12B-agentic-fable5-abliterated-GGUF — локальная GGUF-версия модели, разработанная huihui-ai на основе yuxinlu1/gemma-4-12B-agentic-fable5-composer2.5-v2-3.5x-tau2-GGUF. Модель создана методом abliteration с использованием llama.cpp и предназначена для text generation, reasoning, coding, agentic-сценариев, работы с терминалом и tool use. Модель содержит около 12 млрд параметров и распространяется в формате GGUF для запуска через llama.cpp. В README приведён пример контекста 8192 токена; конкретные модальности, языки и архитектурные детали не указаны. Доступен вариант квантования Q8_0. Сильной стороной является ориентация на локальное выполнение и агентские задачи, однако степень абляции защитных механизмов означает повышенный риск чувствительных, спорных или небезопасных ответов. Модель рекомендуется использовать в исследовательских и контролируемых средах с мониторингом и ручной проверкой результатов. Модель распространяется по лицензии Apache-2.0. README предупреждает, что она не имеет стандартных гарантий безопасности и может быть неподходящей для публичных, коммерческих или высокорисковых применений; ответственность за соблюдение законодательства, этических норм и последствия использования несёт пользователь.

Abiray/K2-Horizon-MoVA-36B-A4B-GGUF — набор GGUF-квантизаций модели IFM/K2-Horizon-MoVA-36B-A4B, разработанной IFM. Это текстовая генеративная модель для диалогов, написания и обработки текста, программирования и других задач, выполняемых через llama.cpp. Модель использует разреженную архитектуру Mixture-of-Experts с механизмом Mixture-of-Values Attention (MoVA): всего 36 млрд параметров, из которых на каждом токене активируется около 4 млрд. Заявленное преимущество — скорость инференса, близкая к моделям меньшего размера, при сохранении возможностей модели масштаба 36B. Указан английский язык; поддержка других языков и дополнительные модальности не заявлены. Репозиторий содержит варианты квантизации от Q3_K_S до Q8_0 размером примерно от 16,4 до 39,8 ГБ. Q4_K_M обозначен как рекомендуемый баланс качества и потребления памяти, а Q8_0 обеспечивает точность, близкую к исходной BF16-модели. Точные характеристики контекстного окна в README не указаны. Для запуска требуется специальная версия llama.cpp из форка MBZUAI-IFM с веткой model/K2Horizon; стандартная upstream-версия на указанном этапе не поддерживает архитектуру k2-horizon. Модель использует ChatML-подобный формат с тегами рассуждений. Лицензия — Apache-2.0. Требования к ресурсам зависят от квантизации: для вариантов Q4_K_M рекомендуется от 24 ГБ VRAM при полной выгрузке на GPU и 32 ГБ системной RAM, тогда как для Q8_0 требуется около 48 ГБ VRAM и RAM. README не содержит независимых результатов бенчмарков или подробного описания ограничений качества.

Kai 7B Beta — языковая модель для генерации текста, разработанная Keynote Technology. Данная версия распространяется в формате GGUF и представляет собой квантизированные файлы исходной модели Keynote-Technology/KAI-7B-beta; квантизацию выполнил TheBloke. Модель предназначена для задач текстовой генерации, включая сценарии, связанные с кодом, и может использоваться через llama.cpp и совместимые приложения и библиотеки для локального вывода на CPU и GPU. Из известных характеристик: модель относится к типу Mistral, содержит около 7 миллиардов параметров, поддерживает английский язык и работает только с текстом. Доступны варианты квантизации с разной разрядностью, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Контекстное окно в предоставленных данных не указано; специальный шаблон промпта отсутствует, используется формат {prompt}. Основные преимущества — наличие вариантов от 2 до 8 бит, поддержка широкого набора локальных инструментов и возможность запуска без облачной инфраструктуры. К ограничениям относятся возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие данных о целевых бенчмарках и размере контекстного окна. В метаданных указана лицензия Apache-2.0.

Master-Yi-9B — разговорная языковая модель семейства Llama, разработанная автором репозитория qnguyen3. Модель с 8,6 млрд параметров обучена методом ORPO на ответах, созданных из собранных людьми исходных вопросов и ответов нескольких высокопроизводительных открытых LLM. В репозитории представлены веса в формате safetensors; модель создана в мае 2024 года. Модель предназначена для генерации ответов в диалоге и особенно ориентирована на рассуждения при решении задач по программированию и математике. В README приведены результаты нескольких бенчмарков, включая GSM8K, MMLU и TruthfulQA. Базовое окно контекста составляет 4096 токенов. Модель принимает текстовые запросы и генерирует текст. README не подтверждает поддержку заявленной там отдельной версии Vision; для Master-Yi-9B указана только текстовая генерация. Известное ограничение — контекст до 4096 токенов; бенчмарковые оценки не гарантируют точность на конкретных задачах. Лицензия — Apache-2.0.

NANI-Nithin/Mellum2-12B-A2.5B-Instruct-GGUF — набор GGUF-квантизаций модели JetBrains/Mellum2-12B-A2.5B-Instruct, разработанной JetBrains. Модель предназначена для генерации текста и выполнения инструкций в формате ассистента, а репозиторий ориентирован на эффективный локальный запуск через llama.cpp, Ollama, LM Studio и другие совместимые среды. Указана архитектура Mellum2, контекстное окно до 131 072 токенов и поддержка английского языка. Доступны варианты Q4_K_M размером 8,07 ГБ и Q5_K_M размером 9,21 ГБ: первый рассчитан на экономию памяти при хорошем соотношении качества и размера, второй обеспечивает более высокое качество при умеренном увеличении требований к памяти. Обозначение модели содержит параметры 12B-A2.5B, однако дополнительные сведения о структуре, числе активных параметров и мультимодальности не приведены. Модель подходит для локального чата, программирования, экспериментов с использованием инструментов, а также CPU-ориентированного или ограниченного по памяти вывода. Ограничения связаны с потерями качества, возможными при квантизации, зависимостью от GGUF-совместимого программного обеспечения и отсутствием подробных данных о производительности и качестве на конкретных задачах. При конвертации некоторые тензоры могут использовать резервную квантизацию, что считается ожидаемым и не препятствует запуску. Модель распространяется по лицензии Apache 2.0.

jigs97022 разработал MiniCPM5-2B Distilled Reasoning — компактную языковую модель на 2,2 млрд параметров для генерации текста и задач с рассуждением. Она основана на архитектуре MiniCPM5-2B и дообучена методом дистилляции на примерах рассуждений, созданных с участием Qwen3.8-Max, GLM-5.2 и Kimi K3. Модель предназначена для решения математических задач, написания кода, логических головоломок, структурированного анализа и рассуждений при использовании инструментов. Поддерживает диалоговый шаблон MiniCPM5 и интерфейс вызова инструментов; метаданные указывают английский и китайский языки, а контекст — до 131 072 токенов. В README отмечено, что качество рассуждений снижается за пределами 4 096 токенов, модель обучалась на 10 тысячах примеров и может отвечать излишне подробно. Доступна по лицензии Apache-2.0.

Это набор файлов модели Qwen3-8B-bf16 в формате GGUF, подготовленный сообществом mlx-community при поддержке TensorBlock. Репозиторий содержит варианты с разными уровнями квантования и совместим с llama.cpp начиная с коммита b5753; метаданные также указывают библиотеку MLX. Для диалога используется шаблон с сообщениями system, user и assistant. Модель предназначена для генерации текста и диалогов. Её можно применять для ответов на вопросы, написания черновиков и помощи с кодом. Варианты квантования отличаются размером и качеством: README предупреждает о значительной потере качества у самых компактных вариантов Q2_K и Q3_K. Указана лицензия Apache-2.0.

Это GGUF-сборка языковой модели Qwen3.8-27B, разработанной командой Qwen, с постобучением SimPO и базой из семейства EfficientThink от nerkyor. Модель предназначена для генерации текста, диалогов, рассуждений и программирования. Она относится к dense-моделям с hybrid attention и поддерживает эффективное мышление; заявлены китайский и английский языки. Версия ориентирована на запуск через llama.cpp и совместимые приложения, включая LM Studio. Модель содержит 27 млрд параметров, 65 блоков, включая встроенную MTP-голову для speculative decoding. Используется смешанная квантизация: K/Q/V-блоки ключевых attention-слоёв сохранены в Q4_K, значительная часть FFN-контуров квантизирована в IQ3_XXS, другие компоненты — в IQ3_S, а нормы — в F32. Размер файла составляет 10,12 GiB при 3,18 BPW. При использовании Q4 KV-кэша заявлена поддержка контекста свыше 130 тысяч токенов на видеокарте с 16 ГБ памяти. Для vision-сценариев требуется отдельный vision projector из базового семейства Qwen3.8. К сильным сторонам относятся существенно уменьшенный размер, сохранение повышенной точности в важных attention-компонентах, встроенная MTP-голова и возможность ускорения генерации примерно в 2–3 раза на диалоговых ответах при корректной настройке. Ограничениями являются зависимость качества от агрессивной IQ3-квантизации, необходимость совместимого ПО и настройки параметров запуска, а также непредсказуемость выходов, поскольку сборка обозначена как uncensored. Модель предоставляется по лицензии Apache 2.0, но автор рекомендует её прежде всего для личных исследований и оценки, а не для публичного или производственного использования.

6block/Qwen3-4B-GGUF — набор GGUF-квантизированных версий модели Qwen3-4B, разработанной Qwen и подготовленной 6block с использованием llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, Ollama и совместимые проекты. Доступны варианты квантования от Q8_0 до Q2_K размером примерно от 4,28 до 1,67 ГБ. Квантизация выполнена с imatrix на калибровочном наборе данных, содержащем английский и китайский языки, а также большое количество программного кода, что должно помогать сохранять качество китайского языка и задач программирования в низкобитных версиях. Для большинства сценариев рекомендуются Q6_K, Q5_K_M и Q4_K_M; варианты IQ ориентированы на уменьшение размера с компромиссом по скорости или качеству. Модель подходит для локальных чат-приложений, генерации текста и программирования при ограниченных ресурсах. Основные ограничения связаны с потерями качества, зависящими от выбранного уровня квантования, а также с отсутствием в README сведений об архитектурных деталях и размере контекста. Лицензия — Apache 2.0.