II.3Рефакторинг, миграция и модернизация

Hercules-Qwen1.5-14B — разговорная языковая модель, разработанная M4-ai и дообученная на 700 тысячах примеров Hercules-v4 от Qwen1.5-14B. Она предназначена для работы в роли универсального ассистента: отвечает на вопросы, помогает с математикой и программированием, поддерживает вызов функций и ролевые диалоги. Архитектура — плотная Qwen2ForCausalLM с 13,4 млрд параметров; модель рассчитана на контекст до 32 768 токенов и распространяется в формате safetensors. В карточке заявлена поддержка английского и, возможно, китайского языков. Обучение проводилось в bf16 с длиной последовательности 1024; оценка качества в карточке не приведена. Лицензия указана как tongyi-qianwen license, а метаданные классифицируют лицензию как other. Разработчик предупреждает о рисках, смещениях и ограничениях модели.

Hermes3.6-35B-A3B-Uncensored-Genesis-NVFP4-GGUF — квантованная версия семейства Qwen 3.6 / Hermes 3.6, созданного на основе работ LuffyTheFox и HauhauCS. Квантование NVFP4, интеграцию MTP и публикацию GGUF выполнил jan1k. Модель предназначена для генерации текста, программирования, точных и творческих задач, агентских сценариев и вызова инструментов. Также заявлена поддержка изображений через отдельный мультимодальный проектор mmproj в формате F16. Модель построена на архитектуре Mixture of Experts: содержит около 35 млрд параметров, при этом на каждом токене активируется примерно 3 млрд параметров и 8 экспертов. Доступен контекст до 128K токенов при использовании рекомендованной конфигурации llama.cpp. Заявлена поддержка английского, китайского и других языков. Формат NVFP4 оптимизирован для GPU NVIDIA поколений Ada Lovelace, Blackwell и Ampere. Genesis — применённый алгоритм посттренировочной регенерации и калибровки GGUF, направленный на снижение шума весов и сохранение значимой части исходного сигнала без переобучения. К сильным сторонам относятся высокая вычислительная эффективность MoE, большой контекст, поддержка vision, режимов рассуждения и JSON-вызова инструментов, а также сниженное потребление памяти благодаря 4-битному представлению. Ограничение этой версии существенно: репозиторий помечен как устаревший, а расширенный вариант NVFP4 с отдельными тензорами масштабирования несовместим с LM Studio и Pelican и может выдавать некорректный результат. Для работы рекомендуется совместимый llama.cpp и соответствующая настройка шаблона чата. Модель распространяется по лицензии Apache-2.0.

bunnycore/HyperLexi-8B-breadcrumbs — плотная языковая модель семейства Llama 3.1, созданная автором репозитория с помощью mergekit методом breadcrumbs. В слияние вошли несколько моделей на базе Llama 3.1, включая варианты для генерации текста без цензурных ограничений, программирования, диалогов и рефлексивных ответов. Базовой моделью при слиянии была unsloth/Meta-Llama-3.1-8B. Модель предназначена для генерации текста и диалогов; её можно применять для ответов на вопросы, помощи с кодом и создания развернутых текстовых ответов. Она содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Метаданные указывают библиотеку Transformers и формат весов safetensors. Лицензия в предоставленных данных не указана.

K2-Horizon-375B-A23B — флагманская языковая модель семейства K2-Horizon от IFM. Это разреженная архитектура Mixture-of-Experts: в модели 375 млрд параметров, из которых 23 млрд задействуются на каждом токене. Модель принимает текст и поддерживает контекст до 524 288 токенов; карточка указывает английский язык и возможность диалогового взаимодействия. Модель предназначена для генерации текста, работы с инструментами и агентных сценариев, включая терминальные задачи и длительные многоэтапные процессы. В README заявлены конкурентные результаты на соответствующих бенчмарках. Доступны контрольные точки обучения, обучающие данные и код обучения; для запуска описаны рецепты vLLM и SGLang, а реализация Transformers проверена с указанными в карточке версиями библиотек. Веса опубликованы в формате Safetensors под лицензией Apache-2.0. Для запуска требуются значительные вычислительные ресурсы: README приводит пример обслуживания на восьми ускорителях H200. Заявленная длина контекста — 524 288 токенов; поведение обучения в реализации Hugging Face может отличаться от исходной реализации xLLM.

Sorawiz/KunouSky-32B — объединённая модель генерации текста на базе архитектуры Qwen2, собранная с помощью mergekit и метода TIES. В объединение вошли NovaSky-AI/Sky-T1-32B-Preview и pipihand01/QwQ-32B-Preview-abliterated-lora-rank32; базовой моделью при слиянии служила Sao10K/32B-Qwen2.5-Kunou-v1. Модель содержит 32 млрд параметров, принимает диалоговые запросы в формате ChatML и рассчитана на генерацию ответов в чат-сценариях. Базовая модель NovaSky описана как ориентированная на задачи математики, программирования и науки; карточка также указывает интерфейс вызова инструментов. Длина контекста составляет 32 768 токенов. Репозиторий использует Transformers и содержит веса Safetensors. README не сообщает конкретных результатов оценки качества или ограничений применимости. Лицензия в предоставленных данных не указана.

Meta-Llama-3-8B-Instruct-llamafile — это инструкционная версия языковой модели Llama 3, разработанная Meta и упакованная в исполняемый формат llamafile проектом Mozilla Ocho. Версия содержит около 8 млрд параметров и предназначена для локального запуска на Linux, macOS, Windows, FreeBSD, OpenBSD и NetBSD на платформах AMD64 и ARM64. Указанный вариант связан с квантованием, выполненным jartine, и основан на meta-llama/Meta-Llama-3-8B-Instruct. Модель принимает только текст и генерирует текст и код. Она ориентирована прежде всего на англоязычные диалоговые сценарии, работу в формате ассистента и задачи генерации естественного языка. Архитектура представляет собой авторегрессионный оптимизированный Transformer с Grouped-Query Attention; модель дообучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Длина контекста составляет 8k токенов, данные обучения включают более 15 трлн токенов общедоступных онлайн-данных, дата отсечения знаний — март 2023 года. Сильными сторонами являются возможность автономного локального запуска без отдельной сложной инфраструктуры, поддержка распространённых настольных операционных систем и оптимизация для диалогового взаимодействия. Ограничения включают работу преимущественно с английским языком, текстовую модальность, статичность обученной версии и возможные потери качества или рост галлюцинаций при использовании более агрессивных форматов квантования. Модель распространяется по пользовательской коммерческой лицензии Llama 3; применение должно соответствовать условиям Llama 3 Community License, Acceptable Use Policy и действующему законодательству.

Mistral-Small-4-119B-Uncensored-GGUF — текстовая GGUF-версия модели Mistral Small 4 119B Instruct, разработанная TIMTEH на базе модели Mistral AI. Из исходной мультимодальной модели удалена vision tower, поэтому данная версия работает только с текстом. Модель предназначена для генерации текста, диалогов, рассуждений, программирования и других задач обработки естественного языка, включая сценарии, где требуется меньше ограничений на ответы. Модель содержит 119 млрд параметров и использует архитектуру Mixture of Experts с 128 маршрутизируемыми и одним общим экспертом на каждом слое; для каждого токена активируются 4 эксперта. Архитектура включает 36 decoder layers и Multi-Latent Attention. Заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского и корейского языков. Исходная модель поддерживает контекст до 128K токенов, однако для GGUF-рантаймов рекомендуется ориентироваться на контекст до 32K токенов. Ключевая особенность — abliteration: из слоёв 9–35 удалено направление, связанное с отказами, без дообучения и изменения датасета. Это расширяет диапазон запросов, на которые модель отвечает, но одновременно уменьшает защитные ограничения и требует ответственного применения. Модель доступна в вариантах квантования от Q2_K до Q8_0, а также в BF16; размер файлов составляет примерно от 41 до 222 ГБ, поэтому требуются значительные ресурсы GPU или оперативной памяти. Совместима с llama.cpp, LM Studio, Jan, koboldcpp, Ollama и другими GGUF-совместимыми средами. Распространяется по лицензии Apache-2.0.

NimbusMind — причинно-языковая модель семейства NimbusT, представленная как обновлённый чат-ассистент. По данным карточки, обновление улучшает рассуждения и выводы за счёт дополнительных вычислений и алгоритмических изменений на этапе постобучения; авторы сообщают о результатах в математике, программировании и логике, а также о снижении частоты галлюцинаций и поддержке вызова функций. Модель предназначена для диалогов, решения сложных задач и генерации текста; в README также описаны сценарии работы с загруженными файлами и результатами веб-поиска. Репозиторий содержит веса PyTorch для Transformers и распространяется по лицензии Apache-2.0. В README приведён результат 89,1% на AIME 2026 и среднее расходование 27 тысяч токенов на вопрос этого набора; длина контекста и число параметров в доступных сведениях не приведены. Заявления о бенчмарках и качестве принадлежат авторам модели и не сопровождаются полным протоколом оценки в предоставленном README.

NovaMind — открытая 7-миллиардная плотная языковая модель-ассистент семейства Nova, разработанная NovaMind. Это обновлённая версия с более длительным этапом mid-training и расширенным post-training; модель предназначена для генерации текста, многошаговых рассуждений, программирования, логических задач и диалогового использования. В README также заявлены более надёжный вызов функций в многоходовых диалогах и снижение ошибок на внутренних проверках фактической точности. Авторы сообщают о результате 84,6% на GPQA Diamond и среднем расходе 26 тысяч токенов на вопрос в этой оценке; приведены также результаты по математическому, логическому и здравому рассуждению. Модель распространяется в формате PyTorch и использует класс NovaMindForCausalLM. Для локального запуска рекомендована температура 0,7; доступна также через размещённые авторами чат-интерфейс и API. Лицензия — Apache-2.0. README не приводит сведения о поддерживаемых языках и длине контекста.

NULLXES SHINRA-4B-INSTRUCT — разработанная NULLXES инструкционно дообученная плотная decoder-only Transformer-модель с архитектурой ShinraForCausalLM и 3,93 млрд параметров. Она служит языковым компонентом системы NULLXES и рассчитана на диалог, выполнение инструкций, генерацию кода и структурированных ответов, а также подготовку черновиков для агентов и инструментов. Поддерживает девять языков: английский, русский, немецкий, французский, испанский, китайский, японский, корейский и арабский. Контекст — до 32 768 токенов; README указывает, что продолжение за пределы 8 192 токенов использует экстраполяцию RoPE YaRN. Модель обучалась на текстах, коде, математике и научных материалах, а затем проходила SFT и DPO-выравнивание. Её можно применять для многоязычной генерации, помощи с программированием, следования инструкциям и выдачи JSON. Модель уступает более крупным системам в многошаговых рассуждениях и работе с редкими языками; остаточный вредоносный контент возможен. README позиционирует её для исследований и внутренней интеграции NULLXES, исключая автономные высокорисковые решения и применение без дополнительных защитных слоёв. Для загрузчиков Hugging Face требуется trust_remote_code=True. Лицензия указана как other, конкретные условия в предоставленных данных не приведены.

Карточка модели open-thoughts/OpenThinker-32B на Hugging Face совпадает с карточкой trinityomnis/OpenThinker-32B, поэтому описание составлено по ней. OpenThinker-32B — плотная языковая модель на 32 млрд параметров, созданная дообучением Qwen/Qwen2.5-32B-Instruct командой OpenThoughts на наборе OpenThoughts-114k. Она предназначена для генерации текста в диалоге и задач, где требуется пошаговое рассуждение, включая математику, научные вопросы и программирование. Модель поддерживает контекст до 32 768 токенов; для работы доступны веса в формате Safetensors и интерфейс вызова инструментов. В README приведены результаты оценки на наборах математических и научных задач, но они не гарантируют аналогичного качества на других данных. Обучающие примеры получены с помощью дистилляции DeepSeek-R1, поэтому ответы могут содержать ошибки или необоснованные рассуждения. Модель распространяется по лицензии Apache 2.0.

Карточка модели schwyzquant/OpenThinker-7B на Hugging Face совпадает с карточкой open-thoughts/OpenThinker-7B, поэтому описание составлено по ней. OpenThinker-7B — плотная авторегрессионная языковая модель семейства Qwen2, разработанная командой OpenThoughts. Она дообучена на Qwen/Qwen2.5-7B-Instruct на наборе OpenThoughts-114k, созданном с использованием дистилляции DeepSeek-R1. Модель содержит 7,1 млрд параметров, работает через Transformers и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов с упором на рассуждения, решение математических задач, вопросы по естественным наукам и программирование. В README приведены оценки на AIME24, MATH500, GPQA-Diamond и задачах LiveCodeBench; результаты показывают сильные стороны в математике и коде, но не гарантируют точность каждого ответа. Веса, данные и код проекта опубликованы; лицензия модели — Apache 2.0. Это текстовая модель, поэтому она не принимает изображения или аудио. Как и другие языковые модели, она может выдавать неверные ответы и требует проверки результатов, особенно в задачах, где ошибка критична.

Ornith-1.5-9B-NVFP4-MTP-GGUF — это квантованный GGUF-артефакт модели Ornith-1.5-9B, разработанной ornith-ai и подготовленной пользователем Avifenesh. Модель предназначена для генерации текста, диалоговых сценариев, работы с кодом и задач, поддерживающих XML-вызов инструментов и рассуждения в формате <think>. Артефакт ориентирован на инференс через tiyuvta serving engine и GPU архитектуры NVIDIA Blackwell; для upstream llama.cpp и Ollama рекомендуется использовать официальные BF16–Q8_0 GGUF-файлы без MTP-головы. Основная модель имеет 9 млрд параметров, контекст до 262 144 токенов, словарь размером 248 320 и текстовую text-to-text модальность; vision tower в этот артефакт не включён. Используется NVFP4-квантизация с 4-битными весами и FP8-масштабами на блок, при этом эмбеддинги и выходная голова представлены в Q5_K, а нормы — в F32. Размер файла составляет около 5,4 ГБ вместо 18,8 ГБ в BF16. В артефакт добавлена MTP-голова, заимствованная из Qwen3.5-9B; она используется для speculative decoding и не должна изменять итоговые токены, поскольку каждый спрогнозированный токен проверяется целевой моделью. На тестах заявлена токен-в-токен идентичность с обычной greedy-декодировкой и принятие до 59% черновых токенов при K=3, однако показатели производительности в токенах в секунду не приводятся и зависят от оборудования. Лицензия основного Ornith-1.5-9B указана как MIT; MTP-голова происходит из Qwen3.5-9B под Apache-2.0.

unsloth/phi-4-bnb-4bit — это 4-битная версия модели Phi-4, разработанной Microsoft Research и преобразованной Unsloth в архитектуру, совместимую с Llama, для более удобного использования и дообучения. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач и работы с программным кодом. Она принимает текстовые входы, предпочтительно в формате чата, и генерирует текстовые ответы. Исходная Phi-4 представляет собой плотную decoder-only Transformer-модель с 14 млрд параметров и контекстным окном до 16 000 токенов. В карточке указано, что модель ориентирована на английский язык. Для обучения использовались синтетические данные, отфильтрованные общедоступные веб-источники, академические книги и наборы вопросов и ответов; модель прошла supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактность относительно более крупных моделей, акцент на качестве данных и рассуждениях, а также сниженные требования к памяти благодаря 4-битному представлению. Ограничения включают текстовую модальность, англоязычную специализацию, статичность модели и отсечение публичных данных на июнь 2024 года; актуальные сведения она самостоятельно не получает. Лицензия — MIT.

RedHatAI/phi-4-quantized.w4a16 — квантизированная версия языковой модели phi-4, разработанной Microsoft; оптимизацию выполнили Red Hat и Neural Magic. Это авторегрессионная текстовая модель архитектуры Phi3ForCausalLM с текстовым вводом и выводом, предназначенная для генерации текста, диалоговых и conversational-сценариев, задач рассуждения, логики, математики и программирования, преимущественно на английском языке. Модель ориентирована на исследовательское использование и создание генеративных AI-функций в средах с ограниченными ресурсами, а также в сценариях, чувствительных к задержке. Веса линейных операторов в трансформерных блоках квантизированы до INT4 по симметричной групповой схеме с размером группы 128 с применением алгоритма GPTQ через библиотеку llm-compressor. По сравнению с представлением FP16 это примерно на 75% снижает размер на диске и требования к памяти GPU, что может облегчать развертывание и повышать эффективность инференса. В README также указана поддержка развертывания через vLLM и совместимость с Red Hat AI Inference Server, Red Hat Enterprise Linux AI и Red Hat OpenShift AI; максимальный контекст в приведённой конфигурации составляет 32768 токенов. Ограничения включают фокус на английском языке, возможные типичные проблемы языковых моделей с точностью, безопасностью и справедливостью, а также отсутствие специальной оценки для всех прикладных сценариев. Перед использованием в чувствительных и высокорисковых системах необходимы отдельная проверка и меры контроля. Модель распространяется по лицензии MIT.

unsloth/Qwen3-14B-Base-unsloth-bnb-4bit — 4-битная версия базовой языковой модели Qwen3-14B-Base, подготовленная Unsloth с использованием квантования Unsloth Dynamic 2.0. Исходную модель разработала команда Qwen. Это причинная языковая модель на стадии предварительного обучения, предназначенная для генерации и продолжения текста, обработки естественного языка, программирования, STEM-задач, рассуждений и работы с многоязычными данными. Модель содержит 14,8 млрд параметров, из них 13,2 млрд без учёта embedding-слоёв, имеет 40 слоёв и использует Grouped Query Attention: 40 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. При обучении использовался корпус объёмом 36 трлн токенов на 119 языках, включавший языковые, кодовые, научно-технические, книжные, многоязычные и синтетические данные. Квантование до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально сопровождается потерей точности по сравнению с полной или менее агрессивной разрядностью. Это базовая, а не instruction-tuned модель, поэтому для диалоговых сценариев и выполнения инструкций может потребоваться дополнительная настройка или специально подобранный prompting. Для работы рекомендуется использовать актуальную версию transformers; версии ниже 4.51.0 не поддерживают архитектуру Qwen3. Модель распространяется по лицензии Apache-2.0.

AtomicChat/Qwen3.5-9B-MLX-4bit — 4-битная MLX-квантизированная версия базовой модели Qwen/Qwen3.5-9B, подготовленная компанией Atomic Chat на основе оригинальных весов с использованием матрицы важности для повышения близости к полноточной модели. Модель предназначена для локального и полностью офлайн-использования на устройствах Apple Silicon через MLX и поддерживает генерацию текста, а также работу с изображениями. Она может применяться для диалогов, рассуждений, программирования, агентских сценариев и визуального понимания. Модель содержит около 9,7 млрд параметров, имеет 32 слоя, контекст до 262 144 токенов, словарь размером 248 320 токенов и архитектуру Qwen3_5ForConditionalGeneration с 16 attention heads и 4 KV heads. В README она описана как мультимодальная модель с ранним объединением текстовых и визуальных токенов; также заявлена эффективная гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts, хотя в сводных характеристиках указана dense decoder. Квантизация уменьшает требования к памяти и ускоряет локальный инференс, но может приводить к некоторой потере качества относительно полноточной версии. Языки явно не перечислены. Модель распространяется под лицензией Apache 2.0; квантизацию выполнила Atomic Chat.

webhie/Qwen3.6-27B-int4-AutoRound — это квантизированная версия мультимодальной модели Qwen3.6-27B, разработанной командой Alibaba/Qwen. Квантизация выполнена с помощью Intel AutoRound по пресету auto-round-best, оптимизированному для сохранения максимальной точности при INT4. Модель предназначена для генерации текста, диалоговых сценариев, программирования, работы с изображениями и задач, поддерживающих vision-ввод. README не содержит сведений о языках модели, но указывает pipeline image-text-to-text и библиотеку Transformers. Используется схема W4A16: веса представлены в 4-битном формате, активации — в FP16; group size равен 128, квантизация симметричная. Базовая модель имеет 27 млрд параметров, а размер квантизированной версии составляет около 18 ГБ вместо примерно 54 ГБ в BF16. Веса vision-энкодера MoonViT сохраняются в исходной точности BF16/FP16. Сохранённая MTP-голова Multi-Token Prediction поддерживает speculative decoding в vLLM; заявлены принятие черновых токенов на уровне около 85–90% и примерно двукратное ускорение генерации, однако эти показатели измерены на RTX 5090 и зависят от конфигурации. К сильным сторонам относятся уменьшенное примерно втрое потребление памяти, поддержка изображений без дополнительной обработки, совместимость с vLLM и сохранение MTP для ускоренной генерации. Ограничения включают необходимость совместимой версии vLLM для MTP, наличие специальных требований к окружению и зависимость производительности от оборудования. Модель распространяется по лицензии Apache-2.0.

sakamakismile/Qwen3.6-35B-A3B-NVFP4 — это квантизированная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной Qwen и сжатой с помощью llm-compressor от Lna-Lab. Модель предназначена для генерации текста, программирования, рассуждений, агентских сценариев и задач с изображениями. Она поддерживает вызов инструментов и рассчитана на работу через vLLM. В основе лежит разреженная архитектура MoE: около 35 млрд параметров всего, из которых активны примерно 3 млрд на токен; используются 256 экспертов, включая 8 маршрутизируемых и 1 общий. Архитектура сочетает Gated DeltaNet и механизмы внимания. Квантизация NVFP4 W4A4 использует 4-битные веса и активации со шкалами FP8, а визуальная часть сохранена в BF16. Нативный контекст составляет 262 144 токена, заявлена возможность расширения до 1 млн токенов. Указана поддержка мультимодального ввода, однако конкретный перечень языков в README не приведён. К сильным сторонам относятся высокая скорость инференса, малая занимаемая память и заявленные результаты в задачах программирования и агентского взаимодействия. Размер модели после сжатия — около 21,9 ГБ; на одной видеокарте NVIDIA Blackwell заявлена скорость до 168 токенов в секунду. Ограничения связаны с аппаратной и программной совместимостью: требуется GPU NVIDIA Blackwell с архитектурой SM 120, примерно 22 ГБ видеопамяти и nightly-версия vLLM с CUDA 13.0; на Ampere и Hopper модель не работает. Распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive — мультимодальная модель на базе Qwen3.6-35B-A3B, разработанная HauhauCS. Это вариант с усиленным снятием ограничений на отказы: по заявлению автора, модель генерирует полный ответ даже на запросы, от которых обычно отказывается базовая версия. Модель предназначена для диалогов, анализа и генерации текста, программирования, а также работы с изображениями и видео. Архитектура — гибридная MoE с 35 млрд общих параметров и примерно 3 млрд активных параметров на один проход. Используются 256 экспертов, из которых для каждого токена выбираются 8; модель содержит 40 слоёв и сочетает linear attention с полной softmax attention в соотношении 3:1. Заявлен нативный контекст до 262 тысяч токенов. Поддерживаются текст, изображения и видео; указаны английский, китайский и другие языки. Для обработки изображений требуется отдельный файл mmproj. Модель доступна в формате GGUF с вариантами квантования от Q8 до Q2, включая пользовательские K_P-кванты, оптимизированные для сохранения качества. Сильные стороны — большой контекст, мультимодальность, MoE-эффективность и отсутствие встроенных отказов. Ограничение агрессивного варианта — возможное отсутствие защитных барьеров и редкие краткие дисклеймеры, которые автор связывает с обучением базовой модели. Для запуска подходят llama.cpp, LM Studio и другие GGUF-совместимые среды. Лицензия — Apache-2.0.

Chungulus/Qwen3.8-27B-GPTQ-INT4-G128 — это квантизированный вариант базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Репозиторий содержит deployment-вариант, а не дообученную модель. Квантизация выполнена с помощью GPTQModel в формате GPTQ с 4-битными весами и размером группы 128; размер артефакта составляет около 18,2 ГиБ. Модель предназначена для генерации текста и сценариев image-text-to-text, включая работу с изображениями, кодом, отладкой, математикой, научными задачами, структурированными ответами, инструментами, многоязычными запросами и контекстами большой длины. В сборке сохранены поддержка vision и schema-valid XML tool calls. Точная длина контекста, перечень поддерживаемых языков и требования к производительности в README не указаны. К сильным сторонам относятся существенное снижение размера модели за счёт INT4-квантизации, сохранение визуальных и инструментальных возможностей, а также близость к исходной модели по численным метрикам: top-1 agreement составляет 0,9355, а logit cosine similarity — 0,9950. Ограничения включают возможное снижение качества после квантизации, зависимость совместимости от точной версии GPTQModel и родительской ревизии, а также низкую скорость на протестированной конфигурации с CPU offload: RTX 4070 12 ГБ показала медианную скорость декодирования 0,075 токена в секунду. Поддержка speculative decoding не заявлена. Модель распространяется по лицензии Apache-2.0. Тестирование проводилось с GPTQModel 7.3.4+ на NVIDIA GeForce RTX 4070 12 ГБ в WSL2 Ubuntu 24.04; приведённые показатели производительности не являются гарантией чисто GPU-режима.

Qwen3.8-27B-GSQ-RCO-GGUF — квантизированная версия Qwen3.8-27B, разработанная с использованием методов GSQ и RCO в Deep Algorithms and Systems Lab (DASLab) при Institute of Science and Technology Austria. Модель распространяется в формате GGUF и предназначена для локального запуска в llama.cpp, Ollama и LM Studio. Модель рассчитана на текстовые и мультимодальные сценарии благодаря отдельному vision encoder и проектору mmproj в формате BF16. Доступны варианты с эффективной средней разрядностью от 2,50 до 3,50 бит на вес и размером от 8,4 до 11,8 ГБ; файл mmproj занимает около 0,9 ГБ. Вариант IQ3_S позиционируется как рекомендуемый и практически не уступающий базовой модели на заявленных тестах AIME25, LiveCodeBench v6 и GPQA-Diamond. Дополнительные сборки с MTP head поддерживают speculative decoding и примерно на 0,35 ГБ больше. GSQ выполняет посттренировочную скалярную квантизацию с учетом чувствительности отдельных координат и масштабов групп, а RCO распределяет типы квантизации между тензорами в рамках заданного бюджета размера. Это позволяет существенно уменьшить объем модели при сохранении качества, однако низкоразрядные варианты могут иметь компромиссы по точности и требуют совместимого программного обеспечения. Лицензия — Apache 2.0.

Youssofal/Qwen3.8-27B-MTPLX-Optimized-Quality-FP16 — сборка модели Qwen3.8-27B, подготовленная Youssofal для запуска через MTPLX на компьютерах Mac с Apple Silicon. Это текстовая генеративная модель для локального использования, включая программирование, работу с кодом, текстами, JSON и многоязычными запросами. Модель распространяется в формате MLX и оптимизирована для чипов Apple M1 и M2; для более новых Mac рекомендуется родственная сборка с bf16. Модель имеет размер 27B параметров, использует динамическое 8-битное квантование, а оставшиеся плавающие параметры хранятся в FP16. Она поддерживает контекст до 262 144 токенов и многоступенчатое предсказание с глубиной MTP 3. MTPLX применяет спекулятивное декодирование с точным сохранением распределения генерации; заявлено ускорение в два-три раза по сравнению с обычным декодированием. Для работы требуется Mac с Apple Silicon и не менее 32 ГБ объединённой памяти, а для этой сборки рекомендуется от 36 ГБ. Размер загрузки — 29,4 ГБ. Сильными сторонами являются высокое совпадение с исходной моделью Qwen3.8-27B в тестах качества, оптимизация для локального запуска на Mac и поддержка длинного контекста. Ограничения включают привязку к экосистеме Apple Silicon, высокие требования к памяти и отсутствие опубликованных замеров скорости именно на M1 и M2. Модель распространяется по лицензии Apache-2.0.

Ratanak/Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, разработанная в сообществе Ratanak и ориентированная на сценарии, где требуется минимальное количество отказов и защитных рассуждений. Модель предназначена для генерации текста и кода, исследовательских задач в области AI safety и red teaming, а также агентных сценариев, включая автоматизацию программирования и тестирование безопасности. Модель имеет архитектуру Qwen3, размер 27 млрд параметров и доступна в форматах GGUF, Safetensors и MLX. Поддерживает режимы с рассуждением и без него; рекомендуемый режим — без рассуждения. В README не указаны точный размер контекста и перечень поддерживаемых языков. Для генерации рекомендуются температура 0, repetition penalty 1.15 и не менее 2048 новых токенов; для агентных сценариев допустимы температура 0,1–0,3 и более короткие ответы. К сильным сторонам относятся сохранение большей части возможностей исходной модели, генерация рабочего кода и сниженное количество жёстких отказов и формальных защитных отступлений. По приведённым данным, показатель MMLU версии V3 составляет 82,3%, что на 2,1 процентного пункта ниже базовой модели. Ограничения включают возможное зацикливание без repetition penalty, снижение качества при высокой температуре и потенциальные риски использования модели для вредоносных или небезопасных запросов. Указана лицензия Apache-2.0.

Merlinoz11/Solar-Open2-Apex-GGUF — GGUF-версия модели Solar Open 2 от Upstage, семейства больших языковых моделей с открытыми весами. Это модель с архитектурой Hybrid-Attention Mixture-of-Experts: всего около 250 млрд параметров, из которых на каждом токене активируются примерно 15 млрд. Гибридное чередование линейного и обычного внимания рассчитано на эффективную генерацию в длинном контексте; базовая модель поддерживает контекст до 1 048 576 токенов. Модель предназначена для агентных сценариев: многошагового рассуждения и выполнения задач, вызова инструментов, работы с документами, офисных задач и программирования. README описывает поддержку английского, корейского и японского языков. В метаданных этой копии указаны задача text-generation, чат-возможности и формат GGUF; отдельная специализация данного репозитория сверх базовой модели не уточняется. Для запуска полной модели README приводит конфигурацию с восемью GPU, каждый с памятью не менее 141 ГБ; фактические требования зависят от длины контекста и настроек. GGUF может быть удобен для локального развёртывания, но карточка этой копии не сообщает точный уровень квантизации или требования к ресурсам. Лицензия обозначена как other, поэтому условия использования следует проверять в исходной карточке и документах лицензии Upstage.

jondurbin/spicyboros-70b-2.2 — экспериментальная инструкционная языковая модель на архитектуре Llama, созданная Jondurbin на основе преимущественно синтетических данных Airoboros 2.2. Модель содержит 68,7 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 4096 токенов. Карточка описывает формат диалога с ролями USER и ASSISTANT и примерами для ответов по предоставленному контексту, написания текстов, программирования и генерации JSON или YAML для вызова функций. Модель рассчитана на широкий круг инструкционных задач и особенно ориентирована на пары «инструкция — ответ», а не на непринуждённый чат. В обучении использовались синтетические данные, включая примеры с ослабленными ограничениями на ответы. Разработчик предупреждает, что модель может выдавать ненормативную лексику и чувствительный или откровенный контент, а также рекомендует останавливать генерацию при появлении новой реплики USER. Лицензия указана как Llama 2; применение должно соответствовать её условиям.

Swift-Qwen3.8-27B-Uncensored-FP8 — модель от d0xin, представляющая собой независимую производную UkisAI Swift-Qwen3.8-27B. Она создана с применением rank-1 directional residual-stream ablation для удаления поведения отказа, после чего выполнено квантование в compressed-tensors FP8. Базовая модель — d0xin/Swift-Qwen3.8-27B-Uncensored-BF16. Модель предназначена для задач рассуждения, программирования, агентных сценариев, вызова инструментов и обработки изображений. Сохраняются мультимодальная архитектура Qwen с vision tower, поддержка tool calling и длинного контекста. Заявленный размер чекпойнта составляет около 29 ГБ, настроенный максимальный контекст — 262 144 токена; извлечение информации проверялось на запросах длиной до 235 032 токенов. Поддерживаются режимы reasoning_effort low, medium и xhigh; режим high в протестированном стеке отклоняется. К сильным сторонам относятся FP8-квантование, поддержка мультимодальных и агентных нагрузок, вызова инструментов и длинного контекста, а также отсутствие отказов в зафиксированном тесте из 100 запросов: 89 прямых ответов, 10 ответов с предупреждениями и 1 другая ошибка. При этом заявленный результат отражает только конкретный набор запросов и конфигурацию инференса и не гарантирует отсутствие отказов во всех условиях. На ограниченной валидации из 298 примеров FP8 показала 37,92% против 39,93% у модифицированной BF16-версии, поэтому статистическая эквивалентность не установлена. Языки модели в README не указаны. Лицензия — swift-open-license-1.0.

Ternary-Bonsai-2-27B-gguf — языковая модель класса 27B, разработанная Prism ML на базе Qwen3.8-27B. Это причинно-следственная transformer-модель с гибридным механизмом внимания: примерно 75% линейного и 25% полноформатного внимания, архитектурой SwiGLU, RoPE и RMSNorm. Модель предназначена для генерации текста, рассуждений, программирования и агентских сценариев с вызовом инструментов. README не указывает поддерживаемые языки. Модель содержит 27,36 млрд параметров и рассчитана на контекст до 262 тыс. токенов. Языковые веса представлены в троичном формате {−1, 0, +1} с групповым масштабированием FP16; доступны упаковки PTQ1_0 размером около 5,95 ГБ и PQ2_0 размером около 7,21 ГБ. Для обработки изображений предусмотрен отдельный опциональный vision-пакет mmproj в формате Q8_0. Модель поддерживается llama.cpp на CPU, CUDA и Metal; также существует отдельная MLX-версия для Apple Silicon. Ключевое преимущество — существенно меньший размер при сохранении заявленных разработчиком возможностей рассуждения, программирования и агентского поведения: по данным README, сохранено 98,2% показателей FP16 на среднем наборе из 14 тестов. Гибридное внимание и большой контекст делают модель подходящей для локального запуска на ноутбуке или одной GPU. Ограничения включают необходимость совместимых низкоразрядных ядер и runtime с поддержкой специального формата, а также отсутствие в README независимых подтверждений заявленных benchmark-результатов и сведений о фактическом качестве на конкретных языках. Распространяется по лицензии Apache 2.0.

Tess-2.0-Llama-3-70B — универсальная языковая модель для диалога и генерации текста, разработанная Migtissera; вычислительные ресурсы для обучения предоставила KindoAI. Это плотная autoregressive-модель семейства Llama 3 на архитектуре LlamaForCausalLM с 69,5 млрд параметров и контекстом до 8192 токенов. Она принимает текстовые инструкции и выдаёт текст, поддерживает формат диалога Llama 3. Модель дообучена на базе meta-llama/Meta-Llama-3-70B в течение двух эпох на наборе Tess-2.0, который по принципам LIMA включает около 100 тысяч высококачественных примеров по программированию и общим темам. Подходит для диалоговых помощников, ответов на вопросы, написания текстов и помощи с кодом. Карточка характеризует набор данных как мало ограничивающий следование инструкциям, поэтому модель может отвечать на нежелательные запросы. Модель может выдавать неточную или вводящую в заблуждение информацию, а также предвзятый, оскорбительный или иной неподходящий контент; ответы следует проверять. Лицензия — Llama 3 License (llama3).

ZYH-LLM-Qwen2.5-14B-V5 — диалоговая языковая модель YOYO-AI, созданная слиянием моделей на базе Qwen2.5-14B. В README описаны этапы объединения инструкционных, кодовых и рассуждающих моделей; среди них есть варианты Qwen2.5, Cogito, DeepCoder и другие. Это плотная авторегрессионная архитектура Qwen2 с 14 млрд параметров, опубликованная в формате safetensors. Модель предназначена для генерации текста в диалоге, выполнения инструкций, помощи с кодом и задач, требующих рассуждений. Метаданные указывают контекст до 1 010 000 токенов, а в карточке заявлена поддержка английского и китайского языков. Модель распространяется по лицензии Apache-2.0. README не приводит результаты сравнительных оценок или подробные рекомендации по развёртыванию. Заявленная длина контекста сама по себе не подтверждает качество ответов на всём этом диапазоне; фактическую производительность следует проверять на целевых задачах.