II.3Рефакторинг, миграция и модернизация

DavidAU/Llama-3.2-4X3B-MOE-Ultra-Instruct-10B-GGUF — инструкционная текстовая модель на базе Llama 3.2, собранная с использованием Mergekit из четырёх экспертных моделей Llama 3.2 3B. В состав входят базовая модель общего назначения, модель для программирования, модель для логики и рассуждений и модель для работы с промптами. Архитектура Mixture of Experts объединяет около 10 млрд параметров; по умолчанию используются два эксперта, но поддерживается настройка на одного, трёх или четырёх экспертов. Модель предназначена для генерации текста общего назначения, следования инструкциям, программирования, логических задач, prompt engineering, творческого и художественного письма, ролевых сценариев и reasoning. Заявлен контекст до 128 000 токенов. Указан английский язык, формат распространения — GGUF, а для запуска требуется шаблон Llama 3 или Command-R. Количество активных экспертов влияет на баланс между качеством и скоростью: большее число экспертов может повышать качество, но снижает производительность. К заявленным сильным сторонам относятся высокая скорость на совместимом оборудовании, стабильная генерация, низкая perplexity и особенно развитые способности к созданию подробной прозы и художественных текстов. При этом результаты могут заметно различаться между повторными генерациями из-за смены выбранных экспертов, а слишком высокая температура способна ухудшать следование инструкциям. Модель распространяется по лицензии Apache 2.0.

mergekit-community/mergekit-linear-pcuhyqy — плотная языковая модель на архитектуре Qwen2, созданная сообществом с помощью линейного слияния моделей в mergekit. В слияние вошли DeepSeek-R1-Distill-Qwen-32B и mergekit-community/mergekit-model_stock-czbocwb; итоговая модель содержит 32 млрд параметров и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев. Базовая модель DeepSeek-R1-Distill-Qwen-32B ориентирована на рассуждения, математику и программирование; в метаданных также отмечен интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Данные не описывают отдельные ограничения полученного слияния или условия лицензии, поэтому их нельзя уточнить.

Meta Llama 3 70B Instruct — разработанная Meta инструкция-настроенная большая языковая модель для диалоговых сценариев. Это авторегрессионный плотный трансформер Llama с Grouped-Query Attention, примерно 69,5 млрд параметров и контекстом 8192 токена. Модель принимает текст и генерирует текст, включая код; карточка указывает английский как целевой язык. Модель подходит для диалогового помощника и генерации текста или кода. Настроенная версия обучена с помощью supervised fine-tuning и обучения с подкреплением на основе человеческих предпочтений (RLHF), с акцентом на полезность и безопасность. Репозиторий распространяет веса в формате safetensors; заявлена пользовательская коммерческая лицензия Meta Llama 3, условия которой необходимо соблюдать. Модель не предназначена для использования на языках, отличных от английского, согласно указанному назначению; для ответственного развертывания могут потребоваться дополнительные меры безопасности.

MiniMax-M3-FP8-dynamic — это динамически квантизированная в формате FP8 версия мультимодальной модели MiniMax-M3, разработанной MiniMaxAI. Модель является производным checkpoint от MiniMaxAI/MiniMax-M3 и распространяется в форматах safetensors и compressed-tensors. Она предназначена для диалоговых и мультимодальных задач, включая работу с текстом и изображениями, рассуждения, математику, ответы на вопросы, следование инструкциям и генерацию кода. Базовая MiniMax-M3 описывается как нативная мультимодальная MoE-модель примерно на 428 млрд параметров, из которых около 23 млрд активируются при обработке запроса. Заявлена поддержка контекста до 1 млн токенов. FP8 dynamic quantization уменьшает требования к памяти и дисковому пространству; согласно приведённой оценке, качество в большинстве тестов близко к BF16-версии, хотя на отдельных задачах наблюдается снижение результатов. Модель проверялась в vLLM через OpenAI-compatible server и на оборудовании AMD MI350 с tensor parallel size 8. Основные ограничения связаны с высокими аппаратными требованиями, обусловленными размером исходной MoE-модели и мультимодальной архитектурой. В README не указаны точный набор поддерживаемых языков, подробности входных и выходных модальностей, минимальная конфигурация для запуска и дополнительные ограничения применения. Квантизированный checkpoint следует условиям лицензии базовой MiniMax-M3; конкретный текст лицензии в карточке не приведён, а в метаданных указано license: other.

Nanbeige4.2-3B-Base — базовая языковая модель семейства Nanbeige, разработанная командой Nanbeige и обученная с нуля. Это плотная модель с архитектурой Looped Transformer: она повторно использует те же слои, что позволяет увеличить вычислительную ёмкость без увеличения числа параметров. Размер модели — 3,2 млрд параметров, нативная длина контекста — 131 072 токена. Модель распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для генерации текста и служит базой для задач рассуждения, математики, программирования, STEM и ответов на вопросы. В карточке сообщается об увеличении объёма обучающих данных до 28 трлн токенов и усиленном представлении математических, кодовых, STEM-данных и синтетических вопросов и ответов. Указаны английский и китайский языки; доступен разговорный режим. Лицензия — Apache-2.0. Модель может выдавать недостоверную информацию, предвзятые или вредные ответы; результаты требуют проверки.

Nanbeige/Nanbeige4.2-3B-DSpark — веса DSpark для модели Nanbeige4.2-3B, разработанной Nanbeige на основе Nanbeige4.2-3B-Base. Репозиторий предназначен для использования вместе с Nanbeige4.2-3B и заявлен как способ ускорить инференс. Модель относится к семейству Qwen3, использует плотную архитектуру; класс реализации — Qwen3DSparkModel. В метаданных указаны 1,1 млрд параметров, контекст 262 144 токена и формат safetensors. Модель ориентирована на генерацию текста, рассуждения, работу с инструментами и многошаговые сценарии: общие агентные задачи, программирование, офисные процессы и персональный помощник. В README также описаны математические и научные рассуждения. Заявленная разработчиком поддержка английского и китайского языков; README отмечает, что для агентных и инструментальных сценариев применяются соответствующие шаблон чата и внешняя среда-исполнитель. Модель дообучена от Nanbeige/Nanbeige4.2-3B-Base и распространяется по лицензии Apache-2.0. README предупреждает о возможных неточных, предвзятых, дискриминационных или иных вредных ответах. Утверждения о скорости и результатах бенчмарков приведены разработчиком; фактическая производительность зависит от среды запуска и интеграции.

jondurbin/nontoxic-bagel-34b-v0.2 — экспериментальная чат-модель Джона Дарбина, полученная дообучением Yi-34B-200K с использованием набора Bagel и частичного DPO. Она предназначена для диалогов, ответов на вопросы, следования инструкциям, написания текстов и кода, математических задач и ролевого общения. Модель имеет плотную архитектуру LlamaForCausalLM примерно на 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. При обучении использовались разнообразные наборы данных для диалогов, чтения с пониманием, программирования, математики и ролевых сценариев. Модель принимает текст и генерирует текст; README описывает форматы запросов Vicuna, Llama 2, Alpaca и ChatML. Карточка характеризует эту версию как довольно сильно цензурированную. Указана лицензия other, поэтому условия использования следует уточнять в карточке модели и у правообладателя.

Карточка модели mayflowergmbh/occiglot-7b-eu5-instruct-hf на Hugging Face совпадает с карточкой occiglot/occiglot-7b-eu5-instruct, поэтому описание составлено по ней. Occiglot-7B-EU5-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный авторегрессионный трансформер с архитектурой Mistral и 7,1 млрд параметров, дообученный на 400 млн токенов многоязычных и программных инструкций. Модель принимает текстовые запросы в формате ChatML и генерирует текст; заявленная длина контекста — 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы, выполнения инструкций и задач с кодом на английском, испанском, французском, немецком и итальянском языках. Карточка приводит предварительные результаты тестирования и отмечает, что часть неанглоязычных оценок основана на машинном переводе, поэтому их следует интерпретировать осторожно. Модель не проходила выравнивание по безопасности и может создавать проблемный контент. Распространяется по лицензии Apache 2.0.

Olmo-3-7B-Instruct-DPO — англоязычная авторегрессионная Transformer-модель для диалогов и выполнения инструкций, разработанная Allen Institute for AI (Ai2). Модель содержит 6,9 млрд параметров и принимает текст, генерируя текст; её длина контекста составляет 65 536 токенов. Репозиторий использует Transformers и форматы PyTorch и safetensors. Модель дообучена методом DPO на базе allenai/Olmo-3-7B-Instruct-SFT на данных Dolci-Think-DPO-7B. Она предназначена для ответов на вопросы, диалога, математики, программирования и общих знаний. В оценках из карточки DPO-версия показывает улучшение по ряду математических бенчмарков относительно SFT-версии. Лицензия — Apache 2.0. Модель может выдавать неточные ответы и без дополнительной фильтрации способна генерировать вредный или чувствительный контент; факты следует проверять. Разработчик указывает исследовательское и образовательное применение в соответствии с правилами ответственного использования Ai2.

Phi-3.5-MoE-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Phi-3.5-MoE-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с кодом и многоязычными запросами, и может запускаться локально через llama.cpp или LM Studio. В набор входят варианты от F16 до низкоразрядных Q2 и IQ-квантизаций размером примерно от 15 до 84 ГБ. Доступны версии с различным компромиссом между качеством, требованиями к памяти и скоростью работы; наиболее качественными считаются F16, Q8_0 и Q6, а Q4-варианты ориентированы на более широкий круг локальных сценариев. Модель относится к архитектуре Mixture of Experts, однако точные сведения о числе параметров, длине контекста и поддерживаемых языках в README не указаны; заявлена многоязычность. Сильные стороны — широкий выбор форматов, локальный запуск и возможность подобрать размер модели под доступные ресурсы. Ограничения зависят от уровня квантизации: уменьшение размера может снижать качество, а даже компактные варианты требуют значительного объёма памяти. Модель распространяется по лицензии MIT.

TeichAI/Qwen3-14B-DeepSeek-v3.2-Speciale-Distill — плотная языковая модель семейства Qwen3 на 14 млрд параметров, дообученная TeichAI на наборах рассуждений DeepSeek v3.2 Speciale. Она предназначена для генерации текста в диалоге, решения математических задач, программирования и исследовательских запросов. Модель принимает текст и выдаёт текст; метаданные указывают контекст до 40 960 токенов и поддержку интерфейса вызова инструментов. Модель основана на unsloth/Qwen3-14B и распространяется в формате safetensors. В карточке перечислены обучающие наборы OpenCodeReasoning, 1000x и openr1-math. Указаны английский язык и лицензия не приведена в предоставленных данных. Возможности и качество рассуждений, кодирования и вызова инструментов независимо не подтверждены.

NVIDIA Qwen3-30B-A3B-NVFP4 — это квантизированная версия авторегрессионной языковой модели Qwen3-30B-A3B, разработанной Alibaba и подготовленной с использованием NVIDIA TensorRT Model Optimizer версии 0.31.0. Модель предназначена для генерации текста и ориентирована на разработчиков, создающих AI-агентов, чат-ботов, RAG-системы и другие приложения на основе искусственного интеллекта. Модель использует трансформерную архитектуру Qwen3-30B-A3B, принимает текстовые последовательности и возвращает текст. Поддерживается контекст длиной до 131K токенов. Веса и активации линейных операторов внутри трансформерных блоков квантизированы в FP4, что примерно в 3,3 раза сокращает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Модель рассчитана на запуск через TensorRT-LLM на GPU NVIDIA, включая архитектуру Blackwell, предпочтительно в Linux. К сильным сторонам относятся уменьшенные требования к памяти и готовность к высокопроизводительному инференсу на совместимом оборудовании. Ограничения включают зависимость от TensorRT-LLM и NVIDIA GPU, а также возможное снижение точности из-за квантизации; конкретные языковые возможности и результаты для отдельных языков в README не указаны. В README приведены результаты на MMLU Pro, GPQA Diamond, HLE, LiveCodeBench, SciCode, MATH-500 и AIME 2024, а для калибровки использован датасет CNN/DailyMail. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache 2.0.

FreedomAISVR/Qwen3.5-4B-Instruct-NVFP4-GGUF — квантованная в NVFP4 версия мультимодальной инструкционной модели Qwen3.5-4B от команды Qwen компании Alibaba. Репозиторий содержит GGUF-веса текстовой модели и отдельный проектор изображений SigLIP в формате F16; для инференса автор описывает использование llama.cpp. Модель рассчитана на диалог, выполнение инструкций, генерацию текста и кода, рассуждения и понимание изображений. Поддерживает английский, китайский и другие языки; режим рассуждений по умолчанию отключён и может быть включён настройкой enable_thinking=true. Модель имеет 4 млрд параметров, 32 слоя трансформера, гибридное внимание GQA и MLA с чередованием SSM Mamba-2, скрытую размерность 2560. Квантование NVFP4 использует около 4,74 бита на вес и ориентировано на ускорение на графических процессорах NVIDIA Blackwell; README рекомендует традиционные форматы для более старых GPU, AMD и CPU. Лицензия — Apache-2.0. Карточка не сообщает длину контекста и количественную оценку качества.

Minachist/Qwen3.6-35B-A3B-INT8-AutoRound — неофициальная INT8-квантизированная версия модели Qwen3.6-35B-A3B, разработанная Minachist на основе Qwen от команды Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, однако в README конкретные поддерживаемые языки и полный перечень задач не указаны. Она рассчитана на запуск через Transformers и vLLM, включая использование в качестве языковой модели, генерацию кода, рассуждения и вызовы инструментов при соответствующей настройке vLLM. Модель использует схему W8A16 и квантизацию AutoRound от Intel. Доступны варианты с group size 128 и 32, а основная ветка использует конфигурацию, требующую примерно на 3,2 ГБ меньше VRAM, чем вариант gs32, при почти идентичном качестве. Часть компонентов, включая visual, mtp, linear_attn, mlp.gate, shared_expert, embed_tokens и lm_head, не квантизирована; в отдельных вариантах также сохраняется self_attn. Размер базовой модели обозначен как 35B-A3B, но сведения о контекстном окне и точных модальностях базовой модели отсутствуют. Сильными сторонами являются существенное снижение требований к памяти при сохранении качества, близкого к BF16: для MMLU-Redux указано 93,28% против 93,3% в официальной оценке BF16. Ограничения включают зависимость от совместимых версий vLLM и CUDA, необходимость подходящей GPU-конфигурации, а также известные проблемы с vLLM v0.20.1. Модель распространяется по лицензии Apache-2.0.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-BF16 — плотная мультимодальная модель, созданная на основе Qwen/Qwen3.8-27B с помощью направленной абляции HERETIC, уменьшающей склонность модели отказываться от ответов. Это исходный чекпойнт в формате BF16; сохранены MTP-головы и полная башня обработки изображений. Базовая архитектура содержит 27,8 млрд параметров и 64 слоя, сочетает линейное внимание с полным и поддерживает изображения и видео. Модель предназначена для диалогов, анализа изображений и видео, программирования и многошаговых задач; в репозитории также заявлен интерфейс вызова инструментов. По описанию автора, на тестовом наборе из 100 запросов о вредоносных действиях модель отказала один раз, но снижение числа отказов не означает нейтральности: она может сохранять склонности базовой модели. Для этой версии указана лицензия Apache-2.0. Чекпойнт опубликован для дальнейшей квантизации в нужный формат.

HaberstrohSystems/Qwen3.8-27B-int4-g128-sym-autoround — квантованная версия нативно мультимодальной модели Qwen3.8-27B, опубликованная HaberstrohSystems и предназначенная для запуска на одной видеокарте Intel Arc Pro B70 с 32 ГБ памяти. Модель поддерживает работу с текстом и изображениями, вызов инструментов и обслуживается через Transformers или vLLM с парсером qwen3_coder. Модель содержит 27 млрд параметров; языковая часть имеет 64 слоя, скрытое измерение 5120, 24 query-heads и 4 KV-heads. Заявленный нативный контекст составляет 262 144 токена, а в приведённой конфигурации обслуживания используется до 131 072 токенов. Языковая часть сжата до INT4 методом AutoRound в формате W4A16 с размером группы 128 и симметричной схемой; веса занимают около 17,69 GiB. Чувствительные компоненты языковой модели и vision tower сохранены в 16-битном виде, поэтому обработка изображений не подвергается квантованию. Указан английский язык. Сильными сторонами являются мультимодальность, большой контекст, поддержка рассуждений с уровнями xhigh, medium и low, вызов инструментов и возможность запуска на одной Intel Arc Pro B70. Ограничения включают заметную задержку при включённом рассуждении xhigh, ускоренный рост контекста из-за сохранения блоков рассуждений и существенное падение производительности при длинных контекстах и многопользовательской нагрузке. Лицензия — Apache 2.0.

Qwen3.8-Flash-Next-113B-A5B-Niwaki-3bit-mlx — текстовая Mixture-of-Experts-модель, созданная проектом Niwaki на базе Qwen3.8-Flash-Next от команды Qwen. Модель была подвергнута структурному прореживанию экспертов, реконструкции и дистилляции, после чего сохранена в 3-битном формате для MLX. Она предназначена для генерации текста, диалогов, программирования, рассуждений и творческих задач на компьютерах Apple Silicon, особенно моделях с 64 ГБ unified memory. Модель содержит 113B параметров, из которых около 5,4B активны для каждого токена. Архитектура включает 48 слоёв, до 512 маршрутизируемых экспертов и top-k 10; эксперты используются в 32 слоях и имеют промежуточный размер 448. Эксперты хранятся в 3-битном формате с группировкой 64, backbone — в 4-битном, а таблица n-gram embeddings PLE — в 2-битном формате. Размер модели на диске составляет 42,2 ГБ, поддерживается только текстовая модальность, языки явно не указаны. Для запуска требуются MLX, mlx-vlm и специальный загрузчик Niwaki; заявлена производительность около 31 токена в секунду на M4 Max. Главное преимущество — существенное сокращение требований к памяти при сохранении 99,8% среднего результата базовой 4-битной модели на указанном наборе задач. Ограничения включают повышенную perplexity, меньшую надёжность чисел и редких технических фактов, недостаточную проверку поведения в узких предметных областях и унаследованные от базовой модели смещения. При включённом режиме рассуждений модель может генерировать чрезмерно длинные ответы; для кратких задач рекомендуется отключать thinking. Лицензия указана как other со ссылкой на лицензию базовой модели Qwen3.8-Flash-Next.

StarFuse-7B-DARE — диалоговая языковая модель на архитектуре Mistral, созданная объединением четырёх моделей с помощью mergekit и метода dare_ties: openchat/openchat-3.5-0106, FuseAI/FuseChat-7B-VaRM, Nexusflow/Starling-LM-7B-beta и Weyaxi/Newton-7B. Модель содержит 7,1 млрд параметров и принимает текстовые запросы, генерируя текстовые ответы в формате диалога. Она предназначена для общения и генерации текста, включая ответы на общие вопросы, программирование и математические рассуждения. Контекст составляет 8192 токена. Модель опубликована в формате safetensors с точностью bfloat16 и лицензией Apache-2.0. В README не приведены сведения о целевых языках или специальных ограничениях качества.

Swift-Qwen3.8-27b-BF16-AMD — полноразмерная BF16-версия модели UkisAI Swift, производной от Qwen/Qwen3.8-27B. Это плотная мультимодальная модель с архитектурой Qwen3.5 и классом Qwen3_5ForConditionalGeneration; опубликована в формате safetensors для Transformers и предназначена для AMD/ROCm и рабочих процессов AMD Quark. Веса включают компонент обработки изображений и видео и MTP-голову. Модель ориентирована на диалоги и многошаговые рассуждения, включая программирование, решение математических задач, ответы на вопросы и генерацию структурированного JSON. Метод дообучения нацелен на сокращение избыточных рассуждений: в тестах UkisAI модель использовала на 58,3% меньше токенов мышления при потере качества менее 1% и ускорении до 1,95 раза на ряде задач. Эти результаты относятся к описанным в карточке испытаниям и не гарантируют аналогичных показателей в каждом сценарии. Модель принимает текст и изображения, а также поддерживает визуальные возможности базовой модели для анализа видео; выдаёт текст. Указанная в README длина контекста для приведённых тестов — 262 144 токена. Лицензия обозначена как other; карточка сообщает, что доступ к API бесплатен для исследований, но не задаёт полных условий лицензии весов. Для использования на AMD требуется совместимая среда ROCm; AMD/ROCm-развёртывание и его производительность на момент описания не проверены, а приведённые результаты получены не на оборудовании AMD.

Tess-v2.5 (Qwen2-72B) — разговорная языковая модель, созданная Migel Tissera и дообученная на базе Qwen2-72B. Она предназначена для диалога и генерации текста, включая рассуждения, программирование, математику и ответы на вопросы по широкому кругу тем. Архитектура — плотная Qwen2ForCausalLM, размер — 71,5 млрд параметров, контекст — до 131 072 токенов. Модель принимает текст и использует формат запросов ChatML. Для дообучения применён датасет Tess-v2.5 из 300 тысяч синтетических примеров по бизнесу, истории, социальным наукам, искусству, STEM и программированию; модель обучалась с Axolotl. Автор сообщает о сильных результатах на MMLU и AGIEval, однако эти заявления основаны на оценках автора. Модель не проходила RLHF или DPO и может выдавать неточные, вводящие в заблуждение, предвзятые или оскорбительные ответы. Лицензия указана как other, поэтому условия использования следует проверить в репозитории модели.

UltraLink-LM — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная OpenBMB. Это дообученная модель семейства Llama-2 размером около 13 млрд параметров, предназначенная для генерации текста по инструкциям и многораундового диалога на английском, французском, русском, испанском и китайском языках. Модель ориентирована на ответы в чате, написание кода и решение математических задач. При дообучении использовались UltraLink, UltraChat, наборы Magicoder, MetaMathQA и англоязычная часть ShareGPT; карточка сообщает о сравнительных оценках на мультиязычных бенчмарках кода, математики и диалога. Контекст модели — 4096 токенов. Веса опубликованы в формате safetensors под лицензией MIT. Заявленные возможности и качество основаны на оценках из карточки; бенчмарки для части языков были переведены с помощью GPT-3.5, а сама карточка отмечает возможную предвзятость оценок. Модель имеет 12,9 млрд параметров, поэтому для запуска требуется соответствующая вычислительная память.

MaziyarPanahi/WizardLM-2-7B-GGUF — это квантизированная версия языковой модели WizardLM-2 7B в формате GGUF. Исходная модель разработана командой WizardLM в Microsoft AI на основе Mistral-7B-v0.1, а конвертацию и публикацию квантизированных файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и диалогового взаимодействия с поддержкой многоходовых бесед. Модель содержит около 7 млрд параметров и заявлена как мультиязычная. Она ориентирована на сложные чаты, следование инструкциям, написание текстов, программирование, математические задачи, рассуждения, агентские сценарии и работу на нескольких языках. По данным README, WizardLM-2 7B обеспечивает высокую скорость и сопоставима по качеству с более крупными открытыми моделями; в оценках авторов она сравнивалась с моделями размером до 32B параметров. Конкретное максимальное окно контекста и перечень поддерживаемых языков не указаны. Главное преимущество этой версии — возможность локального запуска благодаря GGUF и нескольким вариантам квантизации от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Ограничения включают зависимость характеристик от выбранного уровня квантизации, отсутствие заявленной поддержки мультимодальных входов и недостаток подробных данных о тестах, контекстном окне и безопасности. Модель распространяется по лицензии Apache 2.0.

Это текстовая диалоговая модель Richard Young на базе deepseek-ai/DeepSeek-R1-0528-Qwen3-8B. В исходной модели цепочки рассуждений DeepSeek-R1-0528 были дистиллированы в Qwen3-8B; затем с помощью Heretic выполнена абляция направления отказа без повторного обучения. Модель содержит 7,6 млрд параметров, использует плотную архитектуру Qwen3 и принимает контекст до 131 072 токенов. Модель предназначена для генерации ответов с рассуждениями, в том числе при решении математических и логических задач, программировании, творческом письме и учебных сценариях. Карточка сообщает, что абляция заметно снижает частоту отказов и что модель сохраняет близкое к исходной поведение по измеренной KL-дивергенции; эти оценки приведены автором модели. Поддерживаются диалоговый режим и интерфейс вызова инструментов. Модель работает с текстом и распространяется в формате safetensors. Лицензия — MIT. Из-за уменьшения числа отказов модель может отвечать на запросы, которые исходная версия отклоняет; следует учитывать это при выборе сценария применения. Результаты и поведение модели могут отличаться от приведённых в карточке оценок.

Orion-zhen/DeepSeek-R1-Distill-Llama-70B-abliterated — вариант DeepSeek-R1-Distill-Llama-70B, созданный с помощью abliteration. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров и контекстом до 131 072 токенов. Она предназначена для генерации текста и диалогов; базовая модель рассчитана на математические рассуждения, программирование и ответы на сложные вопросы. В метаданных указаны английский и китайский языки, а также интерфейсы чата и вызова инструментов. Модель представлена в формате safetensors и распространяется по лицензии GPL-3.0. README не сообщает о качестве abliteration, её конкретных целях или изменениях поведения модели, поэтому эти свойства нельзя оценить по доступным сведениям.

DeepSeek-R1-Distill-Llama-8B-abliterated — текстовая генеративная модель huihui-ai на архитектуре Llama, созданная методом abliteration на основе deepseek-ai/DeepSeek-R1-Distill-Llama-8B. Разработчик описывает её как экспериментальный вариант, в котором удалены отказы от ответов; базовая модель была дообучена на данных для рассуждений. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. Модель предназначена для диалоговой генерации текста, ответов на вопросы и многошаговых рассуждений, включая математические задачи и программирование — эти возможности унаследованы от базовой модели. В карточке также приведён способ использования через Ollama. README предупреждает, что удаление отказов реализовано грубо и служит доказательством концепции; поэтому поведение модели может быть менее безопасным. Условия лицензии в предоставленных данных не указаны.

DistilGPT-OSS-qwen3-4B — созданная сообществом дообученная языковая модель на базе Qwen/Qwen3-4B-Thinking-2507. Она предназначена для диалогового помощника, генерации и объяснения кода, математических задач, кратких пересказов и повседневных запросов, в том числе локального использования. Обучение на ответах с рассуждениями GPT-OSS должно улучшить следование инструкциям и позволяет задавать уровень рассуждений low, medium или high через системный промпт. Модель плотная, содержит 3,7 млрд параметров, принимает и генерирует текст; заявленный контекст — до 262 144 токенов, а при высоком уровне рассуждений модель может использовать до 65 536 токенов на рассуждение. Модель выпущена в формате bf16 Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. Разработчик отмечает, что это независимый проект сообщества, не связанный с Alibaba или OpenAI. По заявлению автора, модель менее ограничительна, чем исходная GPT-OSS, и сохраняет safety training; она ориентирована на производительность и более разговорный стиль ответов. Размер модели ограничивает её общие знания, а ответы могут содержать ошибки: автор не рекомендует полагаться на неё в медицинских, юридических и других высокорисковых задачах.

Mihaiii создал прореженную версию модели cognitivecomputations/dolphin-2.6-mistral-7b-dpo: из исходных 7,24 млрд параметров удалены шесть слоёв, и в результате осталось около 5,93 млрд параметров. Модель основана на плотной архитектуре Mistral и предназначена для генерации текста; в метаданных также указан контекст длиной до 32 768 токенов. Модель подходит для диалоговых ответов, следования инструкциям и генерации кода. В карточке перечислены обучающие датасеты Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder и Capybara; это указывает на широкий набор инструкционных и кодовых сценариев, но не гарантирует качество для каждой задачи. Модель опубликована в формате Safetensors по лицензии Apache-2.0.

AEON-7 выпустил BF16-версию Gemma-4-12B-it с удалёнными отказами и заявленным сохранением возможностей исходной модели. Это плотная мультимодальная модель семейства Gemma 4 с 12 млрд параметров, предназначенная для диалога и следования инструкциям; основная задача в метаданных — генерация текста. В README также указаны сценарии работы с кодом, математическими задачами и рассуждениями. Базовая модель поддерживает работу с изображениями, видео и аудио, однако карточка этой версии описывает прежде всего текстовую генерацию. В README модель позиционируется как точный BF16-вариант семейства K4 для дообучения или запуска на оборудовании без Blackwell. Для загрузки через мультимодальный путь vLLM требуется processor_config.json из карточки базовой модели. Приведённые авторами показатели производительности относятся к DGX Spark и оптимизированному контейнеру AEON vLLM; они не характеризуют другие конфигурации. Модель распространяется по лицензии Gemma Google.

HauhauCS/Gemma4-12B-QAT-Uncensored-HauhauCS-Balanced — модифицированная версия Gemma 4 12B от Google DeepMind, подготовленная HauhauCS. Модель основана на официальных QAT-весах и ориентирована на агентное программирование, рассуждения, творческое письмо, ролевые сценарии и диалоговые задачи, где важны следование инструкциям и надежность. Вариант позиционируется как uncensored и предназначен для случаев, когда стандартные отказы базовой модели нежелательны. Это плотная модель на 12 млрд параметров с контекстом до 256K токенов. Она поддерживает ввод изображений через отдельный vision-проектор mmproj, поэтому может использоваться в мультимодальных сценариях. Доступна в формате GGUF с квантизацией Q4_K_M размером около 6,9 ГБ; автор считает этот вариант оптимальным благодаря обучению Gemma 4 с учетом 4-битной квантизации. Для ускорения генерации поставляется MTP-голова для speculative decoding, которая в llama.cpp, по заявлению автора, дает примерно 60% прироста скорости без изменения проверяемого результата. Модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-рантаймами. Среди ограничений — заявленное ускорение MTP протестировано только в llama.cpp, а при использовании LM Studio автор наблюдал возможные сбои в режиме tensor-split на нескольких GPU; рекомендуется использовать один GPU или альтернативное распределение слоев. Заявление об отсутствии отказов основано на тестах автора и не исключает отдельных отказов в пограничных случаях. Лицензия указана как Gemma; конкретные условия следует уточнять в лицензии семейства Gemma.

Gemma 4 31B MXFP4 CRACK — мультимодальная модель на архитектуре Gemma 4, опубликованная dealignai и основанная на google/gemma-4-31b-it. Это дообученная версия с удалёнными отказами, предназначенная для диалогов, ответов на вопросы, многошаговых рассуждений, генерации кода и работы с изображениями. Модель плотная, использует гибридное скользящее и глобальное внимание и квантизацию MXFP4; для запуска автор рекомендует vMLX на Apple Silicon с достаточной общей памятью. В карточке заявлены сохранение возможностей работы с изображениями и проверка генерации кода и рассуждений. По приведённым авторами оценкам, MMLU составляет 82,9% против 88,6% у базовой модели, а соответствие запросам из категорий HarmBench — 95%; это указывает на заметное снижение отказов, в том числе для опасных запросов. Метаданные указывают лицензию Gemma. Автор обозначает модель как исследовательскую; пользователю следует учитывать лицензионные условия Gemma и применимое законодательство.