II.3Рефакторинг, миграция и модернизация

unsloth/Qwen2.5-3B — версия базовой языковой модели Qwen2.5, опубликованная Unsloth и предназначенная для генерации текста и дальнейшей адаптации. Это плотная авторегрессионная модель архитектуры Qwen2 с 3,1 млрд параметров; репозиторий содержит веса Safetensors для Transformers. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов и многоязычную работу, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Базовая Qwen2.5 рассчитана на продолжение текста и может служить основой для дообучения под код, математику, структурированные данные и другие задачи. В README отдельно отмечено, что базовую модель не рекомендуют использовать для диалогов без последующего обучения, например SFT или RLHF. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и лицензией базовой модели.

BenevolenceMessiah/Qwen2.5-72B-2x-Instruct-TIES-v1.0 — объединённая плотная языковая модель семейства Qwen2.5, созданная методом TIES с помощью mergekit. В качестве основы использована Qwen/Qwen2.5-72B; в объединение также вошли Rombos-LLM-V2.5-Qwen-72b и Dracarys2-72B-Instruct. Модель содержит 71,5 млрд параметров и имеет заявленное контекстное окно 131 072 токена. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Её можно применять для составления ответов, продолжения текста и сценариев чат-ассистента. README не уточняет специальные преимущества объединения, а сведения о языках обучения и целевых сценариях ограничены. Файлы представлены в формате Safetensors и предназначены для Transformers. Лицензия в предоставленных данных не указана.

lmstudio-community/Qwen3-4B-Instruct-2507-MLX-5bit — это 5-битно квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживаемых исходной instruct-моделью Qwen3-4B-Instruct-2507. Ключевые характеристики: архитектура и возможности базовой модели Qwen3-4B-Instruct-2507, около 4 миллиардов параметров, текстовая модальность и 5-битное представление MLX. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Основные преимущества модели — уменьшенный объём памяти и оптимизация для локального запуска на Apple Silicon при сохранении совместимости с экосистемой MLX. Ограничения связаны с квантованием и характеристиками базовой 4B-модели; точное влияние на качество, производительность и перечень поддерживаемых сценариев в README не описано. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-MLX-6bit — это 6-битно квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сценариях, поддерживающих MLX. Ключевая характеристика модели — 6-битное квантование, снижающее требования к памяти по сравнению с полноразмерной версией и делающее модель более подходящей для локального использования на совместимых компьютерах Apple. В README не указаны архитектура, точный объём контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти свойства нельзя достоверно описать. К ограничениям относятся возможные ошибки, неточности и генерация неподходящего или вредного содержания, характерные для языковых моделей. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-4B-Thinking-2507-4bit — это 4-битная квантованная версия языковой модели Qwen3-4B-Thinking-2507, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.2. Исходная модель опубликована организацией Qwen. Модель относится к классу text-generation и предназначена для генерации текста и диалогового взаимодействия. Модель рассчитана на запуск через библиотеку mlx-lm, включая загрузку токенизатора и применение chat template для диалоговых запросов. Из README известно, что она использует формат MLX и имеет размер исходной модели 4B параметров; применяется 4-битное представление. Сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальных возможностях не указаны, поэтому модель следует рассматривать как текстовую. Ключевое преимущество — адаптация к экосистеме MLX и уменьшенное 4-битное представление, что может снизить требования к памяти при локальном запуске. Ограничения README не описывает: отсутствуют данные о качестве, производительности, скорости, специализации модели и известных рисках. Лицензия — Apache-2.0.

Nickyang выпустил производную версию Qwen3.6-35B-A3B, созданную методом RAZOR — без градиентного дообучения удалена половина маршрутизируемых экспертов в каждом MoE-слое. В модели оставлено 128 из 256 экспертов на слой; размер составляет 19,4 млрд параметров, или 19,0 млрд без модуля MTP, при примерно 3 млрд активных параметров на токен. Остальные веса, включая внимание, общий эксперт, эмбеддинги, языковую голову и оставшиеся строки маршрутизатора, сохранены. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Она использует архитектуру Qwen3.5 MoE и формат safetensors с весами bfloat16. Для запуска требуется версия Transformers со встроенной поддержкой qwen3_5_moe. README не сообщает контекстное окно и языковой охват этой производной модели. Удаление экспертов сокращает объём хранимых экспертных весов, сохраняя примерно прежние вычисления на токен. Обрезка с потерями: ответы могут отличаться по разнообразию, форматированию и завершению, даже если точность на задачах в основном сохраняется; поведение вне конечного многодоменного калибровочного набора не охарактеризовано. Лицензия — Apache-2.0.

rico03/Qwen3.8-27B-Claude-Opus-Reasoning-Distilled-GGUF — набор GGUF-квантизаций модели, разработанный пользователем rico03 на базе Qwen/Qwen3.8-27B. Модель дообучена методом LoRA с использованием Unsloth и дистиллирована на рассуждениях и ответах Claude Opus 4.6/4.7. Лицензия — Apache-2.0. Модель предназначена для генерации текста и задач, требующих развитого пошагового рассуждения. Она использует плотную архитектуру на 27 млрд параметров с гибридным сочетанием полной и линейной attention-механики Gated DeltaNet, а также Multi-Token Prediction (MTP) head. Базовая Qwen3.8-27B является мультимодальной vision-language моделью, однако дообучение затрагивало только текстовый путь; зрительная часть сохранена без изменений. В README заявлен английский язык, размер контекста не указан. Доступны варианты от F16 до Q4_K_M, что позволяет выбирать между качеством, размером и требованиями к памяти. MTP поддерживает само-спекулятивное декодирование и, по приведённым замерам на H100 NVL, может ускорять генерацию примерно в 1,6 раза без изменения распределения выходов. Ограничения модели включают неполностью скомпоновавшееся дообучение: это проверочный запуск на 150 шагах, а не полностью сходимая fine-tune-версия. Кроме того, значительная часть обучающих рассуждений была реконструирована отдельной моделью, а не взята из внутреннего процесса Claude Opus. Для работы требуется свежая сборка llama.cpp с поддержкой гибридной архитектуры Gated DeltaNet и MTP; старые версии могут не загрузить модель корректно.

dealignai/Qwen3.8-27B-MXFP8-CRACK — квантованная версия базовой модели Qwen/Qwen3.8-27B от Alibaba, подготовленная dealignai. Это плотная гибридная vision-language-модель на 27 млрд параметров с архитектурой из 64 слоёв, объединяющей линейное внимание GatedDeltaNet и gated full-attention. Модель предназначена для работы с текстом, изображениями и видео, поддерживает английский и китайский языки, рассуждения с уровнями xhigh, medium и low, вызов инструментов через XML-схему и нативную Multi-Token Prediction для ускорения генерации. Точный размер контекста в README не указан. Модель собрана в формате JANG 8-bit MXFP8 для MLX и Apple Silicon, занимает около 27 ГБ памяти. Поведение отказа от выполнения запросов удалено методом CRACK на уровне весов, поэтому модель ориентирована на исследовательские сценарии, где требуется следование инструкциям без встроенных отказов, включая потенциально опасные категории. При этом заявлено сохранение рассуждений, мультимодальности, инструментов, знаний и многоязычности. В MMLU модель получила 86,67%, а в HarmBench — 100% соответствия запросам; эти результаты приведены разработчиком и не гарантируют качество или безопасность в других сценариях. Для запуска рекомендуется MLX и библиотека mlx-vlm; в README указаны параметры sampling temperature=1.0, top_p=0.95 и top_k=20. Модель распространяется на базе Apache-2.0; README прямо указывает, что базовая модель принадлежит Alibaba и лицензирована по Apache-2.0. Поскольку защитные отказы удалены, ответственность за применение модели и соблюдение законодательства возлагается на пользователя.

fallentree/Qwen3.8-27B-Uncensored-GP100-GGUF — это мультимодальная GGUF-сборка модели Qwen3.8-27B с модификацией Uncensored (abliteration). В основе указаны Qwen/Qwen3.8-27B, JonathanColetti/Qwen3.8-27B-Uncensored, mradermacher/Qwen3.8-27B-Uncensored-i1-GGUF и incoai/Qwen3.8-27B-DFlash2. Сборка предназначена для запуска через llama.cpp и оптимизирована разработчиком fallentree для двух видеокарт Tesla P100 с архитектурой Pascal sm_60. Основной файл использует квантизацию Q4_1_G64 примерно на 4,5 бит на вес и занимает около 15 ГиБ; выходная голова хранится в Q8_0, эмбеддинги — в Q4_1, используется calibration imatrix. В комплект входят отдельная DFlash-модель для speculative decoding и vision projector в формате F16, поэтому сборка поддерживает обработку текста и изображений. Заявлены английский и китайский языки, а также контекст до 128K токенов. Для максимальной производительности требуется специальная ветка llama.cpp-gp100 с поддержкой sm_60, LoopSpec и связанных оптимизаций; стандартный llama.cpp не загружает тип Q4_1_G64, но может использовать поставляемый вариант Q4_1. Главное преимущество — оптимизация скорости декодирования и работы с длинными сессиями на Tesla P100: в приведённых тестах G64 быстрее Q4_1 примерно на 10% в обычном режиме и на 4,8% в сценарии с контекстом 128K и компактированием. Ограничения включают зависимость от специализированного программного стека и оборудования sm_60, несовместимость с P40 и видеокартами GTX 10-й серии, а также небольшое ухудшение perplexity и более слабые результаты на коротких запросах по сравнению с Q4_1. Лицензия — Apache-2.0.

halt95/Qwen3.8-Flash-Next-W4A16-Merlin — это квантованный вариант Qwen3.8-Flash-Next, подготовленный halt95 на основе компонентов Qwen, Intel и RadixArk. Модель предназначена для генерации текста и инференса в vLLM, включая сценарии с длинным контекстом, параллельными сессиями, включённым режимом рассуждений, vision-вводом и speculative decoding с MTP-драфтером. Модель использует смесь экспертов с 512 маршрутизируемыми экспертами на слой и 512 экспертами MTP draft-head. Основные эксперты представлены в INT4 с групповой схемой g128, отдельные проекции Gated DeltaNet — в INT8, а часть компонентов, включая 12 attention-слоёв, vision tower, эмбеддинги и lm_head, сохранена в BF16. Таблица n-gram (PLE) на 51 млрд параметров хранится в FP8 и выгружается в память CPU. При обслуживании применяется FP8 E4M3 KV-cache; заявлена поддержка контекста до 262 144 токенов и пула KV-cache размером 806 792 токена. README не указывает поддерживаемые языки и точное общее число параметров. Сильными сторонами являются работа с очень длинным контекстом, поддержка vision, MTP speculative decoding, структурированного вывода при конкуренции запросов и возможность запуска на четырёх потребительских RTX 3090 с архитектурой Ampere без NVLink. Ограничения связаны с узкой аппаратной и программной конфигурацией: для sm_86 требуется патченный vLLM с поддержкой FP8 KV-cache и специального доступа к большой n-gram-таблице, а стандартный vLLM не подходит. Качество INT4-квантования для отдельных компонентов и влияние дополнительной квантизации attention в README не оценивались. Распространение осуществляется по лицензии qwen-community-1.0; в метаданных также указана общая лицензия other. Для запуска может потребоваться companion-репозиторий halt95/qwen38-flash-next-3090s с закреплёнными скриптами сборки и модифицированным движком.

Это квантованные версии модели Qwen3.5-122B-A10B от Qwen, подготовленные bartowski в формате GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена для задач генерации текста и обработки изображений с текстом, однако README не содержит подробного описания поддерживаемых сценариев, языков или возможностей мультимодального ввода. Основой служит модель с заявленным размером 122B и обозначением A10B; точная архитектура, размер контекста и перечень модальностей в README не раскрыты. Доступны варианты квантования от Q8_0 до Q3_K и IQ3/IQ4, размером примерно от 59 до 133 ГБ. Более высокие уровни квантования обеспечивают лучшее сохранение качества, а менее точные варианты требуют меньше оперативной памяти. Квантование выполнено с использованием imatrix и llama.cpp; также добавлена поддержка MTP-слоёв при использовании совместимой версии llama.cpp и параметра draft-mtp. Модели можно запускать через llama.cpp, ramalama, LM Studio, koboldcpp, Jan AI, Text Generation Web UI и LoLLMs. Рекомендуемый шаблон запросов использует формат Qwen с разделителями ролей и секцией <think>. Распространение указано по лицензии Apache-2.0. Ограничения включают высокие требования к памяти, зависимость от поддержки модели в конкретном инструменте и снижение качества при выборе более агрессивного квантования.

QwQ-32B-GGUF — это квантизированная в формате GGUF версия языковой reasoning-модели QwQ-32B, разработанной командой Qwen. Модель предназначена для генерации текста и диалоговых сценариев, в частности для задач, требующих рассуждений. Указанный вариант подготовлен quantized_by: bartowski на основе llama.cpp release b4792 и распространяется как community-модель для LM Studio. Модель имеет размер 32B параметров, поддерживает контекст до 128 тысяч токенов и ориентирована на работу с текстом на английском языке. README не указывает поддержку изображений, аудио или других модальностей, поэтому модель следует рассматривать как текстовую. Квантизация в GGUF делает её пригодной для локального запуска в совместимом программном обеспечении, однако конкретные требования к памяти, скорость и качество зависят от выбранного варианта квантизации и оборудования. Сильными сторонами модели являются специализация на рассуждениях, большой контекст и возможность локального использования через инструменты экосистемы llama.cpp и LM Studio. Ограничениями остаются английская языковая ориентация, необходимость значительных вычислительных ресурсов для модели такого размера и возможное снижение качества по сравнению с исходной моделью из-за квантизации. README предупреждает, что модель может генерировать неточный, вредный или неуместный контент, поэтому результаты требуют проверки. Лицензия — Apache-2.0.

Dragoy/Swift-Qwen3.8-27B-abliterated-NVFP4-NInfer — мультимодальная производная модель на 27,78 млрд параметров, разработанная Dragoy на основе ukisai/Swift-Qwen3.8-27b. Модель поддерживает обработку текста и изображений с генерацией текста; в артефакт включены vision tower, MTP-head и DFlash2-drafter. Из модели удалено направление отказов в стиле huihui-ai, поэтому она ориентирована на более свободное выполнение запросов, включая сценарии, в которых исходная модель могла отказывать. Поддерживаются ускоренное speculative decoding через MTP и DFlash2, а также серверный режим NInfer. README не указывает поддерживаемые языки и максимальную архитектурную длину контекста; в примерах используется контекст до 16 384 токенов. Веса квантованы в формате NVFP4 для MLP-компонентов и FP8 для attention, GDN и lm_head. Артефакт предназначен для запуска через NInfer на видеокартах NVIDIA Blackwell с архитектурой sm_120a; требуется CUDA версии не ниже 13.1 и совместимый runtime NInfer, для актуальной сборки — ревизия не ниже 98dada0e. Заявлен запуск примерно в пределах 20 ГБ видеопамяти на одной карте. К сильным сторонам относятся мультимодальность, низкая разрядность, поддержка спекулятивного декодирования и отсутствие отказов в заявленном тесте AdvBench, однако удаление отказов снижает встроенные защитные ограничения и может повышать риски небезопасного использования. Модель распространяется по лицензии Swift Open License 1.0.

VICIOUS_MESH-12B-BETA — объединённая модель генерации текста на архитектуре Mistral, созданная автором репозитория с помощью mergekit и метода TIES. В слияние вошли VICIOUS_MESH-12B-ALPHA и Infermatic/MN-12B-Inferor-v0.1 на базе Khetterman/DarkAtom-12B-v3. Модель содержит 12,1 млрд параметров, распространяется в формате Safetensors, а в README также указана GGUF-квантизация Q4_K_M. Модель предназначена для диалогов и генерации текста, включая ответы на запросы и работу через интерфейс вызова инструментов. Метаданные указывают поддержку английского, японского, русского, китайского, корейского и испанского языков. Заявленная длина контекста — 1 024 000 токенов; это значение значительно выше контекста, указанного для базовой Inferor 0.1, поэтому фактическую работу с таким объёмом следует проверять в используемой конфигурации. Лицензия — Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая IFEval и BBH; это ограниченный набор оценок и он не гарантирует качество на конкретных задачах. Метаданные помечают модель как не предназначенную для всех аудиторий.

YamshadowInex12_T3qm7xPercival_01 — объединённая модель Mistral для генерации текста и диалогов. Она создана слиянием automerger/YamshadowInex12-7B и automerger/T3qm7xPercival_01-7B и содержит 7,1 млрд параметров. Модель принимает текст и выдаёт текст; её контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель опубликована по лицензии Apache 2.0.

yuq-zhou/2026-05-o-b0p3-a1p0-gc0p5-exp-td4p0-tw10p0-r1-7-last — контрольная точка языковой модели в стандартном формате Hugging Face для загрузки через Transformers. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров и контекстом до 131 072 токенов. Метаданные указывают на поддержку чата и интерфейса вызова инструментов; основная задача модели — генерация текста. Модель может использоваться для диалоговых ответов и генерации текста с длинным контекстом. Карточка называет её резервной копией исследовательского артефакта, но не описывает конкретные данные обучения, специализацию или проверенные показатели качества. Лицензия в предоставленных данных не указана.

airoboros-3_1-yi-34b-200k — языковая модель с открытыми весами, созданная автором репозитория на основе 01-ai/Yi-34B-200k. Модель дообучена методом QLoRA ранга 64 на наборе инструкций jondurbin/airoboros-3.1, а затем объединена с базовыми весами. Использует архитектуру LlamaForCausalLM и формат safetensors; содержит 33,9 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для генерации текста и выполнения инструкций в формате чата Llama 2. Её можно применять для ответов на вопросы, диалогов, следования текстовым инструкциям и создания текстов. Автор сообщает, что проверял модель ограниченно; во время обучения промпты обрезались до 4096 токенов, поэтому качество работы с длинным контекстом отдельно не подтверждено. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты; перед использованием следует проверить лицензию базовой модели и карточку репозитория.

Bonsai 2 27B Ternary CRACK GGUF — языковая и мультимодальная модель, созданная исследовательской командой dealignai на основе тернарной версии Bonsai от PrismML и Qwen3.8-27B от Qwen. Из модели на уровне весов удалены механизмы отказа, при этом заявлено сохранение базовых возможностей, режимов рассуждения, использования инструментов и многоходового диалога. Модель предназначена для генерации текста, задач с рассуждением, работы с инструментами и сценариев, где требуется обработка изображений; конкретные поддерживаемые языки и размер контекстного окна в README не указаны. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120, отдельная vision tower. Применяется тернарное квантование PrismML PQ2_0 с эффективностью 2,13 бит на вес и размером файла около 7,21 ГБ. Доступны режимы рассуждения off, low и xhigh; для работы с изображениями используются отдельные mmproj-файлы в форматах BF16 или Q8_0. Запуск поддерживается через форк llama.cpp от PrismML на CPU, CUDA и Metal, что позволяет использовать модель на ноутбуке или одной GPU. Сильными сторонами являются малый размер для модели класса 27B, поддержка vision, рассуждений и инструментов, а также сохранение общей производительности относительно базовой тернарной версии: на указанной выборке MMLU разница составила −0,62 процентного пункта. Ограничения включают крайне низкую точность тернарного квантования, зависимость от специального форка llama.cpp и совместимых файлов проекторов, а также отсутствие встроенных механизмов отказа, что делает модель неподходящей для сценариев, требующих строгих защитных ограничений. README также предупреждает об исправлении прежней ошибки зацикливания токенов в режимах low и xhigh; рекомендуется использовать сборку, опубликованную после 18 сентября 2026 года. Лицензия — Apache-2.0.

Citaman/command-r-14-layer — языковая модель CohereForCausalLM на 13,6 млрд параметров, созданная автором репозитория слиянием слоёв модели Citaman/command-r-15-layer методом SLERP через mergekit. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors. В карточке не приведены сведения о лицензии или конкретных целевых языках, поэтому условия использования и языковой охват по имеющимся данным определить нельзя. Характеристики и качество результата могут зависеть от шаблона диалога и способа запуска.

DeepSeek-R1-Distill-Llama-8B-GGUF — это GGUF-версия модели DeepSeek-R1-Distill-Llama-8B, подготовленная Unsloth на базе DeepSeek-R1-Distill-Llama-8B. Модель предназначена для текстового диалога, генерации ответов и задач, требующих рассуждений; в примере README она формирует рассуждение перед итоговым ответом. Заявленный язык — английский. Модель основана на Llama 3.1 с размером 8B параметров и рассчитана на запуск через llama.cpp. Доступны квантизированные варианты GGUF, включая Q4_K_M; README также упоминает динамические квантизации Unsloth с разрядностью 1,58 и 2 бита, направленные на улучшение точности по сравнению со стандартными 1- и 2-битными вариантами. Поддерживается выгрузка части слоёв на GPU, что может ускорить обработку при наличии подходящего оборудования. Сильными сторонами являются относительно компактный размер, возможность локального запуска и наличие квантизированных сборок для снижения требований к памяти. Ограничения включают зависимость качества и скорости от выбранного уровня квантизации и оборудования; контекстное окно, мультимодальные возможности и подробные результаты оценки в README не указаны. Лицензия обозначена как llama3.1.

DeepSeek-V4.1-Flash-UNCENSORED-FP8 — модифицированная версия DeepSeek-V4.1-Flash от dealignai, созданная исследовательской командой dealignai. Это мультимодальная модель с поддержкой изображений, инструментов и рассуждений, предназначенная для диалоговых приложений, анализа текста и изображений, выполнения многошаговых задач и работы с длинным контекстом. Модель распространяется как стандартный checkpoint для Transformers и основана на deepseek-ai/DeepSeek-V4.1-Flash. Модель использует архитектуру Causal Encoder-Decoder с 20+20 слоями и MoE: 384 маршрутизируемых эксперта с выбором top-6 и один общий эксперт. Заявлены 552B параметров в backbone, из которых 8B/16B активны на токен. Также используются Hyper-Connections с четырьмя каналами остаточных связей, разреженное внимание CSA2, память Engram для n-грамм и черновая голова DSpark для speculative decoding. Весы представлены в нативном FP8 e4m3fn с блочным масштабированием E8M0, маршрутизируемые эксперты — в FP4. Контекстное окно составляет до 1 млн токенов, а визуальная часть основана на DeepSeek-ViT с 2D-RoPE и pixel unshuffle. Ключевая особенность — перманентная модификация весов, направленная на удаление встроенных механизмов отказа и ограничений безопасности; при этом заявлено сохранение основных возможностей, включая зрение, рассуждения, MTP и многоходовую связность. По приведённым тестам модель полностью выполняет запросы из HarmBench-320, однако её результат MMLU ниже базовой модели: 82,74% против 86,96%; без этических предметов снижение оценивается примерно в 1,1 процентного пункта. Поэтому модель может быть полезна для исследовательских и экспериментальных сценариев, требующих минимальных встроенных ограничений, но несёт повышенный риск генерации опасного или незаконного содержания и не подходит для неконтролируемых пользовательских продуктов. Лицензия — MIT.

Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-NVFP4 — текстовая генеративная модель, разработанная Baekpica на основе Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-BF16. Модель предназначена для генерации текста и инференса с использованием vLLM, включая сценарии локального и серверного развертывания на совместимом оборудовании NVIDIA. Архитектура представляет собой Mixture-of-Experts: 43 декодерных слоя, 104 маршрутизируемых эксперта на слой, top-6 маршрутизация и около 13,802 млрд активных параметров на токен при примерно 119,822 млрд логических параметров основной модели. Это преимущественно весово-квантизированная версия NVFP4A16: основные подходящие веса представлены в NVIDIA FP4 E2M1 с размером группы 16, тогда как активации остаются 16-битными. Отдельные компоненты сохраняются в BF16, а некоторые attention-проекции используют динамический W8A8 FP8. В README указана поддержка контекста до 196 608 токенов в проверенной конфигурации запуска. Информация о языках и мультимодальных возможностях не приведена. Ключевое преимущество модели — существенное сокращение требований к памяти при сохранении архитектуры крупной MoE-модели и оптимизация для инференса на NVIDIA Blackwell или более новых GPU. Ограничения включают зависимость от аппаратуры с поддержкой compressed-tensors NVFP4 и от специализированного стека, включая совместимую ветку vLLM и FlashInfer; универсальная совместимость с обычным Transformers или более старым оборудованием не заявлена. Модель распространяется по лицензии MIT.

Experiment26Neuralsirkrishna_Experiment26Strangemerges_30 — объединённая автором репозитория модель на архитектуре Mistral с 7,1 млрд параметров. Веса объединены из automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment26Strangemerges_30-7B. Модель предназначена для генерации текста и диалогов. Она принимает текст и может обрабатывать контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MaziyarPanahi/Experiment28T3q_Inex16Calme — объединённая модель семейства Mistral с плотной архитектурой MistralForCausalLM и 7,1 млрд параметров. Она создана слиянием automerger/Experiment28T3q-7B и automerger/Inex16Calme-7B. Модель предназначена для генерации текста и принимает текстовые запросы. Контекстное окно составляет 32 768 токенов. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0.

Falcon-H1-34B-Base — базовая языковая модель семейства Falcon-H1, разработанная TII (Technology Innovation Institute). Это плотная причинная модель-декодер с гибридной архитектурой Transformers и Mamba и примерно 29,6 млрд параметров. Она предназначена для генерации продолжений текста и служит базой для построения приложений и последующей адаптации под конкретные задачи. Модель работает с текстом, поддерживает многоязычные сценарии, включая английский и русский, и имеет контекстное окно до 262 144 токенов. Для запуска README указывает библиотеки Transformers, vLLM и llama.cpp; файлы репозитория представлены в формате safetensors. В таблице оценки приведены результаты на общих и логических задачах, но конкретные метрики зависят от теста и сценария применения. Лицензия — Falcon-LLM License. Это базовая модель, поэтому для диалоговых приложений и специализированных задач может потребоваться дополнительная настройка; качество также зависит от промпта и способа развёртывания.

FrankenQwen2.5-14B — объединённая языковая модель, созданная автором synergetic с помощью mergekit и метода passthrough. В состав слияния вошла дообученная модель rombodawg/Rombos-LLM-V2.6-Qwen-14b; архитектура — плотная Qwen2ForCausalLM, объём — 16,2 млрд параметров. Репозиторий содержит веса в формате safetensors. Модель предназначена для генерации текста и диалогов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и имеет интерфейс для вызова инструментов. В README приведены результаты оценки Open LLM Leaderboard, включая средний балл 18,13, IFEval и BBH. Карточка не описывает дополнительные специализированные сценарии или языковое покрытие, поэтому качество для конкретных языков и задач следует проверять отдельно. Лицензия в предоставленных данных не указана.

Gemma-2-9b-it-WPO-HB-GGUF — это GGUF-квантизация инструкционной языковой модели gemma-2-9b-it-WPO-HB, разработанной wzhouad и подготовленной в формате GGUF пользователем bartowski. Модель основана на Gemma 2 с примерно 9 млрд параметров и предназначена для генерации текста и диалогового использования в совместимых средах, включая llama.cpp и LM Studio. В описании также указано, что исходная модель обучалась на датасете wzhouad/gemma-2-ultrafeedback-hybrid. Доступны варианты от F16 до низкобитных Q2–Q8 и IQ-квантизаций, размер файлов составляет примерно от 4 до 18,49 ГБ. Квантизация выполнена с использованием imatrix и специального набора данных, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Наиболее качественными и рекомендуемыми названы варианты Q6_K_L, Q6_K, Q5 и Q4; Q3 и Q2 экономят память, но заметно уступают по качеству. Отдельные варианты оптимизированы для ARM-процессоров и требуют соответствующих инструкций SVE или i8mm. Модель подходит для локального запуска, чат-ботов и других задач текстовой генерации при наличии совместимого программного обеспечения и достаточного объёма оперативной или видеопамяти. Ограничения включают неизбежную потерю качества при сильной квантизации, отсутствие в README сведений о поддерживаемых языках, размере контекстного окна и конкретных условиях лицензирования. Формат prompt должен соответствовать шаблону Gemma с системными, пользовательскими и модельными turn-маркерами.

pytorch/gemma-3-27b-it-FP8 — модель, разработанная PyTorch и полученная квантованием google/gemma-3-27b-it. Это instruction-tuned модель для генерации текста в формате диалога, ответов на вопросы и общего языкового взаимодействия. README также указывает возможность мультимодальной оценки на задаче ChartQA, однако подробные сведения о поддерживаемых типах входных данных не приведены. Модель использует квантование FP8 с динамическими активациями и весами FP8; размер базовой модели составляет 27B параметров. Указан английский язык. Доступны режимы с рассуждением и без него, а для запуска предусмотрена интеграция с vLLM и Transformers. В приведённых проверках версия FP8 показала близкие к исходной модели результаты: 76,20 против 76,48 на MMLU и 51,32 против 51,80 на мультимодальном ChartQA. Для работы требуются актуальные версии vLLM, torchao или Transformers, а также GPU-окружение; README отмечает необходимость отключения compile cache в vLLM из-за проблем совместимости. Модель распространяется по лицензии Apache-2.0.

MLX-формат модели GLM-4.7-Flash-6bit, конвертированной сообществом mlx-community из базовой модели zai-org/GLM-4.7-Flash с использованием mlx-lm 0.30.5. Модель предназначена для генерации текста и запуска через библиотеку mlx-lm, в том числе в сценариях диалогового взаимодействия с применением chat template. Из доступных данных известно, что модель поддерживает английский и китайский языки и распространяется по лицензии MIT. Формат 6bit указывает на квантованное представление, однако точные сведения об архитектуре, количестве параметров, размере контекста, модальностях, производительности и ограничениях в README не приведены. Для использования требуется установка mlx-lm; модель рассчитана на окружение MLX.

GLM-5.3-Flash NVFP4 B200 hybrid — это квантизированная версия GLM-5.3-Flash, разработанная tiyuvta и собранная из исходной BF16-версии zai-org. Модель предназначена для генерации текста, диалоговых сценариев, агентных задач и вызова инструментов. В карточке указаны английский и китайский языки, а также поддержка conversational и tool-calling сценариев. Базовый пайплайн — text-generation, формат хранения — safetensors. Модель использует гибридную, а не равномерную 4-битную квантизацию и рассчитана на NVIDIA B200 с архитектурой sm_100. Основной объём весов экспертов MoE, shared-экспертов и некоторых плотных MLP представлен в NVFP4; отдельные линейные слои — в FP8, маршрутизатор — в FP32, а чувствительные компоненты, включая часть attention, нормализации, embeddings и lm_head, сохранены в BF16. Объём модели составляет около 189,1 ГБ в 19 safetensors-фрагментах. Токенизатор унаследован от GLM-5.3-Flash. Сильной стороной модели является специализированная гибридная схема точности, ориентированная на производительность tensor cores NVIDIA B200 при сохранении более высокой точности для отдельных компонентов. Однако это экспериментальная сборка: она ещё не прошла заявленные проверки kernel-check, argmax-margin и vendor-default decode, не является готовым serving pin, не поддерживает заявленную совместимость с NVIDIA RTX PRO 6000 и не должна использоваться как drop-in замена другой версии. Кроме того, в checkpoint отсутствует activation scale plane для W4A4 tensor-core serving, поэтому веса нельзя автоматически считать готовой W4A4-моделью. Лицензия — MIT.