II.3Рефакторинг, миграция и модернизация

RedHatAI/diffusiongemma-26B-A4B-it-NVFP4 — это квантизированный вариант модели google/diffusiongemma-26B-A4B-it, подготовленный Red Hat AI. Модель предназначена для генерации текста и обработки задач image-text-to-text; поддерживает работу через Transformers и vLLM. Веса и активации квантизированы в формат NVFP4 с 4-битным представлением, а сохранение выполнено в формате compressed-tensors с использованием llm-compressor. Исходная модель содержит около 25,8 млрд параметров, включая примерно 22,8 млрд экспертных и 3 млрд неэкспертных параметров. В составе указаны текстовые и визуальные компоненты, включая vision tower, однако точные поддерживаемые языки и размер контекстного окна в карточке не приведены. Модель ориентирована на диалоговые сценарии, рассуждения, решение математических и научных задач, следование инструкциям и обработку мультимодальных запросов. Сильная сторона версии NVFP4 — существенное снижение требований к памяти и возможность эффективного развёртывания на совместимом оборудовании. По приведённым тестам на одной GPU B200 качество в большинстве задач близко к исходной неквантизированной модели: показатели сохранения качества составили около 97–100% на AIME 2025, GPQA Diamond, IFEval и GSM8K, а на MMLU 0-Shot результат оказался выше исходного. Ограничения включают возможные потери качества из-за квантизации и зависимость от совместимых версий Transformers, vLLM и параметров запуска; в карточке также не приведены подробные ограничения применения и результаты для языков. Модель распространяется по лицензии Apache 2.0. Для развёртывания заявлена проверка совместимости с RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

Gemma-3-27b-it-GGUF — квантизированная GGUF-версия мультимодальной инструкционной модели Gemma 3 27B IT, разработанной Google и квантизированной Second State Inc. Модель предназначена для диалоговых приложений и сценариев image-text-to-text: обработки текстовых запросов, а при использовании файла mmproj — анализа изображений вместе с текстом. Для запуска в LlamaEdge требуется версия v0.18.5 или новее и шаблон prompt gemma-3. Модель содержит 27 млрд параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также F16; размеры файлов составляют примерно от 10,5 до 30 ГБ, не считая разбиения F16 на два файла. Рекомендуемыми вариантами названы Q4_K_M, Q5_K_M и Q5_K_S, поскольку они обеспечивают баланс размера и качества или небольшие потери качества. Для обработки изображений требуется отдельный mmproj-файл; изображения должны быть нормализованы до 896×896 пикселей и представлены как 256 токенов каждое. Основные сильные стороны — большой контекст, поддержка текста и изображений, широкий выбор уровней квантования и возможность локального запуска через LlamaEdge. Ограничения включают значительные требования к дисковому пространству и вычислительным ресурсам, а при низких уровнях квантования — существенное снижение качества. README не указывает поддерживаемые языки и конкретную архитектуру. Модель распространяется по лицензии Gemma.

Gemma-3-4b-it-MAX-NEO-Imatrix-GGUF — GGUF-квантизированная версия инструкционной модели Google Gemma 3 4B, опубликованная DavidAU. Модель предназначена для генерации текста, диалогов, выполнения пользовательских инструкций, творческого письма и других общих сценариев использования языковых моделей. Заявлен контекст до 128 000 токенов. Ключевая особенность версии — сочетание квантизации с сохранением embedding- и output-тензоров в формате BF16 («MAXED») и специализированного imatrix-набора «NEO IMATRIX», разработанного DavidAU. По заявлению автора, это должно улучшать следование инструкциям, качество ответов и связность идей по сравнению с обычными квантами. Доступны варианты от IQ1_S до Q8_0; для творческих задач рекомендуются IQ3S, IQ4XS, IQ4NL и Q4, для общего использования — Q5, Q6 и Q8, а для портативных устройств — Q4_0 и Q5_0. Разные варианты квантов могут заметно различаться по качеству и характеру вывода. Модель ориентирована на локальный запуск и позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. README приводит пример производительности около 56 токенов в секунду для IQ4XS на видеокарте среднего уровня, но фактические показатели зависят от оборудования и настроек. Ограничения включают снижение качества у наиболее компактных квантов, различия в результатах между Q- и IQ-вариантами, а также необходимость подбора параметров генерации. Лицензия — Apache 2.0.

GPT Chat Latest — псевдоним API OpenAI `chat-latest`, который указывает на актуальную Instant-модель для чата в ChatGPT. По мере выпуска обновлений OpenAI псевдоним переключается на новую версию модели. Модель предназначена для диалогов и задач, выполняемых через API OpenAI. Конкретные характеристики версии, на которую указывает псевдоним, могут меняться; README и метаданные не сообщают её архитектуру, размер, контекстное окно, языки, лицензию или отдельные ограничения.

granite-4.2-30b-MLX-8bit — это 8-битная квантованная версия языковой модели granite-4.2-30b, разработанной ibm-granite. Квантование выполнено командой LM Studio с использованием mlx_lm, а модель оптимизирована для работы на устройствах Apple Silicon в экосистеме MLX. Модель предназначена для генерации текста и поддерживает сценарии рассуждения, диалогового взаимодействия и вызова инструментов. В README указаны следующие языки: английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский. Модель относится к семейству Granite и имеет размер исходной модели 30B параметров; сведения о точной архитектуре, размере контекста и поддерживаемых модальностях, кроме текстовой генерации, не приведены. Ключевые преимущества этой версии — снижение требований к памяти по сравнению с полной точностью и оптимизация для Apple Silicon. Ограничения включают возможную потерю качества из-за 8-битного квантования, зависимость производительности от аппаратного обеспечения Apple Silicon и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Apache-2.0.

granite-4.2-8b-MLX-4bit — 4-битная квантованная версия языковой модели granite-4.2-8b, разработанной командой IBM Granite (ibm-granite). Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon и предназначена для локальной генерации текста. Модель поддерживает задачи text generation, включая сценарии рассуждений, работы с инструментами и tool-calling, что отражено в заявленных тегах. Она обучена для работы с английским, немецким, испанским, французским, японским, португальским, арабским, чешским, итальянским, корейским, нидерландским и китайским языками. Архитектура и размер исходной модели обозначены как granite-4.2-8b; сведения о длине контекста и точной архитектуре в README не приведены. Ключевое преимущество варианта — сниженное потребление памяти по сравнению с полной точностью и оптимизация под Apple Silicon, что делает его подходящим для локального использования. Ограничениями являются возможная потеря качества из-за 4-битного квантования, зависимость производительности от оборудования и отсутствие в README подробных данных о качестве, бенчмарках и контекстном окне. Модель распространяется по лицензии Apache-2.0.

SteelStorage/L3.1-Meta-In-15B — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit методом passthrough на основе NousResearch/Meta-Llama-3.1-8B-Instruct. Репозиторий содержит веса в формате safetensors; размер модели — 14,5 млрд параметров, контекстное окно — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции и запросы в чат-сценариях. В метаданных заявлена поддержка text-generation и возможности chat; базовая модель описана как многоязычная инструктивная модель Llama 3.1. Карточка не приводит результатов оценки качества, поэтому фактические сильные стороны сверх характеристик базовой модели подтвердить нельзя. Лицензия в предоставленных данных не указана.

L3-NotCrazy-8B — языковая модель bunnycore, полученная слиянием трёх моделей семейства Llama 3 с помощью mergekit. Она предназначена для генерации текста в диалогах и сочетает способности к рассуждению и решению задач, творческой ролевой игре и точному следованию инструкциям. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. В репозитории представлены веса safetensors; лицензия — Llama 3 Community License.

wanlige/li-14b-v0.4-slerp0.1 — объединённая модель генерации текста семейства Qwen2, созданная с помощью mergekit методом SLERP из wanlige/li-14b-v0.4 и sthenno-com/miscii-14b-0218. Модель содержит 14 млрд параметров, использует архитектуру Qwen2ForCausalLM и рассчитана на контекст до 32 768 токенов. Модель подходит для диалогов и генерации текста; в метаданных также указана поддержка интерфейса вызова инструментов. README приводит результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH, но не описывает специализированные области применения или точный перечень поддерживаемых языков. Файлы представлены в формате safetensors и предназначены для использования с Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

deltanym/llama3.1-base-instruct-gradient-1 — объединённая автором модель на архитектуре Llama 3.1, созданная методом SLERP с помощью mergekit из meta-llama/Llama-3.1-8B и meta-llama/Llama-3.1-8B-Instruct. Это плотная причинная языковая модель примерно на 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; метаданные указывают поддержку интерфейса вызова инструментов. Модель принимает текст и выдаёт текст, использует библиотеку Transformers, веса опубликованы в формате safetensors, а длина контекста составляет 131 072 токена. Модель подходит для диалоговых ассистентов, генерации и продолжения текста, а также сценариев с вызовом инструментов. Инструкционно настроенная базовая модель поддерживает несколько языков, однако точный перечень языков для этого слияния не приведён. Лицензия в предоставленных данных не указана. Результат слияния может отличаться по поведению от обеих исходных моделей; качество и ограничения отдельно не описаны.

Llama3.1-SuperNovaLite-HuatuoSkywork-o1-8B — языковая модель для генерации текста, созданная методом слияния SLERP с помощью mergekit. В неё объединены grimjim/HuatuoSkywork-o1-Llama-3.1-8B и arcee-ai/Llama-3.1-SuperNova-Lite; архитектура — плотная LlamaForCausalLM семейства Llama. Модель содержит 7,5 млрд параметров, работает через Transformers и распространяется в формате Safetensors. Модель предназначена для диалогов и генерации текста по запросу; каталог также отмечает интерфейс вызова инструментов. Контекст модели составляет до 131 072 токенов. Базовая SuperNova Lite описана как англоязычная чат-модель на базе Llama 3.1 8B Instruct; языковые возможности итогового слияния отдельно не уточняются. Лицензия — Llama 3.1.

Llama-3.2-3B-Instruct-FP8-dynamic — квантизированная версия модели Meta Llama-3.2-3B-Instruct, подготовленная Neural Magic. Это текстовая autoregressive-модель для генерации текста и ассистентского диалога, предназначенная для исследовательского и коммерческого использования. Модель принимает и выдаёт текст; в карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение использования в языках, отличных от английского. Размер контекста в README не указан. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8. Для весов используется симметричная поканальная квантизация, для активаций — динамическая симметричная поточечная квантизация. Это сокращает число битов на параметр с 16 до 8, а размер модели на диске и требования к GPU-памяти примерно на 50%, что делает её подходящей для эффективного инференса через vLLM. Поддерживается OpenAI-совместимая подача через vLLM. Ключевое преимущество модели — заметное снижение потребления памяти при близком к исходной модели качестве: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. В отдельных тестах восстановление качества относительно исходной модели составило 99,4–100%. Ограничения включают возможное небольшое снижение точности из-за квантизации, необходимость совместимой инфраструктуры vLLM и неоднозначность языковой поддержки из-за указанного ограничения для неанглийских языков. Лицензия — llama3.2; также необходимо соблюдать применимое законодательство и условия лицензии.

Mistral-T5-7B-v1-Mistral-7B-Instruct-v0.1 — слитая чат-модель на архитектуре Mistral, созданная объединением Mistral-7B-Instruct-v0.1 и Mistral-T5-7B-v1 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; заявленный контекст составляет 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста по запросу. В README описаны смешивание слоёв внимания и MLP и формат bfloat16; в репозитории веса представлены в safetensors. Лицензия — Apache-2.0. README и метаданные не сообщают о языковом охвате и оценках качества, поэтому результаты для конкретных языков и задач требуют проверки.

Nemotron-Cascade-8B-Thinking-GGUF — это квантизированная версия языковой модели Nemotron-Cascade-8B-Thinking, разработанной NVIDIA и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста общего назначения и задач, требующих рассуждений; в метаданных также указано обучение с учителем (SFT) и усилением (RL). Поддерживается английский язык. Модель содержит 8 миллиардов параметров и поставляется в различных вариантах квантизации — от BF16 до Q3 и IQ4, с размером файлов примерно от 4,43 до 16,39 ГБ. Квантизация выполнена с использованием llama.cpp и метода imatrix. Версия BF16 обеспечивает исходное качество, тогда как варианты Q4–Q6 предлагают компромисс между качеством и требованиями к памяти; для запуска подходят llama.cpp, LM Studio и другие совместимые проекты. Формат взаимодействия использует специальные токены ролей и маркер /think. Сильными сторонами являются широкий выбор уровней квантизации, возможность локального запуска и ориентация на задачи рассуждения. Ограничения включают отсутствие в README сведений о длине контекста, точной архитектуре, мультимодальности, результатах оценивания и поддерживаемых языках помимо английского. Модель распространяется по NVIDIA Open Model License; конкретные условия следует уточнять в тексте этой лицензии.

OPT 6.7B Tulu — плотная авторегрессионная языковая модель семейства OPT, разработанная Allen Institute for AI и дообученная на смеси наборов инструкций FLAN V2, CoT, Dolly, OpenAssistant, GPT4-Alpaca, Code-Alpaca и ShareGPT. Модель содержит 8,8 млрд параметров по метаданным и принимает текстовые запросы для генерации текста по инструкциям; карточка рекомендует передавать сообщение с завершающим переводом строки. Модель предназначена для диалоговых ответов, следования инструкциям, решения задач на рассуждение и помощи с кодом. В исследовании How Far Can Camels Go? её оценивали на MMLU, GSM, BBH, TydiQA и Codex-Eval. Контекст составляет 2048 токенов; указанный в карточке язык — английский. Это полная модель, а не разностный чекпойнт. Она опубликована в формате PyTorch и распространяется по лицензии AI model license, при этом для исходной OPT указана отдельная лицензия opt_license.md. В README приведены сравнительно невысокие результаты на части тестов, включая GSM Direct и Codex-Eval Pass@1, поэтому качество ответов и кода может быть ограниченным.

Ornith-1.0-35B-1M-GGUF — GGUF-сборка модели Ornith-1.0-35B от DeepReinforce, опубликованная satgeze. Это текстовая генеративная модель на базе 35B MoE-архитектуры семейства Qwen3.5 с примерно 3B активных параметров. Сборка предназначена для локального запуска через llama.cpp и Ollama и расширена поддержкой длинного контекста, speculative decoding через MTP и обработки изображений. Ключевая особенность — контекстное окно до 1 048 576 токенов: масштабирование RoPE по YaRN встроено в метаданные GGUF, поэтому для llama.cpp и Ollama не требуются дополнительные параметры. В README заявлена проверка поиска информации по длинному контексту: 50 из 50 тестовых фрагментов найдены на диапазоне до 1M токенов. MTP-сборка Q6_K показала рост скорости декодирования с 267,9 до 382,9 токена в секунду, или примерно на 43%; для APEX-Compact заявлен прирост 14%. Визуальный модуль подключается отдельным файлом mmproj и, по данным README, распознаёт текст на изображениях и объекты. Модель подходит для генерации текста, работы с большими документами и другими задачами, требующими очень длинного контекста, а также для мультимодальных сценариев с изображениями. Доступны варианты квантования различного размера; рекомендуемые MTP-файлы занимают 17,0 и 29,2 ГБ, а визуальный модуль — 899 МБ. Ограничения включают высокие требования к оперативной или видеопамяти, зависимость производительности от оборудования и потенциальные потери качества при выборе более агрессивного квантования. Модель распространяется по лицензии MIT.

Ornstein-Hermes-3.6-27b-i1-GGUF — квантизированная версия модели Ornstein-Hermes-3.6-27b, разработанной GestaltLabs и подготовленной в формате GGUF пользователем mradermacher. В README также указано использование набора данных DJLougen/Acta и наличие тегов, связанных с семейством Qwen, мультимодальностью и Hermes. Модель предназначена для генерации текста на английском языке, обработки изображений вместе с текстом, вызова функций, работы с инструментами и агентских сценариев. Заявлены мультимодальные возможности image-text-to-text, function calling и tool use, однако точный размер контекстного окна и подробности архитектуры в README не указаны. Доступно множество вариантов квантизации с размером файлов примерно от 7,2 до 22,2 ГБ. Варианты различаются балансом между размером, скоростью и качеством: README отмечает, что некоторые низкобитные варианты имеют низкое качество, а i1-Q4_K_M рекомендуется как быстрый вариант. Качество конкретной версии зависит от выбранного типа квантизации. Модель распространяется по лицензии Apache-2.0.

Phi-tiny-MoE-instruct — компактная языковая модель Microsoft для диалогов и следования инструкциям. Это декодерный Transformer с архитектурой смеси экспертов (MoE): в README указаны 3,8 млрд параметров и 1,1 млрд активных, тогда как метаданные каталога приводят 1,6 млрд параметров. Модель создана методом SlimMoE на основе модели, общей для Phi-3.5-MoE и GRIN-MoE, а затем дообучена на инструкциях и предпочтениях пользователей. Для этого варианта точный идентификатор базовой модели в метаданных не указан. Модель предназначена для англоязычных универсальных ассистентов, а также сценариев с ограничениями по памяти, вычислениям или задержке. Принимает текстовые запросы в формате чата и генерирует текст; контекст — до 4096 токенов. Данные включают синтетические учебные материалы, отфильтрованные открытые документы, код и диалоговые примеры; сведения в README указывают на преимущественное обучение на английском. Модель может помогать с ответами на вопросы, объяснениями, рассуждениями и генерацией кода. Возможны неточности и выдуманные утверждения, предвзятые или оскорбительные ответы; качество для языков, отличных от английского, ниже. Для важных и чувствительных сценариев ответы следует проверять. Лицензия — MIT, допускающая коммерческое использование.

mergekit-community выпустил объединённую языковую модель Qwen2.5-14B, созданную методом Model Stock на основе Qwen/Qwen2.5-14B и пяти других моделей: SauerkrautLM-v2-14b-SFT, Rombos-LLM-V2.6-Qwen-14b, Qwen2.5-14B-Instruct-abliterated-v2, SuperNova-Medius и Virtuoso-Small. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, предназначенная для генерации текста и диалогов; заявленный размер контекста — до 131 072 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель подходит для генерации ответов в чате и других текстовых сценариев; метаданные также указывают интерфейс вызова инструментов. В README приведены метод объединения, состав моделей и конфигурация с типом данных bfloat16, но нет отдельных результатов оценки качества. Лицензия в предоставленных данных не указана.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4 — мультимодальная языковая модель от AEON-7, основанная на AEON-7/Qwen3.6-27B-AEON-Ultimate. Она предназначена для генерации и обработки текста, а также анализа изображений в сценариях, поддерживаемых исходной моделью. В карточке заявлена поддержка английского, китайского и других языков. Модель содержит 27 млрд параметров и использует гибридную архитектуру с полноформатными слоями внимания и 48 слоями линейного внимания GatedDeltaNet. Это аппаратно-квантизированная версия NVFP4: размер на диске уменьшен примерно с 51 до 26 ГБ. Vision tower, слои linear attention, нормализации, эмбеддинги и lm_head сохранены в BF16, поэтому заявлена сохранность мультимодальности и устойчивости гибридной архитектуры. Для развёртывания указан контекст до 256 000 токенов в рекомендованной конфигурации vLLM. К сильным сторонам относятся существенное снижение требований к хранению и возможность использовать native FP4-ускорение на DGX Spark с GB10, B100/B200 и некоторых видеокартах Blackwell, а также сохранение обработки изображений. Ограничения связаны с необходимостью совместимого программного стека и оборудования; заявленные характеристики качества, включая близость к BF16 и отсутствие отказов, требуют независимой проверки после развёртывания. Модель помечена как superseded и рекомендована автором к замене более новой версией Qwen3.8. Лицензия — Apache-2.0.

philbert440/Qwen3.6-40B-DeckardUncensored-OpusDistilled-HermesCalibrated-W4A16-AWQ — мультимодальная vision-language модель семейства Qwen3.6, разработанная philbert440. Она предназначена для генерации текста по текстовым и визуальным входным данным, а также для сценариев с использованием инструментов и function calling. Модель относится к коллекции Deckard-40B Uncensored и прошла Hermes-калибровку для задач работы с инструментами. Модель имеет размер 40B параметров и использует 4-битное квантование весов W4A16-AWQ с FP16-активациями и форматом compressed-tensors. Указана совместимость с 1Cat-vLLM на Tesla V100 с архитектурой SM70, включая режим TurboMind, а также со стандартным vLLM на GPU Ampere и новее. README не содержит сведений о поддерживаемых языках и максимальной длине контекста. К сильным сторонам относятся мультимодальность, поддержка tool use и function calling, а также возможность запуска крупной модели в квантованном формате на ограниченных GPU-ресурсах. Модель позиционируется как abliterated, то есть из неё удалены отказы, связанные с механизмами безопасности; это может расширять диапазон ответов, но повышает риски небезопасного или неправомерного использования и требует самостоятельного контроля со стороны пользователя. Модель распространяется по лицензии Apache-2.0.

bowmanslayer/Qwen3.8-27B-Uncensored-W4A16-vision-mtp — квантованная версия мультимодальной модели Qwen3.8-27B-Uncensored, разработанная bowmanslayer на базе Qwen/Qwen3.8-27B. Исходная модель была адаптирована JonathanColetti с помощью abliteration через Heretic, а в этом репозитории выполнены 4-битное квантование W4A16 и перепаковка vision tower. Модель предназначена для генерации текста, рассуждений и обработки изображений, а также может использовать видеовход через vLLM. Заявлены языки English и Chinese. Текстовая часть использует квантование с group size 128, формат GPTQ/AutoRound и kernels Marlin; vision tower сохранён в формате bf16. Размер модели составляет около 19 ГБ, включая MTP head объёмом 849 МБ. Поддерживается контекст до 256K токенов. Разработчик проверил запуск на двух NVIDIA RTX 3090 с tensor parallelism; для инференса рекомендован vLLM. Доступны reasoning и tool calling через соответствующие парсеры vLLM, а MTP head предназначен для экспериментов со speculative decoding. Сильными сторонами являются сочетание мультимодальности, большого контекстного окна и существенной экономии памяти благодаря W4A16-квантованию, при сохранении vision tower в bf16. Ограничения включают зависимость от совместимого окружения vLLM и необходимости корректно задавать параметры обработки изображений; квантование может влиять на качество относительно исходной модели. Оценки в README приведены при включённом режиме thinking и не должны напрямую сравниваться с результатами, полученными при отключённом reasoning. Лицензия — Apache 2.0.

dealignai/Qwen3.8-Flash-Next-CRACK-JANG_2L — это исследовательская CRACK-abliterated-версия модели JANGQ-AI/Qwen3.8-Flash-Next-JANG_2L, относящейся к preview-линейке qwen4_exp компании Alibaba. Модель предназначена для запуска на Apple Silicon через MLX и vMLX, а также для текстовых, мультимодальных и агентских сценариев: работы с изображениями и видео, рассуждений, использования инструментов и задач, требующих многошагового взаимодействия. В основе лежит гибридная архитектура Mixture-of-Experts примерно на 176 млрд параметров с 512 экспертами и около 6 млрд активных параметров. Используются Gated DeltaNet и Qwen Sparse Attention, хешированное n-gram-эмбеддирование и встроенная multi-token prediction head. Поддерживаются текст, изображения и видео; заявлены английский и китайский языки. Доступны режимы рассуждений off, low и xhigh. Для модели требуется около 65 ГБ дискового пространства и примерно 47 ГБ активной оперативной памяти, при этом около 18 ГБ таблицы хешированных n-gram-эмбеддингов подгружаются с диска по требованию. Ключевая особенность CRACK-сборки — удаление стандартного отказного поведения при сохранении рассуждений, инструментов и мультимодальных возможностей. На приведённом тесте MMLU точность составила 81,84%, что на 1,49 процентного пункта ниже базовой версии; в отдельных предметах наблюдалось заметное снижение качества. В тестах HarmBench заявлена высокая доля ответов, непосредственно выполняющих запросы, однако модель может генерировать китайский текст даже для некоторых других запросов, а отдельные ответы классифицировались как бессвязные. README также предупреждает, что это исследовательский артефакт и что ответственность за использование весов лежит на пользователе. Лицензия указана как qwen-community-1.0.

Qwen3.8-Flash-Next-NVFP4-SSD-Stream — подготовленная для инференса версия RadixArk/Qwen3.8-Flash-Next-NVFP4, созданная garnermccloud для работы с SGLang и расширением sglang-ssd-stream. Модель предназначена для мультимодальных задач image-text-to-text, включая обработку изображений, reasoning, retrieval, работу с инструментами и генерацию текста или кода. Подготовка не включает дообучение, тонкую настройку или повторную квантизацию: изменена только организация хранения данных для обслуживания модели. В основе используется архитектура Qwen/Qwen3.8-Flash-Next. Routed experts применяют ModelOpt NVFP4 W4A4, а attention, shared experts, embeddings, LM head, vision-компоненты и MTP-веса сохранены в BF16; predictive lookup table хранится в FP8. 48-гигабайтная таблица вынесена из оперативной памяти в локальный read-only SSD sidecar объёмом около 51,2 GB, что снижает требования к RAM при загрузке. Заявленный контекст по умолчанию составляет 131 072 токена; в исторических измерениях использовался пул на 262 144 токена. Подготовленный набор данных занимает около 140 GiB. Главное преимущество — возможность запускать модель с существенно меньшим потреблением системной памяти, загружая необходимые данные с SSD во время работы GPU. Производительность зависит от оборудования, профиля и типа нагрузки: измерения на RTX PRO 6000 Blackwell показывают смешанные результаты, поэтому заявленные ускорения нельзя считать универсальными; качество модели отдельно не оценивалось. Решение ориентировано на SGLang и требует совместимого runtime, локального SSD sidecar и соответствующей GPU-конфигурации. Лицензия указана как other; дополнительных условий использования в README не приведено.

manjunathshiva/Qwen3.8-Flash-Next-tq4a-tq2e-g64 — это сжатая версия модели Qwen/Qwen3.8-Flash-Next, подготовленная пользователем manjunathshiva с использованием TurboQuant и MLX. Модель предназначена для генерации текста и обработки изображений на компьютерах Apple Silicon, включая локальный запуск и обслуживание через turboquant-mlx-full. В README указана поддержка английского языка. Модель основана на архитектуре mixture-of-experts qwen4_exp: 180 млрд параметров, 512 маршрутизируемых экспертов с выбором top-10, 48 слоёв и гибридная схема Gated DeltaNet и Qwen Sparse Attention. Заявлен контекст до 262 тысяч токенов. Текстовая часть занимает около 52 GiB, vision tower в формате bf16 — ещё 0,84 GiB, поэтому модель поддерживает работу как с текстом, так и с изображениями. Сборка выполнена без калибровочного набора данных и использует 4-битное квантование TurboQuant. Ключевое преимущество — возможность запуска на Mac с 64 ГБ памяти; на M4 Max заявлена скорость декодирования около 16,2–17,9 токена в секунду при отключённом thinking. Режим --ngram-offload снижает требуемую GPU-память примерно с 52 до 34 GiB при идентичном выводе, но увеличивает задержку обработки длинных промптов. Ограничения включают высокие требования к памяти, зависимость от Apple Silicon и MLX, более низкую скорость по сравнению с некоторыми альтернативными сборками, а также неполную практическую проверку на Mac с 48 ГБ памяти. Лицензия указана как qwen-community-license-1.0.

Карточка модели emee-ai/Qwen3-Embedding-4B на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-4B, поэтому описание составлено по ней. Qwen3-Embedding-4B — мультиязычная модель для построения текстовых эмбеддингов из семейства Qwen3, разработанная командой Qwen. Это плотная модель на базе Qwen3-4B-Base, дообученная для задач поиска и сравнения текстов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Модель подходит для семантического поиска по документам и коду, оценки сходства предложений, классификации и кластеризации текстов, а также поиска соответствий между языками. Она поддерживает более 100 языков, контекст до 40 960 токенов по метаданным и до 32 тысяч токенов в описании модели. Размер эмбеддинга можно настраивать от 32 до 2560 измерений; также поддерживаются инструкции, настраивающие представление под задачу.

Qwythos-27B-v1-i1-GGUF — это квантизированная GGUF-версия модели Qwythos-27B-v1, разработанной empero-ai и подготовленной квантизатором mradermacher. Модель предназначена для задач рассуждения, работы с текстом и изображениями, генерации текста по изображениям, использования инструментов и function calling, а также агентских сценариев. В тегах также указаны направления cybersecurity и biomedical, однако подробности специализированного обучения в README не приведены. Модель имеет размер 27B параметров, поддерживает английский язык и относится к мультимодальным vision-моделям. Заявлена поддержка длинного контекста до 1M токенов, multi-token prediction и различных методов обучения, включая SFT, DPO, ESFT и full fine-tune, но технические детали архитектуры и подтверждённые характеристики контекстного окна не раскрыты. Репозиторий содержит варианты квантизации от Q2_K до Q6_K и IQ-кванты: более компактные варианты требуют меньше памяти, но могут снижать качество; Q4_K_M отмечен как быстрый и рекомендуемый, а Q4_K_S — как оптимальный по сочетанию размера, скорости и качества. Модель распространяется под лицензией Apache-2.0. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. README не содержит результатов тестирования, подробных ограничений безопасности или инструкций по выбору аппаратных ресурсов, поэтому фактическое качество и производительность зависят от выбранного варианта квантизации и используемого программного окружения.

Zamba2-7B-Instruct-v2 — диалоговая языковая модель Zyphra, полученная дообучением Zamba2-7B на наборах инструкций и чатов. Она предназначена для генерации ответов, следования инструкциям и решения общих задач, включая рассуждения и математику. Модель использует гибридную архитектуру: слои Mamba2 чередуются с разделяемыми слоями внимания Transformer. В README указан размер 7,36 млрд параметров, а метаданные каталога — 16,8 млрд; источники расходятся, поэтому точный размер не приводится. Базовый контекст — 4096 токенов; в README описано расширение до 16 тысяч токенов через настройку частоты RoPE. Модель принимает текст и генерирует текст. README заявляет высокую скорость генерации и меньшие требования к памяти по сравнению с сопоставимыми трансформерными моделями, однако оптимизированные ядра Mamba2 нужны для снижения задержки и расхода памяти. Поддерживаемые естественные языки в источниках не перечислены. Для запуска рекомендуется Transformers с зависимостями mamba-ssm и causal-conv1d; без оптимизированных ядер ожидаются более высокая задержка и расход памяти. Лицензия — Apache-2.0.

CollectiveCognition-v1.1-Mistral-7B-dare-0.85-Mistral-7B-Instruct-v0.1 — чат-модель на базе Mistral-7B-Instruct-v0.1, созданная слиянием весов Mistral-7B-Instruct-v0.1 и uukuguy/CollectiveCognition-v1.1-Mistral-7B-dare-0.85 методом SLERP. Модель разработана для генерации текста и ответов на запросы в диалоговом формате. Архитектура — плотная авторегрессионная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов; файлы опубликованы в формате safetensors с точностью bfloat16. Модель подходит для чат-ботов, ответов на инструкции и продолжения текста. В карточке не заявлены специализированные области или языки, поэтому назначение следует считать общим. Лицензия — Apache-2.0.