II.3Рефакторинг, миграция и модернизация

Это текстовая модель-чат Ishowbackup/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16-heretic на базе NVIDIA Nemotron-3-Nano-30B-A3B-BF16. Репозиторий представляет версию с abliteration: в карточке указаны параметры изменения слоёв и снижение доли отказов с 99 из 100 у исходной модели до 6 из 100. Архитектура семейства Nemotron-H использует сочетание Mamba-2, MoE и attention; карточка описывает исходную модель как имеющую 30 млрд параметров, из которых активны 3,5 млрд на токен. Метаданные каталога указывают 1,9 млрд параметров, поэтому размер этой версии по источникам расходится. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и создания агентных приложений, включая чат-боты и RAG-системы. Поддерживает английский, испанский, французский, немецкий, итальянский и японский языки, интерфейс вызова инструментов и контекст 262 144 токена в конфигурации; README также сообщает о возможности увеличить контекст до 1 млн токенов. Исходная модель разработана NVIDIA, а карточка этой версии сообщает об улучшении с использованием Qwen. В README модель названа пригодной для коммерческого использования, однако метаданные указывают лицензию «other», поэтому перед внедрением следует проверить условия лицензии конкретного репозитория. Снижение числа отказов означает, что модель может чаще отвечать на запросы, которые исходная версия отклоняет; результаты измерения отказов приведены на выборке из 100 запросов и не гарантируют поведение во всех сценариях.

NVIDIA-Nemotron-Nano-9B-v2-NVFP4 — квантованная модель NVIDIA Corporation для диалогов, следования инструкциям и задач с рассуждением. Это вариант NVIDIA-Nemotron-Nano-9B-v2 с NVFP4-квантизацией и восстановлением точности методом дистилляции с учетом квантования. Архитектура Nemotron-Hybrid объединяет слои Mamba-2, MLP и четыре слоя Attention; заявленный контекст — до 128K токенов. Модель принимает текст и генерирует текст. Режим рассуждений можно управлять системным или пользовательским маркером: генерация рассуждений обычно помогает на сложных запросах, а ответ без промежуточных рассуждений может быть менее точным. Модель поддерживает английский, немецкий, испанский, французский, итальянский и японский; README также заявляет поддержку китайского, корейского, португальского и русского, но не описывает её отдельно. Модель предназначена для чат-ботов, AI-агентов, RAG-систем, программирования и общих задач следования инструкциям. Для инференса рекомендуются NVIDIA GPU и поддерживаются Transformers, vLLM и TRT-LLM; в vLLM неверный тип кэша Mamba может снизить точность. В README указано, что модель готова к коммерческому использованию, однако точные условия лицензии в предоставленных данных не раскрыты.

OYM-Qimi-122B-A10B-K2.6 — мультимодальная модель OpenYourMind на архитектуре Qwen3.5 MoE с 122 млрд общих и примерно 10 млрд активных параметров. Она дообучена на базе Qwen/Qwen3.5-122B-A10B через дистиллированную и аблитерированную линию Qwopus3.5: в карточке описаны два этапа SFT примерно на 20 тысячах примеров с трассами рассуждений. Модель принимает текст и изображения, а также обрабатывает видео; выдаёт текст. Веса BF16 совместимы по форме с исходной моделью, включают зрительную башню и восстановленную голову MTP для спекулятивного декодирования. Модель предназначена для диалогов, рассуждений, анализа изображений и видео, программирования и использования инструментов. В опубликованных тестах результаты по генерации кода совпали с базовой моделью, а показатели использования инструментов были близки к ней. Разработчик сообщает, что модель полностью «разцензурирована»; это может означать меньше отказов, но также требует осторожного контроля ответов при внедрении. Для полной точности BF16 требуются несколько ускорителей: в карточке указаны конфигурации из двух H200/B200 или четырёх H100 по 80 ГБ. Лицензия обозначена как Other и наследует условия лицензии базовой Qwen3.5; перед использованием следует проверить её условия.

unsloth/Phi-3.5-mini-instruct-bnb-4bit — 4-битная версия инструкционной языковой модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной в формате, совместимом с Transformers. Модель относится к семейству Phi-3, обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на плотные по содержанию данные для рассуждений. Указана поддержка многоязычного применения и контекста до 128K токенов. Модель предназначена для создания генеративных AI-систем и функций общего назначения, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Она ориентирована на выполнение инструкций, а также задачи программирования, математики, логики и других сценариев, требующих рассуждений. Квантование BNB до 4 бит снижает требования к памяти и может упростить запуск и дообучение, однако конкретные характеристики производительности зависят от оборудования и конфигурации. К ограничениям относятся возможные ошибки, неточности, проблемы безопасности и смещения, типичные для языковых моделей. Модель не оценивалась отдельно для всех прикладных областей, поэтому перед использованием в критически важных или регулируемых сценариях необходимы самостоятельная проверка качества, безопасности, справедливости и соответствия требованиям законодательства. В README указана лицензия MIT.

unsloth/Qwen3.5-122B-A10B-MTP-GGUF — это GGUF-квантование мультимодальной модели Qwen3.5-122B-A10B, разработанное Unsloth на базе модели Qwen/Qwen3.5-122B-A10B от команды Qwen. Модель предназначена для локального запуска и совместима с llama.cpp, а исходная модель также поддерживает Transformers, vLLM, SGLang и KTransformers. Модель использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts: при общем размере 122 млрд параметров активируется около 10 млрд параметров. Она работает с текстом и изображениями, поддерживает задачи рассуждения, программирования, визуального понимания, агентных сценариев и вызова инструментов. Заявлена поддержка 201 языка и диалекта. Вариант MTP поддерживает speculative decoding, что может ускорять генерацию примерно в 1,5–2 раза. К сильным сторонам относятся мультимодальность, высокая эффективность разреженной архитектуры, улучшенные квантование и данные imatrix, а также оптимизации для диалогов, длинного контекста, программирования и tool calling. Ограничения связаны с необходимостью использовать совместимую версию llama.cpp с поддержкой draft-mtp; при MTP не поддерживаются параллельные последовательности через -np > 1 и параметр --mmproj. Конкретный размер контекста в README не указан. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-27B-MTP-GGUF — GGUF-версия модели Qwen3.5-27B, подготовленная Unsloth на основе Qwen/Qwen3.5. Это мультимодальная causal language model с vision encoder, предназначенная для диалога, анализа изображений, рассуждений, программирования, агентских сценариев и вызова инструментов. Вариант поддерживает MTP speculative decoding для ускорения генерации примерно в 1,5–2 раза при использовании совместимой версии llama.cpp. Модель содержит 27B параметров, 64 слоя и скрытое измерение 4096. Архитектура сочетает Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts; заявлена ранняя интеграция мультимодальных токенов. Поддерживается 201 язык и диалект, а входные данные могут включать текст и изображения. В README не указана длина контекста. GGUF-варианты используют imatrix-данные, оптимизированные для диалога, программирования, длинного контекста и tool calling. Сильные стороны модели — мультимодальность, широкое языковое покрытие, поддержка рассуждений и инструментов, а также ускоренная генерация с MTP. Ограничения связаны с требованиями к совместимому llama.cpp и специальным режимам запуска: для MTP пока не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.5-397B-A17B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-397B-A17B, разработанной командой Qwen и подготовленной для локального запуска компанией Unsloth. Модель предназначена для работы с текстом и изображениями, включая диалоговые сценарии, рассуждения, программирование, визуальное понимание, агентские задачи и вызов инструментов. В основе лежит гибридная архитектура с Gated Delta Networks и разреженным Mixture-of-Experts; обозначение 397B-A17B указывает на общий размер 397 млрд параметров и около 17 млрд активных параметров. Заявлена поддержка 201 языка и диалекта. Вариант MTP поддерживает speculative decoding, что может ускорять генерацию примерно в 1,5–2 раза при использовании совместимой ветки или версии llama.cpp. Доступны настройки для включения и отключения режима рассуждений, а также улучшения для tool calling и coding. К сильным сторонам относятся мультимодальность, высокая вычислительная эффективность разрежанной архитектуры, широкое языковое покрытие и возможность локального запуска в формате GGUF. Ограничения связаны с очень большим размером модели и требованиями к ресурсам, необходимостью совместимого ПО и специальной настройки MTP; при этом режиме не поддерживаются параллельные запросы с np > 1 и использование mmproj. README не указывает максимальную длину контекста. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Qwen3.5-4B-AWQ-4bit — 4-битная AWQ-квантизованная версия модели Qwen3.5-4B, созданной командой Qwen; репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers. Модель предназначена для локального и серверного инференса в задачах генерации текста, рассуждений, программирования, агентских сценариев и анализа изображений. Это мультимодальная авторегрессионная языковая модель с vision encoder и унифицированным vision-language обучением. Она содержит около 4 млрд параметров, 32 слоя и гибридную архитектуру с Gated Delta Networks, Gated Attention и sparse Mixture-of-Experts. Нативная длина контекста составляет 262 144 токена, с заявленной возможностью расширения до 1 010 000 токенов. Указана поддержка 201 языка и диалекта. Модель совместима с Transformers, vLLM, SGLang и KTransformers. К основным преимуществам относятся сочетание текстовых и визуальных возможностей, высокая эффективность архитектуры и сниженные требования к памяти благодаря 4-битной AWQ-квантизации. К ограничениям относятся возможные потери качества и точности по сравнению с полной версией Qwen3.5-4B из-за квантизации, а также отсутствие в предоставленных данных подробностей о фактических требованиях к оборудованию и результатах именно этой AWQ-сборки. Модель распространяется по лицензии Apache-2.0.

hikka2515/Qwen3.5-4B-MTP-GGUF — GGUF-версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen и подготовленной с использованием инструментов Unsloth. Модель предназначена для локального запуска и генерации текста, рассуждений, программирования, агентских сценариев, вызова инструментов и анализа изображений. Она поддерживает текстово-визуальный ввод и совместима с llama.cpp и другими средствами работы с GGUF. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks, разреженным Mixture-of-Experts и блоками gated attention. Контекст составляет 262 144 токена с возможностью расширения до 1 010 000 токенов. Поддерживается 201 язык и диалект. Версия включает обучение для multi-step speculative decoding (MTP), которое при совместимой сборке llama.cpp может ускорять генерацию примерно в 1,5–2 раза, а также улучшения поддержки роли developer и вызова инструментов. Сильные стороны модели — сочетание мультимодальности, большого контекста, компактного размера и возможности эффективного локального запуска в квантованном формате. Ограничения связаны с необходимостью специальной сборки llama.cpp для MTP; при таком режиме не поддерживаются параллельность запросов через параметр -np больше 1 и параметр --mmproj. Точные характеристики конкретного квантования UD-Q4_K_XL в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-35B-A3B-GPTQ-4bit — это 4-битная GPTQ-квантизованная версия мультимодальной модели Qwen3.6-35B-A3B, разработанной командой Qwen. Модель предназначена для генерации и понимания текста, работы с изображениями, задач программирования, рассуждений, вызова инструментов и обслуживания через vLLM. Она поддерживает мультимодальные запросы с текстом и изображениями, а также спекулятивное декодирование благодаря модулю MTP. Модель использует архитектуру Mixture-of-Experts с примерно 35 млрд параметров, из которых около 3 млрд активируются для каждого токена; в каждом слое выбираются 8 из 256 экспертов. Архитектура включает 40 слоёв, чередующиеся линейное и полное внимание, визуальный энкодер ViT из 27 блоков и контекстное окно до 262 144 токенов. Экспертные модули квантизованы до INT4 методом GPTQ, тогда как визуальный энкодер, MTP, общие эксперты, эмбеддинги и ряд других компонентов сохранены в BF16 или FP16. Размер модели составляет около 25 ГБ, а измеренная деградация perplexity относительно исходной BF16-версии — около 0,83% на wikitext-2. К сильным сторонам относятся значительное сокращение размера и требований к памяти при сохранении мультимодальности, длинного контекста и поддержки инструментов. Ограничение заключается в том, что согласно README модель напрямую не загружается через GPTQModel или transformers и предназначена для инференса в vLLM; для запуска может потребоваться исправление совместимости в некоторых версиях vLLM. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-35B-A3B — текстовая дистилляция от Empero на базе Qwen/Qwen3.6-35B-A3B. Это причинная языковая модель с архитектурой MoE: 35 млрд параметров всего, около 3 млрд активируются на токен; используется 40 слоёв, 256 экспертов и 8 маршрутизируемых экспертов на токен. Модель распространяется в формате Transformers и поддерживается стандартными средами запуска с поддержкой архитектуры Qwen3.6. Модель предназначена для диалогов, математических задач, программирования, общих рассуждений, следования инструкциям и вызова инструментов. Она обучена методом дистилляции на отфильтрованных трассах внутренних моделей-учителей Qwen3.8; базовая модель поддерживает контекст до 262 144 токенов. Обучение было текстовым, поэтому визуальные возможности унаследованы от мультимодальной основы, но не дообучались и не оценивались. В сравнении с базовой моделью README сообщает о близком результате на MMLU и улучшении на ARC-Challenge. Известные ограничения: ответы обычно короче, чем у основы, длинные цепочки рассуждений могут обрываться, а жадное декодирование при длинной генерации может приводить к повторениям. Для работы нужны актуальная версия Transformers с поддержкой Qwen3.6 и CUDA-совместимые ядра Gated DeltaNet; веса выпущены под лицензией Apache-2.0.

MrFuzzihead/Qwen3.8-35B-A3B-Distill-APEX-GGUF — это набор GGUF-квантизаций модели Qwen3.8-35B-A3B-Distill, разработанной Empero и квантизированной MrFuzzihead методом APEX при участии команды LocalAI. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая сценарии генерации текста, рассуждений, программирования, следования инструкциям, вызова функций и агентного использования. В основе лежит разреженная Mixture-of-Experts-архитектура примерно на 35 млрд параметров, из которых для каждого токена активируются 8 из 256 маршрутизируемых экспертов, а также общий эксперт. Модель использует 40 слоёв с гибридной схемой Gated DeltaNet и Gated Attention; полный attention применяется только в 10 слоях, что снижает нагрузку на KV-кэш. Заявлен нативный контекст до 262 144 токенов. Базовая модель мультимодальная и сохраняет vision tower, однако дистилляция выполнялась только для текста, а визуальные возможности не были проверены. Поддерживаются отдельные vision-проектор и MTP-компоненты для мультимодальности и спекулятивного декодирования. Ключевая особенность — APEX-квантизация с разной точностью для типов тензоров и позиций слоёв, учитывающая разреженность MoE. Доступны варианты размером примерно от 10,9 до 25,3 ГБ, рассчитанные на видеокарты с 12–24 ГБ памяти и различные компромиссы между качеством, размером и скоростью. I-варианты используют importance matrix на разнообразных данных, включая диалоги, код, рассуждения, вызов инструментов и агентные трассы, и ориентированы на более высокую точность. Модель использует постоянно включённое дистиллированное пошаговое рассуждение с блоком <think>, поэтому адаптивного переключателя уровня рассуждений нет. Распространяется по лицензии Apache-2.0.

Spark-X2.5-4B — компактная универсальная языковая модель семейства Spark-X2.5, опубликованная пользователем qikuanz на базе XHToken/Spark-X2.5-4B-Base. Модель предназначена для диалогов, генерации и редактирования текста, перевода, рассуждений, программирования, использования инструментов и агентских сценариев. Она ориентирована на локальное и эффективное развертывание, включая работу через llama.cpp, vLLM, SGLang, MLX, Ollama и LM Studio. Модель содержит около 4 млрд параметров и использует гибридную архитектуру внимания: один слой полного внимания сочетается с тремя слоями внимания со скользящим окном. Заявлена нативная поддержка контекста до 1 048 576 токенов и более 200 языков. В репозитории доступны GGUF-квантизации Q4_0, Q4_K_M и Q8_0, подходящие для запуска на совместимом оборудовании; также заявлена интеграция с агентскими инструментами и широкая аппаратная совместимость. Сильными сторонами модели являются небольшие размеры, поддержка очень длинного контекста, многоязычность, задачи программирования и агентские рабочие процессы, а также наличие нескольких вариантов квантизации. Ограничения связаны с зависимостью фактического потребления памяти и доступного контекста от используемого runtime и оборудования: сами GGUF-файлы не гарантируют совместимость с NPU, ONNX или конкретными библиотеками. Модель и добавленные GGUF-файлы распространяются по лицензии Apache-2.0.

Theta-35 — плотная языковая модель семейства Theta от SVECTOR, предназначенная для диалогов и задач, требующих сложных рассуждений. Она обучалась в несколько этапов: предварительное обучение, supervised fine-tuning и обучение с подкреплением. Архитектура включает Transformers, RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; в карточке указано 33 млрд параметров, а в метаданных — 32 млрд. Модель поддерживает генерацию текста и интерфейс вызова инструментов. Theta-35 рассчитана на математические и научные рассуждения, логические выводы, многошаговое решение задач, а также понимание и генерацию кода. В метаданных указаны английский язык и контекст до 131 072 токенов; README приводит контекст 32 768 токенов, поэтому фактическую длину контекста следует сверить с документацией и конфигурацией используемой версии. Для работы нужна актуальная версия Transformers, README рекомендует версию 4.43.1 или новее. Модель распространяется по лицензии Apache-2.0.

Карточка модели prince-canuma/WizardLM-2-8x22B на Hugging Face совпадает с карточкой dreamgen/WizardLM-2-8x22B, поэтому описание составлено по ней. WizardLM-2 8x22B — многоязычная языковая модель с архитектурой Mixture of Experts, разработанная WizardLM в Microsoft AI. Это версия для генерации текста и диалогов; в карточке указаны сценарии сложного общения, рассуждений, работы с кодом, математикой и агентных задач. По README модель основана на mistral-community/Mixtral-8x22B-v0.1 и содержит 141 млрд параметров; метаданные классифицируют её как Mixtral MoE с 22B параметров и контекстом до 65 536 токенов. Модель обучалась с использованием синтетической системы подготовки данных и поддерживает многоязычное применение. В репозитории указаны веса safetensors и лицензия Apache-2.0. Заявления о сравнительном качестве приведены разработчиками по их оценкам и не гарантируют результат на иных задачах.

MaziyarPanahi/calme-2.1-qwen2.5-72b — плотная языковая модель на 71,5 млрд параметров, дообученная Maziyar Panahi на основе Qwen/Qwen2.5-72B-Instruct. Она предназначена для диалогов и генерации текста, включая ответы на вопросы, работу виртуальных помощников, создание и суммаризацию контента, генерацию и анализ кода, решение задач и поддержку принятия решений. Модель использует архитектуру Qwen2 и шаблон диалога ChatML; максимальная длина контекста — 32 768 токенов. В карточке заявлена поддержка английского языка. Модель подходит для широкого круга текстовых сценариев и имеет интерфейс чата. Возможны предвзятость и ошибки; при практическом применении рекомендуется человеческий контроль. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Карточка модели winterthurquants/DeepSeek-V4-Pro на Hugging Face совпадает с карточкой winterthurquants/DeepSeek-V4-Flash, поэтому описание составлено по ней. DeepSeek-V4-Flash — текстовая генеративная модель семейства DeepSeek-V4. README описывает серию как смесь экспертов (MoE) с гибридным механизмом внимания CSA/HCA и контекстом до одного миллиона токенов; для Flash указано 284 млрд параметров, из которых активируются 13 млрд. В метаданных этого репозитория указаны архитектура DeepseekV4ForCausalLM, 10,7 млрд параметров и веса safetensors в формате FP8, что расходится с размером Flash в README. Модель предназначена для диалога, рассуждений, планирования и решения повседневных и сложных задач с длинным контекстом. README выделяет режимы ответа без рассуждений и с повышенным или максимальным уровнем рассуждений; среди сценариев применения также названы кодирование и агентные задачи. Репозиторий предоставляет отдельные скрипты для кодирования формата сообщений и разбора ответов, а стандартного Jinja-шаблона чата в выпуске нет. Модель принимает и генерирует текст. В README указана лицензия MIT. Поддерживаемые языки отдельно не перечислены; результат зависит от используемого формата запросов и конфигурации. Репозиторий создан 27 сентября 2026 года, поэтому сведения о выпуске следует считать предварительными.

alphakek/gemma-4-E4B-it-heretic-mythos-v1 — производная мультимодальная модель на базе Google Gemma 4 E4B Instruct, опубликованная пользователем alphakek. По карточке, Gemma 4 использует плотную архитектуру с чередованием локального скользящего и глобального внимания. Базовая модель рассчитана на контекст до 128K токенов; метаданные указывают формат safetensors и библиотеку Transformers. Модель предназначена для диалога, рассуждений, генерации и исправления кода, анализа изображений и документов, распознавания речи и работы с инструментами. Вариант E4B поддерживает смешанные текстовые и визуальные запросы, видео через последовательности кадров, а также аудиовход для распознавания речи и перевода речи в текст. Gemma 4 описана как многоязычная модель с поддержкой более 35 языков, но какие именно языки и возможности сохранены в этой производной версии, карточка не уточняет. Название и теги указывают на попытку ослабить встроенные ограничения ответов (heretic, uncensored, decensored, abliterated), однако README не описывает конкретную процедуру изменений или их влияние на качество и безопасность. Как и базовая модель, она может допускать фактические ошибки, испытывать трудности с неоднозначными запросами и отражать смещения обучающих данных. Лицензия репозитория — Apache-2.0.

unsloth/GLM-4-32B-0414-GGUF — это квантизированная GGUF-версия языковой модели GLM-4-32B-0414, разработанной командой THUDM и подготовленной Unsloth для локального запуска. Модель относится к классу text-generation и предназначена для диалогов, следования инструкциям, генерации инженерного кода, создания интерактивных артефактов, function calling, поиска по документам и подготовки отчётов. Модель содержит 32 миллиарда параметров и обучалась на 15 триллионах единиц высококачественных данных, включая синтетические материалы для задач рассуждения. На этапе дообучения применялись выравнивание по человеческим предпочтениям, rejection sampling и reinforcement learning, что улучшило следование инструкциям, программирование и работу с агентскими сценариями. Заявлена поддержка китайского и английского языков. Мультимодальность и размер контекстного окна в карточке не указаны. Сильными сторонами модели являются развитые способности к генерации кода, function calling, ответам на вопросы с использованием поиска и созданию отчётов; авторы также заявляют сопоставимую с более крупными моделями производительность на отдельных тестах. GGUF ориентирован на удобное локальное развёртывание, в частности через llama.cpp; для корректной обработки системного промпта рекомендуется использовать параметр --jinja. Лицензия — MIT. Конкретный уровень квантизации, требования к аппаратным ресурсам и ограничения качества для отдельных сценариев в README не указаны.

RedHatAI/gpt-oss-20b — открытая модель с открытыми весами, разработанная OpenAI и опубликованная Red Hat AI в валидированной сборке для Red Hat OpenShift AI, Red Hat AI Inference Server и vLLM. Модель предназначена для генерации текста, диалоговых приложений, задач рассуждения, агентных сценариев и вызова инструментов, включая function calling, веб-поиск, выполнение Python-кода и Structured Outputs. Это меньшая версия серии gpt-oss: модель содержит около 21 млрд параметров, из которых около 3,6 млрд активны при обработке запроса. Она использует архитектуру Mixture-of-Experts и посттренировочную MXFP4-квантизацию весов MoE, благодаря чему рассчитана на работу примерно в пределах 16 ГБ памяти и обеспечивает меньшую задержку по сравнению с gpt-oss-120b. Поддерживается английский язык; в карточке указана текстовая модальность и задачи text-to-text, text-generation и tool-calling. Доступна настройка интенсивности рассуждений: low, medium и high. Сильные стороны модели — открытые веса, низкие требования к памяти, возможность локального и специализированного развертывания, тонкой настройки и интеграции с инструментами. Ограничения и важные условия использования: модель должна работать в формате ответов Harmony, иначе она может функционировать некорректно; раскрываемую цепочку рассуждений не следует показывать конечным пользователям. В README не приведены количественные результаты тестов и полный размер контекстного окна. Модель распространяется по лицензии Apache 2.0, допускающей модификацию и коммерческое использование.

Sprinter-Spb/gpt-oss-20b — размещённая пользователем версия открытой модели gpt-oss-20b от OpenAI. Это языковая модель с архитектурой Mixture of Experts и классом GptOssForCausalLM; в README для исходной модели указаны 21 млрд параметров и 3,6 млрд активных параметров, а метаданные этой карточки сообщают 1,6 млрд параметров. Модель ориентирована на диалог, рассуждения, агентные сценарии и задачи разработчиков. Она принимает текст в формате Harmony, поддерживает вызов функций и настройку уровня рассуждений; заявленная длина контекста — 131 072 токена. Модель рассчитана на более низкую задержку и локальное использование; README указывает, что вариант gpt-oss-20b с MXFP4 может работать в пределах 16 ГБ памяти. Среди сценариев — ответы на вопросы, генерация текста и кода, использование инструментов и структурированный вывод. Карточка описывает семейство как тонко настраиваемое, но не сообщает о специальном дообучении этой версии Sprinter-Spb. Модель распространяется по лицензии Apache-2.0. Для корректной работы требуется формат Harmony; README также предупреждает, что цепочку рассуждений не следует показывать конечным пользователям.

FastFlowLM/GPT-OSS-20B-NPU2 — текстовая генеративная модель на базе openai/gpt-oss-20b, разработанной OpenAI. Она предназначена для задач рассуждения, универсальной генерации текста, локального и специализированного применения, а также агентских сценариев для разработчиков, включая вызов функций, веб-б browsing, выполнение Python-кода и Structured Outputs. Модель относится к серии open-weight gpt-oss-20b: заявлено 21 млрд параметров, из которых 3,6 млрд активны при инференсе. Используется архитектура MoE с постобучением весов в формате MXFP4; модель рассчитана на работу примерно в пределах 16 ГБ памяти. Поддерживается настраиваемый уровень рассуждения — low, medium или high, а также дообучение. Формат входа и ответа должен соответствовать harmony response format, иначе модель может работать некорректно. README не содержит подтвержденных сведений о языках, размере контекста и мультимодальных возможностях; по указанному pipeline_tag модель предназначена для генерации текста. Сильными сторонами являются относительно низкие требования к памяти, возможность локального запуска, настраиваемый баланс качества рассуждений и задержки, а также пригодность для кастомизации и агентских приложений. К ограничениям относятся обязательное использование harmony response format и то, что цепочку рассуждений не рекомендуется показывать конечным пользователям. Модель распространяется по лицензии Apache 2.0, допускающей свободное использование, модификацию и коммерческое развертывание.

Hermes 3 — большая языковая модель Nous Research для диалогов и задач общего назначения. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, дообученная на основе meta-llama/Meta-Llama-3.1-8B. Она принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Карточка указывает английский язык. Модель предназначена для многошаговых диалогов, следования инструкциям, рассуждений, ролевых сценариев, генерации кода и работы в качестве ассистента. ChatML поддерживает структурированные беседы, а обучение охватывает вызов инструментов и выдачу структурированного JSON. Качество может различаться по задачам; результаты в карточке характеризуются как конкурентные моделям Llama 3.1 Instruct, с разными сильными и слабыми сторонами. Для использования необходимо соблюдать лицензию Llama 3. Показатели в карточке не гарантируют качество в конкретном приложении; вызовы инструментов требуют разбора и выполнения со стороны внешнего кода.

InternLM2-7B — плотная авторегрессионная языковая модель второго поколения InternLM, разработанная командой InternLM. Это базовая модель для продолжения текста и адаптации под прикладные задачи; README отдельно рекомендует версию internlm2 для большинства применений, а чат-версии описывает как отдельные варианты. Модель содержит 7,4 млрд параметров и поддерживает контекст до 32 768 токенов согласно метаданным. Разработчик заявляет о сильных результатах на задачах длинного контекста, рассуждений, математики и программирования, включая поиск сведений в длинных текстах. Модель принимает текст и генерирует текст; сведения о конкретных поддерживаемых естественных языках в источниках отсутствуют. Как и другие вероятностные языковые модели, InternLM2-7B может выдавать фактические ошибки, предвзятые или вредоносные ответы. Код распространяется по Apache-2.0; для весов README указывает академический доступ и возможность запросить бесплатное коммерческое разрешение, поэтому условия использования весов следует сверять с лицензией и соответствующим разрешением.

Ling-mini-2.0 — компактная разговорная языковая модель семейства Ling 2.0 от inclusionAI, предназначенная для генерации текста, следования инструкциям и решения задач на рассуждение. Это дообученная версия Ling-mini-base-2.0; по метаданным, она использует архитектуру Bailing MoE для причинного языкового моделирования и содержит 1,2 млрд параметров. README описывает семейство Ling-mini-2.0 как разреженную MoE-модель с 16,26 млрд параметров всего и примерно 1,43 млрд активных на токен, обученную на более чем 20 трлн токенов с многоэтапной настройкой и обучением с подкреплением. Модель подходит для диалоговых приложений, сложных рассуждений, математики, программирования и ответов на вопросы, а также предоставляет интерфейс вызова инструментов. Метаданные указывают контекст 32 768 токенов; README сообщает о расширении до 128K с YaRN. Разработчик заявляет о высокой скорости генерации и сильных результатах на тестах рассуждения, однако приведённые показатели зависят от оборудования и режима развёртывания. Веса доступны в формате safetensors, библиотека — Transformers; лицензия MIT.

cyankiwi/NVIDIA-Nemotron-Nano-9B-v2-AWQ-4bit — четырёхбитная AWQ-квантизованная версия NVIDIA-Nemotron-Nano-9B-v2, разработанная NVIDIA Corporation. Это текстовая большая языковая модель общего назначения, предназначенная для диалогов, следования инструкциям, генерации текста и кода, рассуждений, создания чат-ботов, RAG-систем, AI-агентов и других приложений на основе ИИ. Модель использует гибридную архитектуру Nemotron-Hybrid, сочетающую преимущественно слои Mamba-2 и MLP с четырьмя слоями Attention. Она поддерживает управляемый бюджет рассуждений: разрешение промежуточного reasoning обычно повышает качество на сложных задачах, но увеличивает расход токенов; отключение reasoning сокращает вывод с некоторым снижением точности. Модель принимает и генерирует текст, поддерживает контекст до 128K токенов. В README заявлена поддержка английского, немецкого, испанского, французского, итальянского и японского языков; в разделе параметров ввода также перечислены китайский, корейский, португальский и русский. Модель обучалась с использованием Megatron-LM и NeMo-RL, а её данные имеют отсечку сентября 2024 года. К сильным сторонам относятся сочетание возможностей рассуждения и обычного диалогового режима, большой контекст, поддержка управления бюджетом «мышления» и оптимизация для NVIDIA GPU. Ограничения включают текстовую модальность, зависимость от GPU-ускоренной инфраструктуры и потенциальное снижение качества при отключении reasoning или слишком малом бюджете рассуждений. Для запуска указаны Linux, Transformers и совместимость с NVIDIA A10G, A100 и H100-80GB; также заявлен runtime NeMo 25.07.nemotron-nano-v2. Использование регулируется NVIDIA Open Model License Agreement; для trial-сервиса дополнительно указаны NVIDIA API Trial Terms of Service.

Mungert/Qwen3.5-122B-A10B-GGUF — это GGUF-квантизированная версия мультимодальной модели Qwen3.5-122B-A10B, разработанной командой Qwen. Репозиторий подготовлен Mungert с использованием llama.cpp и предназначен для локального запуска и эффективного инференса в совместимых инструментах, включая llama.cpp и связанные экосистемы GGUF. Модель представляет собой авторегрессионную языковую модель с vision encoder, поддерживающую обработку текста и изображений. Она рассчитана на рассуждения, программирование, работу с агентами, визуальное понимание и другие универсальные задачи. Заявлена поддержка 201 языка и диалекта. Архитектура сочетает Gated Delta Networks, Gated Attention и разреженную Mixture of Experts: всего 122 млрд параметров, из которых при генерации активируются около 10 млрд. Модель содержит 48 слоёв и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Ключевое преимущество этой сборки — специальная стратегия квантизации: важные слои вручную переводятся в более высокую точность сверх стандартной конфигурации IMatrix. По заявлению автора, это особенно улучшает точность при низкой разрядности и для MoE-моделей, но увеличивает размер файлов. Фактические характеристики зависят от выбранного GGUF-варианта и аппаратного обеспечения; README не приводит подробностей о конкретных уровнях квантизации, требованиях к памяти или независимых результатах тестирования. Исходная модель распространяется по лицензии Apache-2.0.

brayniac/Qwen3.5-35B-A3B-heretic — вариант модели Qwen3.5-35B-A3B, подготовленный методом abliteration для снижения частоты отказов. В приведённом сравнении частота отказов составляет 5 из 100 против 92 из 100 у исходной модели; KL-дивергенция относительно исходной модели — 0,0825. Это не гарантирует ответа на любой запрос и не означает отсутствия ограничений безопасности. Модель предназначена для диалогов, рассуждений, программирования, работы с изображениями и сценариев с вызовом инструментов. Это мультимодальная причинная языковая модель с визуальным энкодером и гибридной архитектурой: Gated Delta Networks сочетаются с разреженной смесью экспертов (MoE). Всего в ней 35 млрд параметров, из которых активируются около 3 млрд; нативный контекст — 262 144 токена, с возможностью расширения до 1 010 000. Семейство заявляет поддержку 201 языка и диалекта. Веса опубликованы в формате safetensors и совместимы с Transformers и рядом движков инференса. Лицензия — Apache-2.0. Результат abliteration получен с изменением поведения исходной модели, поэтому качество и надёжность ответов следует оценивать для конкретного применения; приведённая таблица отказов не заменяет широкую проверку.

unsloth/Qwen3.5-4B-MTP-GGUF — квантованный GGUF-вариант мультимодальной модели Qwen3.5-4B, подготовленный Unsloth на базе модели Qwen/Qwen3.5-4B. Это причинная языковая модель с энкодером изображений, предназначенная для работы с текстом и изображениями, включая рассуждения, программирование, визуальное понимание, агентские сценарии и вызов инструментов. Модель поддерживает developer role и улучшенный разбор вложенных объектов при tool calling. Модель содержит около 4 млрд параметров и использует гибридную архитектуру с Gated Delta Networks и разреженным Mixture-of-Experts, а также механизм MTP (multi-token prediction или многошагового предсказания), рассчитанный на ускорение генерации. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Для ускоренной генерации предусмотрено speculative decoding через MTP, потенциально дающее ускорение примерно в 1,5–2 раза при использовании совместимой ветки llama.cpp. Сильными сторонами модели являются сочетание текстовых и визуальных возможностей, большой контекст, относительно небольшой размер и возможность локального запуска, дообучения и интеграции с Transformers, vLLM, SGLang и другими инструментами. Ограничения включают необходимость совместимого программного обеспечения для MTP; при таком режиме не поддерживаются параллельные последовательности с -np > 1 и параметр --mmproj. Лицензия — Apache-2.0.

hamishivi/Qwen3.5-9B — дообученная мультимодальная модель на 9 млрд параметров, основанная на Qwen/Qwen3.5-9B-Base. Это причинная языковая модель с визуальным энкодером, реализованная в архитектуре Qwen3.5 и представленная в формате Transformers с весами safetensors; она поддерживает чат и интерфейс вызова инструментов. Модель предназначена для диалога и рассуждений по тексту и изображениям, визуального понимания, программирования и агентных сценариев с использованием инструментов. В README заявлена поддержка 201 языка и диалекта. Контекст составляет 262 144 токена и может расширяться до 1 010 000 токенов; по умолчанию модель работает в режиме рассуждений. Архитектура сочетает Gated Delta Networks и разреженную смесь экспертов. Для обслуживания доступны Transformers, vLLM, SGLang и KTransformers; README рекомендует современные версии этих фреймворков и специализированные движки для высокой пропускной способности. Длинный контекст может требовать значительных ресурсов памяти. Лицензия — Apache-2.0.