II.3Рефакторинг, миграция и модернизация

Карточка модели jondurbin/airoboros-l2-7b-gpt4-2.0 на Hugging Face совпадает с карточкой jondurbin/airoboros-65b-gpt4-2.0, поэтому описание составлено по ней. airoboros-65b-gpt4-2.0 — плотная языковая модель семейства LLaMA на 65 млрд параметров, дообученная jondurbin для следования инструкциям на синтетических примерах, созданных GPT-4. Серия 2.0 использует данные GPT-4 версии 0614; вариант m2.0 дополнительно объединяет набор данных 1.4.1 без дубликатов и категории system. Модель предназначена для диалоговых ответов, вопросов по предоставленному контексту, программирования, построения планов и генерации структурированных аргументов функций в JSON или YAML. Для диалога используется текстовый шаблон с ролями USER и ASSISTANT; заявленная длина контекста — 2048 токенов. В README для моделей 65B отмечено QLoRA-дообучение. Это текстовая модель, и качество её ответов не гарантирует точность: карточка рекомендует явно просить не придумывать ответ при недостатке данных. Лицензия CC BY-NC 4.0 разрешает некоммерческое использование; коммерческое использование запрещено.

Apriel-1.5-15b-Thinker — мультимодальная модель рассуждений из серии Apriel SLM, разработанная ServiceNow. Модель с плотной архитектурой на 15 млрд параметров принимает текст и изображения и генерирует ответы в формате диалога; её назначение включает рассуждения по тексту и изображениям, помощь с кодом, ответы на вопросы и вызов инструментов. Для обработки изображений используется архитектура LlavaForConditionalGeneration. Модель прошла продолжительное предварительное обучение на текстовых и визуальных данных, а последующее обучение с учителем выполнялось только на тексте; RL и дообучение на изображениях не применялись. Она рассчитана на общие инструкции, многошаговые задачи и агентные сценарии. Разработчики отмечают высокие результаты на ряде тестов, а также повышенный расход токенов и более долгие ответы из-за развёрнутого рассуждения по умолчанию. Лицензия — MIT. Разработчики предупреждают, что ответы могут содержать фактические ошибки и предвзятость, качество ниже на языках, представленных в обучении слабее, а в медицинских, юридических, финансовых и других критически важных сценариях требуется проверка человеком.

Bagel 8B v1.0 — диалоговая языковая модель, созданная jondurbin дообучением Meta Llama 3 8B на наборе инструкций Bagel. Она использует плотную архитектуру Llama и формат запросов Llama 3 Instruct; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель предназначена для генерации ответов в чате и выполнения разнообразных инструкций: ответы на вопросы, рассуждения, математика, программирование, суммаризация, творческое письмо и ролевой диалог. В обучающие данные также входили примеры вызова функций и работы с контекстом. В карточке приведено сравнение с Mistral 7B v0.2 по MT-Bench, где Bagel 8B v1.0 получила среднюю оценку 7,296875; это результат, заявленный автором, а не гарантия качества для конкретной задачи. Модель принимает текст и генерирует текст. В карточке перечислены многоязычные данные, включая Belebele, но основной язык отдельно не заявлен. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели.

CyberNeurova-GLM-5.3-Flash-BF16 — дообученная CyberNeurova мультимодальная разговорная модель на базе zai-org/GLM-5.3-Flash. Это разреженная MoE-модель с 321 млрд параметров, из которых около 18 млрд активны на токен; она принимает текст и изображения и формирует текстовые ответы. Заявлены контекст до 1 048 576 токенов, многоязычная работа, рассуждения с явной цепочкой размышлений, вызов инструментов, программирование и ответы на общие вопросы. Модель настроена на прямые ответы с уменьшенным количеством встроенных отказов; стиль можно задавать системным промптом. Сборка BF16 предназначена для GPU с поддержкой BF16 и может служить основой для дальнейшего дообучения. Для запуска в README приведена инструкция с использованием специального образа vLLM и параметра доверия удалённому коду. Лицензия — MIT. Карточка заявляет сохранение способностей к рассуждениям, программированию и общим знаниям, однако независимые оценки качества не приведены. Большой размер модели предъявляет значительные требования к ресурсам, а уменьшенное число отказов требует осторожной настройки и контроля применения.

Baekpica/DeepSeek-V4-Flash-0731-120B-REAM-104E-BF16 — это производная модель на архитектуре DeepSeek-V4, созданная автором Baekpica на основе deepseek-ai/DeepSeek-V4-Flash-0731. Это MoE-чекпойнт с 119,8 млрд основных параметров и примерно 13,8 млрд активных параметров на токен; эксперты были объединены методом REAM с последующим дообучением для восстановления поведения. Веса BF16 сохранены в формате safetensors, обновления SFT и маршрутизатора объединены с весами, поэтому отдельный адаптер не требуется. Метаданные указывают контекст до 1 048 576 токенов. Модель предназначена для генерации текста, диалогов, написания кода, многоязычных инструкций и работы с длинным контекстом, включая извлечение сведений из объёмного текста. Карточка описывает отдельные успешные проверки JSON, кода и длинного извлечения, но также фиксирует ошибки в арифметике, повторяющийся цикл самокоррекции и изменение поведения после слияния экспертов. Эти проверки не подтверждают общее качество длинноконтекстной работы или сохранение исходных бенчмарков. Лицензия — MIT; применяются условия и ограничения исходной модели.

Deepthink-Reasoning-14B — текстовая языковая модель, разработанная PrithivMLmods и дообученная на Qwen/Qwen2.5-14B-Instruct. Это плотная авторегрессионная архитектура Qwen2 с 14 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; модель загружается через Transformers, веса представлены в формате safetensors. Модель предназначена для пошагового решения математических и логических задач, написания и отладки кода, объяснений, творческих текстов, чат-ботов и формирования структурированных ответов, включая JSON. В карточке заявлена поддержка более 29 языков и длинных текстов; метаданные указывают контекст до 32 768 токенов, поэтому заявленные в README 128K токенов не подтверждаются данными конфигурации. Модель дообучена на Math-Solve, NuminaMath-CoT и наборах QwQ-LongCoT. Модель может ошибаться или выдумывать сведения, особенно при неоднозначных запросах; качество зависит от формулировки запроса, а на длинном контексте может снижаться. Большой размер требует значительных вычислительных ресурсов. Лицензия — Apache-2.0.

dolphinllamaseekv1 — объединённая модель генерации текста на архитектуре Llama, созданная сообществом mergekit-community методом SLERP из cognitivecomputations/Dolphin3.0-Llama3.1-8B и deepseek-ai/DeepSeek-R1-Distill-Llama-8B. В репозитории указаны 7,5 млрд параметров и контекст до 131 072 токенов; веса доступны в формате safetensors, модель рассчитана на запуск через Transformers. Модель предназначена для диалоговой генерации текста и задач, в которых полезны возможности исходных моделей Dolphin и DeepSeek R1 Distill, включая рассуждения и программирование. Метаданные также отмечают интерфейс вызова инструментов. Объединение может сочетать свойства двух моделей, но README не приводит оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана.

GDN-primed-HQwen3-8B-Instruct — созданная Amazon инструкционная гибридная языковая модель на базе Qwen3-8B. В ней 18 слоёв Attention и 18 слоёв Gated DeltaNet (GDN), то есть половина слоёв внимания заменена на слои модели пространства состояний. Модель содержит около 7,6 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов; веса доступны в формате safetensors, библиотека — Transformers. Модель предназначена для диалогов и выполнения инструкций, включая генерацию текста, ответы на вопросы, задачи с длинным контекстом, код и рассуждения. По данным разработчика, гибридная архитектура может ускорять генерацию на длинных последовательностях и снижать расход памяти на KV-кэш при близком к базовой трансформерной модели качестве. Это инструкционная модель, не рассчитанная на выдачу chain-of-thought токенов; вызов инструментов не поддерживается. Лицензия — Apache 2.0.

WhiskyAKM подготовил конверсию Gemma 4 26B A4B IT QAT в формат GGUF с NVFP4-квантизацией для запуска через llama.cpp и другие совместимые движки. В основе — мультимодальная модель Google DeepMind с архитектурой Gemma4ForConditionalGeneration и 26 млрд параметров; для работы с изображениями и аудио в репозитории также доступен мультимодальный проектор. Модель принимает текст, изображения и аудио, а выдаёт текст; карточка заявляет контекст до 256 тысяч токенов и поддержку более 140 языков. Модель предназначена для диалогов, рассуждений, программирования, анализа изображений и аудио, а также сценариев с вызовом инструментов. Доступны несколько уровней квантования GGUF; для мультимодального ввода требуется использовать mmproj.gguf. Репозиторий распространяется по лицензии Apache-2.0.

Gemma-4-e4b-it-OptiQ-4bit — это локальная квантизированная версия языковой модели google/gemma-4-e4b-it, подготовленная сообществом mlx-community с помощью инструментария mlx-optiq для Apple Silicon. Модель предназначена для генерации текста, включая объяснения, рассуждения, программирование, выполнение инструкций, работу с агентскими сценариями и вызовами инструментов. Она запускается локально через MLX и не требует PyTorch или облачной инфраструктуры. Модель использует смешанную точность: 224 слоя представлены в 4-битном формате, а 155 наиболее чувствительных слоя — в 8-битном; всего квантизировано 379 слоёв, размер группы — 64. Калибровка выполнялась на данных из шести областей: обычный текст, рассуждения, код, агенты, вызовы инструментов и инструкции с ограничениями. Размер модели на диске составляет около 6,1 ГБ. Для ускорения декодирования поддерживается speculative decoding с отдельной моделью-драфтером gemma-4-e4b-it-assistant-bf16. По заявленным оценкам, версия OptiQ превосходит равномерную 4-битную квантизацию на тестах MMLU, GSM8K, IFEval, BFCL, HumanEval и HashHop; средний Capability Score составляет 68,92 против 55,20. Ограничения включают привязку к экосистеме MLX и Apple Silicon, а также увеличение размера примерно на 1,2 ГБ по сравнению с равномерной 4-битной версией. Языки, максимальный контекст и точная архитектура в README не указаны. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; применяются условия Google Gemma.

cyankiwi/GLM-4.5-Air-AWQ-4bit — это 4-битная AWQ-квантизованная версия модели GLM-4.5-Air, разработанной Zhipu AI (zai-org). Модель относится к семейству фундаментальных моделей для интеллектуальных агентов и предназначена для генерации текста, рассуждений, программирования и взаимодействия с инструментами. GLM-4.5-Air использует гибридный режим рассуждений: thinking mode подходит для сложных задач и работы с инструментами, а non-thinking mode — для быстрых ответов. Модель имеет 106 млрд общих параметров и 12 млрд активных параметров, что указывает на разреженную архитектуру с активацией части параметров при обработке запроса. Заявлены поддерживаемые языки English и Chinese; модель относится к текстовым моделям и используется через библиотеку Transformers. Размер контекста в предоставленных данных не указан. 4-битная AWQ-квантизация снижает требования к памяти и может упростить локальный запуск, однако README не содержит количественной оценки влияния квантизации на качество или полного перечня совместимых аппаратных платформ. Ограничения по производительности, точности и применению в отдельных сценариях также не раскрыты. Модель распространяется по лицензии MIT, допускающей коммерческое использование и вторичную разработку.

Hermes 3 Llama 3.2 3B — это языковая модель Nous Research, дообученная на полной совокупности параметров базовой Meta Llama 3.2 3B. Она предназначена для диалогов общего назначения и следования инструкциям; карточка отмечает улучшения в многоходовом общении, рассуждении, ролевых сценариях, связности на длинном контексте, генерации кода, вызове функций и структурированном выводе. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель использует формат диалога ChatML и шаблон чата Transformers. Её можно применять для создания разговорных помощников, генерации кода и ответов в заданной JSON-схеме. Вызовы функций модель формирует как текст, который приложение должно разобрать и передать инструменту; сама по себе она не выполняет внешние вызовы. В метаданных указан английский язык. Лицензия — Llama 3 Community License (llama3).

Inkling-Small-GGUF — квантованная версия Inkling-Small, разработанного Thinking Machines и опубликованная в формате GGUF с использованием подходов Unsloth. Это мультимодальная авторегрессионная модель с открытыми весами, предназначенная для исследований, дообучения и интеграции в сторонние продукты. Модель принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на диалоговые сценарии, следование инструкциям, создание AI-агентов и систем с использованием инструментов, разработку кодовых ассистентов, чат-ботов и решений с retrieval-augmented generation. Поддерживаются английский и другие языки с общими мультиязычными возможностями, а также различные языки программирования. Изображения должны быть пиксельными; рекомендуемый размер каждой стороны составляет от 40 до 4096 пикселей. Аудио подаётся в формате WAV с частотой 16 кГц, предпочтительно длительностью менее двух минут. Архитектура представляет собой 42-слойный decoder-only transformer со sparse Mixture-of-Experts: всего 276 млрд параметров, из которых для каждого токена активно около 12 млрд. Каждый токен направляется к 6 из 256 экспертов, дополнительно используются 2 общих эксперта; механизм внимания сочетает локальные и глобальные слои. Изображения обрабатываются иерархическим patch encoder, аудио — через дискретное токенизирование, после чего все модальности переводятся в общее скрытое пространство. Поддерживаются числовые форматы BF16 и NVFP4. Ограничения включают отсутствие заявленного в карточке размера контекстного окна и зависимость качества и требований к ресурсам от выбранного уровня квантования и среды запуска. Модель распространяется по лицензии Apache-2.0. Для локального запуска заявлена совместимость с SGLang, vLLM, TokenSpeed, Unsloth и Hugging Face; также доступны API и сторонние провайдеры инференса.

llm-jp-4-32b-a3b-thinking-gguf — языковая модель на базе Transformer, разработанная Research and Development Center for Large Language Models при National Institute of Informatics в Японии. Это thinking-вариант серии LLM-jp-4, предназначенный для генерации текста, диалогов и решения инструктивных задач на японском и английском языках, а также для работы с программным кодом на распространённых языках программирования. Модель использует архитектуру Mixture-of-Experts: 32 слоя, 128 маршрутизируемых экспертов, из которых для каждого входа активируются 8. Общее число параметров составляет около 32,1 млрд, при этом активируется около 3,83 млрд параметров. Контекстное окно — 65 536 токенов. Токенизатор основан на Unigram byte-fallback и совместим с шаблоном диалога OpenAI Harmony, однако необходимо использовать токенизатор из этого репозитория. Thinking-модель обучалась с помощью supervised fine-tuning и direct preference optimization без reinforcement learning; предварительное и промежуточное обучение проводилось на 11,7 трлн токенов. К сильным сторонам относятся специализированная поддержка японского языка, длинный контекст, MoE-архитектура с относительно небольшим числом активных параметров и дополнительное обучение для рассуждений и следования инструкциям. Ограничения включают отсутствие заявленных количественных результатов в доступной части README и необходимость специальной версии llama.cpp: стандартная upstream-версия может некорректно обрабатывать токенизацию и чат. Модель распространяется по лицензии Apache-2.0.

Nanbeige4.2-3B — компактная языковая модель Nanbeige Lab на 3,2 млрд параметров, дообученная на базе Nanbeige/Nanbeige4.2-3B-Base для диалогов и агентных сценариев. Она использует плотную Looped Transformer архитектуру, повторно применяющую слои трансформера для увеличения эффективной ёмкости без добавления параметров. Модель поддерживает контекст до 262 144 токенов и доступна в формате safetensors для Transformers; лицензия — Apache 2.0. Модель предназначена для генерации текста, рассуждений, работы с инструментами и многошаговых задач общего назначения. Среди заявленных сценариев — программирование и задачи кодовых агентов, офисные процессы, математические и научные рассуждения, а также локальный персональный ассистент при интеграции с подходящей агентной средой. Карточка описывает обучение с учителем и обучение с подкреплением с оценкой результата и процесса. Заявленные языки — английский и китайский. Модель поддерживает чат и интерфейс вызова инструментов; сама по себе она генерирует текст, а выполнение действий зависит от внешней агентной оболочки и подключённых инструментов. Показатели из карточки основаны на бенчмарках и конкретных средах оценки, поэтому не гарантируют аналогичного качества во всех приложениях.

Nereus-7B — языковая модель на 7,1 млрд параметров от автора репозитория saucam. Это объединение моделей cognitivecomputations/dolphin-2.8-mistral-7b-v02 и NousResearch/Hermes-2-Pro-Mistral-7B методом mergekit DARE-TIES; архитектура — плотная Mistral с causal language modeling. Модель предназначена для диалогов, генерации кода и формирования структурированных ответов в JSON. Модель принимает текст и генерирует текст. В метаданных указан контекст до 32 768 токенов и лицензия Apache-2.0. README приводит результаты нескольких бенчмарков, однако они не дают гарантии качества для конкретного сценария. Языки модели и её специальные предметные области в доступных данных не определены.

Это текстовая модель NVIDIA Nemotron-3.5-Lightning-30B-A3B-BF16 с изменёнными параметрами отказов: автор карточки сообщает, что после abliteration модель отказала в 1 из 100 тестовых запросов против 98 из 100 у исходной версии. Она предназначена для генерации текста, диалога и рассуждений, а также для дообучения и адаптации разработчиками. В карточке приведены результаты проверок на задачах знаний, рассуждений, программирования и использования инструментов. Модель использует гибридную архитектуру Mixture-of-Experts с Mamba-2, MoE и слоями Attention; всего в ней 30 млрд параметров, из которых активны 3 млрд. Формат весов — BF16, заявленная длина контекста в метаданных — 262 144 токена. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский. README указывает лицензию исходной модели как допускающую коммерческое использование, но метаданные этой копии обозначают лицензию как other, поэтому условия распространения и использования именно этой производной версии следует сверять с лицензией репозитория.

Olmo-3-7B-Think — авторегрессионная плотная Transformer-модель для генерации текста, разработанная Allen Institute for AI (Ai2). Это вариант семейства Olmo 3 с упором на пошаговое рассуждение; карточка указывает обучение на данных Dolma 3 и последующее дообучение на наборах Dolci. В метаданных базовой моделью названа allenai/Olmo-3-7B-Think-DPO, а связь указана как finetune. Модель предназначена для диалогов и задач, где полезны развёрнутые рассуждения, в частности математики, программирования, ответов на общие вопросы и следования инструкциям. Она содержит 6,9 млрд параметров, поддерживает контекст до 65 536 токенов и рассчитана прежде всего на английский язык. Для запуска используется библиотека Transformers; веса опубликованы в формате safetensors. Модель может давать неточные ответы и без дополнительной фильтрации способна генерировать вредный или чувствительный контент. Результаты следует проверять, а при практическом использовании учитывать возможную предвзятость. Лицензия — Apache 2.0; карточка также ссылается на рекомендации Ai2 по ответственному использованию.

Qwen1.5-4B-Chat-GPTQ-Int4 — диалоговая языковая модель серии Qwen1.5, разработанная командой Qwen. Это decoder-only модель на архитектуре Transformer, предназначенная для генерации текста и взаимодействия в формате чата: ответов на вопросы, ведения диалога, подготовки текстов и других задач обработки естественного языка. Модель содержит около 4 миллиардов параметров и представлена в формате GPTQ с 4-битным квантованием Int4, что снижает требования к памяти при запуске. Она поддерживает текстовую модальность, многоязычную работу и контекст до 32K токенов. В архитектуре заявлены активация SwiGLU, смещения в QKV-внимании и улучшенный токенизатор, адаптированный к естественным языкам и программному коду. Модель была предварительно обучена на большом объёме данных, а затем дообучена с использованием supervised fine-tuning и direct preference optimization. К сильным сторонам относятся компактный размер, удобный для локального развертывания квантованный формат, чатовая настройка и поддержка длинного контекста. Ограничения включают статус beta-версии, возможные проблемы при переключении между языками и отсутствие в описании данных о гарантированной точности, безопасности или поддерживаемых языках, кроме заявленной многоязычности. Указана лицензия Tongyi Qianwen Research; подробные условия приведены в файле лицензии репозитория.

QuantFactory/Qwen2.5-14B-GGUF — это квантизированная версия базовой языковой модели Qwen2.5-14B, созданная QuantFactory с использованием llama.cpp. Исходную модель разработала команда Qwen. Модель предназначена для генерации текста, продолжения текста и последующего дообучения, включая supervised fine-tuning, RLHF и continued pretraining. Разработчики не рекомендуют использовать базовую версию непосредственно для диалогов без дополнительного обучения. Модель относится к каузальным языковым моделям и содержит 14,7 млрд параметров, из которых 13,1 млрд не относятся к embedding-слою. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm и смещения в attention QKV; предусмотрены 48 слоёв и Grouped-Query Attention с 40 головами Q и 8 головами KV. Контекстное окно составляет до 131 072 токенов, поддерживается генерация длинных текстов. Заявлена поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, арабский и другие. К сильным сторонам относятся улучшенные знания, возможности в программировании и математике, следование инструкциям, работа со структурированными данными и генерация структурированных ответов, включая JSON, а также поддержка длинного контекста. К ограничениям относятся базовый, а не instruction-tuned характер модели и необходимость использования совместимого программного окружения; для работы рекомендуется актуальная версия transformers, поскольку версии ниже 4.37.0 могут вызывать ошибку совместимости. Модель распространяется по лицензии Apache-2.0.

dnotitia подготовила вариант Qwen3-4B с изменённым шаблоном чата для удобства обучения. Веса совпадают с официальными весами Qwen3; шаблон вынесен в файл chat_template.jinja и дополнен тегами generation для поддержки assistant_only_loss в библиотеке TRL. Модель построена на плотной причинной архитектуре Qwen3ForCausalLM и содержит 3,7 млрд параметров по метаданным. Она принимает текст и предназначена для генерации текста, диалога, следования инструкциям, рассуждений, написания кода и многоязычных задач; заявлена поддержка более 100 языков и диалектов. Указанное в карточке контекстное окно составляет 32 768 токенов, тогда как метаданные каталога приводят 40 960 токенов; это расхождение требует проверки для конкретной конфигурации. Для обучения рекомендована актуальная версия Transformers. Лицензия — Apache-2.0.

Unsloth/Qwen3-4B-Thinking-2507 — плотная причинная языковая модель семейства Qwen3, представленная как версия модели Qwen3-4B-Thinking-2507. Она предназначена для генерации текста в диалоге и решения сложных задач с рассуждениями, включая математику, логику, естественные науки, программирование и академические вопросы. Модель также поддерживает следование инструкциям и использование инструментов. Модель содержит 3,7 млрд параметров и принимает контекст до 262 144 токенов. Она работает только в режиме рассуждений; карточка сообщает об улучшениях качества рассуждений и общих возможностей, но не приводит независимой оценки качества именно этой публикации Unsloth. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache-2.0.

QuantTrio/Qwen3.5-4B-AWQ — это AWQ-квантизированная версия мультимодальной модели Qwen3.5-4B, разработанной командой Qwen. Репозиторий содержит веса и конфигурацию в формате Hugging Face Transformers; квантизация выполнена без использования калибровочных данных. Модель предназначена для задач понимания и генерации текста, работы с изображениями, рассуждений, программирования и агентских сценариев. Модель представляет собой причинную языковую модель с vision encoder и гибридной архитектурой, объединяющей Gated Delta Networks и разреженный Mixture-of-Experts. Она содержит около 4 млрд параметров, 32 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 010 000 токенов. Заявлена поддержка 201 языка и диалекта. Доступны интеграции с Transformers, vLLM, SGLang и KTransformers, а также поддержка tool calling и reasoning parser в vLLM. К сильным сторонам относятся мультимодальность, большой контекст, относительно небольшой размер и оптимизация AWQ для более эффективного инференса. Ограничения связаны с необходимостью совместимого программного и аппаратного окружения: в README указаны vLLM версии не ниже 0.16.0rc2.dev447, экспериментальная версия Transformers, CUDA 12.8 и дополнительные исправления конфигурации. Конкретные значения производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

btbtyler09/Qwen3.8-27B-GPTQ-8bit — квантизированная 8-битная версия мультимодальной модели Qwen/Qwen3.8-27B. Модель разработана на базе семейства Qwen и распространяется пользователем btbtyler09. Она предназначена для обработки текста и изображений, генерации ответов, анализа изображений, программирования и других задач общего назначения, а также поддерживает speculative decoding через модуль MTP. Модель имеет плотную архитектуру примерно на 27 млрд параметров без MoE, 64 слоя, включая 48 слоёв линейного внимания и 16 слоёв полного внимания, скрытый размер 5120 и контекст до 262 144 токенов. Полный vision encoder на базе ViT и MTP-модуль сохранены в формате BF16, а основные квантизируемые линейные слои текстового декодера переведены в INT8 с использованием GPTQ. Размер модели составляет около 31 ГБ против примерно 56 ГБ у исходной BF16-версии. Поддерживаются текстовая и визуальная модальности; конкретный набор языков в README не указан. Ключевое преимущество — существенно меньшее потребление дискового пространства и видеопамяти при заявленной практически неизменной perplexity относительно BF16-оригинала. Модель рассчитана на развёртывание через vLLM и загрузку с помощью GPTQModel или transformers. Ограничения включают высокие требования к ресурсам, необходимость совместимого программного окружения и возможную проблему конфигурации в некоторых версиях vLLM, для которой в README приведён обходной патч. Модель распространяется по лицензии Apache-2.0.

Qwopus3.6-35B-A3B-v1 — экспериментальная мультимодальная модель с разреженной архитектурой MoE, созданная Jackrong путём дообучения Qwen3.6-35B-A3B с помощью LoRA и трёх этапов supervised fine-tuning. В базовой модели 35 млрд параметров, из которых активно около 3 млрд на токен; она сочетает линейное внимание Gated DeltaNet с обычными слоями gated attention и рассчитана на контекст до 262 тысяч токенов. Модель предназначена для диалогов, рассуждений, работы с изображениями и инструментами, а также задач программирования, математики, науки и следования инструкциям. Автор заявляет улучшения в структурированности рассуждений и последовательности ответов; карточка приводит результаты независимого теста, но отмечает, что полная оценка производительности и безопасности не проводилась. Поддерживаются английский, китайский, испанский, русский и японский языки. Лицензия — Apache-2.0.

Shuttle-3 — языковая чат-модель компании ShuttleAI Inc., выпущенная в бета-версии в октябре 2024 года. Это дообученная версия Qwen2.5-72B-Instruct с плотной архитектурой Qwen2 и 71,5 млрд параметров; для общения используется формат ChatML. Контекст составляет 32 768 токенов. Модель предназначена для сложных диалогов, многоязычного общения, рассуждений, агентных сценариев и ролевых бесед. В обучении использовались мультиязычные и программные данные, а дообучение включало 130 млн токенов и ролевые данные; модель также настраивали на стиль прозы Claude 3. Репозиторий распространяет веса в формате safetensors. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверять с лицензией в репозитории. Модель помечена как beta; качество и поведение в отдельных языках и сценариях могут различаться.

RedHatAI/DeepSeek-R1-Distill-Qwen-32B-quantized.w4a16 — квантизированная версия модели DeepSeek-R1-Distill-Qwen-32B, разработанная Neural Magic. Модель построена на архитектуре Qwen2ForCausalLM и предназначена для генерации и обработки текста, включая задачи рассуждения, решения математических задач, ответов на вопросы и использования в чат-сценариях. Модель имеет 32 миллиарда параметров и использует INT4-квантизацию весов линейных операторов в трансформерных блоках при формате W4A16. Применяется симметричная поканальная по группам схема с размером группы 128 и алгоритм GPTQ через библиотеку llm-compressor. Такой подход примерно на 75% сокращает размер модели на диске и требования к памяти GPU по сравнению с представлением весов в 16 битах. Входная и выходная модальности — текст; сведения о поддерживаемых языках и максимальном контексте в карточке явно не указаны. По приведённым оценкам, квантизированная версия сохраняет около 99,45% среднего результата исходной модели на наборе задач рассуждения, включая AIME 2024, MATH-500 и GPQA Diamond. Она оптимизирована для эффективного развёртывания с vLLM и может использоваться через OpenAI-совместимый сервер. Ограничением является возможное небольшое снижение точности из-за квантизации, а также зависимость эффективного запуска от совместимого GPU и программного стека vLLM. Модель распространяется по лицензии MIT.

Это 4-битная версия модели DeepSeek-R1-0528-Qwen3-8B, подготовленная mlx-community для запуска в формате MLX. Исходная модель основана на плотной архитектуре Qwen3 с 7,6 млрд параметров; версия создана конвертацией с применением AWQ-квантизации через mlx-lm 0.25.2. Контекстное окно составляет 131 072 токена. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, программирования и логики. Репозиторий предоставляет интерфейс для вызова инструментов. Метаданные указывают на лицензию MIT; запуск рассчитан на экосистему MLX.

Dolphin 2.8 Mistral 7b v0.2 — языковая модель общего назначения из семейства Dolphin, разработанная Cognitive Computations при дообучении Eric Hartford и Cognitive Computations. Эта версия распространяется в формате GGUF; квантизацию выполнил bartowski на основе llama.cpp. Базовая модель — Mistral-7B-v0.2, размер — около 7 млрд параметров. Модель предназначена для генерации текста, диалогов, ответов на вопросы, рассуждений и программирования. В обучении использовались разговорные, логические и кодовые данные, включая наборы Dolphin, Dolphin Coder, Samantha, Airoboros, OpenHermes и Code-Feedback. Указан английский язык. Модель работает только с текстом и рассчитана на локальный запуск, в том числе через LM Studio; для неё рекомендуется шаблон запросов ChatML и системная инструкция «You are Dolphin, a helpful AI assistant». Сильными сторонами являются универсальность, поддержка повседневных ассистентских сценариев и наличие данных для задач программирования. В README приведён результат HumanEval pass@1 0,469, однако он помечен как непроверенный. Размер контекста и другие подробные характеристики архитектуры не указаны, поэтому возможности модели могут зависеть от используемого варианта GGUF и настроек запуска. Модель распространяется по лицензии Apache 2.0.

GLM-4.7-Flash-RAZOR-17B-A3B-E32of64 — сжатая методом RAZOR версия диалоговой MoE-модели GLM-4.7-Flash, опубликованная Nickyang. В каждом MoE-слое оставлено 32 из 64 маршрутизируемых экспертов; отбор выполнен без градиентных обновлений и дополнительного обучения. По README, число хранимых параметров составляет 17,025 млрд, включая MTP, а параметры внимания, общего эксперта, эмбеддингов, LM-головы и оставшихся строк роутера не затронуты. Метаданные каталога указывают 4,1 млрд параметров и контекст 202 752 токена. Модель предназначена для диалоговой генерации текста, рассуждений и программирования с длинным контекстом. Для запуска требуется сборка Transformers с реализацией glm4_moe_lite; веса опубликованы в формате safetensors и хранятся в bfloat16. Лицензия — MIT. Удаление экспертов является потерей информации: ответы могут отличаться по разнообразию, форматированию и поведению при завершении, даже если точность на отдельных задачах в основном сохраняется. Качество на областях, далёких от конечного калибровочного корпуса, не охарактеризовано; перед применением модель следует оценить на целевой нагрузке.