II.7DevOps, облако и эксплуатация IT-систем

unsloth/MAI-DS-R1-GGUF — GGUF-версия модели MAI-DS-R1, разработанной командой Microsoft AI на базе DeepSeek-R1 и опубликованной Unsloth. Модель дообучалась для устранения информационных пробелов, повышения отзывчивости к ранее блокировавшимся темам и улучшения профиля безопасности при сохранении возможностей рассуждения DeepSeek-R1. Для постобучения использовались 110 тысяч примеров безопасности и отказов из набора Tulu 3 SFT, а также около 350 тысяч внутренних многоязычных примеров по различным темам и случаям выявленных смещений. Модель предназначена для генерации и понимания текста, диалогов, ответов на общеобразовательные вопросы, многошагового решения математических и логических задач, генерации и объяснения кода, а также научных и академических сценариев. Она может использоваться как основа для дальнейшей адаптации в системах обучения математике, помощниках программиста и исследовательских инструментах. Формат GGUF ориентирован на запуск в совместимых локальных инструментах, однако конкретные размер, вариант квантования, длина контекста и поддерживаемые языки в представленных данных не указаны. Сильной стороной модели является сочетание возможностей рассуждения DeepSeek-R1 с постобучением, направленным на более корректное поведение в темах, которые исходная модель могла чрезмерно блокировать. При этом сохраняются ограничения исходной модели: возможны галлюцинации, уязвимость к состязательным запросам, предвзятые или небезопасные ответы, а также недостаточная осведомлённость о новых событиях. Модель не предназначена для медицинских и юридических рекомендаций, критически важных систем или самостоятельной поддержки решений с высокими рисками; необходимы проверка результатов человеком, модерация и мониторинг. Модель распространяется по лицензии MIT.

RedHatAI/Meta-Llama-3.1-8B-Instruct-quantized.w8a16 — это квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Модель предназначена для коммерческого и исследовательского использования в сценариях диалогового ассистента и генерации текста. Она поддерживает текстовый ввод и вывод, а также английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и содержит около 8 миллиардов параметров. Веса линейных операторов внутри блоков трансформера квантизированы в INT8 по схеме W8A16 с применением симметричной поканальной квантизации и алгоритма GPTQ; выходной слой lm_head не квантизирован. Это примерно вдвое уменьшает размер модели на диске и требования к GPU-памяти по сравнению с 16-битной версией. Модель оптимизирована для эффективного развёртывания с использованием vLLM; в примере конфигурации указан максимальный размер контекста 8192 токена. По заявленным оценкам, квантизация сохраняет качество в пределах 1% от исходной модели на MMLU, ARC-Challenge, GSM-8K, Hellaswag, Winogrande и TruthfulQA. Основные ограничения связаны с меньшим размером и возможными особенностями качества 8-битной квантизации по сравнению с полной версией, а также с тем, что модель предназначена прежде всего для текстовых, а не мультимодальных задач. Модель распространяется по лицензии Llama 3.1; использование не должно нарушать применимое законодательство и требования экспортного контроля.

unsloth/MiniMax-M3 — производная версия MiniMax-M3 от MiniMax, представленная в формате safetensors. Это мультимодальная модель архитектуры MoE со Sparse Attention: около 428 млрд параметров, из которых активируются около 23 млрд. Она принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Модель предназначена для диалогов с визуальным содержимым, анализа изображений и видео, программирования и агентных сценариев с вызовом инструментов. В README заявлены ускорение обработки длинного контекста и сильные результаты в длительных агентных задачах, однако конкретные бенчмарки для этой копии не приведены. Для запуска README рекомендует SGLang, vLLM или Transformers. В метаданных указана лицензия other; дополнительные условия следует сверять с лицензией базовой модели. Карточка описывает модель как дообучение MiniMaxAI/MiniMax-M3, но не сообщает о собственном обучающем наборе или отдельных изменениях относительно базы.

Mistral-Nemo-Instruct-2407-GGUF — квантизированная GGUF-версия инструкционной языковой модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI (mistralai) и подготовленной квантизацией компанией Second State Inc. Модель предназначена для диалоговых приложений, генерации и обработки текста, запуска локально через совместимые инструменты, включая LlamaEdge и llama.cpp. Доступны варианты квантизации от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 4,79 до 24,5 ГБ. Для запуска используется шаблон запросов mistral-instruct, а заявленный размер контекста — 128 000 токенов. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский и японский языки. Это текстовая модель без заявленной поддержки других модальностей. Основное преимущество набора — возможность выбрать баланс между размером, требованиями к ресурсам и качеством: Q4_K_M и Q5_K_M отмечены как рекомендуемые варианты, тогда как низкобитные версии сильнее теряют качество. Ограничения включают зависимость качества и производительности от выбранной квантизации и оборудования; архитектура и точное число параметров в README не указаны. Модель распространяется по лицензии Apache-2.0.

Open-Instruct ShareGPT 13B — языковая модель Allen Institute for AI, представляющая собой дообученную для следования инструкциям версию LLaMA примерно с 12,9 млрд параметров. Обучение проводилось на очищенном наборе диалогов ShareGPT, подготовленном аналогично данным Vicuna; модель относится к плотной архитектуре LLaMA для генерации текста и рассчитана на контекст до 2048 токенов. Модель подходит для ответов на запросы в формате инструкций и диалогов, а также для задач общего назначения: ответов на вопросы, рассуждений и генерации кода. В README приведены результаты оценки на MMLU, GSM, BBH, TyDiQA и Codex-Eval. Для качества генерации важно соблюдать указанный в карточке формат ввода и переводы строк. Репозиторий содержит diff весов, поэтому для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model license и исходной лицензией LLaMA.

Phi-3-medium-128k-instruct-GGUF — квантизированная версия инструкционной языковой модели Microsoft Phi-3-medium-128k-instruct, подготовленная пользователем bartowski в формате GGUF для запуска через llama.cpp и совместимые приложения, включая LM Studio. Модель предназначена для генерации текста, диалогового взаимодействия и задач, связанных с обработкой естественного языка и программным кодом. В README заявлена поддержка multilingual-сценариев и контекстное окно до 128 000 токенов. Доступны варианты от F32 до низкобитных квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, а также форматы IQ. Размер файлов составляет примерно от 5,14 до 55,84 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее сохранение качества, тогда как компактные варианты снижают требования к памяти ценой качества ответов. Ключевые характеристики исходной архитектуры, точное число параметров, перечень поддерживаемых языков и результаты тестирования в README не указаны. Модель подходит для локального инференса, чат-ботов, генерации и анализа текста, а также помощи с кодом при наличии оборудования с достаточным объёмом оперативной или видеопамяти. Ограничениями являются зависимость качества и требований к ресурсам от выбранной квантизации, а также отсутствие в предоставленных данных подробных оценок производительности и гарантий точности. Указана лицензия MIT, унаследованная от исходной модели Microsoft.

Карточка модели Openintelligent123/Phi-4-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

lunahr/Phi-4-mini-instruct-abliterated — изменённая версия компактной языковой модели Phi-4-mini-instruct от Microsoft. Это плотная авторегрессионная модель семейства Phi-3 с 3,8 млрд параметров; репозиторий содержит веса в формате Safetensors. Модель предназначена для генерации текста, диалогов, программирования и решения задач, особенно в средах с ограниченными ресурсами и требованиями к низкой задержке. Для исходной Phi-4-mini-instruct в README заявлено контекстное окно 128 тыс. токенов, однако метаданные этой модели указывают native context 4096 токенов. Модель поддерживает множество языков, включая английский, русский, китайский, арабский, японский и европейские языки. В README версия названа abliterated, то есть подвергшейся изменению механизмов отказа; степень и последствия этого изменения не описаны. Она унаследовала от базовой модели возможности диалогов, генерации кода и интерфейс вызова инструментов. Для вызовов инструментов возможны вымышленные имена функций или URL, а качество может различаться между языками; перед применением в чувствительных сценариях необходима оценка точности и безопасности. Лицензия — MIT.

unsloth/Phi-4-mini-instruct-unsloth-bnb-4bit — это квантованная 4-битная версия Phi-4-mini-instruct, разработанной Microsoft, с исправлениями и оптимизациями от Unsloth. Модель предназначена для генерации текста, диалоговых сценариев, следования инструкциям, решения математических задач, программирования и других задач обработки естественного языка. В README заявлена поддержка мультиязычных сценариев и контекста до 128K токенов. Модель построена на данных, включающих синтетические примеры и отфильтрованные общедоступные веб-источники, с акцентом на качественные данные для рассуждений. Для Phi-4-mini-instruct указано применение supervised fine-tuning и direct preference optimization, направленных на точное следование инструкциям и повышение безопасности. Версия Unsloth исправляет обработку padding и EOS-токенов, шаблон чата и unk_token, а также использует селективное динамическое 4-битное квантование, призванное лучше сохранять точность по сравнению со стандартным 4-битным форматом. К сильным сторонам относятся небольшой размер относительно более крупных моделей семейства Phi-4, длинный контекст, поддержка диалогов, кода и математики, а также сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества из-за 4-битного представления, отсутствие в предоставленных данных точных сведений о размере модели и перечне поддерживаемых языков, а также текстовую, а не мультимодальную специализацию. В карточке указана лицензия MIT, унаследованная от microsoft/Phi-4-mini-instruct.

Qwen2.5-1.5B-Instruct-GGUF — инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Это вариант базовой модели Qwen2.5-1.5B-Instruct в формате GGUF для локального запуска, в том числе с использованием llama.cpp. Модель предназначена для диалоговых ассистентов, генерации и обработки текста, следования инструкциям, работы с кодом и математическими задачами, понимания таблиц и других структурированных данных, а также генерации структурированных ответов, включая JSON. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm, bias в Attention QKV и связанными эмбеддингами слов. Она содержит 1,54 млрд параметров, из которых 1,31 млрд приходятся на параметры без учёта эмбеддингов, имеет 28 слоёв и GQA с 12 головами для Q и 2 для KV. Поддерживаются контекст до 32 768 токенов и генерация до 8192 токенов. Указана поддержка более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты квантования q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. К сильным сторонам относятся небольшой размер, возможность локального запуска, улучшенные следование инструкциям, генерация длинных текстов, работа со структурированными данными, кодом и математикой, а также устойчивость к различным системным промптам. Ограничения связаны с компактным масштабом в 1,5 млрд параметров и потерями точности, возможными при квантовании; конкретные показатели производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/Qwen2.5-3B-Instruct-GGUF — набор GGUF-квантизированных версий инструкционно дообученной языковой модели Qwen2.5-3B-Instruct. Исходную модель разработала команда Qwen компании Alibaba Cloud; данный репозиторий содержит квантизации, созданные с помощью llama.cpp и метода imatrix с использованием калибровочного файла Bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, создание длинных текстов, работу со структурированными данными и JSON, программирование и математические задачи. Она поддерживает более 29 языков, среди явно указанных — китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Это каузальная Transformer-модель с RoPE, SwiGLU, RMSNorm, смещениями в Attention QKV и связанными эмбеддингами слов. Модель содержит 3,09 млрд параметров, 36 слоёв и использует Grouped-Query Attention с 16 головами для Q и 2 для KV. Заявлена длина контекста до 32 768 токенов и генерация до 8192 токенов. Главное преимущество репозитория — выбор компромиссов между размером файлов, качеством и требованиями к памяти: варианты занимают примерно от 755 МБ до 5,9 ГБ, при этом качество квантования различается, поэтому наиболее компактные версии могут заметно уступать F16. Лицензия указана как qwen-research; применяются условия лицензии исходной модели Qwen2.5-3B-Instruct.

Карточка модели rayss868123/Qwen3-4B-Instruct-2507-heretic на Hugging Face совпадает с карточкой heretic-org/Qwen3-4B-Instruct-2507-heretic, поэтому описание составлено по ней. Qwen3-4B-Instruct-2507-heretic — производная диалоговая модель на базе Qwen3-4B-Instruct-2507, созданная с помощью abliteration для заметного снижения частоты отказов. По приведённому в карточке тесту отказов стало 5 из 100 запросов против 100 из 100 у исходной модели; это измерение относится к конкретному тесту и не гарантирует поведение на других запросах. Модель плотная, с архитектурой Qwen3ForCausalLM и примерно 3,7 млрд параметров, принимает текст и генерирует текст. Поддерживает контекст до 262 144 токенов и рассчитана на диалоги и режим без пошагового рассуждения. Модель подходит для ответов на вопросы, следования инструкциям, написания и анализа текстов, решения задач, программирования и использования инструментов. В карточке базовой модели заявлена поддержка нескольких языков, но конкретные языки для этой версии не перечислены. Версия опубликована в формате safetensors и предназначена для запуска через Transformers. Лицензия — Apache-2.0.

RedHatAI/Qwen3.5-4B-FP8-dynamic — мультимодальная модель RedHatAI, созданная на основе Qwen/Qwen3.5-4B. Она принимает текст и изображения, а генерирует текст, поэтому предназначена для диалогов, анализа изображений, ответов на вопросы, следования инструкциям и решения задач рассуждения. Указанная конфигурация рассчитана на инференс через vLLM и поддерживает текстовый режим с пониженным потреблением памяти. Модель использует архитектуру Qwen/Qwen3.5-4B и контекст до 262 144 токенов при развертывании с рекомендованными параметрами. Веса и активации линейных операторов внутри трансформерных блоков динамически квантизированы в FP8; для активаций применяется масштабирование на уровне тензора без калибровочных данных. Размер на диске составляет около 8,0 ГБ вместо 9,3 ГБ у версии BF16, что уменьшает требования к памяти примерно на 14%. Языки в README не указаны. По опубликованным оценкам, квантизация в целом сохраняет качество базовой модели: результаты на GSM8k-Platinum, MMLU-Pro, IFEval, Math 500, AIME 2025 и GPQA Diamond близки к показателям исходной Qwen/Qwen3.5-4B. Ограничения включают отсутствие подробных сведений о языковой поддержке и аппаратных требованиях; качество также может зависеть от поддержки FP8 и используемого рантайма. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR подготовил GGUF-вариант мультимодальной инструктивной модели Qwen3.5-9B с квантизацией MXFP4. Модель содержит 32 трансформерных блока с гибридной архитектурой attention, FFN и SSM, дополнительную голову Multi-Token Prediction и проектор SigLIP для обработки изображений. Размер модели — 9 млрд параметров, контекст — до 262 144 токенов; веса представлены в 4-битном формате MXFP4, а проектор — в F16. Модель предназначена для генерации ответов и диалога на нескольких языках, понимания изображений и видео, вызова инструментов, рассуждений и задач по коду. Режим рассуждений в этой сборке выключен по умолчанию и включается параметром enable_thinking=true. Для мультимодального запуска требуется подключить файл проектора mmproj; использовать сборку можно через llama.cpp и совместимые инструменты для GGUF. Модель основана на Qwen/Qwen3.5-9B и распространяется по лицензии Apache-2.0. Квантизация уменьшает требования к памяти, но может повлиять на точность по сравнению с исходными весами. В README указана поддержка английского, китайского и кода; метаданные также отмечают многоязычность.

Это текстовая языковая модель Lemura Labs, представляющая собой MLX-квантизацию модели Qwen3.6-27B-Claude-Opus-Reasoning-Distill-v2 от TeichAI. В основе лежит Qwen3.6-27B от команды Qwen; модель дополнительно прошла abliteration — удаление направлений, связанных с отказами, — с использованием OBLITERATUS, а затем была подвергнута статической смешанной квантизации OptiQ примерно до 3,7 бит на вес. Модель предназначена для генерации текста, диалогов, рассуждений, объяснений и планирования. Она поддерживает текстовые сценарии на английском и, согласно метаданным, мультиязычные задачи. Это модель только для текста: визуальный ввод и обработка изображений недоступны, поскольку исходный визуальный модуль был удалён. Архитектура включает гибридный стек из слоёв GatedDeltaNet и полноценных softmax-attention, 64 слоя, скрытое представление размером 5120, словарь около 248 тысяч токенов и контекст до 262 тысяч токенов. Главное преимущество версии — соотношение размера и качества: файл занимает около 12 ГБ, а модель рассчитана примерно на 16 ГБ оперативной памяти на устройствах Apple Silicon, включая M1–M4 Air, mini и базовые Pro. Квантизация OptiQ распределяет точность по слоям на основе чувствительности и KL-дивергенции, стремясь сохранить качество при ограниченных ресурсах. Ограничения включают отсутствие зрения, возможные потери качества из-за квантизации и особенности abliterated-модели: она может отвечать на запросы, от которых исходная модель отказывалась, поэтому её следует применять ответственно и в рамках закона. Модель распространяется по лицензии Apache-2.0 и предназначена для запуска в формате MLX с использованием mlx-lm, прежде всего на Apple Silicon.

Qwen3.8-27B-Uncensored-FP8-MTP — мультимодальная модель на базе JonathanColetti/Qwen3.8-27B-Uncensored, опубликованная пользователем pramoths. Репозиторий содержит FP8-квантизацию и сохраняет vision tower и рабочую MTP-голову для speculative decoding. Модель относится к семейству Qwen3.8 и поддерживает текстовые и визуальные задачи; заявленные языки — английский, китайский и тайский. Модель предназначена для генерации текста и кода, извлечения информации, анализа изображений и таблиц, а также ускоренного инференса через vLLM и MTP. Размер исходной модели — 27B параметров, веса занимают около 30 ГБ. Контекст поддерживается до 262 144 токенов. Основные матричные операции квантизированы в FP8 с блоками 128×128 и форматом E4M3, тогда как нормализации, рекуррентные компоненты, vision tower, lm_head, embed_tokens и некоторые части MTP сохранены в BF16. По приведённым измерениям, модель близка к официальной Qwen3.8-27B-FP8 по точности на задачах извлечения, программирования и анализа изображений; скорость достигает 132 токенов в секунду при одном запросе и 1 373 токенов в секунду при конкуренции 16. Уровень принятия спекулятивных токенов MTP составляет около 52%. Модель изменена в сторону отсутствия стандартных отказов, поэтому её поведение отличается от официальной версии. Для эффективной работы необходимы GPU с поддержкой FP8 tensor cores, например Ada Lovelace, Hopper или Blackwell; на Ampere совместимость FP8-пути не проверена, а видеокарты с 24 ГБ памяти недостаточны для запуска на одной карте. Для длинного контекста на 47–48 ГБ VRAM требуется FP8 KV-кэш. Указана лицензия Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также работы с длинным контекстом. Профиль Aggressive ориентирован на прямые ответы без выраженного поведения отказа и с минимальными предварительными пояснениями в сложных запросах. Это плотная causal language model на 27 млрд параметров с vision encoder: 64 слоями, размером скрытого представления 5120, FFN размером 17408, словарём 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки; заявлен нативный контекст 262 144 токена с возможностью расширения до 1 000 000. В текстовых GGUF сохранён встроенный NextN/MTP, а отдельный FastMTP-профиль предназначен для ускорения спекулятивного декодирования. Для входных изображений и видео требуется отдельный vision projector BF16. К сильным сторонам относятся широкий набор текстовых и мультимодальных возможностей, очень длинный контекст, несколько вариантов квантизации и ускорение FastMTP. Агрессивный профиль может быть менее подходящим для надёжно контролируемых и критичных к безопасности агентских задач, поскольку он специально уменьшает склонность к отказам. Доступны квантизованные файлы GGUF размером примерно от 10,32 до 31,46 ГБ; K_P-квантизации оптимизированы под эту модель. Лицензия — Apache-2.0.

Qwen3.8-27B-Uncensored-int4-AutoRound — локально обслуживаемая INT4-квантизированная версия плотной модели Qwen3.8 с 27 млрд параметров, опубликованная под идентификатором johannrplaster. Модель предназначена для быстрого инференса через Transformers и vLLM XPU, прежде всего на видеокартах Intel Arc Pro B70. Она сохраняет MTP (multi-token prediction) head, поэтому поддерживает speculative decoding без отдельной draft-модели, а проекции linear attention in_proj_a и in_proj_b оставлены в FP16 для снижения потерь качества. Квантизация выполнена с помощью AutoRound 0.14.2 в формате W4A16 с симметричными группами размера 128 и упаковкой auto_gptq. Квантизированы декодерные слои и MTP head; нормы, MTP-слой fc, vision tower и указанные проекции сохраняются в FP16 или BF16. Размер модели на диске составляет около 18 ГБ. В комплект входит шаблон чата Qwen3.8 с поддержкой reasoning и tool-call блоков. Заявлена работа с контекстом до 128K при использовании FP8 KV-кэша, тогда как пример конфигурации задаёт 8192 токена. Сильные стороны модели — уменьшенный размер, высокая скорость декодирования на Intel Arc Pro B70, поддержка speculative decoding и сохранение качества на заявленных проверках арифметики, кода, JSON-схем, длинного контекста и стабильности повторных ответов. Ограничения включают возможные потери качества и отличия от BF16-версии из-за INT4-квантизации, а также зависимость производительности и эффективности speculative decoding от нагрузки. Модель является uncensored и может отвечать на запросы, которые обычно отклоняют модели с настройкой безопасности; ответственность за применение и проверку контента несёт пользователь. Лицензия — Apache-2.0.

NVIDIA Qwen3-Next-80B-A3B-Thinking NVFP4 — квантизированная версия авторегрессионной языковой модели Qwen3-Next-80B-A3B-Thinking, разработанной Alibaba и подготовленной NVIDIA с использованием TensorRT Model Optimizer. Модель предназначена для коммерческого и некоммерческого применения в AI Agent-системах, чат-ботах, RAG-системах и других приложениях на основе генерации текста. Модель использует архитектуру Transformers и сетевую архитектуру Qwen3NextForCausalLM. Она принимает текстовые последовательности и генерирует текст. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. Количество параметров в карточке не раскрыто, поддерживаемые языки и точные характеристики исходной модели здесь не указаны. Веса и активации линейных операторов внутри трансформерных блоков квантизированы в формат NVFP4. Это уменьшает число бит на параметр с 16 до 4, а размер на диске и требования к памяти GPU примерно в 3,3 раза. Модель оптимизирована для инференса через TensorRT-LLM на GPU NVIDIA, в частности на архитектуре Blackwell; предпочтительная операционная система — Linux. Ограничениями являются зависимость от совместимой инфраструктуры NVIDIA, отсутствие раскрытых данных о параметрах и обучении, а также необходимость дополнительного тестирования качества и безопасности для конкретного сценария. Модель распространяется по лицензии Apache License 2.0. Для развёртывания рекомендуется TensorRT-LLM; заявленная версия квантизации выполнена с использованием nvidia-modelopt v0.40.0.

Это конвертированная в формат Llama версия инструктивной языковой модели Qwen2.5-7B-Instruct. Репозиторий создан llamafy; модель предназначена для программ, совместимых с форматом Llama. По метаданным, это плотная причинная языковая модель на 7,1 млрд параметров с контекстом до 4096 токенов, сохранённая в safetensors и используемая через библиотеку Transformers. Модель подходит для диалогов и генерации текста, включая код и структурированные ответы, которые поддерживает базовая Qwen2.5-7B-Instruct. В метаданных указаны языки китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Лицензия в предоставленных данных не указана.

Qwythos-9B-Claude-Mythos-5-1M-MXFP4-GGUF — это квантованная в формате GGUF MXFP4 версия модели empero-ai/Qwythos-9B-Claude-Mythos-5-1M, дообученной Empero AI на базе Qwen3.5-9B. Это мультимодальная модель с архитектурой Qwen3.5 и зрительным энкодером SigLIP ViT; основной файл использует 4-битный формат MXFP4, а для обработки изображений нужен отдельный файл mmproj в F16. Репозиторий распространяется под лицензией Apache-2.0. Модель предназначена для диалогов с рассуждениями, работы с изображениями, вызова инструментов и задач с длинным контекстом, включая анализ кода и документов. README заявляет контекст до 1 048 576 токенов, а также сильные стороны в математике, кибербезопасности и биомедицинских темах. Поддерживаются английский язык и интерфейс вызова инструментов в стиле OpenAI/Qwen3.5. Зрительная часть унаследована от базовой модели и не дообучалась; README также предупреждает, что модель может уверенно выдавать ошибочные идентификаторы CVE и дозировки лекарств. Для критически важных ответов нужны внешняя проверка и инструменты, а для пользовательских развёртываний README рекомендует добавить собственный слой безопасности. Ответы начинаются с блока рассуждений, поэтому требуется достаточный лимит генерации.

Radiantloom Llama 70B Instruct — большая языковая модель Radiantloom AI на архитектуре Llama с 68,7 млрд параметров. Это дообученная модель для генерации текста и диалогов; в карточке указаны формат safetensors и лицензия Llama 2. Модель предназначена для чата, написания и суммаризации текстов, ответов на вопросы, программирования, ролевых сценариев и работы в RAG-системах. README отмечает генерацию развернутых ответов и поддержку многоходовых диалогов. Длина контекста — 32 764 токена. Для диалогов рекомендуется шаблон ChatML, хотя пример в карточке показывает другой формат. По заявлению разработчика, модель показывает хорошие результаты в письме, коде и рассуждениях, однако оценка пока предварительная и основана на LLM-as-a-Judge. Ответы могут содержать фактические ошибки, предвзятый или оскорбительный контент, включая материалы NSFW; перед применением в пользовательских системах нужна проверка безопасности.

Rombos-LLM-V2.5-Qwen-72b — плотная авторегрессионная языковая модель на архитектуре Qwen2, разработанная Rombodawg. По карточке, это непрерывно дообученная и объединённая методом TIES версия Qwen2.5-72B; метаданные связывают её с Qwen/Qwen2.5-72B-Instruct. Модель содержит 71,5 млрд параметров, работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текстов, а также может выдавать структурированные ответы и поддерживать интерфейс вызова инструментов. Автор сообщает о более высокой производительности по сравнению с исходной instruct- и базовой моделями; в карточке приведены результаты отдельных тестов, но готовые сводные данные и подробное описание методики оценки ограничены. В метаданных указана лицензия «other», поэтому условия использования следует сверить с полной лицензией репозитория. Для запуска требуется значительный объём вычислительной памяти из-за размера модели; README не приводит конкретных требований к оборудованию. Модель опубликована в формате safetensors.

Seed-OSS-36B-Instruct-AWQ-4bit — квантизированная 4-битная версия инструкционной языковой модели Seed-OSS-36B-Instruct, разработанной командой ByteDance Seed. Квантизация выполнена с использованием llm-compressor от vLLM и набора данных Llama-Nemotron-Post-Training-Dataset. Модель предназначена для генерации текста, диалоговых систем, задач рассуждения, агентских сценариев с использованием инструментов и приложений, требующих обработки длинного контекста. Модель основана на архитектуре causal language model с RoPE, GQA, RMSNorm и активацией SwiGLU. Она содержит около 36 миллиардов параметров, 64 слоя, скрытый размер 5120, словарь примерно из 155 тысяч токенов и поддерживает контекст до 512K токенов. Указанные языки — английский и китайский; семейство Seed-OSS в целом ориентировано на международные сценарии. Предусмотрено гибкое управление бюджетом рассуждения, что позволяет выбирать компромисс между качеством и скоростью вывода. Основные преимущества этой версии — существенно сниженные требования к памяти по сравнению с полноразмерной моделью и сохранение возможностей исходной инструкционной модели для общих, логических и агентских задач. Ограничения связаны с 4-битной квантизацией, которая может снижать точность по сравнению с исходными весами, а также с высокой вычислительной нагрузкой модели на 36B параметров. Для работы требуются совместимые реализации Transformers и инфраструктура, поддерживающая AWQ; в README приведён пример запуска через vLLM с tensor parallelism. Модель распространяется по лицензии Apache-2.0.

Spark-X2.5-4B-OptiQ-4bit — это локально запускаемая MLX-квантизированная версия модели XHToken/Spark-X2.5-4B, подготовленная сообществом mlx-community с использованием инструментария mlx-optiq. Модель предназначена для диалогов, программирования, вызова инструментов и агентских сценариев, особенно на компьютерах Apple Silicon без PyTorch и облачных сервисов. Она поддерживает текстовую генерацию и заявляет поддержку более 200 языков. Модель использует плотную архитектуру Spark-X2.5 с 4 млрд параметров и нативным контекстом до 1 млн токенов. Квантизация смешанной точности преимущественно 4-битная: чувствительные слои хранятся в 8-битном формате, остальные — в 4-битном; размер весов на диске составляет около 2,8 ГБ. Для KV-кэша предусмотрена отдельная смешанная точность. Архитектура включает полное внимание только в девяти слоях, а остальные используют скользящее окно размером 512 токенов, что снижает рост потребления памяти при длинных запросах. Сильные стороны модели — компактный размер, эффективный локальный запуск, длинный контекст и сохранение качества за счёт чувствительной к слоям квантизации. В приведённых тестах смешанная квантизация превзошла равномерную 4-битную по среднему Capability Score, а также показала улучшения в MMLU, GSM8K, BFCL, HumanEval и HashHop; в IFEval результат немного снизился. Модель требует установки mlx-optiq и импорта optiq перед загрузкой, поскольку стандартный mlx-lm не распознаёт тип spark2_5. Лицензия — Apache 2.0, унаследованная от базовой модели.

Карточка модели luckyChenY/think_99 на Hugging Face совпадает с карточкой Qwen/Qwen3-1.7B, поэтому описание составлено по ней. Qwen3-1.7B — компактная плотная причинная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит 1,7 млрд параметров, 28 слоёв и поддерживает контекст до 40 960 токенов по метаданным. Модель дообучена на базе Qwen/Qwen3-1.7B-Base и распространяется в формате safetensors под лицензией Apache-2.0. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, написания кода, перевода и работы с внешними инструментами через соответствующий интерфейс. Она поддерживает более 100 языков и диалектов. Заявлены режимы рассуждения и обычного диалога; компактный размер подходит для приложений с ограниченными ресурсами по сравнению с более крупными моделями семейства. В README указана длина контекста 32 768 токенов, тогда как метаданные каталога приводят 40 960; для характеристики использовано значение метаданных. В README также отмечен риск бесконечных повторов при некоторых настройках генерации и рекомендована настройка presence_penalty. Качество ответов и точность фактов требуют проверки в целевом сценарии.

HarimxChoi/WarpQuant-Qwen3.8-27B-R16E4H4-Text — текстовая версия Qwen3.8-27B, подготовленная с применением WarpQuant. Репозиторий содержит причинную языковую модель, токенизатор и шаблон чата; по метаданным это плотная архитектура семейства Qwen, предназначенная для генерации текста и диалогов. Указано 22,3 млрд параметров в метаданных и около 26,9 млрд текстовых параметров в README. Контекст — до 262 144 токенов. Ключи проекций квантованы до 3 бит с вращением Адамара и восстановлением отдельных слабых столбцов; эмбеддинги токенов и выходная голова используют групповой INT4. В первой публикации восстановленные тензоры хранятся в BF16 для запуска через Transformers, поэтому фактический размер файлов больше аналитического упакованного представления. README приводит результаты сравнений на языковых и тестовых наборах и сообщает о совпадении последних токенных логитов с исходной моделью на проверенном промпте. Модель рассчитана на текстовую генерацию, чат, рассуждения и задачи вроде ответов на вопросы и программирования. В отличие от исходной мультимодальной версии, в этой сборке отсутствуют модуль обработки изображений и слой MTP. Лицензия — Apache-2.0.

XORTRON.CriminalComputing.LARGE.2026.3 — диалоговая языковая модель, опубликованная darkc0de и созданная дообучением Mistral-Large-Instruct-2411. Это плотная архитектура Mistral с 122,2 млрд параметров и контекстом до 131 072 токенов; модель работает через Transformers и распространяется в формате safetensors. Карточка сообщает о многоязычной поддержке, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для генерации текста в диалоге, ответов на вопросы, рассуждений, программирования и сценариев с длинным контекстом. В README указана abliteration: в приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, а KL-дивергенция — 0,0578. Это означает, что модель настроена на существенно меньшее число отказов; результаты таблицы не гарантируют поведение на всех запросах. По метаданным лицензия — WTFPL; значительный размер требует мощного оборудования для запуска.

Карточка модели gdorane01/XORTRON.CriminalComputing.larger на Hugging Face совпадает с карточкой darkc0de/XORTRON.CriminalComputing.LARGE.2026.3, поэтому описание составлено по ней. XORTRON.CriminalComputing.LARGE.2026.3 — диалоговая языковая модель, опубликованная darkc0de и созданная дообучением Mistral-Large-Instruct-2411. Это плотная архитектура Mistral с 122,2 млрд параметров и контекстом до 131 072 токенов; модель работает через Transformers и распространяется в формате safetensors. Карточка сообщает о многоязычной поддержке, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Модель предназначена для генерации текста в диалоге, ответов на вопросы, рассуждений, программирования и сценариев с длинным контекстом. В README указана abliteration: в приведённом сравнении частота отказов составляет 2 из 100 против 87 из 100 у исходной модели, а KL-дивергенция — 0,0578. Это означает, что модель настроена на существенно меньшее число отказов; результаты таблицы не гарантируют поведение на всех запросах. По метаданным лицензия — WTFPL; значительный размер требует мощного оборудования для запуска.

airoboros-34b-3.2 — экспериментальная разговорная языковая модель jondurbin, дообученная на базе 01-ai/yi-34b-200k с использованием преимущественно синтетических данных набора airoboros-3.2 и ряда сторонних датасетов. Это плотная модель семейства Llama с 33,9 млрд параметров, предназначенная для генерации текста в формате чата. Модель подходит для ответов на вопросы по заданному контексту, суммаризации, написания и дополнения кода, многошагового диалога и формирования планов действий или аргументов функций в JSON либо YAML. Карточка сообщает, что при дообучении использовалась длина контекста 8 тыс. токенов, хотя базовая модель поддерживает 200 тыс.; результаты за пределами 8 тыс. токенов могут быть ненадёжными. Для ответов по контексту рекомендуется явно отделять источники и инструкции, а также использовать низкую температуру. Модель распространяется в формате safetensors. В метаданных указана лицензия other; конкретные условия следует уточнить в карточке репозитория перед использованием. Автор характеризует модель как экспериментальную.