II.7DevOps, облако и эксплуатация IT-систем

RedHatAI/Llama-4-Scout-17B-16E-Instruct-FP8-dynamic — это динамически квантованная версия мультимодальной модели Meta Llama-4-Scout-17B-16E-Instruct, подготовленная Red Hat совместно с Neural Magic. Модель реализует архитектуру Llama4ForConditionalGeneration, принимает текст и изображения, а генерирует текст. Она поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель предназначена для задач text-to-text и image-text-to-text: диалоговых приложений, обработки текстовых запросов и анализа изображений с формированием текстового ответа. Веса и активации переведены в формат FP8 с использованием llm-compressor. По данным README, это примерно вдвое снижает требования к GPU-памяти и размер модели на диске, а также может примерно вдвое увеличить пропускную способность матричных вычислений по сравнению с представлением FP16. В примере развертывания используется максимальная длина контекста 32768 токенов. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и оптимизация для эффективного инференса на vLLM, Red Hat Enterprise Linux AI и Red Hat OpenShift AI. Ограничения включают зависимость от совместимого FP8-оборудования и программного стека; README не содержит результатов бенчмарков или оценки возможной потери качества после квантования. Модель выпущена 15 апреля 2025 года, версия 1.0, и распространяется по лицензии Llama 4.

Luqwen4-4B — русскоязычная инструкционная текстовая модель, разработанная LLiserginov на основе Qwen3.5-4B-Base. Она дообучена методом LoRA/QLoRA и предназначена для диалогов, следования инструкциям, генерации художественных текстов и притч, решения задач по математике, физике, истории и аналитике, а также написания и объяснения программного кода. Модель также обучалась сценариям вызова инструментов, работе с API и файлами. Базовая модель содержит около 4 млрд параметров и использует гибридную архитектуру Qwen3.5 For Causal LM с Gated DeltaNet и Full Attention. Она включает 24 слоя, скрытую размерность 1024, словарь на 248 320 токенов и поддерживает контекст до 262 144 токенов. Дообучающие данные охватывают русский и английский языки; значительная часть корпуса посвящена креативному письму, русским инструкциям, притчам, веб-разработке, Windows batch-скриптам, логическим и математическим задачам на внимательность. Указанная максимальная длина последовательности при обучении составляет 4096 токенов. Сильные стороны модели — ориентация на русский язык, выразительная генерация, работа с инструкциями, кодом, инструментами и задачами на пошаговое рассуждение. Ограничения включают небольшой по современным меркам размер, возможные ошибки в математике, коде и фактических ответах, а также отсутствие заявленных количественных результатов оценки. Модель распространяется на условиях лицензии Apache-2.0; после обучения LoRA-адаптер был объединён с базовой моделью в формате 16-bit.

MetaMath-Cybertron-Starling-Mistral-7B-Instruct-v0.2-slerp — объединённая методом SLERP диалоговая языковая модель, созданная на основе mistralai/Mistral-7B-Instruct-v0.2 и Q-bert/MetaMath-Cybertron-Starling. Она предназначена для генерации текста и ответов на инструкции в чат-сценариях. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Контекст — до 32 768 токенов. Репозиторий содержит веса в формате safetensors; модель распространяется по лицензии Apache-2.0.

Mistral-7B-Instruct-v0.2 — диалоговая инструкцияязычная модель семейства Mistral, разработанная Mistral AI. Это плотная причинная языковая модель на 7,1 млрд параметров для генерации текста и ответов на запросы в формате чата; для работы с ней в README приведены примеры токенизации и инференса через mistral-common и mistral-inference. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий содержит веса PyTorch в формате safetensors и распространяется по лицензии Apache-2.0. Карточка характеризует её как быструю демонстрацию возможностей дообучения базовой модели. В README отмечено, что у модели нет встроенных механизмов модерации, поэтому её ответы могут не соблюдать ограничения безопасности и требуют соответствующей защиты при развёртывании.

Mistral-7B-Instruct-v0.3-4bit — это 4-битная квантованная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI. Модель была конвертирована сообществом mlx-community в формат MLX с использованием mlx-lm версии 0.14.3. Модель предназначена для генерации текста и выполнения пользовательских инструкций в сценариях, поддерживаемых исходной инструкционной моделью. Она рассчитана на запуск через библиотеку mlx-lm и формат MLX, что делает её ориентированной на совместимые устройства и программное окружение Apple MLX. Размер модели — 7 миллиардов параметров, используется 4-битное представление весов. К преимуществам относятся компактность по сравнению с полноформатной версией и возможность локального запуска в MLX-окружении. Ограничения включают возможную потерю качества из-за 4-битной квантования, зависимость от mlx-lm и совместимого оборудования, а также отсутствие в предоставленных данных сведений о поддерживаемых языках, размере контекста, конкретных модальностях и результатах тестирования. Модель распространяется по лицензии Apache-2.0.

Это GGUF-сборка языковой модели Qwen3.8-27B, разработанной командой Qwen, с постобучением SimPO и базой из семейства EfficientThink от nerkyor. Модель предназначена для генерации текста, диалогов, рассуждений и программирования. Она относится к dense-моделям с hybrid attention и поддерживает эффективное мышление; заявлены китайский и английский языки. Версия ориентирована на запуск через llama.cpp и совместимые приложения, включая LM Studio. Модель содержит 27 млрд параметров, 65 блоков, включая встроенную MTP-голову для speculative decoding. Используется смешанная квантизация: K/Q/V-блоки ключевых attention-слоёв сохранены в Q4_K, значительная часть FFN-контуров квантизирована в IQ3_XXS, другие компоненты — в IQ3_S, а нормы — в F32. Размер файла составляет 10,12 GiB при 3,18 BPW. При использовании Q4 KV-кэша заявлена поддержка контекста свыше 130 тысяч токенов на видеокарте с 16 ГБ памяти. Для vision-сценариев требуется отдельный vision projector из базового семейства Qwen3.8. К сильным сторонам относятся существенно уменьшенный размер, сохранение повышенной точности в важных attention-компонентах, встроенная MTP-голова и возможность ускорения генерации примерно в 2–3 раза на диалоговых ответах при корректной настройке. Ограничениями являются зависимость качества от агрессивной IQ3-квантизации, необходимость совместимого ПО и настройки параметров запуска, а также непредсказуемость выходов, поскольку сборка обозначена как uncensored. Модель предоставляется по лицензии Apache 2.0, но автор рекомендует её прежде всего для личных исследований и оценки, а не для публичного или производственного использования.

Это GGUF-квантизированная версия DeepHermes-3-Mistral-24B-Preview, разработанной NousResearch и подготовленной квантизатором bartowski с использованием llama.cpp и imatrix. Модель основана на архитектуре Mistral, содержит 24 млрд параметров и предназначена для генерации текста в формате instruct/chat. В репозитории представлены варианты от BF16 до низкобитных квантизаций Q8, Q6, Q5, Q4 и Q3, различающиеся размером файлов и соотношением качества и требований к памяти. Модель ориентирована на диалоговые сценарии, рассуждения, ролевое взаимодействие, синтетическую генерацию данных, function calling и выдачу структурированного JSON. Для работы используется формат сообщений ChatML-подобного типа с ролями system, user и assistant; рекомендуемые среды запуска включают LM Studio, llama.cpp и совместимые проекты. В метаданных указан английский язык, однако сведения о поддерживаемых языках помимо него отсутствуют. Максимальная длина контекста также не указана. Сильной стороной являются доступные варианты квантизации: Q6 и Q5 заявлены как обеспечивающие очень высокое или высокое качество при меньших требованиях к памяти, а Q4_K_M обозначен как вариант стандартного размера для большинства сценариев. Ограничения связаны с тем, что это preview-версия, а квантизация может снижать точность по сравнению с исходными весами; характеристики производительности и результаты тестирования в карточке не приведены. Модель распространяется по лицензии Apache-2.0.

Open-Instruct Flan V2 13B — плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров, дообученная исследователями Allen Institute for AI на наборе инструкций Flan V2. Она предназначена для генерации ответов на инструкции и общих текстовых запросов. Модель принимает текст и выдаёт текст; для работы ожидается форматирование входа по шаблону из карточки, а максимальная длина контекста составляет 2048 токенов. В карточке приведены результаты на тестах знаний, математики, рассуждений, вопросов и ответов и генерации кода. Модель опубликована как diff: для восстановления весов требуется исходная модель LLaMA в формате Hugging Face. Лицензия определяется лицензией AI model, приложенной к репозиторию, и исходной лицензией LLaMA.

Open-Instruct Self-Instruct 13B — языковая модель Allen Institute for AI (AI2), созданная дообучением LLaMA с 12,9 млрд параметров на датасете Self-Instruct. Это causal language model для генерации текста по инструкциям; для лучшего качества вход следует оформлять в специальном формате модели с переводами строк. Модель предназначена для выполнения разнообразных текстовых инструкций, ответов на вопросы, решения задач и генерации кода. Она поддерживает английский язык, имеет контекстное окно 2048 токенов и распространяется в формате PyTorch. В README приведены результаты на тестах знаний, математики, рассуждений, вопросов и генерации кода. Это diff дообучения, а не самостоятельный полный набор весов: для использования требуется исходная модель LLaMA в формате Hugging Face. Применяются лицензия модели из LICENSE.txt и исходная лицензия LLaMA; конкретные условия следует сверять с этими файлами.

lmstudio-community/Phi-4-reasoning-plus-MLX-4bit — это версия модели Microsoft Phi-4-reasoning-plus, преобразованная сообществом lmstudio-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и диалогового взаимодействия на английском языке, включая задачи рассуждения, математики, программирования и обработки естественного языка. Модель поддерживает использование через библиотеку mlx-lm и совместима с чатовым шаблоном токенизатора. В названии указано 4-битное представление, однако архитектура, количество параметров, размер контекста и точные характеристики модальностей в README не приведены; по указанным данным модель является текстовой и не предназначена для обработки изображений или других мультимедийных данных. Лицензия — MIT. README не содержит результатов тестирования, поэтому количественно оценить сильные стороны и ограничения модели невозможно; к ограничениям относятся неизвестные параметры производительности и качества, а также заявленная языковая поддержка только английского языка.

Карточка модели mahrukhsaeed/Qwen2.5-3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

Карточка модели ehristoforu/qwen2.5-with-lora-think-3b-it на Hugging Face совпадает с карточкой Qwen/Qwen2.5-3B-Instruct, поэтому описание составлено по ней. Qwen2.5-3B-Instruct — инструкционная языковая модель серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, в том числе для создания длинных ответов, структурированных данных и JSON, а также для задач с кодом и математикой. Модель содержит 3,1 млрд параметров и использует архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU, RMSNorm и группированным запросным вниманием. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Модель поддерживает более 29 языков, включая русский, английский, китайский, французский, испанский, немецкий, японский и арабский. Подходит для чат-ботов, следования инструкциям и генерации структурированных ответов; метаданные также отмечают интерфейс для вызова инструментов. Качество ответа зависит от формулировки запроса, а выход модели требует проверки, особенно для кода, математики и фактических утверждений. В репозитории указана лицензия `other`; конкретные условия использования следует сверять с файлами лицензии модели.

nvidia/Qwen3-14B-FP8 — квантизированная версия авторегрессионной языковой модели Qwen3-14B, разработанной Alibaba и подготовленной NVIDIA с помощью TensorRT Model Optimizer. NVIDIA не является владельцем или разработчиком исходной модели; компания выпустила её FP8-вариант для заданных сценариев развертывания. Модель предназначена для генерации текста в AI-агентах, чат-ботах, RAG-системах и других приложениях на базе искусственного интеллекта. Она принимает текстовые последовательности и возвращает текст. Модель имеет архитектуру Transformer, около 14,8 млрд параметров и контекстное окно до 131 тысячи токенов. Поддерживается только текстовая модальность; конкретный набор языков в README не указан. Вариант FP8 квантизирует веса и активации линейных операторов внутри блоков Transformer, что делает модель ориентированной на эффективный инференс с TensorRT-LLM. Указана совместимость с GPU-архитектурой NVIDIA Blackwell, операционной системой Linux и тестовым оборудованием NVIDIA B200. Ограничения включают зависимость от поддерживаемого NVIDIA-стека и отсутствие опубликованных в README сведений о результатах тестирования, обучающих данных и языковых характеристиках. Калибровка выполнялась на датасете cnn_dailymail, а остальные сведения о наборах данных не раскрыты. Модель доступна для коммерческого и некоммерческого использования по лицензии Apache License 2.0. Перед применением разработчикам рекомендуется самостоятельно оценить качество, безопасность и соответствие модели требованиям конкретной отрасли и сценария.

Qwen3-30B-A3B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия инструкционной языковой модели Qwen3-30B-A3B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях использования, включая работу через совместимые инструменты на устройствах Apple Silicon. Она относится к семейству text-generation и использует архитектуру и характеристики исходной модели Qwen3-30B-A3B-Instruct-2507, однако README не содержит сведений о языках, длине контекста, поддерживаемых модальностях и других архитектурных деталях. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами благодаря 6-битному квантованию и оптимизации под MLX. Ограничения включают возможную потерю точности из-за квантования, зависимость от платформы Apple Silicon и отсутствие в README подробных данных о качестве, производительности и бенчмарках. Модель распространяется по лицензии Apache-2.0.

Qwen3-4B-Instruct-2507-Q8_0-GGUF — это квантизированная версия модели Qwen3-4B-Instruct-2507, преобразованная в формат GGUF проектом ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и работы в диалоговых и инструкционных сценариях; запуск возможен через llama.cpp в режиме CLI или сервера, включая локальное развертывание. Из известных характеристик следует, что это модель размером 4B параметров с инструкционным назначением и квантованием Q8_0. README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекста, поэтому эти свойства нельзя достоверно уточнить. Формат GGUF и совместимость с llama.cpp удобны для локального запуска на различном оборудовании, однако конкретные требования к ресурсам и производительность зависят от используемой конфигурации. Модель распространяется по лицензии Apache-2.0.

TheCluster выпустил MLX-версию Qwen3.5-4B Heretic — мультимодальную диалоговую модель на 4 млрд параметров, доработанную из coder3101/Qwen3.5-4B-heretic. Модель принимает текст и изображения и генерирует текст; поддерживает диалог и режим рассуждений, который по умолчанию отключён. Файлы представлены в формате safetensors с точностью bfloat16 и предназначены для запуска в среде MLX. Версия Heretic создана с помощью Heretic v1.2.0 методом подавления отказов: в приведённой авторами проверке модель отказала в 4 случаях из 100, тогда как исходная Qwen3.5-4B — в 94. Это делает её менее склонной отказываться от запросов, но не гарантирует точность или безопасность ответов. Карточка предлагает разные параметры генерации для общих задач, рассуждений и программирования; повышенный штраф за присутствие может вызывать смешение языков и немного снижать качество. Лицензия — Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это мультимодальная модель на базе Qwen3.5-9B, разработанная DavidAU совместно с Nightmedia. Она представляет собой результат многоэтапного дообучения и слияния нескольких моделей на локальном оборудовании. Модель ориентирована на универсальные сценарии: следование инструкциям, рассуждения, программирование, творческое письмо, художественную литературу и ролевые диалоги. Заявлена как uncensored и heretic-модель, то есть с ослабленными ограничениями на ответы. Модель распространяется в формате GGUF, включая обычные и MTP-варианты для multi-token prediction. Доступны квантизации, в том числе 4- и 8-битные; для GGUF заявлен контекст до 256 тысяч токенов. Поддерживаются текст и изображения, однако для работы с изображениями требуется отдельный файл mmproj. Указаны английский и китайский языки. NEO IMATRIX-квантизация и частично сохранённая 16-битная точность выходного тензора предназначены для повышения качества, а MTP-варианты — для ускорения генерации при достаточном уровне принятия предсказанных токенов. Сильными сторонами заявлены производительность в ряде benchmark-тестов, развитое следование инструкциям, компактный размер, поддержка рассуждений и потенциально высокая скорость локального запуска. Ограничения включают зависимость скорости и эффективности MTP от оборудования, настроек и acceptance rate, а также необходимость подбирать обычный или MTP-вариант под конкретный сценарий. Приведённые результаты получены авторами модели и не гарантируют превосходство над более крупными моделями во всех задачах. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая модель на базе Qwen3.6-27B, представленная DavidAU. Она создана в результате многоэтапного дообучения, нескольких слияний моделей и применения методов Unsloth; в разработке также участвовали Nightmedia, TeichAI, armand0e и trohrbaugh. Для обучения и настройки упоминаются наборы DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель предназначена для широкого круга сценариев: следования инструкциям, решения задач, рассуждений, программирования, диалогов, ролевых взаимодействий и работы с художественными текстами. В README заявлена поддержка vision, а в метаданных указаны английский и китайский языки. Доступны обычные GGUF-квантизации и варианты MTP для многотокенного предсказания; все квантизации обозначены как NEO IMATRIX, а выходной тензор частично сохранён в 16-битной точности. Размер базовой модели — 27 млрд параметров. Заявленные сильные стороны — улучшенное следование инструкциям, общее решение задач и рассуждение, а также сохранение качества на низких уровнях квантизации. Автор сообщает о превосходстве базовой Qwen3.6-27B по большинству из семи внутренних бенчмарков, однако эти результаты приведены в README и требуют независимой проверки. Для MTP-вариантов рекомендуется температура не выше 1 и отключённая репетиция; при низком уровне принятия токенов следует использовать обычную квантизацию. Модель описана как uncensored, поэтому её ответы могут иметь меньше встроенных ограничений безопасности. Лицензия — Apache-2.0.

Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF — открытая многоэтапно дообученная и объединённая модель на базе Qwen3.6-27B. Она создана в сотрудничестве авторов DavidAU, Nightmedia, TeichAI, armand0e и trohrbaugh с использованием Unsloth, специализированных датасетов и нескольких этапов fine-tuning и merge. Модель распространяется в формате GGUF, включая обычные и MTP-варианты с NEO IMATRIX-квантованием. Модель предназначена для широкого спектра задач: следования инструкциям, решения общих и сложных задач, рассуждений, генерации кода, творческого письма, ролевых сценариев и работы с текстом различных жанров. В README заявлена поддержка vision и языков English и Chinese. Указан размер 27B параметров, однако максимальная длина контекста не приведена. MTP-варианты используют multi-token prediction, а MTP-тензоры имеют точность Q8_0; для них рекомендуется температура не выше 1. К заявленным сильным сторонам относятся улучшенное следование инструкциям, рассуждение и общая способность к решению задач, а также высокая точность низкоразрядных квантованных вариантов. README утверждает превосходство над базовой Qwen3.6-27B в большинстве указанных бенчмарков, но эти результаты являются заявлениями автора и не сопровождаются здесь полной воспроизводимой методикой. Возможные ограничения включают зависимость качества и производительности от выбранного кванта и параметров MTP, а также отсутствие подробных данных о контекстном окне и системных требованиях. Модель заявлена как uncensored/heretic, поэтому её ответы могут требовать дополнительной модерации. Лицензия — Apache-2.0. В качестве источников дообучения указаны DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets.

Qwen3.6-27B-V2-abliterated-uncensored-TQ3_1S-GGUF — мультимодальная модель Lemura Labs на основе Qwen3.6-27B, объединённая с производной Jackrong/Qwopus3.6-27B-v2, затем изменённая методом abliteration и квантованная в GGUF TQ3_1S. Она принимает текст и изображения при подключении отдельного файла mmproj.gguf и предназначена для диалогов, рассуждений, программирования и анализа изображений. Модель содержит 27 млрд параметров, использует гибридную архитектуру с GatedDeltaNet и полным attention; заявленная длина контекста — 262 144 токена. Указанная в карточке языковая поддержка включает английский и китайский, а также мультиязычность. В README сообщается, что abliteration снизила частоту отказов в тесте автора с 91 до 4 из 100 при KL-дивергенции 0,0176; эти результаты являются заявлением разработчика. Для инференса именно квантованных весов требуется форк llama.cpp-tq3 с поддержкой TQ3_1S; для обработки изображений необходим отдельный vision-проектор mmproj.gguf. Лицензия — Apache-2.0.

Qwen3.8-27B Abliterated + MTP GGUF — неофициальная производная модель Global Cybersecurity Alliance на базе Qwen/Qwen3.8-27B. Это плотная модель с 27 миллиардами параметров и нативной поддержкой понимания текста, изображений и видео. Модель распространяется в формате GGUF с квантованиями Q8_0, Q6_K, Q4_K_M и Q4_K_S; для каждого варианта предусмотрен соответствующий vision projector mmproj. Базовая модель ориентирована на мультимодальные задачи, управляемый режим рассуждений и работу с длинным контекстом, однако точный размер контекстного окна и перечень поддерживаемых языков в карточке не указаны. В производной версии применено вмешательство Abliterix, направленное на снижение поведения, связанного с отказами. Это может быть полезно для исследовательских и прикладных сценариев, где требуется более свободное следование инструкциям, но эффект не гарантирован и способен ухудшить тон, калибровку, качество рассуждений, точность или соблюдение инструкций. Приведённые в README результаты относятся к отдельной FP8-версии и не являются подтверждёнными показателями GGUF-квантований. Дополнительно доступен BF16 MTP-драфт для speculative decoding в совместимых версиях llama.cpp и других runtime: он может повысить скорость, но требует дополнительной памяти и явной настройки, а выигрыш зависит от оборудования и параметров запуска. Модель не является официальным релизом Qwen, Alibaba Cloud или авторов Abliterix. Лицензия — Apache-2.0.

uzairkhn/Qwen3.8-27B-FP4 — дообученная и 4-битно квантованная версия causal language model Qwen/Qwen3.8-27B. Квантование FP4 выполнено с использованием библиотеки bitsandbytes разработчиком uzairkhanux; исходную модель разработала команда Qwen. Модель предназначена для генерации текста, диалогового взаимодействия, zero-shot и few-shot prompting, а также инференса в прикладных сценариях, где важны сниженные требования к видеопамяти. Это трансформерная авторегрессионная модель размером 27B параметров, доступная в формате FP4. По данным карточки, её потребление памяти снижено примерно с 54 ГБ для исходных 16-битных весов до около 14 ГБ, что позволяет запускать её на одной GPU с 16 ГБ VRAM или конфигурациях вроде двух NVIDIA T4. Модель поддерживает несколько языков, включая английский и китайский, а также другие языки, поддерживаемые базовой моделью. Для загрузки рекомендуется экосистема Hugging Face Transformers и bitsandbytes с возможностью выгрузки части весов в оперативную память. Главное преимущество модели — существенное уменьшение требований к памяти при сохранении возможностей исходной большой языковой модели. Ограничения связаны с потерями качества из-за lossy-квантования: по сравнению с исходными 16-битными или BF16-весами возможно ухудшение сложного рассуждения. Использование CPU offloading снижает скорость генерации, поэтому модель плохо подходит для чувствительных к задержкам производственных систем без оборудования с большим объёмом VRAM. Модель может наследовать предвзятости и ошибки исходных и дообучающих данных; перед применением нужны тестирование и защитные механизмы. Лицензия определяется лицензией базовой модели Qwen/Qwen3.8-27B.

Qwen3.8-27B-GPTQ-W4A8-MTP-Ampere — квантованная версия базовой модели Qwen/Qwen3.8-27B; разработчик в README явно не указан. Модель предназначена для генерации текста и инференса через vLLM, включая сценарии с OpenAI-совместимым API. Профиль запуска рассчитан на текстовые задачи; мультимодальная обработка не включена, несмотря на наличие vision tower в базовой конфигурации. Модель использует GPTQ-квантование: веса декодера представлены в INT4 с размером группы 128, language model head — в INT8, эмбеддинги упакованы в INT8, а MTP-модуль для speculative decoding — в INT4. Предусмотрены FP8 KV-кэш и генерация до трёх черновых токенов MTP за шаг. Заявленная максимальная длина контекста — до 250 000 токенов, однако фактические возможности зависят от доступной памяти и настроек запуска. Для работы требуется две видеокарты NVIDIA с 24 ГБ VRAM, например RTX 3090, Linux с совместимыми CUDA и драйверами, Python 3.11 и строго указанная версия vLLM 0.27.1. К сильным сторонам относятся снижение требований к памяти по сравнению с полноразмерной BF16-моделью и ускорение генерации благодаря speculative decoding. Ограничения включают возможное ухудшение качества из-за квантования весов и FP8 KV-кэша, необходимость специального compatibility layer и отказ от запуска с другими версиями vLLM, а также привязку тестового профиля к двум GPU. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-TURBO-fcf-GGUF — открытая многоэтапная fine-tune-модель на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU, опубликованная в формате GGUF. В README указаны разработчик базовой модели и участники обучения DavidAU и его команда; для обучения применялись Unsloth, методы COLD FUSION и Fable Fusion 711, а также наборы данных DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Репозиторий содержит обычные и MTP-квантизации, включая варианты для 4- и 8-битного запуска на потребительском оборудовании. Модель предназначена для широкого спектра задач: рассуждений и решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и других текстовых применений. Заявленная особенность TURBO-версии — сокращение объёма внутреннего рассуждения по сравнению с обычной Qwen3.8 при сохранении детализации и качества ответов, что должно повышать скорость генерации и снижать расход токенов. В метаданных указаны английский и китайский языки; контекстное окно и точный набор поддерживаемых модальностей в README не описаны, хотя pipeline_tag указывает image-text-to-text. Ключевые характеристики — около 27 млрд параметров, архитектура на базе Qwen3.8, поддержка трёх режимов рассуждения согласно описанию автора, а также обычных и MTP GGUF-квантов. README заявляет высокие результаты на ARC-C и ARC-E и превосходство базовых моделей по нескольким бенчмаркам, однако эти утверждения не подтверждены независимыми данными в предоставленном тексте. Модель обозначена как uncensored, поэтому её ответы могут быть менее ограниченными с точки зрения защитных фильтров; конкретные требования к оборудованию и контексту запуска не приведены. Указанная лицензия — Apache-2.0.

Ma7ee7/Qwen3.8_4B_Distilled_GGUF — набор квантованных версий модели Ma7ee7/Qwen3.8_4B_Distilled, созданной независимым разработчиком на основе Qwen3-4B-Thinking-2507. Модель обучена методом sequence-level knowledge distillation на ответах и рассуждениях, сгенерированных моделью qwen3.8-max-preview, и не является официальным релизом Qwen или Alibaba. Распространяется в формате GGUF для запуска через llama.cpp, LM Studio, Ollama, Jan и другие совместимые приложения. Это decoder-only causal language model архитектуры Qwen3 примерно с 4 миллиардами параметров. Она предназначена для генерации текста, диалогов и задач, требующих рассуждений; режим thinking включён. Основным языком указан английский. В README приведены параметры контекста до 32 768 токенов, однако заявленные возможности могут зависеть от используемого приложения и квантования. Доступны варианты Q4_K_M, Q5_K_M и Q8_0: Q4_K_M рекомендуется как баланс качества, скорости и потребления памяти, Q5_K_M обеспечивает более высокую точность, а Q8_0 — наибольшую точность при максимальных требованиях к памяти. Модель компактнее исходной учительской системы и удобна для локального запуска, но не должна рассматриваться как эквивалент qwen3.8-max-preview: её возможности ограничены размером студенческой модели и потерями от квантования. В карточке указана лицензия Apache-2.0.

Qwen3-Swallow 32B RL v0.2 AWQ-INT4 — квантованная 4-битная версия большой языковой модели, разработанная командой Tokyo Institute of Technology под названием tokyotech-llm на основе Qwen3. Модель дообучалась с использованием непрерывного предварительного обучения, supervised fine-tuning и reinforcement learning with verifiable rewards (RLVR), включая датасеты по математике, программированию, рассуждениям и диалогам. Модель предназначена для генерации текста, общения, японско-английского перевода, решения математических задач, программирования и задач, требующих развитого рассуждения. Она оптимизирована для японского и английского языков. Размер исходной модели составляет 32 млрд параметров; архитектурные детали и токенизатор соответствуют Qwen3. Рекомендуется использовать контекст длиной не более 32 768 токенов и параметры генерации temperature 0,6, top-p 0,95 и top-k 20. К сильным сторонам относятся высокая двуязычная компетентность, улучшенные возможности рассуждения и сохранение производительности в математике и программировании. Для данной AWQ-квантизованной версии результаты оценки пока не опубликованы. Модель не обучалась специально для использования инструментов и function calling, а переключение режима рассуждений ON/OFF не поддерживается. Лицензия — Apache-2.0.

QwenQwen2.5-7B-IT-Dare — объединённая диалоговая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом DARE TIES на основе Qwen/Qwen2.5-7B-Instruct. В карточке перечислена только эта базовая модель, поэтому объединение фактически описано как слияние её весов с коэффициентами 1 и плотностью 1. Модель содержит 7,1 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. Она подходит для диалогов и генерации текста, а интерфейс также поддерживает вызов инструментов. Репозиторий использует библиотеку Transformers и формат safetensors. Лицензия в предоставленных данных не указана. Как и у базовой модели, качество ответов может зависеть от запроса; карточка не приводит результатов оценки или специальных ограничений применения.

Seed-OSS-36B-Base — базовая языковая модель семейства Seed-OSS, разработанная командой ByteDance Seed. Репозиторий AIArchiveInfo является побайтной архивной копией ByteDance-Seed/Seed-OSS-36B-Base: веса не обучались и не изменялись. Модель содержит 31,7 млрд параметров по метаданным и использует плотную авторегрессионную архитектуру SeedOssForCausalLM с RoPE, GQA, RMSNorm и SwiGLU. Модель предназначена для генерации текста общего назначения, задач рассуждения и длинного контекста, а также для разработки агентных систем. Она рассчитана на международное применение и поддерживает контекст до 524 288 токенов. Вариант Base обучен с синтетическими инструкционными данными в предобучении; это базовая модель, а не отдельная Instruct-версия. Модель распространяется по лицензии Apache-2.0. К сильным сторонам относятся нативная работа с длинным контекстом, настраиваемый бюджет рассуждений и заявленные разработчиком возможности для задач с использованием инструментов. Это текстовая модель: README не сообщает конкретный перечень поддерживаемых языков. Как базовый чекпойнт, она может требовать дополнительной настройки для диалоговых сценариев и прикладного развертывания.

Typhoon2-Qwen2.5-7B-Instruct — инструктивная языковая модель, разработанная командой Typhoon AI и дообученная на базе Qwen2.5-7B. Это плотная авторегрессионная модель архитектуры Qwen2 с 7,1 млрд параметров, предназначенная для диалога и выполнения инструкций на тайском и английском языках. Метаданные указывают контекст до 32 768 токенов; для более длинных текстов README описывает расширение контекста с помощью YaRN. Модель подходит для диалоговых помощников, вызова функций, решения математических задач, программирования и работы с длинными текстами. В приведённых разработчиками оценках она показывает результаты на тайском и английском языках, включая задачи следования инструкциям и переключения между языками. Модель принимает текст и генерирует текст. Это развивающаяся модель: ответы могут быть неточными, предвзятыми или нежелательными, поэтому её следует оценивать применительно к конкретному сценарию. Расширение контекста YaRN может ухудшить качество на коротких запросах при статическом масштабировании. Распространяется по лицензии Apache-2.0.

XVERSE-65B — мультиязычная базовая большая языковая модель, самостоятельно разработанная компанией Shenzhen Yuanxiang Technology. Она построена на плотной архитектуре Decoder-only Transformer и предназначена для генерации текста, включая продолжение запросов и подготовку материалов для многошагового диалога, ответов на вопросы и суммаризации. В модели 65,6 млрд параметров, контекст — до 16 384 токенов; она использует BPE-токенизатор с словарём из 100 534 токенов и распространяется в формате PyTorch. Модель обучена на 2,6 трлн токенов из веб-страниц, кода, энциклопедий, книг, научных публикаций и других источников. README указывает поддержку 41 естественного языка, включая китайский, английский, русский и испанский; наибольшие доли обучающих данных приходятся на английский и китайский. Лицензия Apache-2.0. Это базовая, а не специально настроенная для диалога модель, поэтому качество следования инструкциям и ответы в формате ассистента не гарантируются; возможны ошибки и смещения, характерные для генеративных языковых моделей.