II.3Рефакторинг, миграция и модернизация

Карточка модели Tofilhehe/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Qwen3.6-27B-NInfer — мультимодальная модель для генерации текста и обработки изображений и видео, подготовленная Neroued на основе Qwen/Qwen3.6-27B. Это не стандартный checkpoint для Transformers, Safetensors или GGUF, а артефакт в нативном формате .ninfer, предназначенный для запуска через NInfer. Модель поддерживает режимы с рассуждением и без него, текстовые, мультиизображенческие, видео- и смешанные мультимодальные сообщения. Указана архитектура Qwen3_5ForCausalLM; размер файла составляет около 16,29 ГиБ. Доступны MTP-спекулятивное декодирование, различные форматы KV-кэша, CUDA Graph, повторное использование совместимого префикса и небольшое параллельное обслуживание запросов. При запуске сервера заявлен логический предел контекста до 240 000 токенов. Поддерживаемые языки в карточке не указаны. Модель подходит для локальной генерации текста, диалоговых приложений, задач рассуждения, анализа изображений и видео, а также для развёртывания через NInfer CLI или совместимые интерфейсы OpenAI Responses, Chat Completions и Anthropic Messages. Среди ограничений — необходимость использовать NInfer, сборку из исходного кода, 64-битный Linux, NVIDIA GeForce RTX 5090 с архитектурой sm_120a и CUDA Toolkit 13.1 или новее; готового установочного пакета NInfer не предоставляется. В карточке приведены результаты на AIME 2025, AIME 2026 и GPQA-Diamond, но методика и полный набор измерений ограничены описанными условиями. Лицензия — Apache-2.0.

Ex0bit/Qwen3.6-35B-A3B-PRISM-NVFP4 — мультимодальная модель для генерации текста, основанная на Qwen/Qwen3.6-35B-A3B и доработанная проектом Ex0bit с использованием настройки PRISM. PRISM направлена на смягчение чрезмерных отказов, удаление нежелательных проявлений предвзятости и пропагандистских шаблонов при сохранении или улучшении качества выполнения задач, связности ответов и мультимодальных возможностей. Модель использует разреженную архитектуру Mixture-of-Experts: общий размер составляет 35 млрд параметров, около 3 млрд параметров активируются для каждого токена, предусмотрено 256 маршрутизируемых экспертов. Веса и активации квантованы в формат NVFP4 W4A4 с использованием compressed-tensors; некоторые компоненты, включая vision encoder, lm_head, роутеры, embeddings и состояние линейно-внимательной SSM, сохранены в BF16. Доступна поддержка мультимодального ввода и MTP draft head для ускоренного спекулятивного декодирования. В README приведён режим обслуживания с ограничением контекста 32768 токенов. Ключевые преимущества модели — существенно сниженные требования к хранению, поддержка мультимодальных сценариев, MoE-эффективность и возможность спекулятивного декодирования. Основные ограничения связаны с аппаратной и программной совместимостью: модель рассчитана прежде всего на GPU NVIDIA Blackwell с архитектурами SM120/SM121 и требует версии vLLM с поддержкой NVFP4; стандартные сборки могут работать некорректно, особенно на SM121. Лицензия Apache 2.0 унаследована от базовой модели.

ionos/Qwen3.8-27B-GPTQ-Int4 — неофициальная 4-битная GPTQ-квантизация мультимодальной модели Qwen/Qwen3.8-27B, созданная сообществом с использованием LLM Compressor. Модель предназначена для работы с текстом и изображениями: она поддерживает понимание документов, визуальное восприятие и рассуждения, математические задачи по изображениям, работу с инструментами и выполнение инструкций. В README явно приведены результаты для английского и немецкого языков; полный список поддерживаемых языков и размер контекстного окна не указан. Используется схема W4A16 с группами по 128 весов и симметричной GPTQ-квантизацией. Большинство линейных модулей языковой части модели в 64 слоях квантизированы до 4 бит, тогда как vision tower, эмбеддинги, lm_head и некоторые небольшие чувствительные компоненты сохранены в BF16. Архитектура, токенизатор, chat template и конфигурация процессора не изменены относительно базовой модели, а объём весов составляет примерно треть от версии BF16. Модель рассчитана на запуск, в частности, через vLLM; для неё требуется свежая версия transformers. По приведённым сравнениям модель в целом сохраняет качество базовой версии в задачах понимания документов, визуального рассуждения и английских знаний. Отдельно отмечено снижение результата на немецком языке примерно на 3 процентных пункта, поэтому немецкоязычные сценарии требуют собственной проверки. Результаты для tool calling и instruction following близки к базовой модели, но их абсолютные значения в тесте снижены особенностями измерения с включённым reasoning. Для табличного вывода рекомендуется использовать JSON-схему или грамматику с последующей валидацией. Модель распространяется по лицензии Apache-2.0, однако сама квантизация не является официальной и не проверялась командой Qwen или Alibaba Cloud.

Qwen3.8-27B-OQ3-GGUF — квантованная версия Qwen3.8-27B, подготовленная Ora Computing методом посттренировочной калибровочной квантизации. Модель предназначена для диалогов и генерации текста; с дополнительным vision-проектором GGUF поддерживает также входные изображения и видео. Репозиторий содержит файл модели размером 10,54 ГБ со средней точностью 3,026 бита на вес и отдельный проектор изображения размером 0,93 ГБ. В основной файл встроена голова многотокенного предсказания, которую можно использовать для ускорения декодирования в совместимых версиях llama.cpp. По приведённым в карточке тестам модель сохраняет 95,4% совокупного результата исходной версии bf16 на MMLU-Pro и AIME-25, занимая примерно в 5,3 раза меньше места. Для запуска автор рекомендует llama.cpp; заявленный родительский чекпойнт — Qwen/Qwen3.8-27B. Лицензия указана как other, поэтому условия использования следует проверять на странице репозитория.

SImi-2B — генеративная языковая модель, разработанная Dakuwon Moody. Это публичное распространение только весов модели SImiModel без исходного кода архитектуры, обучающего кода и полного внутреннего дерева восстановления. Модель предназначена для генерации текста, следования инструкциям, агентских сценариев и использования инструментов, включая задачи с tool use и function calling. Модель представляет собой decoder-only causal language model в стиле Llama, реализованную на JAX/Flax. Она содержит примерно 2,32 млрд параметров, 30 слоёв, скрытую размерность 2560, GQA с 20 query heads и 4 KV heads, RoPE, RMSNorm и SwiGLU. Используется untied token embedding и LM head, токенизатор GPT-2 BPE с 50 257 токенами и максимальная длина последовательности 1024 токена. Вычисления и веса имеют тип bfloat16. В README указан английский язык модели. Сильными сторонами являются обучение на полноразмерных потоках данных для инструкционного, агентского и инструментального использования, а также компактный размер по сравнению с крупными языковыми моделями. Ограничения включают отсутствие поддержки hosted inference, отсутствие исходного кода и несовместимость с Transformers AutoModel.from_pretrained; для восстановления требуются JAX/Flax и специфические процедуры работы с Orbax. Модель обучалась на AMD Instinct MI300X. Распространяется по лицензии Apache-2.0.

T145/ZEUS-8B-V12 — объединённая авторами репозитория языковая модель на архитектуре Llama 3.1 с 7,5 млрд параметров. Она создана методом DARE TIES на основе unsloth/Meta-Llama-3.1-8B-Instruct с добавлением arcee-ai/Llama-3.1-SuperNova-Lite, unsloth/Llama-3.1-Storm-8B и Orenguteng/Llama-3.1-8B-Lexi-Uncensored-V2. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции; метаданные также отмечают интерфейс для вызова инструментов. Она принимает текст и поддерживает контекст до 131 072 токенов. Репозиторий использует Transformers и хранит веса в формате safetensors. README приводит результаты оценивания на Open LLM Leaderboard, в том числе 78,16% на IFEval и среднее значение 30,26% по указанным метрикам. В состав объединения входит модель с пометкой uncensored, поэтому при использовании стоит учитывать возможность генерации нежелательного или небезопасного текста. Условия лицензирования в предоставленных данных не приведены.

Albatrox7B — объединённая языковая модель на архитектуре Mistral, созданная сообществом с помощью mergekit. Она получена методом SLERP из NousResearch/Nous-Hermes-2-Mistral-7B-DPO и mlabonne/AlphaMonarch-7B; в репозитории указана конфигурация bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на инструкции и рассуждения. Число параметров — 7,1 млрд, заявленный контекст — до 32 768 токенов. Лицензия и поддерживаемые языки в предоставленных данных не указаны.

Aya Expanse — открытая исследовательская мультиязычная языковая модель, разработанная Cohere For AI на основе предварительно обученных моделей семейства Command. В README указаны варианты с 8 и 32 млрд параметров. Модель предназначена для генерации текста и работы с широким кругом языковых задач в многоязычных сценариях. Модель поддерживает 23 языка и создавалась с использованием исследований в области data arbitrage, мультиязычного обучения на предпочтениях, настройки безопасности и объединения моделей. Она может применяться в локальных приложениях и инструментах, поддерживающих Cortex или Jan. Модальность — текстовая; сведения о точной архитектуре, максимальной длине контекста и перечне поддерживаемых языков в README не приведены. К сильным сторонам относятся широкий мультиязычный охват, наличие двух вариантов размера и открытые веса, что делает модель пригодной для исследовательского и локального использования. Ограничения включают отсутствие в предоставленных данных подробных характеристик качества, архитектуры, контекстного окна и требований к ресурсам. В метаданных указана лицензия CC BY-SA 4.0, а для оригинальной модели в разделе Credits приведена ссылка на C4AI CC-BY-NC License; условия следует уточнить для конкретного варианта и сценария использования.

Bonsai 2 27B 1bit CRACK GGUF — языковая и визуальная модель, разработанная командой dealignai на основе тернарно сжатой PrismML версии Qwen3.8-27B. Из модели удалены механизмы отказа на уровне весов, при этом заявлено сохранение общих возможностей, режимов рассуждения, инструментального использования и многотуровой связности. Модель предназначена для генерации текста, рассуждений, работы с инструментами и обработки изображений в совместимом окружении llama.cpp. Модель использует гибридную архитектуру Attention и SSM на базе GatedDeltaNet: 64 блока, размер скрытого состояния 5120 и отдельная vision tower. Применяется квантование PrismML PTQ1_0 с тернарными весами, группами по 128 и эффективным размером около 2,13 bpw; файл занимает примерно 5,95 ГБ. Поддерживаются режимы рассуждения off, low и xhigh, а для обработки изображений требуются совместимые mmproj-файлы. Запуск заявлен на CPU, CUDA и Metal, включая ноутбуки и системы с одной GPU. Сильной стороной является низкое потребление памяти при сохранении класса модели 27B, а также отсутствие встроенных отказов, что делает модель пригодной для исследовательских и экспериментальных сценариев, где требуется высокая исполнительность. Однако заявленная abliteration снижает защитные ограничения, поэтому модель не следует использовать без собственного контроля безопасности. Результаты MMLU показывают небольшое снижение точности относительно базовой версии, а для старых сборок была отмечена ошибка зацикливания токенов в режимах low и xhigh; рекомендуется использовать версию, выпущенную после 18 сентября 2026 года. Лицензия — Apache-2.0.

TechxGenus/gemma-1.1-2b-it-GPTQ — GPTQ-квантизированная версия Gemma 1.1 2B IT, разработанной Google. Это компактная decoder-only языковая модель с открытыми весами, предназначенная для генерации и обработки текста на английском языке. Модель ориентирована на ответы на вопросы, суммаризацию, рассуждения, написание текста, программирование, следование инструкциям и многошаговые диалоги. Версия Gemma 1.1 обучалась с применением RLHF и, по сравнению с исходным выпуском, получила улучшения в качестве ответов, кодировании, фактичности, следовании инструкциям и многоходовом взаимодействии. Квантизация GPTQ снижает требования к ресурсам и может упростить локальный запуск, однако потенциально сопровождается потерей качества по сравнению с исходными весами. Модель работает только с текстом; поддержка изображений, аудио и других модальностей не указана. Размер — 2B параметров, максимальная длина контекста в карточке не приведена. Модель компактнее крупных языковых моделей и подходит для запуска на ноутбуке, настольном компьютере или собственной облачной инфраструктуре, но её меньший размер может ограничивать качество сложных рассуждений и объём знаний. Использование регулируется лицензией Gemma и условиями Google; для доступа на Hugging Face требуется принять соответствующую лицензию.

AxionML Gemma-4-12B-FP8 — квантизированная версия мультимодальной модели Google Gemma-4-12B-it, разработанная AxionML для открытого использования и производительного развертывания. Модель поддерживает сценарии image-text-to-text и рассчитана на применение в задачах обработки текста, изображений и аудио, включая диалоговые приложения, рассуждения и вызовы инструментов. Точный список языков и размер контекстного окна в карточке не указаны. Модель содержит около 11,95 млрд параметров. Веса линейных слоёв преобразователя квантизированы в FP8 E4M3 по блокам 128×128 с MSE-калибровкой, активации сохраняются в BF16, а KV-кэш хранится в FP8. Мультимодальные эмбеддеры и lm_head оставлены в BF16. Размер чекпойнта составляет около 13 ГБ вместо примерно 24 ГБ у версии BF16. По данным README, такая схема сохраняет качество на GSM8K и поддерживает запуск на GPU NVIDIA Hopper и Blackwell, включая H100 и H200. Сильными сторонами являются уменьшенное потребление памяти, сохранение активаций в BF16 для защиты от потери качества и совместимость с оптимизированными средствами обслуживания SGLang и TensorRT Model Optimizer. Ограничение состоит в том, что для работы требуются совместимые версии программного обеспечения и поддерживаемое оборудование; стандартная квантизация активаций W8A8 для этой модели, согласно README, заметно ухудшает качество. Указана лицензия Apache-2.0.

GLM-5.3-Flash — EXL3 4.65bpw — это квантизированная версия модели GLM-5.3-Flash-BF16, разработанной Z.ai. Квантизация выполнена в формате EXL3 с использованием инструментария exllamav3; модель предназначена для запуска через ExLlamaV3 версии 1.4.5 или новее. В сборку включены vision tower и компонент MTP для ускорения генерации. Модель рассчитана на задачи обработки и генерации текста, а также на мультимодальные сценарии с изображениями. В карточке заявлены английский и китайский языки, а максимальный контекст составляет 262 144 токена. Размер модели на диске — около 189,6 ГБ, эффективная разрядность — 4,67 bpw; для загрузки требуется примерно 210 ГиБ VRAM плюс значительный объём памяти под кеш. Конфигурация содержит 45 декодерных слоёв и 35 файлов-шардов. К сильным сторонам относятся существенное снижение требований к памяти по сравнению с исходной BF16-версией, включённая поддержка MTP и vision tower, а также высокая скорость обработки длинных контекстов на многокарточной конфигурации. Ограничения — очень высокие аппаратные требования, необходимость совместимого рантайма ExLlamaV3 и корректной настройки распределения GPU; приведённые показатели производительности относятся к конкретной конфигурации из четырёх ускорителей CMP 170HX. Модель и её квантизированная версия распространяются по лицензии MIT.

ibm-granite/granite-3.3-8b-instruct-GGUF — это семейство версий модели IBM Granite 3.3 8B Instruct, преобразованных в формат GGUF с различными уровнями квантования. Модель разработана IBM и предназначена для генерации текста и выполнения инструкций в сценариях, поддерживаемых базовой моделью ibm-granite/granite-3.3-8b-instruct. Из доступных данных известно, что модель относится к классу text-generation и имеет около 8 миллиардов параметров. Формат GGUF удобен для локального запуска совместимыми средствами вывода, а выбор квантования позволяет находить компромисс между качеством, скоростью работы и требованиями к памяти. Конкретные поддерживаемые языки, размер контекста, архитектурные детали и различия между вариантами квантования в предоставленной карточке не указаны. Сильными сторонами являются инструкционное назначение базовой модели и возможность локального использования в компактных квантованных вариантах. Ограничения зависят от выбранного уровня квантования и характеристик среды запуска; точные сведения о качестве, мультимодальности и специализированных сценариях отсутствуют. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Hermes-2-Pro-Mistral-7B-GGUF — квантизированная версия языковой модели Hermes 2 Pro на базе Mistral 7B, созданная с использованием llama.cpp. Исходную модель разработали Nous Research при участии interstellarninja и Fireworks.AI; для обучения использовались очищенная версия датасета OpenHermes 2.5 и собственные наборы данных для вызова функций и генерации структурированного JSON. Модель предназначена для диалогов, выполнения общих текстовых задач, следования инструкциям, ролевых сценариев, вызова функций и выдачи данных в формате JSON. Она использует шаблон ChatML, поддерживает системные сообщения и многоходовые диалоги, а также специальную структуру для function calling. Заявлены результаты 90% на внутренней оценке вызова функций и 84% на оценке структурированного JSON-вывода. Модель относится к текстовым генеративным моделям, поддерживает английский язык и имеет размер базовой архитектуры 7 миллиардов параметров. Формат GGUF и квантизация ориентированы на запуск через совместимые инструменты, включая llama.cpp, однако конкретный уровень квантизации в README не указан. Контекстное окно также не указано. Ограничениями являются специализация на английском языке, меньшие возможности по сравнению с более крупными моделями и возможная потеря качества из-за квантизации. Модель распространяется по лицензии Apache 2.0.

HyperLlama-3.1-8B — языковая модель для генерации текста и диалогов, созданная объединением моделей Replete-AI, Dampfinchen и Orenguteng с помощью mergekit. Она основана на плотной архитектуре Llama и содержит 7,5 млрд параметров; для объединения использован метод model_stock, веса представлены в формате safetensors. Модель подходит для ответов на инструкции и ведения диалога, а метаданные также отмечают интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. В README приведены результаты Open LLM Leaderboard: средний балл 28,07, IFEval — 78,83 и BBH — 29,81. В состав объединения входит вариант Lexi Uncensored V2, поэтому ответы могут быть менее ограниченными по содержанию. Модель распространяется по лицензии Apache-2.0.

ClaudioItaly/Inside-7B — объединённая плотная языковая модель семейства Qwen2, созданная автором репозитория с помощью mergekit и метода TIES на базе happzy2633/qwen2.5-7b-ins-v3. В объединение вошли AIDC-AI/Marco-o1 и prithivMLmods/QwQ-LCoT-7B-Instruct; модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в диалоговом формате. Модель подходит для диалога, следования инструкциям и многошагового решения задач; максимальный контекст составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна через библиотеку Transformers. Лицензия в предоставленных данных не указана.

amd/Kimi-K3-Quark-MXFP4 — мультимодальная модель на базе moonshotai/Kimi-K3, разработанная и оптимизированная Advanced Micro Devices, Inc. Она предназначена для генерации текста по текстовым, графическим и видеовходам, а также для задач рассуждения, включая работу с инструментами. Архитектура указана как KimiK3ForConditionalGeneration; выход модели — текст. Модель квантизирована с помощью AMD-Quark: веса и активации используют формат OCP MXFP4, а слои self-attention — PTPC-FP8. В MoE-компонентах experts и shared_experts применяется OCP MXFP4. README не содержит сведений о количестве параметров, длине контекста и поддерживаемых языках. Для запуска заявлена совместимость с AMD MI350 и MI355, ROCm 7.1.1, PyTorch 2.10.0, Transformers 5.2.0 и Linux; в качестве inference engine используются vLLM и, для оценки, SGLang. К сильным сторонам относятся мультимодальность и снижение требований к памяти и вычислениям благодаря квантизации. На тесте GSM8K модель показала 96,36 против 96,82 у исходной moonshotai/Kimi-K3, что соответствует восстановлению 99,52% исходного результата. Ограничения включают зависимость от совместимого оборудования и программного стека, а также необходимость специальных настроек vLLM для воспроизведения указанной конфигурации. Лицензия обозначена как other с названием kimi-k3; модификации защищены авторским правом Advanced Micro Devices, Inc. за 2026 год.

Карточка модели microperceptron/Kimi-Linear-48B-A3B-Instruct на Hugging Face совпадает с карточкой moonshotai/Kimi-Linear-48B-A3B-Instruct, поэтому описание составлено по ней. Kimi-Linear-48B-A3B-Instruct — разговорная языковая модель от Moonshot AI на архитектуре Kimi Linear. Это гибридная MoE-модель с Kimi Delta Attention и глобальными слоями MLA: в семействе указаны 48 млрд общих и 3 млрд активируемых параметров. Репозиторий содержит веса safetensors и предназначен для генерации текста в диалоговом формате. Модель рассчитана на диалоги и задачи с длинным контекстом. В README для версии Instruct заявлена длина контекста до 1 млн токенов, а архитектура сокращает потребность в KV-кэше и ускоряет декодирование на длинных последовательностях. Для запуска предлагаются Transformers с fla-core и развёртывание через vLLM. Лицензия — MIT. README описывает результаты бенчмарков, но не приводит оценки по всем сценариям; фактическая скорость и качество зависят от оборудования и настроек инференса.

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.1 — чат-модель, созданная MaziyarPanahi слиянием Mistral-7B-Instruct-v0.1 и LeoScorpius-7B-Chat-DPO методом SLERP. Она предназначена для генерации ответов на инструкции и ведения диалогов. Модель использует плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текстовые ответы. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Метаданные не указывают языковую специализацию модели.

Ling-3.0-flash-GGUF — текстовая генеративная модель, разработанная командой inclusionAI. Это следующее поколение нативной гибридной reasoning-модели, предназначенной для генерации текста и решения задач, требующих рассуждений. Модель доступна в формате GGUF и может использоваться в совместимых локальных средах инференса. Модель содержит 124 млрд общих параметров, при этом активными во время обработки являются около 5,1 млрд параметров. По заявлению разработчиков, такая архитектура позволяет ей соответствовать или превосходить предыдущую флагманскую модель на ключевых бенчмарках при значительно меньшем числе активных параметров. Поддерживаемые языки, максимальная длина контекста, конкретные модальности и детальные результаты тестирования в предоставленной карточке не указаны. Сильными сторонами модели заявлены гибридное reasoning и высокая эффективность за счёт активации только части параметров. Ограничения и требования к аппаратному обеспечению, особенности квантования GGUF, языковые возможности и применимые сценарии следует уточнять в полной карточке модели. Модель распространяется по лицензии MIT.

Llama3.1-Dark-Enigma — объединённая языковая модель на архитектуре Llama 3.1, опубликованная пользователем agentlans. По карточке модели, веса нескольких моделей Llama 3.1 8B объединены методом model_stock из mergekit; метаданные указывают 7,5 млрд параметров и контекст до 131 072 токенов. Модель работает с текстом и предназначена для генерации ответов и диалога. Модель подходит для анализа текстов и исследовательских идей, написания и редактирования материалов, ролевых диалогов и помощи с кодом. Карточка характеризует её как uncensored, поэтому она может отвечать на чувствительные темы. Указана лицензия Llama 3.1; использование должно соответствовать её условиям. В карточке отмечено, что качество не оценивалось конкретными метриками. Модель может ошибаться в фактах, особенно при ответах без предоставленного контекста; результаты следует проверять. Она не подключается к интернету и, согласно карточке, не знает специфичных API, библиотек и фреймворков.

Llama-3.1-Tulu-3-70B-DPO — англоязычная инструкционная модель Allen Institute for AI, дообученная методом DPO на базе allenai/Llama-3.1-Tulu-3-70B-SFT. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый шаблон и контекст до 131 072 токенов. Модель предназначена для диалогов, следования инструкциям, рассуждений и решения разнообразных задач, включая математические задачи и оценку следования инструкциям. В карточке приведены результаты на нескольких бенчмарках, однако они не гарантируют качество для конкретного сценария. Модель имеет ограниченную настройку безопасности и может выдавать проблемный контент, особенно по соответствующему запросу. Для использования доступны веса в форматах PyTorch и Safetensors через Transformers. Лицензия — Llama 3.1 Community License Agreement; перед применением следует учитывать её условия.

MiniMax-M3-AWQ-int4 — это 4-битная квантованная версия модели MiniMax-M3, разработанной MiniMaxAI, подготовленная репозиторием spectator2026 для запуска на видеокартах NVIDIA A100 через vLLM. Модель предназначена для генерации текста и обработки изображений с поддержкой tool calling, рассуждений и режимов thinking/non-thinking. Она рассчитана на использование в серверных системах, где важны большой контекст и эффективное размещение крупной MoE-модели на оборудовании с архитектурой Ampere. Модель содержит около 428 млрд параметров, из которых примерно 23 млрд активируются на токен, и использует разреженную архитектуру Mixture of Experts с MiniMax Sparse Attention. Заявлен нативный контекст до 1 048 576 токенов, а также мультимодальность text + vision. Применена квантовка AWQ W4A16 с group size 128 только к маршрутизируемым экспертным проекциям MoE; attention, router, общие и плотные слои, embeddings, lm_head и vision tower сохранены в более высокой точности. Размер весов уменьшен примерно с 796 до 225 ГБ. Сильными сторонами являются поддержка текста и изображений, очень длинного контекста, инструментов и рассуждений, а также возможность запуска на A100 в конфигурациях TP-8 или TP-4. Для работы требуется vLLM с тремя специальными патчами, параметр block size 128 и доверие удалённому коду. Ограничения включают высокие требования к GPU-памяти, необходимость ручной настройки vLLM и компромисс между длиной контекста и количеством реплик. По данным README, расхождение с исходной bf16-версией на тесте wikitext составляет около 0,16 KL-дивергенции. Указана лицензия minimax-community; точные условия следует проверять в файле LICENSE.

Это диалоговая языковая модель Mistral-7B-model_45k6e2e4-Mistral-7B-Instruct-v0.2-slerp, созданная объединением моделей mistralai/Mistral-7B-Instruct-v0.2 и pankajmathur/Mistral-7B-model_45k6e2e4 методом SLERP с помощью mergekit. В основе — плотная архитектура MistralForCausalLM с 7,1 млрд параметров; веса опубликованы в формате safetensors и BF16. Модель предназначена для диалоговой генерации текста и выполнения инструкций. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов. Лицензия — Apache-2.0. Карточка не описывает отдельные оценки качества или специализированные области применения. Практическая эффективность зависит от задачи и способа использования; отдельные языковые приоритеты не заявлены.

Mistral-Large-Instruct-2407-4bit — крупная инструкционная языковая модель семейства Mistral, подготовленная сообществом mlx-community. Она конвертирована из mistralai/Mistral-Large-Instruct-2407 в формат MLX с использованием mlx-lm и предназначена для запуска на устройствах, поддерживающих экосистему MLX. Модель содержит около 122,2 млрд параметров, использует 4-битную квантизацию и поддерживает контекст длиной до 32 768 токенов. Она ориентирована на генерацию текста по инструкциям: диалоги, ответы на вопросы, составление и редактирование текстов, суммирование и другие сценарии применения общей языковой модели. Поддерживаются английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Для использования требуется библиотека mlx-lm. 4-битная квантизация уменьшает требования к памяти, но может снижать точность по сравнению с полноточной или менее квантизованной версией. Модель распространяется по лицензии Mistral Research License (MRL-0.1), указанной в карточке как license: other.

MyAwesomeModel — модель из репозитория dfdgdg333/MyAwesomeModel-TestRepo, доступная через библиотеку Transformers. В метаданных Hugging Face она классифицирована как модель для извлечения признаков и связана с архитектурой BERT; README при этом описывает обновлённую версию как модель с улучшенными рассуждениями, пониманием текста, генерацией кода и диалогами. Согласно README, модель предназначена для сложных задач рассуждения, математических и логических задач, ответов на вопросы, классификации текста, анализа тональности, суммаризации, перевода, генерации кода и диалогов. Также заявлены поддержка системного промпта, function calling, загрузки файлов и генерации с использованием результатов веб-поиска. Для запуска рекомендуется температура 0,6. К сильным сторонам относятся заявленные улучшения рассуждений, снижение частоты галлюцинаций и широкие результаты на бенчмарках, включая математику, программирование и понимание языка. Однако метаданные указывают pipeline-задачу feature-extraction, а README не содержит надёжных сведений о размере модели, длине контекста, поддерживаемых естественных языках или точной конфигурации архитектуры. Модель распространяется по лицензии MIT.

heretic-org/Nanbeige4.1-3B-heretic — англо-китайская разговорная языковая модель на 3,5 млрд параметров, созданная на основе Nanbeige/Nanbeige4.1-3B. Это вариант с abliteration: в карточке приведено сравнение, где доля отказов снизилась с 96 до 4 из 100, а KL-дивергенция относительно исходной модели указана как 0,0001. Модель рассчитана на генерацию текста и диалоги; базовая модель ориентирована на многошаговые рассуждения, программирование, поиск и работу с инструментами. Модель использует плотную архитектуру семейства Llama и доступна в формате Safetensors для Transformers. Заявленная длина контекста — 262 144 токена. В README базовой модели описаны сильные результаты в задачах рассуждения и агентного поиска, включая многошаговое решение задач с вызовами инструментов; метаданные указывают поддержку английского и китайского языков. Лицензия — Apache-2.0. В README отмечено, что модель может выдавать неожиданные ответы, включая предвзятое или дискриминационное содержание. Снижение числа отказов может означать, что модель чаще отвечает на запросы, которые исходная версия отклоняет; при применении следует учитывать это поведение.

NexoNimbus-7B — объединённая модель разработчика abideen на базе Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и применения в качестве языковой модели общего назначения. Модель получена слиянием abideen/DareVox-7B и udkai/Garrulus методом SLERP; в конфигурации указан контекст до 32 768 токенов, а веса опубликованы в формате safetensors. Карточка приводит результаты оценки на Open LLM Leaderboard и TruthfulQA, но они не гарантируют качество для конкретного приложения. Модель принимает текст и генерирует текст; язык карточки — английский. Репозиторий распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-fp8-dynamic — динамически квантованная версия инструкционной языковой модели Qwen2.5 от Qwen, размещённая llmcompressor-quants. Это плотная авторегрессионная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров; метаданные указывают формат safetensors. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для ответов на вопросы, следования заданным ролям и формирования структурированных ответов, например JSON. Модель поддерживает русский, английский, китайский и другие языки. Заявленный в метаданных контекст составляет 32 768 токенов; в README описана настройка YaRN для обработки более длинных входов, потенциально влияющая на качество на коротких текстах. В README также отмечены сильные стороны семейства в следовании инструкциям, генерации длинных текстов и работе со структурированными данными. Лицензия — Apache-2.0. Квантование FP8 может снизить требования к памяти по сравнению с полной точностью, однако сведения о конкретной скорости и качестве этой сборки не приведены.