II.7DevOps, облако и эксплуатация IT-систем

Lion-Lamarck-v.1.0.9 — диалоговая языковая модель на 14 млрд параметров, созданная nlpguy слиянием предварительно обученных моделей с помощью mergekit и метода SCE. В качестве базовой использована sometimesanotion/Lamarck-14B-v0.7; в слияние также вошли DeepSeek-R1-Distill-Qwen-14B, Qwenvergence-14B-v10 и SuperNova-Medius. Модель построена на архитектуре Qwen2 и распространяется в формате Safetensors. Модель предназначена для генерации текста и диалогов, а интерфейс поддерживает вызов инструментов. Контекстное окно составляет до 131 072 токенов. Базовая модель DeepSeek-R1-Distill-Qwen ориентирована на рассуждения, включая математические задачи и программирование; эти сценарии могут быть полезны и для Lion-Lamarck, однако карточка не приводит отдельных оценок качества этой сборки. Модель принимает текст и генерирует текст. Лицензия в предоставленных данных не указана, поэтому условия использования следует проверять на странице репозитория Hugging Face.

amd/Llama-3.1-70B-Instruct-FP8-KV — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Advanced Micro Devices (AMD) с применением инструментария Quark и калибровочных образцов из датасета Pile. Модель предназначена для задач генерации текста и инструкционного взаимодействия, а также для эффективного развертывания через совместимый с vLLM backend. Точные поддерживаемые языки и размер контекстного окна в README не указаны. Квантизация выполнена для всех линейных слоёв, кроме lm_head: веса и активации представлены в формате FP8 с симметричным масштабированием на тензор, а KV-cache также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, но способен незначительно ухудшать точность по сравнению с исходной моделью. На тесте Perplexity-wikitext2 значение perplexity составило 3,8561 против 3,7797 у исходной Meta-Llama-3.1-70B-Instruct; результаты получены в режиме псевдоквантизации и могут отличаться от фактического инференса. Для использования требуется экспортированный формат Quark и окружение с Quark; поддерживается развёртывание с использованием vLLM. Лицензия указана как llama3.1, при этом модификации принадлежат Advanced Micro Devices, Inc.; применимые условия следует уточнять в лицензии Meta по указанной ссылке.

Llama3.1-70B-ShiningValiant2-GGUF — это квантизированная версия текстовой генеративной модели Llama3.1-70B-ShiningValiant2, разработанной ValiantLabs и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров; она ориентирована на режимы instruct и chat и предназначена прежде всего для работы с английским языком. Модель подходит для генерации текста, диалоговых сценариев, решения задач по естественным и техническим дисциплинам, включая физику, биологию, химию, информатику, инженерию и логическое рассуждение. В README приведены результаты на Winogrande и отдельных подзадачах MMLU, включая MMLU College Biology, что указывает на сильную сторону модели в задачах общего и научного понимания. Для запуска предлагается использовать LM Studio или совместимое программное обеспечение на базе llama.cpp с указанным шаблоном prompt. Доступно несколько вариантов квантизации с размером файлов примерно от 27,47 до 74,98 ГБ. Q6_K и Q5_K, а также Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты экономят оперативную память, но могут заметно уступать по качеству. Требования к памяти, максимальный контекст, мультимодальные возможности и дополнительные языки в README не указаны. Модель распространяется по лицензии llama3.1.

bartowski/Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, однако конкретные поддерживаемые языки, размер контекста и детали архитектуры в предоставленном README не указаны. Ключевая характеристика этой версии — квантизация, которая обычно позволяет снизить требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей качества; конкретный уровень квантизации README не сообщает. Модель ориентирована на текстовые задачи, а сведения о мультимодальности отсутствуют. Ограничения, показатели качества и рекомендации по аппаратному обеспечению также не приведены, поэтому их нельзя достоверно оценить по имеющимся данным. Модель распространяется на условиях Llama 3.3 Community License от Meta. Лицензия предоставляет ограниченные права на использование, воспроизведение, распространение и модификацию при соблюдении условий соглашения, включая передачу текста лицензии, указание «Built with Llama», обязательное уведомление об авторских правах и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

RLHFlow/LLaMA3-iterative-DPO-final — неофициальная диалоговая модель семейства LLaMA 3, разработанная авторами исследования «RLHF Workflow: From Reward Modeling to Online RLHF» (TMLR, 2024). Это плотная авторегрессионная модель на 7,5 млрд параметров с контекстом 8192 токена, представленная в формате safetensors и предназначенная для генерации текста в режиме чата. Модель обучена для следования инструкциям с помощью итеративного онлайн RLHF на основе DPO. Она подходит для диалоговых ответов, общих вопросов, рассуждений и задач по программированию; авторы приводят результаты на Alpaca-Eval-V2, MT-Bench, Chat-Arena-Hard и академических тестах. В README указано, что чекпойнт предназначен для демонстрации метода и исследовательского использования. README предупреждает, что модель может выдавать оскорбительный или неэтичный контент, особенно при состязательных запросах. Указанная лицензия — llama3; README также отмечает нерешённые лицензионные вопросы при выпуске модели, поэтому условия распространения и использования следует сверять с применимыми условиями LLaMA 3.

Карточка модели TracNetwork/mayhem-catalog-prism-ml-Ternary-Bonsai-27B-MLX-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

QuantFactory/Meta-Llama-3-70B-Instruct-GGUF — это квантованная версия инструкционной большой языковой модели Meta Llama 3 70B Instruct, подготовленная QuantFactory в формате GGUF. Базовая модель разработана Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется диалоговое взаимодействие или создание текстового контента. В README указано, что поддерживается английский язык и используется задача text-generation. Известно, что модель относится к семейству Llama 3 и имеет размер 70B параметров. Формат GGUF предназначен для совместимого локального запуска, однако конкретный вариант квантования, требования к памяти, длина контекста и поддерживаемые программные средства в README не указаны. Также отсутствуют сведения о дополнительных модальностях, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся инструкционная настройка базовой модели и возможность использования квантованного GGUF-представления для локального вывода. Ограничения включают отсутствие подробностей о типе и качестве квантования, а также о производительности. Использование регулируется Meta Llama 3 Community License. При распространении модели или продуктов на её основе требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Meta Llama 3», сохранение атрибуции Meta и соблюдение Acceptable Use Policy.

Карточка модели bofenghuang/Meta-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

MaziyarPanahi/Mistral-Large-Instruct-2407-GGUF — это набор файлов модели в формате GGUF для инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной компанией Mistral AI. Репозиторий содержит квантизированные варианты исходной модели, включая уровни 2-, 3-, 4-, 5-, 6- и 8-битной квантизации. Модель предназначена для генерации текста и выполнения задач по инструкциям, а формат GGUF ориентирован на локальный запуск и эффективное использование ресурсов. Файлы совместимы с llama.cpp и рядом связанных инструментов и приложений, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие. Поддерживаются сценарии локального диалога, генерации текста и интеграции через программные библиотеки или API-совместимые серверы. Ключевые характеристики исходной архитектуры, количество параметров, поддерживаемые языки, размер контекста и мультимодальные возможности в README не указаны. Сильными сторонами являются несколько вариантов квантизации и широкая совместимость с экосистемой GGUF; при этом степень потери качества и требования к памяти зависят от выбранного уровня квантизации. Лицензия в представленном описании не указана.

duyntnet/Mistral-NeMo-Minitron-8B-Instruct-imatrix-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-NeMo-Minitron-8B-Instruct, разработанной NVIDIA. Исходная модель создана на базе Mistral-NeMo-Minitron-8B-Base, которая была получена из Mistral-NeMo 12B с применением методов pruning и distillation, а затем дообучена в несколько этапов с помощью supervised fine-tuning и выравнивания на основе предпочтений. Модель предназначена для генерации текста, включая диалоговые сценарии, roleplay, retrieval-augmented generation и function calling. Она работает с текстом на английском языке и поддерживает контекст до 8192 токенов. Архитектура представляет собой авторегрессионный Transformer Decoder семейства Mistral-NeMo с 40 слоями, размером эмбеддингов 4096, 32 attention heads, промежуточным размером MLP 11520, Grouped-Query Attention и Rotary Position Embeddings. Формат GGUF позволяет использовать модель в совместимых локальных клиентах и интерфейсах, включая llama.cpp, KoboldCPP, Ollama, Jan, text-generation-webui и GPT4All. Для оптимальных результатов рекомендуется применять специальный шаблон диалога с ролями System, User и Assistant и заданными специальными токенами. Ограничения включают поддержку только текстовой модальности и заявленного английского языка; конкретные характеристики производительности зависят от выбранного уровня квантизации и аппаратного обеспечения. Исходная модель распространяется по NVIDIA Open Model License; для данного репозитория указано обозначение лицензии other.

Mistral-Small-24B-Instruct-2501-GGUF — это набор файлов модели в формате GGUF для исходной инструкционной модели Mistral-Small-24B-Instruct-2501, разработанной компанией Mistral AI. Квантование и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и работы с инструкциями в локальных приложениях, поддерживающих GGUF, включая llama.cpp, llama-cpp-python, LM Studio и text-generation-webui. Доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшими требованиями к памяти и сохранением качества. В README указано обозначение 24B, однако подробности архитектуры, поддерживаемые языки, модальности и размер контекстного окна не приведены. Сильная сторона модели — возможность локального запуска с использованием CPU или GPU через совместимые инструменты; ограничения зависят от выбранного уровня квантования и аппаратных ресурсов. Распространение осуществляется по лицензии Apache 2.0.

Это квантизированная версия NVIDIA Nemotron 3 Nano 30B A3B в формате GGUF с квантизацией MXFP4_MOE и imatrix на основе данных Unsloth. Модель предназначена для генерации текста и диалогового использования; для запуска требуется llama.cpp. Базовая модель — гибридная языковая модель NVIDIA для диалогов, рассуждений, программирования и создания агентных приложений, поддерживающая шесть языков и длинный контекст. Карточка не приводит точный размер файла или длину контекста этой сборки. Лицензия в доступных данных не указана.

Nemotron-Cascade-2-30B-A3B-AWQ-4bit — 4-битная AWQ-версия диалоговой языковой модели семейства NVIDIA Nemotron-Cascade-2. В README исходная модель описана как модель Mixture of Experts на 30 млрд параметров с 3 млрд активируемых параметров; она дообучена на базе Nemotron-3-Nano-30B-A3B-Base и поддерживает режимы рассуждений и обычных инструкций. Метаданные указывают задачу генерации текста, библиотеку Transformers и базовую модель nvidia/Nemotron-Cascade-2-30B-A3B. Модель предназначена для диалогов, решения сложных задач и агентных сценариев; README сообщает о высоких результатах на математической олимпиаде IMO и олимпиаде по информатике IOI 2025. Она использует шаблон ChatML, а для запуска исходной версии README описывает контекст до 262 144 токенов. AWQ-квантизация снижает точность весов до 4 бит; показатели качества и требования к ресурсам именно этой сборки в предоставленных сведениях не приведены. Лицензия указана как other, конкретные условия следует сверять с карточкой модели.

MaziyarPanahi/OpenHermes-2.5-neural-chat-7b-v3-1-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Weyaxi/OpenHermes-2.5-neural-chat-7b-v3-1-7B. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в ответ на инструкции и диалоговые запросы; поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поэтому подходит для диалоговых помощников, ответов на вопросы и выполнения текстовых инструкций. В метаданных указана лицензия Apache-2.0. Языки модели по имеющимся данным определить нельзя.

Open-Instruct Dolly 13B — языковая модель AllenAI на архитектуре LLaMA, дообученная на наборе инструкций Databricks Dolly 15k. Она предназначена для генерации текста и выполнения инструкций, например для ответов на вопросы, рассуждений и написания кода. Модель содержит 12,9 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов; для корректной генерации следует использовать формат инструкций, заданный авторами. В карточке приведены результаты оценки на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Это исследовательская работа по настройке моделей на открытых ресурсах, опубликованная в рамках статьи How Far Can Camels Go? Модель распространяется как diff и требует доступной базовой LLaMA в формате Hugging Face. Условия использования определяются лицензией AI model из LICENSE.txt и исходной лицензией LLaMA.

Open-Instruct ShareGPT 30B — дообученная AllenAI 30B-модель семейства LLaMA для генерации ответов на инструкции и диалоговые запросы. Она обучена на очищенном наборе ShareGPT, подготовленном по аналогии с Vicuna, и описана в рамках исследования «How Far Can Camels Go? Exploring the State of Instruction Tuning on Open Resources». Архитектура — плотная авторегрессионная LLaMA с 32,3 млрд параметров; модель принимает текст и генерирует текст на английском языке. Максимальная длина контекста — 2048 токенов. Модель подходит для диалоговых ассистентов, ответов на вопросы, решения задач и генерации кода. В README приведены результаты на академических бенчмарках, включая MMLU, GSM, BBH и Codex-Eval; качество зависит от формата запроса, поэтому рекомендуется использовать указанный авторами шаблон ввода с нужными переносами строк. Репозиторий содержит diff весов: для использования требуется доступ к исходной модели LLaMA в формате Hugging Face. Распространение регулируется лицензией AI model license вместе с исходной лицензией LLaMA.

SanctumAI/Phi-3-mini-4k-instruct-GGUF — это квантизированная в формате GGUF версия Phi-3-Mini-4K-Instruct, разработанной Microsoft и подготовленной SanctumAI. Модель предназначена для генерации текста и выполнения инструкций, включая задачи понимания языка, рассуждений, математики, программирования, здравого смысла и логики. Она ориентирована на локальный запуск на устройствах с ограниченными ресурсами. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Это текстовая модель с поддержкой английского языка; README также отмечает наличие вариантов квантизации от Q2_K до Q8_0 и версии FP16, занимающих примерно от 1,45 до 7,64 ГБ, при потребности в памяти от 5,05 до 10,82 ГБ. Обучение включало синтетические и отфильтрованные общедоступные данные, а дообучение — supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. К сильным сторонам относятся компактный размер, возможность локального использования и заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Ограничения включают небольшое контекстное окно, текстовую специализацию и возможные неточные, вредные или неподходящие ответы. Для использования следует применять шаблон приглашений Phi-3 с системными, пользовательскими и ассистентскими сообщениями. Указана лицензия MIT.

Карточка модели sagar-rasakonda/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

Qwen3-1.7B-GGUF — квантизированная GGUF-версия текстовой модели Qwen3-1.7B, разработанной командой Qwen. Квантизацию выполнил bartowski на основе llama.cpp, релиз b5200. Модель предназначена для генерации текста, следования инструкциям, творческого письма, ролевых сценариев и многошаговых диалогов. Модель поддерживает контекст до 32 000 токенов, режимы с рассуждением и без него, а также команду /no_think для отключения рассуждений. Заявлена повышенная эффективность в математике, программировании и задачах на здравый смысл, а также поддержка более 100 языков и диалектов и расширенные возможности для агентских сценариев. К ограничениям относятся возможные неточности, вредное или неподходящее содержание, характерные для языковых моделей. README не содержит сведений о конкретной лицензии модели, поэтому условия коммерческого и иного использования необходимо уточнять по исходной модели Qwen3-1.7B и странице квантизированной версии.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP-GGUF — это производная модель семейства Qwen3.5-9B, основанная на DavidAU/Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP. Она создана автором модели совместно с Nightmedia с использованием многоэтапной донастройки и слияния нескольких моделей на локальном оборудовании. Модель предназначена для общего диалогового использования, следования инструкциям, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и instruct, а также полностью uncensored-поведение. Поддерживаются английский и китайский языки. Модель имеет контекст до 256k токенов и активированное зрение: для обработки изображений требуется отдельный файл mmproj. GGUF-квантизации совместимы со стандартными приложениями для запуска локальных моделей. Доступны обычные GGUF и MTP-GGUF-варианты с NEO IMATRIX-квантизацией, которая, по заявлению автора, повышает точность и качество работы в длинном контексте. MTP-варианты могут ускорять генерацию благодаря multi-token prediction, но их эффективность зависит от оборудования, настроек и показателя token acceptance; при низком acceptance обычные варианты могут работать быстрее. Сильными сторонами заявлены высокая производительность для модели такого размера, улучшенное следование инструкциям, рассуждения и результаты на ряде тестов. Ограничения включают зависимость скорости и качества от выбранной квантизации, аппаратного обеспечения и параметров генерации, а также отсутствие гарантии превосходства над более крупными моделями во всех задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-uncensored-heretic-v2 — мультимодальная модель на 27 млрд параметров, созданная независимым автором на основе Qwen/Qwen3.6-27B методом abliteration. Модель предназначена для диалогов, работы с изображениями, программирования и агентных сценариев с вызовом инструментов; автор сообщает о снижении частоты отказов по сравнению с исходной моделью. Архитектура — плотная Qwen3.5 с языковой моделью и визуальным энкодером. Базовая модель поддерживает контекст 262 144 токена с возможностью расширения; в карточке указана работа с изображениями и чат-возможности. В README приведены результаты MMLU исходной модели, но сопоставимых результатов для этой версии нет. Модель распространяется в формате safetensors по лицензии Apache-2.0. Уменьшение числа отказов не гарантирует их полного отсутствия, а результаты тестирования базовой модели нельзя считать оценкой качества этой производной версии.

Qwen3.6-35B-A3B-Uncensored-Genesis-Final-NVFP4-GGUF — квантизированная в формате NVFP4 GGUF версия модели LuffyTheFox. NVFP4-квантизацию и интеграцию MTP выполнил jan1k; базовая модель разработана HauhauCS. Модель распространяется по лицензии Apache-2.0. Это мультимодальная модель для генерации текста и работы с изображениями, ориентированная на диалоговые сценарии, программирование, точные задачи, творческое взаимодействие и roleplay. Заявлена поддержка английского, китайского и других языков. Для обработки изображений требуется дополнительный файл mmproj-Hermes3.6-35B-A3B-Uncensored-Genesis-F16.gguf. Модель предназначена для запуска через llama.cpp и поддерживает контекст до 128K токенов. Архитектура — Mixture of Experts: около 35 млрд общих параметров, примерно 3 млрд активных на токен, 8 маршрутизируемых экспертов и 1 общий эксперт. Доступен вариант с MTP для speculative decoding, способный ускорять генерацию. К сильным сторонам относятся сравнительно низкая вычислительная нагрузка на токен, поддержка reasoning и мультимодальности, а также оптимизация для GPU NVIDIA Ampere, Ada Lovelace и Blackwell. Ограничения включают зависимость от совместимого программного обеспечения и оборудования, необходимость отдельного vision-проектора для изображений и отсутствие в карточке независимых бенчмарков качества.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — GGUF-квантованная модель, разработанная DavidAU. Она расширена из Qwen3.6 27B до 40 млрд параметров и представляет собой плотную архитектуру без MoE с 96 слоями и 1275 тензорами. Обучение и дообучение выполнялись с использованием Unsloth, наборов данных TeichAI/claude-4.5-opus-high-reasoning-250x и DavidAU/PkDick-Deckard-5-Datasets, а также методов Heretic и NEO-CODE-Di-IMatrix. Модель предназначена для универсального применения: рассуждений, программирования, математики, творческого и художественного письма, генерации сюжетов и сцен, ролевых сценариев и работы с длинными диалогами. Заявлена поддержка контекста до 256K токенов, переменной длины рассуждений и текстовых сценариев на английском и китайском языках. Также заявлена работа с изображениями, но для этого требуется отдельный файл mmproj, размещённый рядом с GGUF-моделью. К сильным сторонам относятся большой контекст, развитые рассуждения, ориентация на код и универсальные задачи, а также оптимизированные NEO-CODE-Di-IMatrix-MAX-квантизации, для которых приведены показатели близости к полной точности BF16. Модель намеренно uncensored и unfiltered, поэтому может генерировать небезопасный или откровенный контент и требует самостоятельного контроля применения. Указанные характеристики производительности основаны на данных автора и приведённых в README тестах; независимая проверка не представлена. В метаданных указана лицензия Apache-2.0. Для запуска необходим совместимый GGUF-движок, а выбор квантизации влияет на требования к памяти и качество работы.

wbydc/Qwen3.8-27B-TFCF-HU-CODER-GGUF — это GGUF-квантизированная мультиязычная fine-tune-модель на базе Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Репозиторий содержит обычные и MTP-квантизации, включая варианты с 4- и 8-битной точностью. В README указаны английский и китайский языки, а также лицензия Apache-2.0. Модель опубликована пользователем или организацией wbydc; обучение выполнялось с использованием Unsloth и многоэтапных методов Cold Fusion и Fable Fusion. Модель предназначена для широкого спектра сценариев: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов, ролевых диалогов и других универсальных применений. Основной акцент сделан на подробных ответах, сокращении объёма внутренних рассуждений и повышении скорости генерации, в том числе в режиме MTP. README заявляет о заметном снижении числа thinking-токенов по сравнению с исходной версией Qwen3.8 и о высоких результатах на ARC-C и ARC-E, однако эти показатели приведены автором модели и не сопровождаются независимой методикой проверки. Ключевое ограничение — отсутствие в README точных сведений о длине контекста, поддерживаемых режимах мультимодальности и фактической архитектуре vision-компонентов, несмотря на тег image-text-to-text. Также заявлены uncensored-поведение и возможность генерации контента разных жанров, поэтому пригодность модели для чувствительных сценариев требует самостоятельной проверки. Для использования необходимо выбрать совместимый GGUF-квант и учитывать требования к памяти, зависящие от его разрядности.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — многоэтапная дообученная и объединённая версия модели Qwen3.8-27B, опубликованная DavidAU. Модель создана с использованием Unsloth, методов COLD FUSION и Fable Fusion 711, а также представлена в форматах GGUF с обычными и MTP-квантами. Заявлены поддержка английского и китайского языков и лицензия Apache-2.0. В метаданных указан тип pipeline image-text-to-text, однако подробности о фактической поддержке изображений не приведены. Модель предназначена для широкого круга задач: рассуждений, решения задач, программирования, творческого письма, художественной прозы, ролевых сценариев и диалогов. Ключевая особенность — стремление сократить объём рассуждений и ускорить генерацию при сохранении подробности ответов; заявлено сокращение числа thinking-токенов примерно от двух до десяти раз по сравнению с обычной Qwen3.8. Доступны варианты для запуска на потребительском оборудовании, включая 4-битные и 8-битные квантизации. Ограничения включают отсутствие указаний на размер контекстного окна, точный набор поддерживаемых модальностей и подробные независимые результаты тестирования; приведённые сведения о превосходстве над другими моделями основаны на заявлениях автора.

Это квантизированная версия модели Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored, опубликованная esatapedico и созданная на основе модели DavidAU, которая, в свою очередь, происходит от Qwen/Qwen3.8-27B. Модель предназначена для генерации текста и развёртывания через vLLM или совместимые движки serving compressed-tensors. Настройка TWIN-TURBO ориентирована на сокращение числа токенов рассуждений при сохранении сопоставимого качества ответов. Модель использует архитектуру Qwen3_5ForCausalLM с 64 слоями, гибридной GatedDeltaNet, 16 полными attention-слоями, MTP head для speculative decoding и контекстом до 262144 токенов. Поддерживается генерация на английском языке и, согласно метаданным, мультиязычные сценарии. Контрольная точка имеет размер около 19 ГБ и поставляется в формате compressed-tensors nvfp4-pack-quantized. Квантизация выполнена по схеме W4A16 с группами размера 16, FP8 E4M3-масштабами и только для весов; калибровочные данные не использовались. Ключевые компоненты, включая lm_head, vision tower, MTP head и отдельные элементы DeltaNet, сохранены в BF16. Сильными сторонами являются существенное уменьшение размера весов, совместимость с vLLM, сохранение мультимодального vision tower и MTP-компонента, а также возможность работы с длинным контекстом. Ограничения связаны с зависимостью от поддержки compressed-tensors NVFP4 в serving-движке и особенностями конфигурации: заявлена проверка при tensor parallel 2 и контексте 2048 токенов, а FP8 KV-cache включается параметром запуска, а не хранится в контрольной точке. Модель распространяется по лицензии Apache-2.0.

Smaug-Llama-3-70B-Instruct — чат-модель Abacus.AI, полученная дообучением meta-llama/Meta-Llama-3-70B-Instruct по рецепту Smaug для повышения качества многошаговых диалогов. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации ответов и ведения диалога; она использует формат запросов Llama 3 Instruct и контекст до 8192 токенов. Модель рассчитана на многошаговые беседы и широкий круг текстовых запросов. В карточке приведены результаты MT-Bench и Arena-Hard, где авторы сообщают о высоком качестве ответов; также указаны результаты нескольких тестов знаний и рассуждений. Это заявления из карточки, а не гарантия результатов в конкретных задачах. Лицензия — Llama 3; перед использованием следует соблюдать её условия.

SmolLM2-1.7B-Instruct-bnb-4bit — компактная 4-битная предварительно квантованная версия инструкционной языковой модели SmolLM2-1.7B, разработанной Hugging Face. Модель предназначена для выполнения широкого спектра текстовых задач и достаточно легковесна для запуска на устройствах с ограниченными ресурсами. Вариант Instruct дополнительно обучен следовать инструкциям с помощью supervised fine-tuning и Direct Preference Optimization (DPO). Модель содержит 1,7 млрд параметров и работает с текстом на английском языке. Она ориентирована на диалоговые сценарии, переписывание и суммаризацию текста, решение задач, работу с кодом и function calling. Обучение базовой модели проводилось на 11 трлн токенов из наборов FineWeb-Edu, DCLM, The Stack, а также математических и кодовых данных; инструкционная версия использовала публичные и подготовленные разработчиками наборы, включая UltraFeedback и Synth-APIGen-v0.1. README не содержит сведений о размере контекстного окна и точной архитектуре. Ключевые преимущества — малый размер, сниженные требования к памяти благодаря 4-битной квантованию и улучшения в следовании инструкциям, знаниях, рассуждениях и математике по сравнению с SmolLM1-1.7B. Ограничения включают заявленную поддержку только английского языка и потенциальные компромиссы в качестве, вызванные квантованием и компактным размером. Модель распространяется под лицензией Apache-2.0.

Supertron1-4B — инструктивно дообученная языковая модель от Surpem на базе Qwen/Qwen3-4B. Это плотный причинный Transformer примерно на 3,7 млрд параметров, предназначенный для диалогов, следования инструкциям, математических рассуждений, программирования и повседневной генерации текста. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. В метаданных указана поддержка английского языка. По заявлению автора, настройка на математические и программные задачи обеспечивает хорошие результаты на GSM8K и HumanEval, а модель остаётся достаточно компактной для запуска на потребительском оборудовании. Эти сравнения приведены в README без подробностей методики оценки. Модель распространяется в формате Safetensors под лицензией Apache 2.0.

Карточка модели roskosmos19/Whale-4B-Thinking на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Thinking, поэтому описание составлено по ней. Orca-4B-Thinking — языковая модель для диалогов и задач, требующих многошаговых рассуждений. Согласно README, модель разработана на основе Qwen3-4B и дообучена в стиле DeepSeek-R1 на наборах OpenThoughts-114k и Mixture-of-Thoughts; метаданные связывают её с Qwen/Qwen3.5-4B. Карточка описывает причинную плотную архитектуру Qwen3, а метаданные указывают 3,7 млрд параметров и контекст до 262 144 токенов. Модель предназначена для генерации развёрнутых рассуждений и ответов в математике, программировании, естественных науках и головоломках, а также для следования инструкциям и работы с инструментами. README сообщает о режиме Thinking и приводит оценочные результаты бенчмарков, поэтому заявленные улучшения производительности не следует считать независимой проверкой. Поддерживаются английский, немецкий, испанский, французский и китайский языки по тегам метаданных. Лицензия — Apache-2.0.