II.7DevOps, облако и эксплуатация IT-систем

Qwen3.5-122B-A10B-Uncensored-HauhauCS-Aggressive — GGUF-квантизированная версия базовой модели Qwen/Qwen3.5-122B-A10B, опубликованная HauhauCS под идентификатором botp. Это мультимодальная MoE-модель для генерации и анализа текста, изображений и видео, включая диалоговые, аналитические, творческие и программные сценарии. Вариант Aggressive отличается минимизированными отказами и существенно ослабленными защитными ограничениями, поэтому требует особенно осторожного применения. Модель содержит 122 млрд параметров, из которых около 10 млрд активируются на каждом проходе. Архитектура включает 256 экспертов, 8 маршрутизируемых и 1 общего эксперта на токен, 48 слоёв с гибридным сочетанием линейного внимания Gated DeltaNet и полного softmax-внимания в соотношении 3:1. Заявлены контекст до 262 тысяч токенов, словарь размером 248 тысяч токенов и поддержка 201 языка. Для работы с изображениями требуется отдельный файл mmproj; модель совместима с llama.cpp, LM Studio, Jan, koboldcpp и другими GGUF-совместимыми средами. Доступны варианты квантизации от IQ2_M до Q8_K_P размером примерно от 40 до 145 ГБ, однако README не приводит независимых оценок качества, производительности или фактического покрытия языков. Распространяется по лицензии Apache-2.0.

Qwen3.5-21B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель на 21 млрд параметров, созданная DavidAU на основе Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По карточке, модель уменьшена с 27B, дообучена на наборах Deckard/PDK и данных рассуждений Claude 4.6 Opus; заявлен режим пошагового рассуждения переменной длины. Архитектура Qwen3.5 поддерживает текстовый диалог и обработку изображений; заявленное родное контекстное окно — 256K токенов. Модель предназначена для диалога, ответов на вопросы, генерации кода и творческого письма, включая художественные жанры и ролевые сценарии. Автор отмечает отсутствие ограничений на контент и предупреждает о возможности откровенных или графичных ответов. В карточке также указаны возможные повторы при низких квантизациях или недостаточно содержательных запросах; качество и скорость могут зависеть от квантизации и настроек генерации. Доступна под лицензией Apache-2.0. Для использования изображений и инструментальных вызовов автор рекомендует качественные квантизации; практические характеристики следует оценивать на выбранной сборке и конфигурации.

Qwen3.5-4B-Clarity-1.0-GGUF — экспериментальная дообученная версия Qwen3.5-4B, опубликованная пользователем Regic1d3 и основанная на модели Qwen от Qwen. Модель предназначена для генерации текста, рассуждений, решения многошаговых задач, проверки согласованности, выявления ошибок и некорректных предположений, а также для более точной генерации кода на Python. В обучении использовались дополнительные примеры рассуждений на английском и русском языках, а основная часть данных была дистиллирована из Qwen3.8-27B. Дообучение выполнено как относительно тонкая поведенческая настройка, сохраняющая общие возможности исходной модели. Модель имеет размер 4B параметров и доступна в формате GGUF, совместимом с llama.cpp. Предоставлены варианты квантования Q5_K_M и Q8_0. README также упоминает возможность мультимодального запуска, однако подробные характеристики поддерживаемых модальностей и контекстного окна не указаны. Рекомендуемые параметры генерации различаются для общих задач и кода. К сильным сторонам относятся потенциально улучшенные логическое, причинно-следственное и ограничительное рассуждение, арифметика в несколько шагов, обнаружение и исправление ошибок, а также различение фактов и предположений. Ограничения включают экспериментальный статус, отсутствие стандартизированных бенчмарков, возможность ошибочных рассуждений, недостаточную калибровку и склонность к чрезмерно уверенным или избыточно подробным ответам. Лицензия в README не указана.

Avesed/Qwen3.6-27B-INT8-W8A8 — квантованная версия базовой модели Qwen/Qwen3.6-27B, разработанной командой Qwen и подготовленной Avesed. Это плотная гибридная модель с архитектурой, объединяющей линейное внимание GatedDeltaNet и периодическое полноформатное внимание. Модель имеет vision tower и MTP head, однако в карточке указаны языки English и Chinese, а назначение обозначено как text-generation. Модель предназначена для генерации текста и задач, поддерживаемых базовой Qwen3.6-27B, включая сценарии, где важны рассуждения и работа с длинными последовательностями; точный размер контекста в README не указан. Ключевая особенность — INT8-квантизация по схеме W8A8: веса квантуются в симметричный INT8 по каналам, а активации — динамически по токенам. Большинство MLP-слоёв, полное внимание и выходная проекция GatedDeltaNet квантуются, тогда как чувствительные к качеству компоненты сохраняются в формате bf16. По заявлению автора, INT8 W8A8 обеспечивает почти отсутствие потерь качества и уменьшает требования к памяти по сравнению с полноразмерной моделью. Для запуска рекомендуется vLLM с INT8 W8A8 CUTLASS path и tensor parallelism; указана совместимость с GPU Ampere sm_80 и sm_86. Ограничения включают зависимость от подходящего программного стека и оборудования, а также отсутствие в README точных данных о контексте, производительности и качестве на конкретных наборах задач. Модель распространяется по лицензии Apache-2.0.

KostkaIT/Qwen3.8-27B-Huihui-Abliterated-oQ6e-MTP-MLX — мультимодальная версия семейства Qwen3.8-27B, подготовленная независимым технологическим проектом KostkaIT (Łukasz Frąckowiak, vsnake87). Модель является MLX-конвертацией производного варианта huihui-ai/Huihui-Qwen3.8-27B-abliterated и предназначена для локального запуска на компьютерах с Apple Silicon через oMLX и совместимые MLX-рантаймы. Модель поддерживает работу с текстом и изображениями, включая vision-конфигурацию, файлы процессора и необходимые vision-тензоры. В комплект включены нативные веса MTP, предусмотрен один скрытый слой MTP, а в совместимых версиях oMLX эту функцию можно включать и отключать. Модель ориентирована на программирование, рассуждения, мультимодальные ассистенты и исследовательские задачи. Сведения о поддерживаемых языках и размере контекста в карточке не указаны. Используется качественно ориентированное 6-битное affine-квантование oQ6e с group_size 64, importance matrix и сохранением отдельных чувствительных тензоров в 8-битном виде. Веса распространяются в формате MLX safetensors, разделённых на пять файлов. К сильным сторонам относятся сохранение нативной MTP-поддержки и мультимодальных возможностей при уменьшенном размере, а ограничениями — зависимость от Apple Silicon и совместимого MLX/oMLX-окружения, а также потенциальные потери качества, связанные с квантованием; результаты бенчмарков не приведены. Лицензия — Apache-2.0.

Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF — квантованная версия модели Qwen3.8-27B, опубликованная tooltd и распространяемая в формате GGUF для работы с llama.cpp. Модель оптимизирована для запуска на видеокартах с 16 ГБ VRAM примерно при 4 BPW, а отдельные варианты позволяют использовать карты с 12 ГБ памяти примерно при 3 BPW. Ключевая особенность репозитория — смешанное квантование ZB-ZipBrain, распределяющее разрядность тензоров с учётом их влияния на качество и калибровки по importance matrix. Доступны варианты IQ4_XS и IQ3, включая сборки с настройками для разных ограничений по памяти. В README модель также классифицирована как image-text-to-text, однако подробные сведения об архитектуре мультимодального компонента, поддерживаемых языках и максимальном контексте не указаны. Модель предназначена для локального запуска общих LLM-сценариев, включая генерацию текста и кода; для отдельных квантованных вариантов приведены результаты HumanEval и MBPP. Сильной стороной является сочетание размера 27B с уменьшенным потреблением памяти и относительно высоким качеством: вариант ZB4.00-MIN-v5.1-IQ4_XS показывает 0,921 на HumanEval+ и 0,780 на MBPP+. Ограничения связаны с потерями качества из-за квантования, зависимостью результата от конкретного варианта и отсутствием подробных данных о языках, контексте и мультимодальных возможностях. Лицензия — Apache-2.0.

Qwen3.8-27B-TURBO-FCF — многоэтапная дообученная и объединённая версия модели Qwen3.8 с 27 млрд параметров, опубликованная пользователем kamikatze13. В качестве базовой модели указана Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU от DavidAU. Модель создана с использованием методов Cold Fusion, Fable Fusion и Unsloth, а также обучалась на наборах DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель ориентирована на широкий круг задач: решение проблем, рассуждения, программирование, творческое письмо, создание художественных текстов, ролевые сценарии и другие универсальные применения. Заявленная особенность версии TURBO — сокращение объёма рассуждений и расхода токенов по сравнению с обычной Qwen3.8, что должно обеспечивать более быструю генерацию при сохранении подробности ответов. README также указывает поддержку английского и китайского языков, наличие режимов рассуждения и вариантов GGUF-квантизации, включая 4- и 8-битные сборки, обычные и MTP-варианты. К сильным сторонам относятся ориентация на детализированные ответы, программирование, reasoning и художественную генерацию, а также возможность запуска на потребительском оборудовании благодаря квантизации. Заявленные высокие результаты ARC-C и ARC-E, превосходство над рядом базовых моделей и сильные возможности tool calling приведены авторами README, но независимая проверка этих утверждений не представлена. Ограничения включают отсутствие подробных данных о размере контекстного окна, точной архитектуре, мультимодальных возможностях и требованиях к оборудованию. Модель обозначена как uncensored, поэтому её ответы могут иметь сниженные защитные ограничения и требовать дополнительного контроля. Лицензия — Apache 2.0.

Qwen3-8B-Abliterated — доработанная Richard Young (DeepNeuro) версия Qwen/Qwen3-8B, созданная методом abliteration. В плотной архитектуре Qwen3 изменены средние слои 15–30, чтобы ослабить отказы модели на запросы; указанный масштаб абляции — 1.0. Модель предназначена для диалоговой генерации текста, следования инструкциям, рассуждений, работы с кодом и вызова инструментов. Модель содержит 7,6 млрд параметров, принимает текст и поддерживает контекст до 40 960 токенов. В карточке указана библиотека Transformers и формат safetensors. Базовая Qwen3-8B описана как многоязычная, однако конкретный перечень поддерживаемых языков для этой версии не приведён. Снижение числа отказов означает ослабление защитных ограничений и требует внимательного выбора сценариев применения. Модель выпущена по лицензии Apache-2.0; автор предупреждает, что защитные механизмы частично удалены, и возлагает ответственность за этичное использование на пользователей.

gangwayhaste/qwen38-fcf-gguf — это набор GGUF-квантов мног stages fine-tune модели Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX, разработанной на базе модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README указано, что обучение и сборка выполнялись с использованием Unsloth, методов COLD FUSION и Fable Fusion, а также датасетов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Лицензия — Apache-2.0; заявленные языки — английский и китайский. Модель предназначена для общего решения задач, рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Основной акцент сделан на подробность ответов, сокращение избыточного внутреннего рассуждения и ускорение генерации, включая режимы MTP. Доступны обычные и MTP-кванты, в том числе варианты с точностью 4 и 8 бит и использованием imatrix. Размер базовой модели — 27B параметров. README также обозначает поддержку сценария image-text-to-text, однако подробности о фактических мультимодальных возможностях и максимальном размере контекста не приведены. К заявленным сильным сторонам относятся улучшенные по сравнению с базовой Qwen3.8-27B показатели на ряде бенчмарков, высокая детализация, способности к рассуждению, кодированию и художественной генерации, а также возможность запуска квантованных вариантов на потребительском оборудовании. Ограничения включают отсутствие независимой верификации заявленных результатов в предоставленных данных, неопределённость характеристик отдельных квантов и отсутствие точных требований к аппаратному обеспечению. Модель помечена как uncensored и abliterated, поэтому её поведение и уровень защитных ограничений могут отличаться от исходной модели.

BennyDaBall/Qwen3.8-Uncensored-NVFP4-MTP — это квантизированная GGUF-версия модели JonathanColetti/Qwen3.8-27B-Uncensored, подготовленная BennyDaBall. Модель основана на 27B-сборке Qwen3.8 с удалёнными ограничениями фильтрации, предназначена для генерации текста и диалогов, а также поддерживает работу с изображениями и видеокадрами при подключении vision-проектора. Заявлены английский и китайский языки. Контекстное окно составляет 262 144 токена. Основная часть трансформера из 64 слоёв сжата в формат NVFP4, а lm_head, embeddings, MTP-голова и vision-проектор сохранены в BF16. Встроенная MTP-голова позволяет использовать speculative decoding без отдельной draft-модели, что может существенно ускорять генерацию, особенно на структурированных данных, коде и повторяющихся фрагментах. Модель ориентирована прежде всего на видеокарты NVIDIA Blackwell, включая RTX 5090, RTX 5080 и RTX PRO; для работы требуются свежие версии llama.cpp с поддержкой NVFP4 и архитектуры qwen35 либо LM Studio 2.29.1 и новее. Производительность и эффективность спекулятивного декодирования зависят от оборудования и характера запроса, а для мультимодального режима требуется около 1 ГиБ дополнительной видеопамяти на vision-проектор. Распространяется по лицензии Apache-2.0.

Ring-flash-2.0 — разговорная языковая модель с архитектурой MoE, разработанная InclusionAI на основе Ling-flash-2.0-base. Она предназначена для сложных рассуждений, включая решение математических задач, генерацию кода и логический анализ, а также для научных и медицинских вопросов и творческого письма. Модель обучалась в несколько этапов с SFT, обучением с проверяемыми наградами и RLHF; README также описывает алгоритм icepop для повышения стабильности длительного обучения с подкреплением для MoE-моделей. В метаданных указано 5,5 млрд параметров, а README сообщает о 100 млрд параметров всего и 6,1 млрд активных при генерации. Архитектура включает разреженную активацию экспертов и слои MTP. Контекст — до 32 768 токенов. Модель принимает текст и генерирует текст; основное назначение — диалоговое текстовое взаимодействие. Заявленные авторами сильные стороны — эффективность инференса и результаты в задачах рассуждения; эти оценки основаны на описании модели и приведённых там сравнениях. Модель доступна по лицензии MIT. Для запуска README описывает использование Transformers и vLLM, причём для vLLM на момент карточки требовалась специальная подготовка окружения. Поддерживаемые естественные языки в предоставленных источниках не перечислены.

Карточка модели t-kawata/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

M4-ai разработала TinyMistral-6x248M-Instruct — компактную языковую модель с архитектурой Mixture of Experts, дообученную на базе M4-ai/TinyMistral-6x248M для выполнения инструкций. В метаданных указано 215,2 млн параметров и контекст до 32 768 токенов; веса опубликованы в формате safetensors. Модель принимает текстовые запросы и генерирует ответы, объяснения и аналитические тексты. Она рассчитана на широкий круг тем, включая программирование, историю и естественные науки; для диалога можно использовать формат ChatML. Дообучение выполнено на hercules-v1.0, наборе с примерами по коду, математике и другим дисциплинам. В карточке заявлена поддержка английского языка и многоязычной генерации. Модель распространяется по лицензии Apache-2.0. Возможны предвзятые, токсичные или чувствительные ответы; карточка также предупреждает об ухудшении качества при использовании Inference API и рекомендует параметры инференса базовой модели.

Tri-7B — диалоговая языковая модель Trillion Labs для генерации текста. Это плотная авторегрессионная модель с архитектурой Transformer Decoder, основанной на LlamaForCausalLM; в карточке указаны 7,76 млрд параметров, 32 слоя и контекст до 32 768 токенов. Репозиторий содержит веса в формате Safetensors. Модель прошла предварительное обучение и постобучение с упором на рассуждения, математические задачи и повседневное использование. Она предназначена для диалога, следования инструкциям, ответов на вопросы, генерации кода и решения задач на английском, корейском и японском языках. В README приведены результаты сравнительных тестов с предыдущей моделью Trillion-7B-preview; они показывают улучшения по ряду оценённых задач, но не гарантируют качество для каждого запроса. Модель оптимизирована для английского, корейского и японского; на других языках качество может снижаться. Знания ограничены сведениями, доступными до февраля 2025 года. Лицензия — Apache-2.0.

Trinas_Nectar-8B-model_stock — объединённая автором DreadPoor с помощью mergekit языковая модель на архитектуре Llama 3.1. Она предназначена для диалоговой генерации текста и выполнения инструкций; в состав слияния вошли Configurable-Llama-3.1-8B-Instruct, Dolphin 2.9.4, Hermes 3, Lumimaid v0.2 и ScaduTorrent, с базовой моделью Sao10K/L3-8B-Stheno-v3.2. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекст до 8192 токенов. В карточке приведены результаты Open LLM Leaderboard: средняя оценка 27,27, IFEval — 72,59, BBH — 31,98. Модель представлена в формате safetensors и рассчитана на использование через Transformers. Лицензия CC-BY-NC-4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение.

XVERSE-MoE-A4.2B — базовая многоязычная языковая модель, разработанная Shenzhen Yuanxiang Technology. Она предназначена для генерации текста и может служить основой для диалоговых и других приложений на базе языковой модели. Модель использует архитектуру Decoder-only Transformer с механизмом смеси экспертов (MoE): всего 25,8 млрд параметров, из которых при вычислении активируются 4,2 млрд. В ней 64 неспециализированных и 2 общих эксперта, а маршрутизатор выбирает экспертов для каждого вычисления. Модель обучалась на последовательностях длиной 8 тысяч токенов; в метаданных также указано контекстное окно 8192 токена. README приводит разные значения объёма обучающих данных: 2,7 трлн токенов в китайской версии и 3,2 трлн в английской. Модель обучалась на более чем 40 языках, включая китайский, английский, русский и испанский; разработчик отмечает особенно сильные результаты на китайском и английском. README приводит результаты тестов по пониманию языка, вопросам и ответам, рассуждениям, математике и программированию. Это базовая модель, а не Chat-версия, поэтому для диалоговых сценариев может потребоваться дополнительное выравнивание. Как и другие большие языковые модели, она может выдавать неточные, предвзятые или оскорбительные ответы; разработчик рекомендует проверять безопасность перед развёртыванием. Лицензия — Apache-2.0.

Yi-1.5-34B-Chat-16K-GGUF — GGUF-квантизированная версия диалоговой языковой модели Yi-1.5-34B-Chat-16K, разработанной 01-ai и квантизированной компанией Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая локальное развёртывание через LlamaEdge. Она использует архитектуру Yi, поддерживает шаблон запросов ChatML и контекст длиной до 16 384 токенов. Доступны варианты с точностью от 2 до 16 бит и размером файлов примерно от 12,8 до 36,5 ГБ. Вариант Q4_K_M обозначен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S — как варианты с очень небольшой потерей качества. Более сильное сжатие уменьшает требования к памяти, но приводит к заметной потере качества; полноформатные F16-файлы требуют существенно больше ресурсов. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Модель распространяется по лицензии yi-license; подробные условия приведены в файле LICENSE. Для работы требуется совместимый рантайм, например LlamaEdge версии 0.10.0 или выше, с использованием соответствующего GGUF-файла.

TheBloke опубликовал модель Jon Durbin Airoboros 33B GPT4 1.4 в формате PyTorch fp16, объединив её с SuperHOT 8K от Kaio Ken. Это плотная авторегрессионная модель семейства LLaMA примерно с 32,3 млрд параметров и контекстом до 8192 токенов. В README указано, что для поддержки расширенного контекста при инференсе требуется trust_remote_code=True или соответствующий monkey patch. Модель предназначена для диалогов и ответов на инструкции, включая вопросы по предоставленному контексту, генерацию текстов, ролевые сценарии, загадки и примеры кода. Обучающие данные Airoboros были синтетически созданы с помощью GPT-4; в карточке также отмечены примеры кода на десяти языках программирования. Для полного качества ответы на закрытые вопросы по контексту рекомендуется задавать в специальном формате, описанном в README. Веса доступны в формате PyTorch fp16 для GPU-инференса и дальнейшей конвертации. README помечает исходную версию Airoboros как ещё не протестированную; модель требует совместимого окружения и настройки расширенного контекста. Лицензия в метаданных обозначена как other, поэтому конкретные условия следует сверять с файлами репозитория.

airoboros-c34b-2.2 — экспериментальная инструкционная языковая модель, разработанная Jon Durbin и дообученная на преимущественно синтетических данных набора airoboros-2.2. Это плотная модель семейства LLaMA с 33,5 млрд параметров, рассчитанная на генерацию текста и следующие инструкции; заявленная длина контекста — 16 384 токена. Карточка описывает формат диалога с отдельными строками USER и ASSISTANT и рекомендует останавливать генерацию при начале следующей реплики USER. Модель ориентирована на ответы по предоставленному контексту, выполнение инструкций, викторины и вопросы с вариантами ответа, генерацию кода и планов для сценариев с инструментами. Она также умеет формировать JSON или YAML для запросов, похожих на вызов функций, но сама по себе не вызывает инструменты. Автор отмечает, что модель может следовать системным инструкциям, однако их можно переопределить; контекстное обучение призвано ограничивать ответы источником, но не гарантирует отсутствия галлюцинаций. Для весов указана лицензия Llama 2. Карточка называет модель экспериментальной и описывает обучение на синтетических данных; отдельные языки и специализированная предметная область не заявлены.

bartowski/arcee-ai_Trinity-Large-Thinking-GGUF — это GGUF-квантизации текстовой генеративной модели Trinity-Large-Thinking, разработанной arcee-ai. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для задач рассуждения, агентских сценариев и вызова инструментов, а также для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI и совместимые интерфейсы. Модель работает с текстом и поддерживает английский, испанский, французский, немецкий, итальянский, португальский, русский, арабский, хинди, корейский и китайский языки. Доступны варианты квантизации от Q8_0 до более компактных Q3 и IQ3/IQ4; заявленный размер файлов составляет примерно от 181 до 424 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти, тогда как компактные варианты рассчитаны на системы с ограниченными ресурсами. Архитектура, число параметров и размер контекста в README не указаны. Сильными сторонами являются поддержка многоязычной генерации, задач рассуждения и агентского взаимодействия, а также широкий выбор квантизаций. Ограничениями выступают очень большие требования к дисковому пространству и памяти, зависимость совместимости от обновлений используемого программного обеспечения и возможное снижение качества у компактных вариантов. Модель распространяется по лицензии Apache-2.0.

BigFalcon3-from10B — языковая модель для генерации текста и диалогов, созданная ehristoforu с помощью объединения весов через mergekit. В README указана модель tiiuae/Falcon3-10B-Instruct как единственная включённая в объединение; метаданные каталога классифицируют результат как дообучение этой базовой модели. Архитектура плотная, семейства Llama; модель содержит 15,8 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста, а также может использовать интерфейс вызова инструментов. Метаданные базовой модели указывают на сценарии рассуждений, программирования и математики. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и поддерживаемых языках в предоставленных данных отсутствуют.

collinzrj/DeepSeek-R1-Distill-Llama-8B-abliterate — версия DeepSeek-R1-Distill-Llama-8B с применённой abliteration; автор карточки сообщает, что при оценке HarmBench итоговый показатель вырос с 0,35 у базовой модели до 0,68. Модель основана на DeepSeek-R1-Distill-Llama-8B, разработанной DeepSeek и дистиллированной на данных рассуждений, и предназначена для генерации текста в диалогах, решения задач и других сценариев, где нужны рассуждения языковой модели. Это плотная причинная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Метаданные указывают контекст до 131 072 токенов, поддержку китайского и английского языков и формат весов safetensors. Указана лицензия MIT. Карточка содержит сравнение по HarmBench, но не описывает методику abliteration и не приводит полные результаты по всем категориям.

huihui-ai выпустила uncensored-версию DeepSeek-R1-Distill-Qwen-14B, созданную методом abliteration для удаления отказов модели. Это экспериментальная версия с грубой реализацией концепции; архитектура — плотная Qwen2ForCausalLM на 14 млрд параметров, формат весов — safetensors. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики и программирования; поддерживает контекст до 131072 токенов. Модель основана на deepseek-ai/DeepSeek-R1-Distill-Qwen-14B. Автор указывает, что доступна более новая версия v2. Условия лицензии в предоставленных данных не указаны.

huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated — версия DeepSeek-R1-Distill-Qwen-32B, созданная разработчиком huihui-ai методом abliteration для удаления отказов модели. Это плотная языковая модель семейства Qwen2, предназначенная для диалоговой генерации текста и решения задач рассуждения, математики и программирования с меньшим числом отказов на запросы. Модель содержит 32 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов; для работы указана библиотека Transformers и формат Safetensors. В README разработчик называет реализацию грубой проверкой концепции. Удаление отказов не гарантирует корректности или безопасности ответов. Базовая модель — DeepSeek-R1-Distill-Qwen-32B. Условия лицензии в предоставленных материалах не описаны.

MaziyarPanahi/DeepSeek-V3-0324-GGUF — это набор файлов модели DeepSeek-V3-0324 в формате GGUF. Исходную модель разработала команда deepseek-ai, а данную GGUF-версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска через совместимые инструменты и библиотеки. Формат GGUF поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими решениями, включая варианты с ускорением на GPU и совместимыми API. Это делает модель пригодной для локальных чат-интерфейсов, серверов генерации текста и интеграции в приложения. В README указана 2-битная квантизация, которая может снизить требования к памяти, но потенциально сопровождается ухудшением качества по сравнению с полноразмерной моделью. В предоставленных данных не указаны архитектура, общее число параметров, поддерживаемые языки и размер контекста. Модель распространяется по лицензии MIT.

Dolphin Mistral 24B Venice Edition — языковая модель для генерации текста, разработанная Dolphin в сотрудничестве с Venice.ai на базе Mistral-Small-24B-Instruct-2501 от Mistral AI. Модель предназначена для общего назначения: диалоговых систем, ассистентов и встраивания в приложения, где владельцу нужен контроль над системным промптом, настройками выравнивания и данными. Она позиционируется как максимально неограниченная версия Mistral 24B и используется в экосистеме Venice, где представлена под названием Venice Uncensored. Модель относится к классу text-generation и совместима с Transformers, vLLM, Ollama, LM Studio, SGLang и TGI. Указан формат FP8; размер базовой модели — 24B параметров. Сохраняется стандартный chat template Mistral. Для инференса рекомендуется низкая температура, например 0,15; в примере для vLLM заявлена поддержка контекста до 131 072 токенов, вызова инструментов и изображений, однако архитектура мультимодальности и точный набор поддерживаемых языков в README не описаны. Сильная сторона модели — управляемость: системный владелец самостоятельно задаёт тон, правила поведения и ограничения, а также может разворачивать модель локально или в собственной инфраструктуре. Ограничение заключается в намеренно минимальном уровне встроенных этических и безопасностных ограничений, поэтому результаты требуют внешнего контроля и настройки политик применения. Модель распространяется по лицензии Apache-2.0.

Enteli-49B — текстовая генеративная модель, разработанная командой EnteliMind. В карточке заявлены возможности понимания и генерации текста, рассуждений, программирования и математических задач; также описана адаптация под отраслевые сценарии. Эти заявления о качестве и сравнении с GPT-3.5 не подтверждены приведёнными данными бенчмарков. Метаданные указывают архитектуру MixtralForCausalLM семейства Mixtral с разреженной смесью экспертов (MoE), 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогового использования и выдаёт текст; карточка описывает удобство интеграции через Hugging Face Transformers. README не сообщает поддерживаемые естественные языки или лицензию, поэтому их нельзя уточнить. Модель распространяется в формате safetensors. В карточке заявлены эксперименты с нормализацией EMADNorm, однако подробностей для оценки их влияния на качество не приведено.

Карточка модели OpenLLM-Korea/EXAONE-Deep-7.8B на Hugging Face совпадает с карточкой LGAI-EXAONE/EXAONE-Deep-7.8B, поэтому описание составлено по ней. EXAONE-Deep-7.8B — плотная языковая модель для рассуждений, разработанная LG AI Research. Она предназначена для генерации ответов и решения задач на рассуждение, включая математику и программирование; поддерживает диалоговый режим. Модель дообучена на EXAONE-3.5-7.8B-Instruct и содержит 7,4 млрд параметров. Архитектура — ExaoneForCausalLM с 32 слоями и групповым запросом внимания (32 Q-головы и 8 KV-голов); длина контекста — 32 768 токенов. Модель рассчитана прежде всего на английский и корейский языки. Для запуска рекомендуются Transformers версии 4.43.1 или новее; также перечислены TensorRT-LLM, vLLM, SGLang, llama.cpp, Ollama и LM Studio. В репозитории доступны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в самой карточке и сопутствующей документации. Модель может выдавать неточные, устаревшие, предвзятые или неподходящие ответы; результаты требуют проверки.

LargitData/gemma-4-26b-a4b-it-fp8 — производственный офлайн-чекпойнт в формате FP8 Dynamic, созданный Largitdata Inc. на основе Google Gemma 4 26B-A4B-it. Модель предназначена для локального и серверного инференса через vLLM, включая развёртывание OpenAI-совместимого API и сценарии с несколькими одновременно обслуживаемыми пользователями. Заявленная поддержка языков — английский и китайский; тип задачи — генерация текста. Модель использует архитектуру mixture-of-experts (MoE), а её базовый размер обозначен как 26B-A4B. Максимальная длина контекста в приведённых тестах составляла 32 768 токенов. Ключевая особенность — динамическое FP8-квантование без предварительной калибровки и без квантования весов MoE-роутеров и 1D-тензоров нормализации, что обеспечивает совместимость с путём загрузки Gemma 4 в vLLM. На NVIDIA H200 NVL чекпойнт занимал 25,75 GiB памяти против 48,5 GiB у BF16-версии, обеспечивал на 80% больший размер KV-кэша и почти 39-кратную максимальную параллельность для запросов длиной 32K токенов. В тесте MMLU-Pro точность составила 81,33% против 81,59% у BF16-базовой модели. Ограничения включают примерно на 6% большую задержку одиночного запроса по сравнению с BF16, отсутствие результатов по MT-Bench и другим бенчмаркам, а также ограниченную проверку оборудования: тестирование проводилось только на NVIDIA H200 NVL. Поведение на других GPU и влияние исключения роутеров из квантования требуют дополнительной оценки. Артефакт не является официальным релизом Google; применяются условия лицензии Gemma, указанной для базовой модели.

Gemopus-4-31B-it — дообученная Jackrong версия инструкционной модели Google Gemma 4 31B-it. Это плотная текстовая генеративная модель для диалогов и следования инструкциям; при настройке автор стремился сохранить исходный стиль рассуждений Gemma 4 и улучшить качество, структуру, ясность и последовательность ответов. Модель обучалась с использованием исправленного стека Unsloth и Transformers. Модель рассчитана на повседневную работу с текстом: подготовку структурированных ответов и сводок, редактирование текста и интерактивное программирование. В README автор отдельно отмечает улучшения в организации длинных ответов, объяснении технических тем и естественности диалога. В метаданных указаны английский, китайский, корейский и японский языки; мультимодальные возможности базовой модели не следует автоматически считать возможностями этой текстовой версии. Автор предупреждает, что модель может уступать более крупным облачным моделям в объёме знаний и сложных математических или логических рассуждениях; в узкоспециализированных темах возможны ошибки и галлюцинации. Автор называет веса экспериментальными. Лицензия — Apache-2.0.