II.7DevOps, облако и эксплуатация IT-систем

sleepyeldrazi/DeepSeek-v4-Flash-REAP-K180-NVFP4 — это производная текстовая модель на основе DeepSeek V4 Flash, подготовленная sleepyeldrazi. Она использует структурное удаление экспертов методом REAP: в слоях MoE оставлено 180 из 256 маршрутизируемых экспертов, а слои 0–2 сохранены без такого сокращения. По README, дообучения не было: это подмножество исходных весов, упакованное в GGUF с гибридной точностью NVFP4, Q2_K и Q8_0; NVFP4-конверсия экспертных весов описана как преобразование формата масштабов без потери точности относительно исходного MXFP4. Модель предназначена для генерации текста и диалогового использования, включая программирование, агентные сценарии с вызовом инструментов, исследования и ответы на длинном контексте. README заявляет поддержку контекста до 1 млн токенов на NVIDIA DGX Spark с GB10 при использовании FP8 KV-кэша и специального движка ds4-nvfp4-spark с управляемой памятью. Обычные GGUF-движки, включая стандартный llama.cpp, модель не загружают. Лицензия — MIT. Запуск зависит от специализированного оборудования и программного обеспечения; для конфигурации K180 в README указана необходимость режима управляемой памяти, а сама карточка помечена как экспериментальная. В заявленных характеристиках есть оптимизации под DGX Spark, поэтому переносимость и производительность на других системах не подтверждены предоставленными данными.

Elbaz-NVIDIA-Nemotron-3-Nano-30B-A3B-PRISM-NVFP4 — квантизированная версия разговорной языковой модели NVIDIA Nemotron-3-Nano, подготовленная Эриком Эльбазом (Ex0bit) с помощью NVIDIA TensorRT Model Optimizer. Модель предназначена для генерации текста в диалогах и представлена как вариант без фильтрации ответов. Это гибридная модель семейства Nemotron с архитектурой Mamba-2 и MoE; базовая версия содержит 30 млрд параметров при 3 млрд активных. Веса сжаты в формат NVFP4, размер чекпойнта около 18 ГБ. Для запуска требуются GPU NVIDIA Blackwell и TensorRT-LLM версии 0.17 или новее. README указывает калибровку на 512 примерах WikiText-2. Модель подходит для диалогов, ответов на вопросы, рассуждений и задач программирования; метаданные указывают английский язык. Формат несовместим с потребительскими GPU RTX 3000/4000/5000, llama.cpp и стандартным инференсом PyTorch. В карточке базовой модели указана поддержка шести языков, но языки кроме английского для этой версии отдельно не подтверждены. Лицензия в метаданных обозначена как other.

LIMI-Air — агентная языковая модель, разработанная GAIR и дообученная на базе zai-org/GLM-4.5-Air. Она предназначена для диалоговых сценариев, рассуждений и работы с инструментами в агентных приложениях; сообщения подаются в формате OpenAI chat, инструменты можно передавать отдельно. По README, базовая модель содержит около 107 млрд параметров, тогда как метаданные репозитория указывают 8,5 млрд параметров и архитектуру семейства GLM-4 MoE; заявленный контекст составляет 131 072 токена. Карточка описывает обучение на компактных курированных агентных данных GAIR/LIMI и приводит оценку на AgencyBench. Модель рассчитана на более быстрый и менее затратный запуск по сравнению с крупными вариантами LIMI, с возможным снижением качества на сложных задачах. Проверка проводилась на курированных агентных задачах, поэтому результаты могут не переноситься на другие сценарии. Для запуска в README приведены Transformers, vLLM и SGLang. Лицензия репозитория — Apache-2.0.

OsaurusAI выпустила MiniMax-M2.7-Small-JANGTQ — разреженную языковую модель MoE для генерации текста и диалогов, подготовленную на основе MiniMaxAI/MiniMax-M2. В README указаны около 138 млрд параметров всего и около 10 млрд активных на токен; на каждом слое сохранено 154 из 256 маршрутизируемых экспертов, а для токена выбираются 8. Модель рассчитана на запуск на компьютерах Apple Silicon через MLX и нативную среду JANGTQ для Swift. При подготовке удалено 40% маршрутизируемых экспертов методом REAP, а веса квантованы: эксперты — до 2 бит с кодовыми книгами Lloyd-Max и преобразованием Hadamard, блоки внимания, плотные MLP, эмбеддинги и выходная голова — до 8 бит, нормализации и маршрутизатор — до 16 бит. В карточке заявлен контекст 196 608 токенов; языковые метки — английский и китайский. Приведённая оценка HumanEval+ показывает 81,10% pass@1 и 90,24% pass@5, но README также сообщает о сбоях границ токенов и нехватке бюджета генерации в части примеров. Для загрузки полного набора весов требуется файл jangtq_runtime.safetensors: без него Swift-загрузчик не декодирует упакованные веса. Лицензия указана как other, поэтому условия использования следует проверять в репозитории модели.

Qwen2idae-16x14B-v1.0 — разговорная языковая модель от авторов проекта Parameter-Efficient Sparsity Crafting. Она преобразует плотные модели в разреженную архитектуру Mixture-of-Experts с помощью эффективного дообучения, включая QLoRA и адаптеры. По карточке модели, версия выпущена в марте 2024 года. Модель предназначена для диалогов и инструкций, особенно для задач математики и программирования. В метаданных указаны 13,4 млрд параметров, архитектура Qwen2ForCausalLM типа MoE, контекст до 32 768 токенов и библиотека Transformers; в README заявлено 15 млрд активируемых параметров. Для работы доступны веса Safetensors. Модель поддерживает английский язык. Лицензия — Apache-2.0. README приводит оценки на бенчмарках для серии Camelidae, но не содержит результатов Qwen2idae-16x14B-v1.0, поэтому качество именно этой версии по этим данным оценить нельзя.

Wizard Mega 13B — языковая модель OpenAccess AI Collective, дообученная на базе LLaMA 13B на данных ShareGPT, WizardLM и Wizard-Vicuna. Это плотная авторегрессионная модель семейства LLaMA с 12,9 млрд параметров, предназначенная для генерации текста и ответов на инструкции; доступный контекст составляет 2048 токенов. В карточке приведён пример генерации Python-кода. Модель обучалась два эпоха: релиз основан на чекпойнте второй эпохи, поскольку оценочная ошибка росла на третьей. Данные обучения очищали от некоторых отказов и стандартных фраз вроде «As an AI language model». Модель не проходила RLHF и не имеет встроенной фильтрации ответов, поэтому может выдавать проблемный контент. Лицензия в предоставленных данных не указана.

A3ON-1B-i1-GGUF — это GGUF-квантизация базовой модели A3ON-1B, разработанной Kaiiddo и подготовленной к распространению пользователем mradermacher. Модель предназначена для генерации текста и помощи в программировании; в метаданных указана поддержка английского языка. Формат GGUF рассчитан на локальный запуск в совместимом программном обеспечении. Модель имеет размер 1 млрд параметров, однако сведения об архитектуре, длине контекста и поддерживаемых модальностях в README не приведены. Доступны многочисленные варианты квантизации, включая IQ- и Q-семейства, размером примерно от 0,5 до 1,1 ГБ. В README отмечается, что IQ-квантизации часто обеспечивают лучшее качество при сопоставимом размере; среди вариантов отдельно рекомендуются i1-Q4_K_M и i1-Q4_K_S, а i1-Q6_K по качеству практически соответствует статической Q6_K. Более агрессивные варианты могут заметно снижать качество. Лицензия модели — CC BY 4.0. README не содержит подробных результатов тестирования, поэтому её преимущества и ограничения следует оценивать с учётом выбранного уровня квантизации и конкретного сценария использования.

QuantFactory/INTELLECT-1-GGUF — это квантизированная версия базовой языковой модели INTELLECT-1, подготовленная QuantFactory с использованием llama.cpp. Исходную модель разработала Prime Intellect совместно с 30 независимыми участниками, предоставлявшими вычислительные ресурсы. Модель предназначена для генерации английского текста и кода, а также исследовательских и прикладных сценариев, где требуется базовая языковая модель. Для диалогового использования рекомендуется отдельная версия INTELLECT-1-Instruct. INTELLECT-1 содержит 10 миллиардов параметров, 42 слоя, 32 attention heads, hidden size 4096, контекст длиной до 8192 токенов и словарь из 128256 токенов. Она обучена с нуля на 1 триллионе токенов преимущественно англоязычного текста и кода, включая FineWeb-Edu, FineWeb, Stack V1, DCLM и OpenWebMath. Обучение выполнялось распределённо на узлах в разных частях мира с применением DiLoCo и оптимизированного int8 all-reduce. К сильным сторонам относятся крупный объём обучения, открытая базовая архитектура и возможность запуска в формате GGUF через llama.cpp, включая сценарии локального инференса с подходящим уровнем квантизации. Ограничения связаны с тем, что это base-модель, не оптимизированная для инструкций и диалогов; заявленный основной язык — английский, а характеристики конкретного варианта квантизации в README не указаны. При подготовке входных данных необходимо добавлять BOS-токен, иначе производительность может снизиться. Модель распространяется по лицензии Apache 2.0.

Jamjuri Edge — экспериментальная компактная языковая модель семейства JamjuriEDGE, разработанная на базе Qwen3-4B-Instruct-2507. Это плотная модель с 3,7 млрд параметров и контекстом до 262 144 токенов; релиз создан дообучением базовой модели и объединением LoRA-экспертов методом TIES. Модель предназначена для локального и офлайн-применения, в том числе в агентных сценариях с вызовом инструментов. Модель рассчитана на тайский и английский языки и ориентирована на следование инструкциям, написание и отладку кода, вычисления, автоматизацию IoT и работу с инструментами. В карточке описаны разные варианты слияния, балансирующие навыки управления инструментами, математики и программирования; для идентификатора Jamjuri-EDGE-Preview-100 конкретный вариант среди этих кандидатов не уточнён. В метаданных указаны Transformers и формат safetensors, лицензия Apache-2.0. Это экспериментальная модель с ограничениями, характерными для компактного чекпойнта: сложная автоматизация нескольких IoT-устройств даётся трудно, отдельные слияния могут ухудшать вызов функций, а изменение соотношений слияния влияет на поведение. Возможны ошибки привязки атрибутов к объектам и смещение стиля ответов из-за специализированных адаптеров.

Bram Vanroy разработал Llama-2-13b-chat-dutch — чат-модель на архитектуре Llama 2 с 12,9 млрд параметров. Она основана на meta-llama/Llama-2-13b-hf: сначала модель дополнительно обучали на нидерландских данных, затем дообучили на наборах синтетических инструкций и диалогов. Контекст составляет 4096 токенов; модель принимает текст и генерирует текст.

RedHatAI/Llama-3.2-1B-Instruct-FP8-dynamic — квантизированная версия Meta Llama 3.2 1B Instruct, разработанная Neural Magic. Это текстовая autoregressive-модель для генерации текста и диалоговых сценариев в формате ассистента, включая коммерческое и исследовательское использование. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако отдельно указано ограничение на использование языков, отличных от английского. Модель использует архитектуру Meta-Llama-3.2 и принимает текст на входе, возвращая текст. Веса и активации линейных операторов внутри transformer-блоков квантизированы в FP8; для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. По сравнению с 16-битным представлением это примерно вдвое снижает требования к дисковому пространству и памяти GPU. Модель предназначена для эффективного инференса с vLLM и может предоставляться через OpenAI-совместимый интерфейс. Ключевое преимущество — снижение потребления ресурсов при сохранении близкого к исходной модели качества: средний результат на указанной подвыборке OpenLLM Leaderboard составляет 50,88 против 51,70 у неквантизированной версии. Ограничение — небольшая потеря точности после квантизации, а также необходимость совместимого окружения vLLM. Модель выпущена 25 сентября 2024 года, версия 1.0, и распространяется по лицензии llama3.2.

Meta-Llama-3-8B-Alternate-Tokenizer — текстовая авторегрессионная языковая модель семейства Llama 3, разработанного Meta. В репозитории указана архитектура LlamaForCausalLM с плотной моделью размером около 7,5 млрд параметров; веса доступны в формате safetensors. Модель принимает текст и генерирует текст или код, а метаданные отмечают поддержку диалогового режима. Контекст — до 8192 токенов. Модель подходит для генерации текста, диалогового помощника и адаптации к задачам генерации естественного языка. README семейства описывает применение прежде всего на английском языке, включая коммерческие и исследовательские сценарии; это описание не подтверждает отдельное дообучение данного репозитория. В README также указано, что модели Llama 3 используют Grouped-Query Attention для масштабирования инференса. Репозиторий содержит общую карточку семейства Llama 3, поэтому специфические свойства альтернативного токенизатора здесь не раскрыты. Для использования действует специальная коммерческая лицензия Llama 3 и связанные с ней правила допустимого использования; модель не предназначена для применения на языках, отличных от английского, согласно приведённому описанию.

RedHatAI/Qwen2-1.5B-Instruct-FP8 — квантованная версия языковой модели Qwen2-1.5B-Instruct, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования, прежде всего для англоязычного диалогового взаимодействия и создания ассистентов. Она принимает текст и генерирует текст, поддерживает сценарии чат-ботов и может развёртываться с помощью vLLM, включая OpenAI-совместимый режим сервинга. Модель содержит около 1,5 млрд параметров и использует архитектуру Qwen2. Веса и активации линейных операторов в блоках трансформера квантизованы в формат FP8 с применением симметричной поканальной? per-tensor-квантизации и статического масштабирования. Квантизация уменьшает число битов на параметр с 16 до 8, а требования к дисковому пространству и памяти GPU — примерно на 50%. В README указана длина контекста до 4096 токенов для примеров развёртывания. Для квантизации использовались AutoFP8 и 512 последовательностей из UltraChat. По данным OpenLLM Leaderboard v1, средний результат составляет 54,59 против 55,18 у неквантизованной версии, что указывает на небольшую потерю качества при заметном снижении требований к ресурсам. Ограничением является заявленная ориентация на английский язык: использование на других языках указано как выходящее за пределы назначения. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это многоэтапная дообученная и объединённая версия модели Qwen3.8-27B, опубликованная в репозитории trinityomnis и основанная на модели DavidAU. Модель распространяется в формате GGUF, включая обычные и MTP-квантизации, и ориентирована на запуск на потребительском оборудовании. В README заявлены поддержка английского и китайского языков, размер около 27 млрд параметров, режимы рассуждения, а также специализация на программировании, творческом письме, художественной прозе и ролевых сценариях. Ключевая цель разработки — повысить способность к решению задач и детализации ответов, одновременно сократив объём токенов, затрачиваемых на рассуждение, по сравнению с базовой Qwen3.8. По заявлению автора, модель обучалась с использованием методов COLD FUSION и Fable Fusion 711 и показывает более высокие результаты на ряде внутренних или указанных в README бенчмарков, включая ARC-C и ARC-E. Эти результаты не подтверждены независимыми данными в представленном описании. Сильными сторонами модели заявлены скорость генерации, сокращённое рассуждение, кодинг, подробное творчество и широкий спектр сценариев применения. Ограничения включают отсутствие сведений о размере контекстного окна, точной архитектуре, поддерживаемых мультимодальных входах и системных требованиях. Модель обозначена как uncensored и abliterated, поэтому её ответы могут требовать дополнительной фильтрации и контроля. Лицензия — Apache-2.0.

euser/wKAN-7b — языковая модель для генерации текста, созданная объединением предварительно обученных моделей с помощью mergekit и метода DARE TIES. В качестве базовой модели в README указана mistralai/Mistral-7B-v0.1; метаданные также связывают объединение с LakoMoor/Silicon-Alice-7B, NeverSleep/Noromaid-7B-0.4-DPO и seyf1elislam/WestKunai-Hermes-7b. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. В README показан сценарий генерации ответа на текстовый запрос через Transformers и chat template; нативная длина контекста составляет 32 768 токенов. Лицензия в предоставленных данных не указана.

Arcee-Agent — языковая модель на 7,1 млрд параметров, разработанная Arcee AI для вызова функций и работы с инструментами. Она основана на Qwen2-7B и использует плотную архитектуру Qwen2ForCausalLM; для обучения применялся Spectrum, вычислительные ресурсы предоставила CrusoeAI. Модель предназначена для диалоговых агентов, маршрутизации запросов к инструментам и многошаговой автоматизации. Она может формировать вызовы API и баз данных, а также вести самостоятельный диалог. Поддерживает форматы Glaive FC v2, Salesforce и Agent-FLAN; в README отмечена наилучшая работа с форматом VLLM OpenAI FC. Контекст — до 131 072 токенов. Карточка указывает английский, немецкий и арабский языки. Модель распространяется под лицензией Apache-2.0. В README заявлены скорость и эффективность, однако не приведены независимые оценки качества. Как и другие языковые модели, она может ошибаться; выполнение её вызовов инструментов зависит от внешней инфраструктуры и настроек приложения.

CodeT5 Base — разработанная Salesforce предварительно обученная модель кодирования-декодирования на архитектуре T5, представленная в статье «CodeT5: Identifier-aware Unified Pre-trained Encoder-Decoder Models for Code Understanding and Generation». Модель содержит 123,7 млн параметров, использует кодо-ориентированный BPE-токенизатор и имеет контекст длиной 512 токенов. Она обучена на CodeSearchNet и дополнительных наборах кода C/CSharp: всего около 8,35 млн примеров. Модель предназначена для понимания и генерации кода, включая суммаризацию, генерацию, перевод и исправление кода, а также обнаружение дефектов и поиск клонов. Это базовый предварительно обученный чекпойнт: для целевых задач его обычно дообучают. Модель работает с текстовым представлением исходного кода и комментариев; в README отдельно отмечена задача восстановления замаскированных фрагментов. Лицензия репозитория — Apache-2.0. Авторы позиционируют выпуск как исследовательский и рекомендуют оценивать точность и безопасность перед внедрением.

GRM-1.5b — компактная языковая модель общего назначения, разработанная OrionLLM и дообученная на базе Qwen/Qwen2.5-1.5B-Instruct для многоэтапных рассуждений. Модель предназначена для решения задач по математике, логике, программированию и широкому кругу вопросов; её также предлагают использовать как основу для дальнейшего дообучения. В обучающую смесь, согласно карточке, включены некоторые данные для медицинских рассуждений. Модель имеет плотную архитектуру Qwen2, содержит 1,5 млрд параметров и поддерживает контекст до 32 768 токенов. Она принимает текст и генерирует текст; доступна в формате safetensors для Transformers. В карточке приведены результаты на математических, научных и программных бенчмарках, но они сами по себе не гарантируют качество на конкретных пользовательских задачах. Модель распространяется по лицензии Apache-2.0. Её небольшой размер удобен для локального запуска и экспериментов, однако, как компактная модель, она может уступать более крупным моделям в сложных задачах и требует проверки ответов, особенно в медицинских сценариях.

Jina AI обучила jina-code-embeddings-1.5b на базе Qwen/Qwen2.5-Coder-1.5B для поиска по коду и технических вопросов. Модель содержит 1,5 млрд параметров, использует архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель формирует векторные представления для поиска по естественно-языковым запросам и коду: поддерживаются сценарии text-to-code, code-to-code, code-to-text и code-to-completion. Для разных задач можно выбирать инструкционные префиксы; размер эмбеддинга по умолчанию — 1536 измерений, его можно сократить до 128. Заявлена поддержка более 15 языков программирования и технических вопросов в областях веб-разработки, разработки ПО, машинного обучения, анализа данных и учебных задач по программированию. Модель дообучена на Qwen/Qwen2.5-Coder-1.5B и распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Для ускорения вывода рекомендуется flash-attention; также доступна интеграция с sentence-transformers и vLLM.

Kai-0.35B-Instruct — компактная инструктивно дообученная языковая модель NoesisLab на архитектуре LlamaForCausalLM с плотной сетью и примерно 361,8 млн параметров. Она предназначена для диалогов, рассуждений, математических задач и генерации кода; заявленная длина контекста — 8192 токена. Модель принимает текст и генерирует текст на английском языке. В карточке приведены результаты тестов ARC-Challenge, HellaSwag, PIQA и MBPP, включая показатель pass@1 на MBPP. Модель распространяется в формате safetensors по лицензии Apache-2.0. Показатели в README относятся к указанным там настройкам оценки и сами по себе не гарантируют аналогичное качество в других задачах или условиях.

LayerSkip Llama2 70B — языковая модель Meta, созданная на основе Meta Llama 2 70B посредством дальнейшего предобучения с LayerSkip. Она генерирует текст и поддерживает ускоренное декодирование с ранним выходом: ранние слои формируют черновой ответ, а оставшиеся слои его проверяют. Такой режим предназначен для ускорения авторегрессионной генерации, сохраняя качество проверки основной моделью. Модель рассчитана на англоязычные задачи генерации естественного языка и кода. README приводит замеры на восьми GPU NVIDIA A100: 12,49 токена в секунду при self-speculative decoding против 9,89 при обычном декодировании в описанной конфигурации. Для полного выигрыша в памяти и производительности предлагается оптимизированная реализация LayerSkip; вариант через Hugging Face требует дополнительной памяти для KV-кэша и активаций. Модель распространяется в форматах PyTorch и Safetensors; лицензия указана как other, поэтому условия следует уточнять в карточке и лицензии базовой модели.

Llama-3-11.5B — плотная авторегрессионная языковая модель семейства Llama, опубликованная beratcmn. Она собрана методом passthrough с помощью LazyMergekit из двух диапазонов слоёв одной и той же Meta-Llama-3-8B; в метаданных указано около 11 млрд параметров. Модель предназначена для генерации текста, а карточка также указывает обученную на её основе версию beratcmn/Llama-3-11.5B-v0.1. Модель принимает текст и выдаёт текст. Указанная длина контекста — 8192 токена. Базовая Meta-Llama-3-8B описана как модель для английского текста и кода, но отдельные языковые возможности производной модели в карточке не уточняются. Файлы модели представлены в формате safetensors. Для использования применяются условия лицензии базовой Meta-Llama-3-8B; сведения о лицензии в предоставленных данных отсутствуют.

MathCoder2-Llama-3-8B-GGUF — это квантованные GGUF-версии модели MathCoder2-Llama-3-8B, разработанной MathGenie и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и ориентирована прежде всего на математические и программные задачи, включая решение задач, написание и анализ кода. В качестве источника данных указан набор MathGenie/MathCode-Pile. Модель основана на семействе Llama 3 и содержит 8 миллиардов параметров. Она работает с текстом и заявлена для английского языка. Доступны варианты от исходных весов F16 до квантований Q8, Q6, Q5, Q4, Q3 и Q2, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Файлы подготовлены с использованием llama.cpp и imatrix; предусмотрено локальное использование, в том числе через LM Studio. Сильной стороной является специализация на математике и коде, а также широкий выбор квантованных вариантов: высококачественные сборки занимают около 6–9 ГБ, а более компактные — примерно 3,7–5 ГБ. Ограничения включают снижение качества на низких уровнях квантования, неизвестные в представленном README размер контекста и подробные результаты оценки, а также отсутствие заявленной поддержки языков кроме английского. Указана лицензия Apache-2.0.

Это пакет GGUF-слоёв модели Mistral-Small-3.2-24B-Instruct-2506-UD-Q4_K_XL, подготовленный Mesh LLM для распределённого инференса. Пакет создан из unsloth/Mistral-Small-3.2-24B-Instruct-2506-GGUF и сохраняет веса в виде отдельных артефактов по слоям для запуска на кластере Mesh LLM. Модель предназначена для локального диалогового инференса, в том числе на нескольких машинах, когда полный GGUF-файл трудно разместить на одном узле. Через Mesh LLM она поддерживает чат и совместимый с OpenAI интерфейс chat completions. Репозиторий содержит вариант UD-Q4_K_XL в формате GGUF layer-package; сведения об архитектуре, контекстном окне, языках и лицензии следует сверять с карточкой исходной модели.

Abiray/Nanbeige4.2-3B-GGUF — набор квантизированных версий модели Nanbeige/Nanbeige4.2-3B, опубликованный в формате GGUF. Модель разработана Nanbeige; в репозитории представлены файлы для локального запуска через llama.cpp. Базовая архитектура — Looped Transformer с 3 миллиардами параметров без учёта embedding-параметров. Модель предназначена для генерации текста, включая задачи, связанные с кодом и агентными сценариями. Указанные языки — английский и китайский. Мультимодальные возможности и размер контекста в README не указаны. Доступны варианты квантизации от 4 до 8 бит: Q4_K_S и Q4_K_M уменьшают требования к памяти, Q5_K_M и Q6_K обеспечивают более высокую точность, а Q8_0 ориентирован на максимальное качество среди GGUF-версий. Квантизация позволяет запускать модель локально, но может снижать качество относительно исходной версии, особенно при использовании более агрессивных вариантов. Распространение указано под лицензией Apache-2.0. Для запуска рекомендуется llama.cpp с поддержкой Nanbeige4.2; конкретные требования к оборудованию и производительности зависят от выбранного файла квантизации.

Карточка модели prompt-agnostic-language-models/Qwen-1B_coin на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B-Base, поэтому описание составлено по ней. Qwen3-0.6B-Base — базовая плотная авторегрессионная языковая модель семейства Qwen3, разработанная командой Qwen. Это предварительно обученная модель примерно с 508 млн параметров: 28 слоёв, группированное внимание с 16 головами Q и 8 головами KV. Она принимает текст и генерирует продолжение, служит основой для дообучения и адаптации под прикладные задачи. Модель предназначена для языкового моделирования общего назначения, включая генерацию текста, работу с кодом, STEM-темами, логическими рассуждениями и многоязычными данными. Контекстное окно составляет 32 768 токенов. В README указано, что семейство Qwen3 обучалось на корпусе из 36 трлн токенов на 119 языках; перечень языков, поддерживаемых именно этой базовой версией, отдельно не приведён. Модель распространяется под лицензией Apache-2.0. Это базовая предобученная версия, поэтому для диалогового помощника или специализированного приложения обычно потребуется дообучение либо настройка шаблона запросов; карточка не приводит конкретных гарантий качества для таких сценариев.

Qwen2-0.5B-Instruct-GGUF — квантованная GGUF-версия малой инструкционной языковой модели Qwen2, разработанной командой Qwen. Модель предназначена для диалогов, генерации и понимания текста, выполнения инструкций, а также задач, связанных с программным кодом, математикой и рассуждениями. Она подходит для локального запуска и развертывания через llama.cpp, включая совместимые с OpenAI API серверы. Модель содержит 0,5 млрд параметров и построена на архитектуре Transformer с активацией SwiGLU, смещениями в QKV внимания и Group Query Attention. Она поддерживает естественные языки и языки программирования; в карточке явно указан английский язык. В репозитории доступны варианты квантования q2_k, q3_k_m, q4_0, q4_k_m, q5_0, q5_k_m, q6_k и q8_0, что позволяет выбирать баланс между размером файла, требованиями к ресурсам и качеством. Модель прошла предварительное обучение, supervised fine-tuning и direct preference optimization. К сильным сторонам относятся небольшой размер, возможность локального использования и поддержка нескольких уровней квантования. Ограничения связаны с малым масштабом модели: по сравнению с более крупными моделями она, вероятно, уступает им в сложности рассуждений, качестве генерации и устойчивости на трудных задачах; конкретные ограничения по длине контекста в README не указаны. Модель распространяется по лицензии Apache-2.0.

Agnuxo/Qwen2-7B-v2-Instruct_CODE_Python-Spanish_English_GGUF_16bit — локальная чат-модель для генерации кода, опубликованная Франсиско Ангуло де Лафуэнте. Она основана на плотной архитектуре Qwen2 и содержит 7 млрд параметров; в репозитории представлены веса в формате GGUF F16. Модель предназначена для генерации и помощи с кодом на Python, а README также заявляет навыки работы с JavaScript, TypeScript, Rust, Go и C++, а также научными вычислениями и ML-библиотеками. Модель принимает текстовые запросы и выдаёт текст, подходит для локального запуска через Ollama и для диалогового взаимодействия. В метаданных указаны английский и испанский языки; длина контекста в предоставленных данных не приведена. Лицензия — Apache-2.0. README содержит заявления об интеграции с агентскими инструментами и экосистемой P2PCLAW, но не даёт независимых оценок качества генерации кода.

Donfagez/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — это набор GGUF-квантизаций многоэтапной дообученной и объединённой модели, созданной на базе DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. В README указано, что разработка выполнялась с использованием Unsloth, методов COLD FUSION и Fable Fusion 711, а также датасетов DavidAU/Polar-STRICT-Datasets и DavidAU/F451-STRICT-Datasets. Модель распространяется под лицензией Apache-2.0. Модель предназначена для широкого спектра задач: решения задач и рассуждений, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Заявлены режимы thinking и reasoning, а также поддержка нескольких режимов работы с уменьшенным объёмом рассуждений и ускоренной генерацией, включая MTP-варианты. Репозиторий содержит обычные GGUF-квантизации и MTP GGUF-квантизации, в том числе варианты с разрядностью 4 и 8 бит. Заявленные языки — английский и китайский; при этом в метаданных указан pipeline_tag image-text-to-text, но подробности о поддержке изображений в README не приведены. Ключевая характеристика модели — размер базовой модели 27B и ориентация на высокую детализацию, программирование и снижение избыточного рассуждения. Автор заявляет превосходство над базовой Qwen3.8 27B и рядом других моделей на семи внутренних бенчмарках, а также высокие результаты ARC-C и ARC-E, однако эти утверждения не подтверждены независимыми данными в представленном README. Ограничения включают отсутствие сведений о размере контекстного окна, точной архитектуре, системных требованиях, фактической мультимодальности и результатах внешнего тестирования; характеристики зависят от выбранной квантизации.

Qwen3.8-27B Uncensored ROCmFP4-STRIX-MTP-GGUF — это исследовательская квантованная версия модели Qwen3.8-27B, опубликованная пользователем kingjones777. Модель поставляется в формате GGUF и оптимизирована для запуска через llama.cpp на графике AMD Strix Halo (gfx1151) с ROCm. Вариант Uncensored создан методом abliteration, уменьшающим отказы от ответов на вредоносные запросы; этот метод не добавляет модели новых возможностей. Модель предназначена для генерации текста и кода, локального инференса и экспериментов со speculative decoding через отдельную MTP-модель-черновик. Доступны варианты ROCmFP4 FAST и STRIX_LEAN, а также Q6-квантизации; размер STRIX_LEAN составляет около 13,59 GiB, FAST — около 13,33 GiB. Для заявленной производительности рекомендуется AMD Ryzen AI Max+ 395 с Radeon 8060S, ROCm 7.2.4, контекстом 8192 и MTP с параметром n=4; в этих условиях приведены скорости до 24,73 токена/с для прозы и около 42,70 токена/с для кода. Для работы требуется совместимая сборка llama.cpp или ROCmFPX и отдельный draft-файл Q4_0. Преимущества модели — локальный запуск, поддержка AMD ROCmFP4 и сниженное число отказов, а ограничения — экспериментальный статус, зависимость производительности от оборудования и настроек, отсутствие гарантий сохранения выравнивания и потенциальные проблемы совместимости отдельных сборок. Лицензия — Apache-2.0.