II.7DevOps, облако и эксплуатация IT-систем

Meta-Llama-3.1-8B-Claude-GGUF — набор GGUF-квантизаций модели Meta-Llama-3.1-8B-Claude, базовой моделью которой указана Undi95. Квантизации подготовлены bartowski с использованием llama.cpp версии b3472 и метода imatrix. Модель предназначена для генерации текста и локального запуска, в частности через LM Studio; для работы используется формат промпта Llama 3 с ролями system, user и assistant. Доступны варианты от полных весов F32 размером 32,13 ГБ до низкобитных IQ2_M размером 2,95 ГБ. Рекомендуемые варианты включают Q4_K_M, Q5_K_M, Q6_K и другие; более высокие уровни квантизации обеспечивают лучшее качество, а низкие требуют меньше оперативной памяти, но могут заметно снижать качество генерации. В README не указаны архитектурные детали исходной модели, поддерживаемые языки, размер контекста, модальности или лицензия, поэтому эти характеристики нельзя достоверно определить.

Meta Llama 3.1 8B Instruct GGUF — это квантизированная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 миллиардами параметров. Исходную модель разработала Meta, а данный вариант подготовлен для библиотеки GGUF и распространяется quantizer’ом brooketh; он предназначен для локального использования в приложениях на базе llama.cpp, включая Backyard AI. Модель ориентирована на генерацию текста и диалоговые сценарии, в которых требуется следовать инструкциям. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный контекст составляет до 131 072 токенов. Формат GGUF позволяет распределять вычисления между CPU и GPU и запускать модель на более широком спектре оборудования, однако квантизация снижает требования к ресурсам ценой возможного ухудшения связности и качества при более низкой точности. Модель не дообучена специально для roleplay. Лицензия указана как llama3.1; перед использованием следует ознакомиться с её условиями. README не содержит сведений о конкретном уровне квантизации, размере файла, требованиях к памяти или результатах тестирования, поэтому производительность и качество на конкретном оборудовании заранее определить нельзя.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-GGUF — набор файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе модели Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-интерфейсах и системах, поддерживающих GGUF, включая llama.cpp, text-generation-webui, LM Studio, GPT4All, KoboldCpp и llama-cpp-python. В репозитории представлены варианты квантования с разрядностью от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Точные размер модели, архитектура исходной модели, максимальная длина контекста и поддерживаемые языки в README не указаны. Формат ориентирован на эффективный запуск, в том числе с GPU-ускорением, однако квантование может влиять на качество по сравнению с полноразмерной версией. Модель распространяется по лицензии Apache-2.0.

MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, полученная слиянием методом SLERP модели Mistral-7B-Instruct-v0.1 и Weyaxi/MetaMath-OpenHermes-2.5-neural-chat-v3-3-Slerp. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоге. Указанная длина контекста — 32 768 токенов; веса опубликованы в формате safetensors. Модель подходит для диалоговых запросов и генерации ответов на инструкции. В карточке не приведены отдельные оценки качества или сведения о поддерживаемых естественных языках, поэтому их нельзя надёжно уточнить. Лицензия — Apache-2.0.

MiniAI Quata1.5 (4B) — компактная языковая модель MiniAI на базе Qwen3-4B, дообученная для диалогов, следования инструкциям, рассуждений и генерации текста. Модель содержит около 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает текст; метаданные указывают контекст до 40 960 токенов. Карточка также описывает вариант GGUF с квантизацией Q4_K_M размером около 2,5 ГБ и локальный запуск через Ollama. Модель рассчитана на локальное использование, в том числе на потребительском оборудовании, и может применяться для ответов на вопросы, работы с длинными документами и генерации кода. README приводит результаты тестов MMLU, ARC-Challenge, GSM8K и TruthfulQA, однако методика и условия этих сравнений не описаны. Указана лицензия Apache 2.0; метаданные связывают репозиторий с базовой моделью Qwen/Qwen3-4B.

MaziyarPanahi/Ministral-3-14B-Reasoning-2512-GGUF — это набор файлов модели в формате GGUF для исходной модели Ministral-3-14B-Reasoning-2512, разработанной компанией Mistral AI. Квантизацию и публикацию этой версии выполнил MaziyarPanahi. Модель относится к классу генеративных текстовых моделей и предназначена для задач text-generation, включая локальный запуск через совместимые приложения и библиотеки. Формат GGUF ориентирован на эффективный запуск моделей, в том числе с использованием llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и других поддерживающих его инструментов. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством вывода. Заявленный размер исходной модели — 14B параметров. README не содержит сведений об архитектуре, поддерживаемых языках и модальностях, размере контекстного окна, результатах тестирования или конкретных ограничениях качества. Лицензия в предоставленных данных также не указана, поэтому условия использования необходимо уточнять в карточке исходной модели и репозитории. Для работы требуется совместимое программное обеспечение с поддержкой GGUF; конкретные требования к оборудованию зависят от выбранной разрядности и режима запуска.

Mistral 7B Instruct — текстовая языковая модель с приблизительно 7 млрд параметров, представленная в репозитории casperhansen. Данная версия представляет собой AWQ-квантизированный вариант модели, подготовленный с использованием AutoAWQ. README не уточняет исходного разработчика базовой модели, поддерживаемые языки и максимальный контекст. Модель предназначена для генерации текста и выполнения инструкций в диалоговом формате. В качестве сценариев использования указаны загрузка через AutoAWQForCausalLM и Transformers, потоковая генерация ответов, а также инференс через vLLM. Пример применения демонстрирует формат запросов Mistral с маркерами [INST] и [/INST], а также генерацию продолжений текста. Ключевое преимущество версии — AWQ-квантизация, которая может снизить требования к памяти и упростить запуск модели на совместимом оборудовании. Ограничения включают зависимость от совместимых версий Transformers, AutoAWQ или vLLM, а также отсутствие в README сведений о качестве на бенчмарках, языковом охвате, максимальной длине контекста и мультимодальных возможностях; по предоставленным данным модель является текстовой. Лицензия — Apache 2.0.

MaziyarPanahi/Mistral-7B-Instruct-v0.1-GGUF — это набор файлов модели в формате GGUF для Mistral-7B-Instruct-v0.1, разработанной Mistral AI (mistralai) и квантизированной MaziyarPanahi. Модель предназначена для генерации текста и инструкционного диалога, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Основа модели — Mistral с 7 миллиардами параметров; точные архитектурные характеристики, поддерживаемые языки и размер контекста в README не указаны. Доступны варианты квантизации от 2 до 8 бит, включая Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файла, требованиями к памяти, скоростью и качеством. Формат GGUF ориентирован на эффективный запуск, в том числе с GPU-ускорением, в локальных интерфейсах и серверных решениях. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с популярными инструментами локального инференса. Ограничения включают возможное снижение качества на агрессивно квантизированных вариантах, а также отсутствие в README подробных данных о результатах оценки, языковых возможностях и контекстном окне. Модель распространяется по лицензии Apache-2.0.

wang7776/Mistral-7B-Instruct-v0.2-sparsity-30-v0.1 — разреженная версия чат-модели Mistral-7B-Instruct-v0.2, созданная методом Wanda с целевой разреженностью 30%. В карточке сказано, что pruning выполнен без дообучения и изменения весов. Модель основана на Mistral-7B-Instruct-v0.2; её архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention. Репозиторий содержит веса Safetensors; в метаданных указаны 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов по инструкциям, подаваемым в формате Mistral с маркерами [INST] и [/INST]. Она принимает текст и генерирует текст. Карточка не задаёт основной язык модели. Лицензия — Apache-2.0. По заявлению карточки, разреживание сохраняет конкурентоспособное качество, но конкретные результаты оценки не приведены. У модели нет встроенных механизмов модерации, поэтому её ответы могут требовать отдельной проверки и фильтрации.

Mistral-Large-Instruct-2407-GGUF — это набор квантизированных версий инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через совместимые приложения, например LM Studio. Рекомендуемый формат промптов: <s> [INST] запрос [/INST]. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 130,28 до 32,43 ГБ для перечисленных вариантов; более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M, тогда как варианты с меньшей разрядностью экономят память за счёт снижения качества. Некоторые файлы оптимизированы для CPU и ARM, а часть вариантов поставляется с разделением на несколько файлов. Сильная сторона набора — возможность подобрать баланс между качеством, размером и требованиями к памяти для локального запуска. Ограничения включают значительные аппаратные требования даже у компактных вариантов, а также неизбежное ухудшение качества при агрессивной квантизации. В README не указаны архитектурные параметры, число параметров, размер контекста и мультимодальные возможности. Модель распространяется по лицензии MRL-0.1 от Mistral AI.

Это экспериментальный внутренний чекпойнт r19 модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленный разработчиком minjaechoi на основе nvidia/NVIDIA-Nemotron-3-Nano-30B-A3B-BF16. В README указано, что средняя точность маршрутизируемых экспертов составляет 2,0217 бита, тогда как остальные веса имеют формат BF16; веса хранятся в BF16-тензорах после деквантизации и загружаются через стандартные Transformers и vLLM. Метаданные указывают архитектуру Nemotron H, задачу генерации текста, контекст до 262 144 токенов и интерфейс для вызова инструментов. Модель подходит для диалогов и генерации текста, включая сценарии с вызовом инструментов; описание базовой модели также относит семейство к рассуждениям, программированию и агентным приложениям. Метаданные базовой модели указывают поддержку шести языков, но сами языки в предоставленных данных не перечислены. Чекпойнт обозначен как внутренний исследовательский и не содержит отдельных сведений о качестве или ограничениях его низкой точности экспертов. Лицензия наследуется от базовой модели.

Nova-1 Standard (Phase 3 SFT) — компактная авторегрессионная языковая модель Smilyai Labs с 1,27 млрд параметров, обученная с нуля и дообученная для следования инструкциям и многоходового диалога. Она предназначена для генерации текста, ответов в чате, а также задач с кодом и математикой. Модель использует плотную decoder-only архитектуру Nova1ForCausalLM, Mixture-of-Depths, Grouped-Query Attention, SwiGLU и RoPE. Есть собственный токенизатор на основе GPT-2 BPE с маркерами для кода, математики и ChatML. Модель работает через Transformers и выдаёт текст; заявлена поддержка английского языка. В README отмечено, что KV-кэш отключён, поэтому при генерации на каждом шаге передаётся полный контекст, что может снижать скорость вывода. Модель распространяется по лицензии Apache-2.0. README описывает обучение на веб-текстах, коде, математических данных и наборах инструкционных диалогов.

NVIDIA Nemotron 3.5 Lightning 30B-A3B W4A16 — это посттренировочная квантизированная версия модели NVIDIA Nemotron 3.5 Lightning 30B-A3B, подготовленная и упакованная проектом useful-quants. Модель предназначена для генерации текста и диалоговых сценариев, включая следование инструкциям, ответы на вопросы и высокопроизводительное развёртывание на NVIDIA GPU с использованием vLLM. Архитектура сочетает Mamba-2, Mixture-of-Experts и attention; общий размер составляет 30B параметров, из которых активно используется около 3B. Применяется квантизация W4A16 с размером группы 64, веса занимают около 16,60 GiB. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Архитектурное ограничение контекста — до 1 млн токенов; на одной NVIDIA RTX 3090 объём 640K токенов рекомендован для эксплуатации, а 744K проверен как предельный тестовый вариант. Сильные стороны модели — сравнительно небольшие требования к памяти, высокая пропускная способность и возможность работы с очень длинным контекстом на одной 24-гигабайтной видеокарте. Артефакт проверен с vLLM и compressed-tensors; прямой запуск через Transformers в исходных материалах не документирован. Показатели на отдельных тестах включают нормированную точность 0,87 на PIQA, 0,678 на HellaSwag и строгую instruction-level оценку 0,813 на IFEval, однако результаты зависят от конфигурации и не описывают все возможности модели. Модель распространяется по лицензии OpenMDW 1.1. NVIDIA является разработчиком исходной модели, а useful-quants выполнил квантизацию; он не обучал, не дообучал и не выравнивал модель. Условия предполагаемого использования, безопасности и полное описание исходной модели определяются лицензией и карточкой базовой версии NVIDIA.

Occiglot-7B-ES-EN-Instruct — инструктивная языковая модель, разработанная Occiglot Research Collective. Это плотный причинный трансформер-декодер архитектуры Mistral с 7,1 млрд параметров, дообученный на 160 млн токенов многоязычных и программных инструкций. Модель предназначена для диалогов и генерации текста на английском и испанском языках; также обучалась на инструкциях по программированию. Поддерживает шаблон чата ChatML. В карточке указана длина контекста 32 768 токенов, а при обучении использовалась длина 8 192 токена. Модель представляет собой первый выпуск исследовательского проекта Occiglot. Авторы отмечают предварительный характер оценок, а испанские результаты частично опираются на машинно переведённые наборы данных и английские запросы. Модель не проходила выравнивание по безопасности и может выдавать проблемные ответы. Распространяется по лицензии Apache 2.0.

Olmo Hybrid Instruct DPO 7B — англоязычная авторегрессионная языковая модель семейства Olmo Hybrid, разработанная Allen Institute for AI (Ai2). Это плотная гибридная RNN-модель на 6,3 млрд параметров, дообученная методом supervised fine-tuning и оптимизации предпочтений DPO на запросах по математике, программированию, диалогам и общим знаниям. Она предназначена для диалоговых ответов и генерации текста; поддерживает контекст до 32 768 токенов и запускается через Transformers 5.3.0 или выше. В карточке приведены результаты оценки на математических бенчмарках, включая MATH и AIME. Модель выпускается в формате safetensors и распространяется по лицензии Apache 2.0; Ai2 указывает исследовательское и образовательное применение в соответствии с рекомендациями Responsible Use. Без дополнительной фильтрации она может генерировать вредный или предвзятый контент, а ответы могут содержать фактические ошибки.

TheBloke/openchat-3.5-1210-GGUF — это набор квантованных моделей в формате GGUF для OpenChat 3.5 1210, разработанной командой OpenChat. Квантование выполнил TheBloke. В основе используется архитектура Mistral, а модель предназначена для генерации текста и диалоговых сценариев. Модель обучалась на совокупности датасетов с диалогами, инструкциями, математическими задачами, программированием и отзывами о качестве ответов. Она подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Доступны варианты квантования с разной точностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии, что позволяет выбирать баланс между требованиями к памяти и качеством генерации. README не указывает размер модели, поддерживаемые языки и длину контекста. Квантование снижает требования к ресурсам и упрощает запуск на CPU и GPU, но может немного ухудшать качество по сравнению с исходной неквантованной версией; степень влияния зависит от выбранного варианта квантования. Для корректного диалога рекомендуется шаблон OpenChat-Correct. Модель распространяется по лицензии Apache 2.0.

OpenHermes-2.5-Mistral-7B-GGUF — квантизированная версия инструкционной языковой модели OpenHermes-2.5-Mistral-7B, разработанной Teknium и преобразованной в формат GGUF компанией Second State Inc. Модель основана на архитектуре Mistral и содержит около 7 млрд параметров. В метаданных указан английский язык; модель предназначена для текстового диалогового взаимодействия и обработки инструкций с использованием шаблона ChatML. Модель подходит для локального запуска чат-ботов и LLM-сервисов, включая использование через LlamaEdge версии 0.2.8 и выше. Заявленный размер контекста составляет 4096 токенов. Доступны варианты квантизации от 2 до 8 бит с размером файлов примерно от 3,08 до 7,7 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S рекомендованы как сбалансированные по качеству и размеру, тогда как варианты с более низкой разрядностью экономят память, но заметно снижают качество. Основные преимущества модели — возможность локального развертывания, широкий выбор уровней квантизации и совместимость с экосистемой LlamaEdge. Ограничения включают относительно небольшой контекст в 4096 токенов и потери качества при использовании низкоразрядных вариантов; README не содержит подробных результатов оценки, сведений о других языках или мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

Ornith-1.5-9B-GGUF — квантованные сборки мультимодальной модели Ornith 1.5 9B, разработанной ornith-ai и преобразованной и измеренной AtomicChat. Модель распространяется в формате GGUF для локального запуска с llama.cpp и поддерживает сценарии диалога, работы с изображениями и agentic coding. Для текстового режима vision projector можно не использовать; для обработки изображений требуется отдельный проектор объёмом около 0,92 ГБ. Доступны варианты от BF16 размером 17,9 ГБ до сильно сжатых IQ2/IQ1-сборок размером 2,81–3,38 ГБ. Рекомендуемый компромисс для видеопамяти около 8 ГБ — AD-Q5_K-Q4_K: он занимает 5,93 ГБ и показывает 93,10% совпадения следующего токена с эталонной BF16-моделью. Для более высокой точности доступны Q8_0 и BF16, а варианты с низкой разрядностью заметно теряют качество: самая компактная сборка имеет согласие лишь 53,74%. В README указаны запуск с контекстом до 8192 токенов и поддержка vision, но языки модели и дополнительные архитектурные характеристики не описаны. Сильные стороны модели — возможность локального запуска, широкий выбор квантований под разный объём видеопамяти и наличие мультимодального режима. Ограничения связаны с компромиссом между размером и точностью: самые компактные варианты авторы не рекомендуют для практического использования, а качество измерялось на отдельном нейтральном корпусе и не гарантирует результаты во всех задачах. Модель и сборки распространяются по лицензии MIT.

cortexso/phi-4-reasoning — текстовая генеративная модель семейства Phi-4-reasoning, разработанная Microsoft Research и преобразованная Menlo Research для распространения в формате GGUF через Cortex и Jan. Модель ориентирована на рассуждения по шагам, решение математических задач, ответы на научные вопросы и выполнение инструкций. Для основной ветки phi-4-reasoning заявлен размер 14 млрд параметров. Доступны квантизованные варианты GGUF от q2_k до q8_0, что позволяет выбирать компромисс между качеством, требованиями к памяти и скоростью инференса. В README также упоминаются шаблоны ChatML и поддержка расширенного контекста, однако его точная длина не указана. Данных о перечне языков и мультимодальных возможностях нет; по заявленному pipeline_tag модель предназначена для генерации текста. Сильными сторонами модели являются специализация на логическом и математическом рассуждении, следовании инструкциям и возможность эффективного запуска в средах с ограничениями по памяти и задержке благодаря компактному размеру и квантизации. Ограничения включают отсутствие в представленных данных точных результатов бенчмарков, перечня поддерживаемых языков и значения контекстного окна. Модель распространяется по лицензии MIT.

Карточка модели LIF1014/ptdbench-verl-coding-tasks-function-call на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

bartowski/Qwen1.5-7B-Chat-GGUF — это набор квантизированных GGUF-версий диалоговой модели Qwen1.5-7B-Chat, разработанной командой Qwen. Квантизация выполнена bartowski с использованием llama.cpp, релиз b2440. Модель предназначена для генерации текста и чат-сценариев, включая локальный запуск через совместимое программное обеспечение на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 8,21 до 3,10 ГБ. Q6_K отмечен как рекомендуемый вариант с качеством, близким к исходному; Q5_K_M и Q5_K_S предлагают высокое качество при меньшем размере, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. В метаданных указан английский язык; сведения о других языках, модальностях и размере контекста отсутствуют. Лицензия обозначена как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

Qwen2.5-14B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой llama.cpp и LM Studio. В README указана поддержка английского языка и текстовая модальность. Модель содержит 14 миллиардов параметров в исходной версии; доступно множество вариантов квантизации от F16 до Q2_K_L, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 6,53 до 29,55 ГБ. Для диалогов используется шаблон с ролями system, user и assistant. Точная длина контекста в README не указана, сообщается лишь об обновлении настроек контекста и токенизатора. Сильная сторона модели — возможность локального запуска при сохранении нескольких вариантов качества, включая рекомендуемые Q4_K_M, Q5_K_M и Q6_K. Более агрессивная квантизация уменьшает требования к памяти, но может заметно снижать качество ответов; варианты Q2 и Q3 описаны как низкокачественные или предназначенные для ограниченного объёма памяти. Модель распространяется по лицензии Apache 2.0.

bunnycore/Qwen-2.5-7B-Stock-Deep-Bespoke — языковая модель на 7,1 млрд параметров, созданная методом Model Stock с помощью mergekit. В качестве базовой использована deepseek-ai/DeepSeek-R1-Distill-Qwen-7B; в слияние также вошли Bespoke-Stratos-7B, Qwen2.5-7B-Instruct-abliterated-v3 с LoRA-адаптером bunnycore/Qwen-2.5-7b-rp-lora и Qwen2.5-7B-nerd-uncensored-v1.0. Модель использует архитектуру Qwen2ForCausalLM, работает с текстом и предназначена для диалогов и генерации текста. Контекстное окно составляет до 131 072 токенов. Базовая модель ориентирована на многошаговые рассуждения, включая математику и программирование; объединённые модели также указывают на сценарии ролевого и менее ограниченного диалога. Репозиторий содержит веса в формате Safetensors, библиотека — Transformers. Лицензионные условия в предоставленных данных не указаны.

Qwen2-7B-Instruct-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Qwen2-7B-Instruct, подготовленный bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, чат-интерфейсах и других системах, поддерживающих формат GGUF и llama.cpp. В набор входят варианты с разной точностью и размером — от Q8_0 (8,09 ГБ) до IQ2_XS (2,46 ГБ). Более крупные квантизации обеспечивают более высокое качество, а компактные позволяют запускать модель при ограниченных ресурсах, но могут заметно снижать качество ответов. Исходная модель имеет около 7 миллиардов параметров; в README указана поддержка английского языка, текстовая модальность и формат text-generation. Размер контекста и точная архитектура в карточке не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать баланс между качеством, скоростью и требованиями к RAM или VRAM; рекомендуемыми названы варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Ограничения включают снижение качества у низкобитных вариантов и проблему с CUDA offloading без включённого flash attention. Для работы следует использовать указанный chat-шаблон с токенами im_start и im_end. Модель распространяется по лицензии Apache-2.0.

mlx-community/Qwen3-30B-A3B-8bit — версия модели Qwen/Qwen3-30B-A3B, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может использоваться через библиотеку mlx-lm. Из доступных данных известно, что модель относится к семейству Qwen, имеет обозначение 30B-A3B и 8-bit представление. Она поддерживает текстовый pipeline, токенизатор с chat template при его наличии и диалоговый формат сообщений. Конкретные сведения об архитектуре, языках, размере контекста, модальностях, производительности и ограничениях в README не указаны. Модель распространяется по лицензии Apache-2.0. Для использования требуется установить mlx-lm и загружать модель через API MLX.

Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored-GGUF — специализированная текстовая модель, разработанная DavidAU на базе Qwen3-48B-A4B-Savant-Commander-Distill-12X-Closed-Open-Heretic-Uncensored. Она объединяет 12 дистиллированных экспертных моделей, включая модели закрытого и открытого исходного кода, в архитектуре Mixture of Experts. Версия является uncensored/abliterated: отдельные эксперты обработаны с использованием Heretic для удаления отказов и ограничений. Модель распространяется в формате GGUF по лицензии Apache-2.0. Модель предназначена для генерации текста, рассуждений, математики, программирования, ответов на вопросы и творческого письма, включая создание художественных историй, сцен, сюжетов, научной фантастики, романтики и контента для взрослой аудитории. Пользователь может указывать в запросе имена экспертов или их группы, например Gemini, Claude, GPT51, Kimi, GLM, AllAI, Closed-AI или Open-AI, чтобы управлять выбором активных компонентов. Заявлены контекст до 256 тысяч токенов и одновременная активация двух экспертов по умолчанию; всего доступно до 12 экспертов. Модель поддерживает запуск на CPU и частичную выгрузку с GPU. В README не указаны точный список языков, детальные параметры архитектуры и результаты стандартизированных тестов. Для приемлемой работы рекомендуются квантизации не ниже Q4_KS или IQ3_M, контекст от 4–8 тысяч токенов и температура около 0,7; увеличение числа активных экспертов снижает скорость генерации, а разные эксперты могут давать существенно различающиеся результаты.

Qwen3-4B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-4B-Instruct-2507, разработанная ByteShape с применением технологии ShapeLearn. Технология подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться локально с llama.cpp и Ollama на CPU и GPU. Модель относится к текстовым генеративным моделям, имеет размер исходной версии 4B параметров и представлена в вариантах KQ и IQ с разной средней разрядностью — от 2,55 до 4,74 бит на вес. KQ-варианты рекомендованы для CPU благодаря эффективности ядер GGML, а IQ-варианты — для современных Nvidia GPU. Размер файлов составляет примерно от 1,29 до 2,39 ГБ. Доступны различные компромиссы между скоростью инференса, размером и качеством; заявленные нормализованные показатели качества достигают 99,80%. Сильными сторонами являются компактность, широкий выбор вариантов под разное оборудование и оптимизация квантования с использованием ShapeLearn. Ограничения связаны с потерями качества, возможными при низкой разрядности, а также с отсутствием в README сведений о языках, размере контекста, точной архитектуре и мультимодальных возможностях. Модель распространяется по лицензии Apache-2.0.

enacimie/Qwen3-4B-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-4B, преобразованная в формат GGUF с использованием llama.cpp через сервис GGUF-my-repo. Исходная модель разработана командой Qwen, а данный репозиторий предназначен для запуска в экосистеме llama.cpp. Модель относится к классу text-generation и работает с текстовыми входными и выходными данными. Ключевая характеристика этой версии — квантизация Q4_K_M, уменьшающая требования к памяти по сравнению с полноразмерной моделью. Размер базовой модели составляет 4B параметров. Модель можно использовать локально через llama-cli или llama-server, в том числе для генерации текста и развёртывания локального сервера inference. В README приведён пример контекста длиной 2048 токенов, однако максимальный размер контекста, поддерживаемые языки и подробности архитектуры не указаны. Лицензия — Apache-2.0.

Atomic-Germ/Qwen3.8-27B-Heretic-MTP-GGUF — это многоэтапная дообученная и объединённая версия Qwen3.8 с 27 млрд параметров, распространяемая в формате GGUF. Модель основана на DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU и создана с использованием Unsloth, методов Cold Fusion и Fable Fusion 711. В репозитории представлены обычные и MTP-квантизации, включая варианты с 4- и 8-битной точностью и imatrix-оптимизацией. Модель предназначена для широкого круга сценариев: решения задач и рассуждений, программирования, творческого письма, генерации художественных текстов, ролевого взаимодействия и других универсальных применений. Заявлены поддержка английского и китайского языков, три режима работы с рассуждениями, а также акцент на сокращение объёма внутренних рассуждений и ускорение генерации при сохранении детализации ответов. Архитектура, точное окно контекста и наличие подтверждённой мультимодальности в README не указаны. К сильным сторонам относятся относительно высокая производительность на потребительском оборудовании, уменьшенное число токенов рассуждений, варианты для разного объёма памяти и ориентация на детализированные ответы. В README приводятся высокие результаты на ARC-C и ARC-E, однако это заявления автора и не являются независимо подтверждёнными характеристиками. Ограничения включают возможную зависимость качества от выбранной квантизации, отсутствие подробных данных о контекстном окне и неполную информацию о тестировании. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP-GGUF — модель, опубликованная bielquants и основанная на базовой модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU. Это многоэтапная fine-tune-модель с использованием Unsloth, методов Cold Fusion и Fable Fusion, представленная в форматах GGUF с обычными и MTP-квантами. В README заявлена поддержка английского и китайского языков; карточка также указывает сценарий image-text-to-text, однако подробности о фактических визуальных возможностях не приведены. Модель предназначена для широкого спектра задач: рассуждений и решения задач, программирования, творческого письма, создания художественных текстов и ролевых сценариев. Основной заявленный акцент — высокая детализация ответов при сокращении объёма внутренних рассуждений и расхода токенов по сравнению с обычной Qwen3.8, что должно повышать скорость генерации. Указан размер базовой модели 27B, а также поддержка трёх режимов мышления, но максимальный размер контекста в карточке не указан. Автор README заявляет превосходство над рядом базовых моделей по внутренним бенчмаркам ARC и высокую производительность на потребительском оборудовании, включая tool calling; эти результаты представлены как утверждения создателя и требуют независимой проверки. Возможные ограничения — отсутствие подробных данных о контексте, точной архитектуре модальности, системных требованиях и качестве на разных языках, а также потенциально нестандартное поведение из-за uncensored/abliterated-настройки. Модель распространяется по лицензии Apache-2.0.