II.3Рефакторинг, миграция и модернизация

Карточка модели t-kawata/Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

ThinkingCap-Qwen3.6-27B-NVFP4 — квантизированная версия модели ThinkingCap-Qwen3.6-27B от BottleCap AI, созданная на базе Qwen3.6-27B, разработанной командой Qwen. Модель дообучена для сохранения качества и стиля ответов базовой модели при среднем сокращении числа токенов рассуждений примерно на 50%, а затем сжата до формата NVFP4 для эффективного инференса. Это крупная модель с весами 4 бита и активациями bf16 в режиме W4A16. Размер чекпойнта составляет около 19 ГБ вместо примерно 55 ГБ для версии bf16. В составе сохранены vision tower, lm_head и MTP-голова, поэтому заявлена поддержка мультимодальных компонентов исходной модели и самоспекулятивного декодирования с multi-token prediction. Модель предназначена прежде всего для запуска через vLLM на GPU NVIDIA Hopper и Blackwell; для спекулятивного декодирования требуется vLLM версии 0.24.0 или новее. Сильные стороны модели — существенно меньшие требования к памяти, примерно двукратное ускорение декодирования относительно bf16-контрольной версии и дополнительное ускорение за счёт MTP. По данным разработчика, в отдельных тестах суммарное ускорение на задачу относительно исходной невзвешенной модели составляло примерно 4,7–8,4 раза при сопоставимой точности. Ограничение заключается в том, что текущая реализация предназначена для vLLM: SGLang пока не может загрузить weight-only NVFP4 для этой архитектуры. Для llama.cpp, Ollama и LM Studio рекомендуется использовать отдельные GGUF-квантизации. Модель распространяется по лицензии Apache-2.0, однако доступ к карточке на платформе может требовать заполнения формы и принятия условий доступа.

XCurOS-0.1-8B-Instruct — проприетарная инструкционно настроенная языковая модель, разработанная XCurOS. Она построена на архитектуре Qwen2 с плотной трансформерной моделью примерно на 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговых помощников и выполнения инструкций в локальной или облачной инфраструктуре, включая защищённые корпоративные среды. Заявлены рассуждения, программирование, автоматизация рабочих процессов и анализ больших структурированных и неструктурированных текстовых документов; в метаданных также отмечен интерфейс для вызова инструментов. Карточка заявляет поддержку английского и арабского языков. Модель распространяется по проприетарной лицензии: личное и исследовательское использование допускается на частном сервере или локальной инфраструктуре. Коммерческое применение требует отдельной лицензии XCurOS; перераспространение и перепродажа без письменного разрешения запрещены. Качество заявленных возможностей и пригодность для конкретных задач в карточке не подкреплены результатами оценки.

XVERSE-65B-2 — базовая мультиязычная языковая модель, самостоятельно разработанная Shenzhen Yuanxiang Technology. Она использует плотную архитектуру Decoder-only Transformer с 65,6 млрд параметров и поддерживает контекст до 16 384 токенов. Модель обучена на 2,6 трлн токенов из разнообразных источников; токенизатор BPE имеет словарь из 100 534 единиц. Модель предназначена для генерации текста, многошаговых диалогов, ответов на вопросы и суммаризации. В обучающих данных представлены более 40 естественных языков, включая китайский, английский, русский и испанский; наибольший объём данных приходится на английский и китайский. В корпус также входили код, энциклопедии, книги и научные статьи. Репозиторий содержит веса PyTorch и распространяется по лицензии Apache-2.0. Карточка описывает базовую предварительно обученную модель, поэтому качество выполнения инструкций или диалога отдельно не заявлено; для запуска также потребуются значительные вычислительные ресурсы из-за размера модели.

Ahadadada Jailbreak Qwen3.8-27B — модифицированная jailbreak-версия модели Qwen3.8-27B, опубликованная пользователем или организацией Ahadadada. Модель сохраняет исходные возможности базовой модели и ориентирована на диалоговые сценарии, генерацию текста, программирование, агентские задачи, рассуждения и обработку изображений, видео и документов. Заявлено отсутствие стандартных фильтров безопасности, поэтому модель обычно отвечает более прямо и редко отказывается от запросов. Модель содержит 27 млрд плотных параметров и использует архитектуру qwen35 с гибридом SSM и attention: 64 слоя, включая 48 слоёв линейного внимания Gated DeltaNet и 16 слоёв полного gated attention. Размерность скрытого состояния составляет 5120, размерность FFN — 17408, словарь содержит 248 320 токенов. Заявлен нативный контекст 262K токенов с возможностью расширения через YaRN. Поддержка мультимодальности реализуется через отдельный файл mmproj, а MTP с параметром n_max=3 предназначен для ускорения инференса. Доступны GGUF-квантизации APEX-I-Mini, Q4_K_M, Q5_K_M, Q6_K и Q8_0. В приведённых тестах вариант APEX-I-Mini в среднем уступил базовой bf16-модели 1,9 процентного пункта по HellaSwag, Winogrande и ARC-Challenge, хотя результаты зависят от квантизации и настроек. Для работы с изображениями требуется отдельный mmproj-файл; рекомендуются llama.cpp с поддержкой шаблонов Jinja и достаточным объёмом контекста. Модель распространяется по лицензии Apache-2.0, однако снятие защитных ограничений повышает риски небезопасного или вредоносного применения.

jondurbin/airoboros-110b-3.3 — экспериментальная чат-модель Джона Дурбина, дообученная на базе Qwen1.5-110B преимущественно на синтетических данных Airoboros. Это плотная авторегрессионная языковая модель с архитектурой Qwen2ForCausalLM; она использует шаблон диалога ChatML и принимает текстовые запросы. По метаданным, размер модели — 110 млрд параметров, контекст — до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы по предоставленному контексту, суммаризации, генерации кода, следования инструкциям и выдачи аргументов для вызова функций в JSON или YAML. Карточка описывает настройку для контекстных ответов, призванную ограничивать ответы сведениями из источника, а также планирование многошагового выполнения задач; для контекстных запросов рекомендуется низкая температура. Автор отмечает, что иногда в конце ответов появляются лишние токены. Репозиторий содержит веса в формате safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели. Автор характеризует модель как экспериментальную; карточка не приводит количественных оценок качества.

Airoboros 13B GPT-4 1.4.1 QLoRA — языковая модель семейства LLaMA с 12,9 млрд параметров, дообученная jondurbin с помощью QLoRA на синтетических данных, созданных GPT-4. Модель предназначена для диалогов с ассистентом и генерации текста; обучение выполнено на fork FastChat, а данные взяты из набора jondurbin/airoboros-gpt4-1.4.1. Модель рассчитана на ответы на вопросы, следование инструкциям, работу с предоставленным контекстом, программирование, ролевые диалоги, шутки, загадки и викторины. Для диалогов используется шаблон Vicuna 1.1; карточка также описывает формат запросов с контекстом, призванный ограничить ответы предоставленными материалами. Контекст — 2048 токенов. Модель работает с текстом и поддерживает генерацию текста. В карточке указана лицензия CC BY-NC 4.0, которая ограничивает коммерческое использование. Автор отмечает, что модель обучена отвечать без отказов независимо от законности или морали запроса; ответы по контексту всё равно могут содержать выдуманные сведения, поэтому для неизвестных ответов рекомендуется явно просить не придумывать их.

Это GGUF-квантизированная версия модели DeepSeek-V3.1-Terminus, подготовленная пользователем bartowski на основе оригинальной модели deepseek-ai. Квантизация выполнена с помощью llama.cpp версии b6550 с использованием метода imatrix и калибровочных наборов данных. Модель предназначена для генерации текста и локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K, различающиеся размером файла и качеством: старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти. Рекомендуемыми автор считает, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. В README не указаны архитектура, точный размер исходной модели, поддерживаемые языки, контекстное окно, мультимодальные возможности и формат промптов; для последнего рекомендуется обратиться к странице оригинальной модели. Лицензия также не указана, поэтому условия использования следует уточнять в репозитории исходной модели DeepSeek-V3.1-Terminus.

Экспериментальная модифицированная версия DeepSeek-R1-Distill-Llama-8B, подготовленная 3MPER0RR. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, предназначенная для диалоговой генерации текста. Базовая модель была дообучена на данных рассуждений DeepSeek-R1 и рассчитана на математические задачи, программирование и многошаговые рассуждения; в этой версии заявлена модификация abliterated. Модель принимает текст и выдаёт текст. Контекстное окно — 131 072 токена. В репозитории указаны веса Safetensors; модель распространяется по лицензии MIT. README сообщает, что версия экспериментальная и была протестирована и сохранена.

NaniDAO разработала naniseek — языковую модель для генерации текста и диалогов с рассуждениями, полученную абляцией на основе DeepSeek-R1-Distill-Qwen-32B. Модель содержит 32 млрд параметров, использует архитектуру Qwen2 и принимает текст; заявленная длина контекста — до 131 072 токенов. Модель предназначена для диалоговых ответов и задач рассуждения, включая математику и программирование. По заявлению авторов, абляция снижает число отказов на допустимые запросы. Модель доступна в формате Safetensors под лицензией MIT. Карточка не приводит сравнительных оценок качества или подробностей метода абляции.

Dirk-Qwen3.8-27B-MLX-oQ4e — это квантизированная версия базовой модели Qwen3.8-27B от Qwen, подготовленная peculiar-ragdoll для запуска на Apple Silicon через MLX и совместимые среды, включая oMLX и mlx-vlm. Модель предназначена для текстовых и визуальных запросов, генерации ответов, анализа изображений, агентного программирования и других сценариев, где важны скорость, компактность и экономное использование токенов. Модель представляет собой плотную vision-language модель с 27 млрд параметров, поддерживает английский и китайский языки, сохраняет vision tower и MTP head для multi-token-prediction и speculative decoding. Используется смешанная imatrix-калиброванная квантизация oQ4e примерно 4,9 bpw; размер модели составляет около 15,8 ГБ, что позволяет запускать её на Mac с 24 ГБ памяти с запасом под контекст. Заявлено окно контекста до 262 144 токенов при использовании соответствующей настройки runtime. В комплект включён Sharp chat template v22.5.0 с компактным стилем ответов и управляемым уровнем reasoning_effort от low до xhigh; по умолчанию используется medium. Сильные стороны модели — поддержка изображений без отдельного projector-файла, возможность ускорения генерации с помощью MTP, компактные ответы и адаптация под локальный запуск на Apple Silicon. Ограничения связаны с потерями точности, характерными для квантизации, зависимостью от совместимого vision loader и runtime, а также с тем, что заявленные собственные benchmark-результаты ещё находятся в процессе измерения. Для корректной работы рекомендуется mlx-vlm версии 0.6.3 или новее; mlx-lm использовать не следует. Модель распространяется по лицензии Apache-2.0.

DistilabelCerberus-7B-slerp — слитая модель для генерации текста на основе Mistral, созданная с помощью mergekit из DistilabelBeagle14-7B и OpenHermes-2.5-Mistral-7B. В конфигурации применён метод слияния slerp с разными весами для слоёв self-attention и MLP; модель содержит 7,1 млрд параметров и имеет контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на текстовые запросы. В карточке приведены результаты оценивания на наборах задач рассуждения, понимания здравого смысла и математики. Репозиторий распространяется в формате safetensors по лицензии Apache-2.0.

Это GGUF-квантизированная instruction-модель gemma-4-31B-it, разработанная Google и подготовленная в вариантах квантизации bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для диалоговых и генеративных задач и может запускаться локально через llama.cpp, Ramalama, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. В README также указан pipeline image-text-to-text, однако подробности о поддерживаемых визуальных входах не приведены. Модель содержит 31 млрд параметров; доступны варианты от BF16 до различных уровней 8-, 6-, 5-, 4- и 3-битной квантизации. Размер файлов составляет примерно от 13,84 до 61,41 ГБ. Высокоточные варианты обеспечивают лучшее сохранение качества, а более компактные подходят для систем с ограниченной оперативной памятью, но могут заметно уступать по качеству. Для некоторых форматов заявлена оптимизация под CPU ARM и Apple Silicon. Используется специальный шаблон диалога с ролями system, user и model; для недавно поддерживаемых моделей может потребоваться обновление программного обеспечения. Модель распространяется по лицензии Apache-2.0 с дополнительными условиями Gemma; точные требования следует проверять в документации Google. README не содержит данных о длине контекста, списке языков, конкретных бенчмарках и системных требованиях, поэтому эти характеристики нельзя достоверно оценить.

GPT-5.6 Sol Pro — вариант модели GPT-5.6 Sol, разработанный OpenAI и предоставляемый с режимом рассуждений `pro`. Он предназначен для получения более качественных ответов на сложные задачи. Карточка не приводит сведений об архитектуре, размере, модальностях, языках, длине контекста или лицензии, поэтому эти характеристики здесь не описываются.

Hy3-295B-NVFP4 — квантованный экспорт базовой модели Tencent Hy3, подготовленный r0b0tlab с NVIDIA ModelOpt и проверенный в vLLM на двух системах NVIDIA GB10. Это MoE-модель для генерации диалогового текста; артефакт использует калиброванную квантизацию весов W4A4 NVFP4 для поддерживаемых проекций маршрутизируемых экспертов, а проверенный KV-кэш работает в FP8. В README описана практическая проверка контекста до 49 152 токенов, но это измеренная граница конкретного профиля, а не заявленный архитектурный максимум. Модель предназначена для диалогов, рассуждений, ответов на вопросы, задач на следование инструкциям и генерации кода. В README приведены результаты тестов на GSM8K, ARC-Challenge, PIQA, WinoGrande, TruthfulQA, MMLU, IFEval и HumanEval, а также измерения производительности на указанном оборудовании. Результаты относятся к конкретным конфигурациям запуска, данным и контрактам декодирования и не гарантируют качество для любых запросов. В метаданных указана лицензия other; README требует соблюдать лицензии и условия базовой модели, библиотек и наборов данных. Для запуска и заявленной производительности необходимы совместимые аппаратное обеспечение и программный стек; показатели проверки получены на двух GB10 с vLLM и FlashInfer.

InternLM2-Base-20B — базовая языковая модель второго поколения InternLM, разработанная командой InternLM. Это плотная авторегрессионная модель на 19,3 млрд параметров для генерации и продолжения текста; она предназначена прежде всего для адаптации к предметным областям и может служить основой для последующего дообучения. Репозиторий содержит веса PyTorch, а заявленная длина контекста составляет 32 768 токенов. Модель рассчитана на работу с длинными текстами и демонстрирует способности к рассуждениям, математике и программированию. В README заявлена поддержка входов до 200 000 символов и приведены результаты оценивания InternLM2-20B на бенчмарках, включая MMLU, AGIEval и BBH; этот показатель длины в символах не следует смешивать с контекстом в 32 768 токенов из метаданных. Карточка описывает семейство InternLM2, но не перечисляет конкретные языки обучения или поддержки. Модель может генерировать предвзятый, дискриминационный или иной вредоносный текст, поэтому её ответы требуют проверки. Код распространяется по Apache-2.0; веса открыты для академических исследований, а для коммерческого использования требуется запросить бесплатную лицензию.

Ling-lite — разговорная языковая модель на архитектуре Mixture of Experts (MoE), разработанная и опубликованная InclusionAI. Карточка описывает версию Ling-lite-0415; модель содержит 16,8 млрд параметров, из которых активируется 2,75 млрд. Метаданные репозитория указывают 1,5 млрд параметров и контекст 32 768 токенов, тогда как README сообщает для Ling-lite контекст 128K; эти характеристики источников расходятся. Модель предназначена для диалогов и широкого круга языковых задач, включая генерацию текста, программирование и математику. В README приведены результаты сравнительных тестов, в том числе HumanEval и GPQA; это свидетельствует о заявленных возможностях в коде и решении сложных задач, но не гарантирует качество в конкретном применении. Репозиторий использует Transformers и формат safetensors. Лицензия — MIT.

LinguaForge-BestModel-v2 — языковая модель семейства Llama, представленная пользователем dusersad12. Она предназначена для генерации текста и диалогов, решения математических и логических задач, программирования и работы в роли помощника. В README заявлены улучшения рассуждений после постобучения, снижение галлюцинаций и поддержка вызова функций; приведены результаты бенчмарков, но подробности методики и независимая проверка не описаны. Модель содержит 1,3 млрд параметров, использует архитектуру LlamaForCausalLM и доступна в формате PyTorch через Transformers. README предлагает шаблон системного промпта для чат-сценариев, а также шаблоны запросов с файлами и результатами веб-поиска. Лицензия — Apache-2.0. Карточка не сообщает контекстное окно и явно поддерживаемые естественные языки.

LLaDA2.0-flash-CAP — языковая модель компании InclusionAI на основе диффузионной архитектуры Mixture-of-Experts. Она предназначена для генерации текста и диалоговых ответов, включая задачи знаний, рассуждений, программирования и математики. Обучение Confidence-Aware Parallel (CAP) повышает уверенность модели в корректных предсказаниях, чтобы ускорить параллельное декодирование. В README указана архитектура базовой LLaDA2.0-flash с 100 млрд параметров, 32 слоями, 32 головами внимания и контекстом 32 768 токенов; метаданные репозитория указывают 5,5 млрд параметров. В сравнении с базовой версией README сообщает ускорение генерации в 1,46 раза при небольшом снижении среднего результата на бенчмарках. Модель работает с текстом; для снижения риска смешения языков авторы рекомендуют температуру 0.0. Репозиторий распространяется по лицензии Apache-2.0.

AMD Llama-3.1-405B-Instruct-FP8-KV — это FP8-квантизированная версия инструкционной модели Meta-Llama-3.1-405B-Instruct, подготовленная компанией Advanced Micro Devices с использованием инструмента Quark и калибровочных образцов из набора данных Pile. Модель предназначена для генерации текста и выполнения инструкций в сценариях, где требуется развертывание крупной языковой модели с оптимизированным использованием памяти и вычислительных ресурсов. README не содержит дополнительных сведений о поддерживаемых языках, длине контекста и исходной архитектуре базовой модели. Квантизации подвергнуты все линейные слои, кроме lm_head; веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием per-tensor. Экспорт выполняется в формате Quark safetensors, а развертывание возможно через совместимый с vLLM backend. По данным оценки на wikitext2, perplexity увеличилась с 1,8561 у исходной модели до 1,8951 у квантизированной версии; при этом результаты получены в режиме псевдоквантизации и могут отличаться от точности реального инференса. Для работы требуется Quark, а из-за размера модели может понадобиться мног GPU-развертывание. Лицензия указана как llama3.1; модификации распространяются с авторскими правами Advanced Micro Devices, Inc. за 2024 год.

bunnycore/Llama-3.2-3B-Apex — диалоговая языковая модель, созданная разработчиком bunnycore слиянием нескольких предварительно обученных моделей через mergekit и методом Model Stock. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; в слияние также вошли модели для разных навыков, рассуждений, научных задач, программирования и ролевого общения. Модель построена на архитектуре Llama с причинно-следственным языковым моделированием и содержит 3,2 млрд параметров. Она предназначена для генерации текста и диалоговых ответов; заявленная длина контекста — 131 072 токена. Метаданные также указывают интерфейс вызова инструментов. Данные о лицензии и поддерживаемых естественных языках в предоставленной карточке отсутствуют.

bartowski/Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Llama 3.3 70B Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, однако конкретные поддерживаемые языки, размер контекста и детали архитектуры в предоставленном README не указаны. Ключевая характеристика этой версии — квантизация, которая обычно позволяет снизить требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей качества; конкретный уровень квантизации README не сообщает. Модель ориентирована на текстовые задачи, а сведения о мультимодальности отсутствуют. Ограничения, показатели качества и рекомендации по аппаратному обеспечению также не приведены, поэтому их нельзя достоверно оценить по имеющимся данным. Модель распространяется на условиях Llama 3.3 Community License от Meta. Лицензия предоставляет ограниченные права на использование, воспроизведение, распространение и модификацию при соблюдении условий соглашения, включая передачу текста лицензии, указание «Built with Llama», обязательное уведомление об авторских правах и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

Это объединённая языковая модель на базе семейства Llama 3.2, созданная методом TIES с помощью mergekit. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли модели для рассуждений, программирования и математики, соблюдения инструкций и ответов на медицинские вопросы. Модель предназначена для диалоговой генерации текста, включая ответы на вопросы, рассуждения и помощь с кодом. Она содержит 3,2 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст, выдавая текст. Заявленная длина контекста — 131 072 токена. В метаданных указана библиотека Transformers и формат весов safetensors. Лицензия и отдельные результаты оценки качества в предоставленных данных не указаны. Поскольку объединены модели с разными специализациями, пригодность для конкретных задач следует проверять на собственных примерах.

Meta-Llama-3.1-8B-Instruct-abliterated-IMat-GGUF — это GGUF-сборка инструкционной языковой модели mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная и квантованная пользователем legraphista с помощью llama.cpp. Модель предназначена для генерации текста и диалогового использования в локальных приложениях, поддерживающих формат GGUF и llama.cpp. Доступны варианты от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ4. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Размер базовой модели составляет 8B параметров, исходный тип данных — BF16. В README не указаны точный размер контекста, перечень поддерживаемых языков и мультимодальные возможности; по представленным данным это текстовая модель без заявленной поддержки изображений или других модальностей. Сильными сторонами сборки являются широкий выбор уровней квантования, возможность локального запуска и наличие вариантов, оптимизированных по соотношению качества и потребления памяти. Ограничения включают потенциальную потерю качества в низкобитных вариантах, зависимость производительности от оборудования и совместимость с llama.cpp или другим ПО, поддерживающим GGUF. Основа модели обозначена как abliterated и uncensored, поэтому встроенные ограничения безопасности могут быть ослаблены; это следует учитывать при использовании. Указанная лицензия — Llama 3.1.

ModelCloud/Meta-Llama-3.1-8B-Instruct-gptq-4bit — квантизированная 4-битная версия инструкционной языковой модели Meta Llama 3.1 с 8 млрд параметров. Модель подготовлена с использованием GPTQModel и предназначена для генерации текста в формате диалога, ответов на вопросы и выполнения инструкций. В README не указаны поддерживаемые языки, модальности и размер контекстного окна. Модель использует GPTQ-квантизацию в формате checkpoint GPTQ с точностью 4 бита, group_size 128, симметричным квантованием и параметрами desc_act=true и true_sequential=true. Квантизация уменьшает требования к памяти и может упростить локальный запуск, однако способна немного снизить точность по сравнению с полноразмерной версией. В README приведены результаты lm-eval, включая общую точность 0,6421 на MMLU, 0,8232 на BoolQ и 0,8068 на ARC Easy; методика и конфигурация исходной модели подробно не описаны. Для запуска рекомендуется использовать Transformers и GPTQModel с токенизатором исходной модели и chat template. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

Open-Instruct CoT 7B — языковая модель, разработанная Allen Institute for AI и дообученная на подмножестве CoT датасета Flan v2 в рамках исследования по настройке инструкций на открытых ресурсах. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров, принимающая текст и генерирующая текст; для качества ответов рекомендуется использовать заданный авторами формат инструкций. Контекст составляет 2048 токенов, основной язык в метаданных — английский. Модель предназначена для выполнения инструкций и ответов с пошаговыми рассуждениями, включая вопросы по знаниям, математические задачи и генерацию кода. В README приведены результаты на MMLU, GSM, BBH, TydiQA, Codex-Eval и AlpacaFarm. Это diff модели: для использования требуется исходная модель LLaMA в формате Hugging Face. Указаны лицензия AI model license и исходная лицензия LLaMA; применяются условия обеих лицензий.

OpenZephyrChat-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель на базе Mistral-7B-Instruct-v0.2, созданная объединением весов Mistral-7B-Instruct-v0.2 и OpenZephyrChat методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на сообщения и инструкции в формате чата. Модель использует плотную архитектуру MistralForCausalLM, принимает текст и выдаёт текст. Длина контекста — до 32 768 токенов. Репозиторий содержит веса Safetensors; лицензия — Apache-2.0. Карточка не описывает отдельные языковые или предметные специализации, поэтому её можно рассматривать как модель общего назначения.

Qwen2.5-32B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-32B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая использование в локальных приложениях через llama.cpp и LM Studio. Для общения применяется специальный шаблон prompt с ролями system, user и assistant. Модель имеет размер 32B параметров и доступна в вариантах от F16 до различных уровней квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix в llama.cpp; варианты отличаются размером файла, требованиями к памяти и ожидаемым качеством. README указывает английский язык, однако сведения о полном наборе поддерживаемых языков, архитектуре и длине контекста не приведены. Сильной стороной являются разнообразные варианты квантизации, позволяющие выбирать между качеством и требованиями к ресурсам; версии Q6, Q5 и Q4 отмечены как рекомендуемые, а Q4_K_M описана как подходящий вариант стандартного размера. Более компактные варианты экономят память, но могут заметно уступать по качеству. Модель распространяется по лицензии Apache-2.0.

AMD Qwen3-235B-A22B-Instruct-2507-MXFP4 — текстовая instruction-tuned модель на архитектуре Qwen3MoeForCausalLM, созданная Advanced Micro Devices на базе Qwen/Qwen3-235B-A22B-Instruct-2507. Модель принимает текст и генерирует текст; в карточке указана поддержка английского языка. Обозначение модели относится к классу 235B с разреженной MoE-архитектурой и примерно 22B активных параметров, однако подробные архитектурные характеристики в README не приведены. Модель предназначена для задач генерации и понимания текста, включая диалоговые и инструкционные сценарии, а также развёртывание инференса на ускорителях AMD MI300 и MI350/MI355 под Linux. Она оптимизирована для SGLang и vLLM, использует AMD-Quark 0.11 и статическую квантизацию весов в OCP MXFP4 с динамической квантизацией активаций. В конфигурации оценки применялось максимальное окно 32768 токенов; это значение отражает проверенный сценарий запуска. На GSM8K модель получила 0,897 против 0,909 у исходной модели, что соответствует восстановлению 98,64% исходной точности. Квантизация снижает требования к памяти и ориентирована на эффективный инференс, но может немного ухудшать точность по сравнению с оригиналом. Для работы требуются совместимые AMD-ускорители, ROCm 7.0, PyTorch 2.8.0 и Transformers 4.57.0; поддержка других аппаратных платформ и языков в README не заявлена. Базовая лицензия — Apache-2.0; модификации AMD защищены авторским правом Advanced Micro Devices, Inc.

Qwen3-30B-A3B-Instruct-2507-GGUF — это GGUF-квантизированная версия языковой модели Qwen3-30B-A3B-Instruct-2507, разработанная ByteShape с использованием технологии ShapeLearn. ShapeLearn подбирает оптимальный тип данных для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и может использоваться для локального запуска через llama.cpp и Ollama на CPU и GPU. Доступны варианты с разной степенью квантизации: от 2,66 до 4,67 бит на вес и размером примерно от 10,2 до 17,8 ГБ. Варианты KQ оптимизированы для CPU и преимущественно используют KQ-квантизацию, а варианты IQ — для GPU и применяют гибридный подход KQ и IQ. По приведённым бенчмаркам нормализованное качество составляет до 99,75% относительно используемых базовых вариантов, однако конкретный результат зависит от выбранного файла и оборудования. Архитектура, поддерживаемые языки, модальности и размер контекста в README не указаны. Основные преимущества модели — широкий выбор компромиссов между размером, скоростью и качеством, а также поддержка CPU и GPU, включая использование на компактных устройствах, согласно материалам разработчика. Ограничения связаны с потерями качества при сильной квантизации, зависимостью производительности от оборудования и тем, что обозначения IQ и KQ не соответствуют стандартным профилям llama.cpp. Модель распространяется по лицензии Apache-2.0.