II.2Создание и понимание программного кода

Dampfinchen/Llama-3.1-8B-Ultra-Instruct — объединённая разговорная языковая модель на архитектуре Llama 3.1, созданная автором репозитория с помощью mergekit и метода DARE TIES. В основе объединения лежит NousResearch/Meta-Llama-3.1-8B; также использованы Llama-3.1-Storm-8B, llama3.1-airoboros3.2-QDT-8B, llama3.1-gutenberg-8B и Llama-3.1-8B-Stheno-v3.4. Модель предназначена для диалоговой генерации текста и выполнения инструкций с шаблоном Llama 3 Instruct. Она содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В карточке приведены результаты оценки, включая 80,81 балла на IFEval (0-shot), однако подробные выводы о качестве для отдельных сценариев из этих данных сделать нельзя. Модель распространяется по лицензии Llama 3.1. Автор рекомендует использовать её с осторожностью; применяются условия и ограничения лицензии исходного семейства.

Shining Valiant 2 — разговорная языковая модель Valiant Labs, дообученная на основе Meta-Llama-3-70B-Instruct. Это плотная архитектура Llama 3 с 69,5 млрд параметров, предназначенная для генерации текста, диалогов и выполнения инструкций; модель использует формат запросов Llama 3 Instruct и поддерживает контекст до 8192 токенов. По описанию разработчика, дополнительное обучение на собственных данных ориентировано на науку, инженерию, технические знания и структурированные рассуждения, а стиль ответов — дружелюбный и увлечённый. Модель рассчитана на общие диалоговые и аналитические сценарии, включая объяснение технических тем и помощь с задачами вроде написания сопроводительного письма. Указана лицензия Llama 3. В README разработчик помечает эту версию как устаревшую и рекомендует Shining Valiant 2 для Llama 3.1 70B; также сообщается о возможной проблеме с чтением завершающих токенов в text-generation-webui, которая может приводить к незавершённым ответам или нарушению структуры.

MiniCPM5-2B-JANG_8M — 8-битная квантизированная версия MiniCPM5-2B от OpenBMB, подготовленная Jinho Jang. Модель содержит 2,2 млрд параметров и распространяется в формате MLX Safetensors для локального запуска на устройствах Apple Silicon через стандартную библиотеку mlx_lm; пользовательский код модели и trust_remote_code не требуются. Контекст составляет до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев, включая рассуждения, задачи с длинным контекстом и работу с инструментами. В README описана калибровка на 1,85 млн токенов с применением imatrix, AWQ и GPTQ; автор сообщает о меньшем расхождении с исходной bf16-моделью по сравнению со стандартной квантизацией MLX того же размера. Модель поддерживает английский и китайский языки. Вызовы инструментов выводятся в XML, а mlx_lm сам не распознаёт этот формат: для обработки вызовов нужен отдельный парсер. Модель распространяется по лицензии Apache-2.0.

Mistral-Small-Instruct-2409-GGUF — это набор GGUF-квантизаций инструкционной языковой модели Mistral-Small-Instruct-2409, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через llama.cpp и LM Studio. Для взаимодействия используется шаблон промпта <s> [INST] запрос [/INST]. В README указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Архитектура, число параметров, размер контекстного окна и поддержка модальностей, кроме текстовой, не указаны. Доступны варианты от F16 размером 44,50 ГБ до IQ3_M размером 10,06 ГБ, а также форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и другие. Более высокие уровни квантизации обеспечивают лучшее качество, тогда как компактные варианты требуют меньше оперативной памяти, но могут снижать качество ответов. Сильной стороной набора является широкий выбор квантизаций, включая варианты, оптимизированные для ARM, что позволяет подобрать баланс между качеством и ресурсами устройства. Ограничения связаны с потерями качества при низких уровнях квантизации и отсутствием в README подробных сведений о возможностях исходной модели и результатах оценки. Модель распространяется по лицензии Mistral Research License (MRL) 0.1; применяются условия лицензии Mistral AI.

kallam/Mixtral-8x7B-It-v0.1 — диалоговая instruction-модель на основе Mixtral-8x7B от Mistral AI. Это генеративная разреженная архитектура Mixture of Experts, предназначенная для выполнения инструкций и ведения диалога. Модель поддерживает контекст до 32 768 токенов и, согласно README, предназначена для запуска через vLLM; в репозитории также приведены сведения о совместимости с Transformers, хотя карточка предупреждает, что веса пока нельзя непосредственно инициализировать через HF Transformers. Файлы представлены в формате safetensors; лицензия — Apache 2.0. Модель подходит для диалоговых помощников, ответов на инструкции и генерации текста на французском, итальянском, немецком, испанском и английском языках. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает высокие результаты Mixtral-8x7B в сравнении с Llama 2 70B на проверенных авторами бенчмарках. У модели нет встроенных механизмов модерации, поэтому ответы могут требовать внешних ограничителей и проверки.

Neutrino-Instruct — авторегрессионная языковая модель с архитектурой декодера Transformer и 7,1 млрд параметров, разработанная Fardeen NB. Это дообученная для диалога и следования инструкциям версия Neutrino. Модель распространяется в форматах GGUF и safetensors; GGUF рассчитан на локальный запуск через llama.cpp и Ollama. Контекст — до 32 768 токенов, архитектура использует grouped-query attention и RoPE. Модель предназначена для чат-ботов, диалоговых помощников, ответов на вопросы, суммаризации и выполнения инструкций, в том числе в локальных сценариях без отправки данных на внешние сервисы. В карточке заявлена поддержка английского языка; качество работы на других языках не оценивалось. Модель общего назначения, не имеет доступа к интернету или внешним источникам знаний. Модель может выдавать правдоподобные, но неверные ответы, а также отражать предвзятость обучающих данных. Специальное обучение безопасности и независимая оценка не проводились; для медицинских, юридических, финансовых и других ответственных решений модель не предназначена. Лицензия — Apache-2.0.

Notus-TheTop-7b-Slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная с помощью LazyMergekit методом SLERP из argilla/notus-7b-v1 и MaziyarPanahi/TheTop-5x7B-Instruct-S3-v0.1. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста и ведение диалога; заявленная длина контекста составляет 32 768 токенов. Модель может использоваться для ответов на вопросы, инструктивного диалога и генерации текста. В карточке указаны формат Safetensors и тип точности bfloat16. Сведения о лицензии и конкретных ограничениях качества в предоставленных данных отсутствуют.

NVIDIA-Nemotron-Labs-3-Elastic-30B-A3B-NVFP4 — разработанная NVIDIA эластичная языковая модель для генерации текста и диалогов. Один NVFP4-чекпойнт содержит вложенные варианты на 30B, 23B и 12B параметров; меньшие варианты можно извлечь из него без отдельного дообучения. Архитектура основана на гибридной комбинации Mamba-2, Transformer и MoE. Для вариантов 30B, 23B и 12B указано соответственно 3,6B, 2,8B и 2,0B активных параметров на токен. Модель предназначена для рассуждений и диалоговых сценариев с возможностью выбирать баланс качества и скорости инференса в зависимости от размера варианта. README сообщает о поддержке английского, немецкого, испанского, французского, итальянского и японского языков. Метаданные указывают контекст 262 144 токена; в README также описана возможность настройки более длинного контекста в vLLM. Модель представлена в формате safetensors и рассчитана на использование через Transformers и vLLM. Это квантованная NVFP4-версия эластичной модели, полученной постобучением NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 с помощью Elastic framework; при квантовании применялась дистилляция с BF16-моделью в качестве учителя. README заявляет готовность к коммерческому применению, однако метаданные обозначают лицензию как other и не раскрывают её условия, поэтому перед использованием следует проверить лицензионные документы репозитория.

o1-pro — модель из серии o1 от OpenAI, обученной с применением обучения с подкреплением для решения задач, требующих рассуждений перед ответом. Вариант o1-pro использует больше вычислительных ресурсов для более глубокого обдумывания ответа. Модель предназначена для сложных задач рассуждения и подготовки ответов на запросы пользователя. Доступный фрагмент карточки не описывает архитектуру, размер, поддерживаемые языки и длину контекста, поэтому эти характеристики не приводятся. Лицензия в предоставленных данных не указана.

OLMo-2-1124-7B-DPO-Preview — диалоговая языковая модель Allen Institute for AI (AI2), основанная на плотной архитектуре OLMo 2 и содержащая 6,9 млрд параметров. Она дообучена методом DPO на варианте набора Tülu 3 после supervised fine-tuning; базовая модель в метаданных указана как allenai/OLMo-2-1124-7B-SFT. Модель принимает текст и генерирует текст, поддерживает диалоговый шаблон и контекст до 4096 токенов. Модель предназначена для диалога, выполнения инструкций, ответов на вопросы и решения разнообразных задач, включая математические задачи и следование формату. В первую очередь она рассчитана на английский язык. Веса доступны в формате PyTorch и распространяются по лицензии Apache 2.0. Карточка предупреждает, что обучение безопасности ограничено: без дополнительной фильтрации модель может выдавать проблемные ответы, особенно при соответствующих запросах. Перед использованием в пользовательских сценариях следует самостоятельно оценить качество и организовать необходимые меры контроля.

Карточка модели OpenBuddy/openbuddy-qwq-32b-v24.2-200k на Hugging Face совпадает с карточкой OpenBuddy/openbuddy-qwq-32b-v24.1-200k, поэтому описание составлено по ней. OpenBuddy/openbuddy-qwq-32b-v24.1-200k — дообученная диалоговая языковая модель OpenBuddy на архитектуре Qwen2, основанная на Qwen/QwQ-32B-Preview. Модель содержит 32 млрд параметров и рассчитана на контекст до 200 000 токенов; она принимает текст и генерирует текстовые ответы в формате чат-бота. Модель предназначена для многоязычного общения и генерации текста. Карточка указывает поддержку китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Лицензия — Apache 2.0. Для работы с форматом подсказок рекомендуется быстрый токенизатор Transformers; карточка также упоминает развёртывание через vLLM. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Её не следует применять для критических решений в медицине, финансах и праве, а также для управления потенциально опасным программным или аппаратным обеспечением.

OpenBuddy-R10528DistillQwen-14B-v27.3-200K — диалоговая языковая модель OpenBuddy на архитектуре Qwen3, дообученная на базе Qwen/Qwen3-14B-Base с использованием дистиллированных данных DeepSeek-R1-0528. Модель содержит 14 млрд параметров и поддерживает контекст до 200 000 токенов. Модель предназначена для многоязычного чат-общения, ответов на вопросы и генерации текста. В карточке перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Для работы автор рекомендует быстрый токенизатор из transformers; формат диалога также задан в tokenizer_config.json и совместим с запуском через vLLM. Модель распространяется по лицензии Apache 2.0. Она может выдавать ошибочные, вредные или оскорбительные ответы; авторы предостерегают от применения в критически важных и высокорисковых сценариях, включая медицину, управление потенциально опасными системами, а также важные финансовые и юридические решения.

OpenDolphin-7B-slerp — объединённая модель WesPro, созданная методом slerp с помощью LazyMergekit на основе macadeliccc/Mistral-7B-v0.2-OpenHermes и cognitivecomputations/dolphin-2.8-mistral-7b-v02. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогов. Модель принимает текст и генерирует текст; её нативная длина контекста составляет 32 768 токенов. Она подходит для диалоговых приложений и генерации ответов, в том числе в сценариях RAG с передачей контекста в запросе. Карточка не описывает отдельные специализированные области применения или языковые приоритеты. В репозитории указаны веса Safetensors. Лицензия в предоставленных данных не указана. Качество и устойчивость ответов зависят от запроса и переданного контекста; README не приводит оценки качества или подробных ограничений.

Карточка модели sworge/poc-custom-arch на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Prima-LelantaclesV4-7b-16k-bf16 — языковая модель семейства Mistral, объединённая ChaoticNeutrals из Test157t/Prima-LelantaclesV3-7b и Test157t/Yarncules-7b-128k методом SLERP. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста. Репозиторий содержит веса в формате Safetensors с точностью bfloat16; заявленный нативный контекст — 32 768 токенов. Модель подходит для генерации продолжений и ответов, а также для задач рассуждения и работы с длинным контекстом. В README приведены результаты Open LLM Leaderboard, в том числе 66,04 на AI2 Reasoning Challenge и 85,07 на HellaSwag; это отдельные оценки, а не гарантия качества в конкретном применении. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и лицензиях компонентов.

prototype-128x03 — языковая модель, созданная разработчиком shamwowzer слиянием предварительно обученных моделей при помощи mergekit. В слиянии использованы /workspace/modeler/Behemoth и /workspace/mistral-text-only; последняя указана базовой моделью. Применён метод Multi-SLERP, итоговые веса сохранены в формате safetensors с точностью bfloat16. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 123,4 млрд параметров. Она предназначена для генерации текста и диалогового общения; максимальный контекст составляет 262 144 токена. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

Карточка модели DongfuJiang/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

bunnycore выпустил эту объединённую языковую модель на архитектуре Qwen2, созданную с помощью mergekit методом task arithmetic. В качестве основы использована Qwen/Qwen2.5-7B, объединённая с DeepSeek-R1-Distill-Qwen-7B и Bespoke-Stratos-7B. Модель содержит 7,1 млрд параметров, работает с библиотекой Transformers и имеет контекстное окно до 131 072 токенов. Модель предназначена для диалоговой генерации текста; метаданные также отмечают интерфейс вызова инструментов. Подходит для развёртывания чат-ассистентов и генерации ответов на длинные запросы. Карточка не сообщает о специальной настройке на конкретные языки или прикладную область. Лицензия в предоставленных данных не указана.

FreedomAISVR/Qwen3.5-4B-MTP-NVFP4-GGUF — квантизированная сборка мультимодальной модели Qwen3.5-4B, разработанной командой Qwen компании Alibaba. Репозиторий содержит веса GGUF в формате NVFP4 и проектор изображений SigLIP ViT в F16; заявлена поддержка Multi-Token Prediction (MTP), предсказывающей два токена за шаг генерации. Сборка рассчитана прежде всего на ускоренный запуск на видеокартах NVIDIA Blackwell и предназначена для использования через llama.cpp и совместимые инструменты. Модель подходит для генерации текста и диалога, а с мультимодальным проектором — для обработки изображений вместе с текстовым запросом. README указывает контекстное окно 262 144 токена, мультиязычность и режим рассуждения, включённый по умолчанию. В архитектуре базовой модели описаны гибридные слои Attention и Mamba-2, MLA и 3D MRoPE. NVFP4 может ускорить инференс на Blackwell; заявленное увеличение пропускной способности MTP до 30–40% приведено автором репозитория и не является независимым бенчмарком. Лицензия — Apache-2.0. Формат NVFP4 ориентирован на GPU Blackwell; для более старых видеокарт и CPU автор рекомендует другие варианты квантования. Это производный квантованный артефакт, а не отдельное дообучение базовой модели.

lued/Qwen3.8-27B-INT8-W8A16-MTP — это квантизированная версия базовой модели Qwen/Qwen3.8-27B, разработанной командой Qwen. Модель не является дообученной версией: в ней применена числовая квантизация для запуска через vLLM на видеокартах архитектуры Ampere, в частности на конфигурации из двух RTX 3090. Она предназначена для диалоговых и мультимодальных сценариев, включая работу с текстом и изображениями, а также для инференса с ускорением speculative decoding посредством MTP. Используется формат W8A16: веса представлены в INT8, а активации — в FP16 или BF16; размер группы квантизации — 128, применяется симметричная data-free RTN-квантизация. Сохраняются vision tower, управляющие механизмы reasoning, BF16 MTP head и контекстное окно до 262 144 токенов. Модель поддерживает FP8 E4M3 KV-кэш; заявлена возможность расширения контекста до 1 млн токенов через YaRN на уровне исходной модели, однако приведённая конфигурация памяти этого не поддерживает. Сильной стороной является высокая близость к BF16-версии: заявлены 99,36% совпадения top-1 и меньший дрейф весов по сравнению с официальной FP8-версией. Ограничения связаны с требованиями к памяти и текущей стабильностью многопоточного обслуживания: на проверенной версии vLLM параллельные запросы могут приводить к сбоям движка. Производительность зависит от длины контекста и принятия черновых токенов MTP; при длинных запросах время до первого токена существенно возрастает. Данные о функциональном качестве, использовании инструментов, генерации JSON, программировании и мультимодальных возможностях в карточке не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3.8-27B-NVFP4-BUDGET-GGUF — производная версия модели Qwen3.8-27B, подготовленная автором репозитория esatapedico на основе квантованной сборки Unsloth. Это плотная модель с 27 млрд параметров, гибридной архитектурой Gated DeltaNet и Gated Attention и контекстом до 262 144 токенов. Репозиторий содержит две компактные сборки GGUF: BUDGET и STARVED; в обеих удалена голова MTP для спекулятивного декодирования, а выходная проекция и эмбеддинги токенов квантованы до малых типов. Модель предназначена для диалогов и генерации текста, а при подключении совместимого проектора mmproj-BF16.gguf также принимает изображения и видео. Сборки рассчитаны на запуск через llama.cpp на видеокартах Blackwell с 16 ГБ памяти: BUDGET занимает 14,72 ГБ, STARVED — 14,59 ГБ. Автор приводит ориентировочные результаты одного запуска на RTX 5070 Ti и предупреждает, что компактное квантование снижает точность; заявленный образный ввод требует отдельного проектора, а для работы нужны свежая версия llama.cpp и поддержка NVFP4 и sm_120. Модель распространяется по лицензии Apache-2.0. Это конверсия и дополнительное квантование/уплотнение производной сборки; веса не обучались и не дообучались автором репозитория.

Qwen3.8-27B-Uncensored-xCloud — производная мультимодальная модель компании 云碩科技（xCloudinfo） на базе Qwen/Qwen3.8-27B. Это плотная модель семейства Qwen3.5 с архитектурой смешанного внимания: gated-delta линейное внимание чередуется с полным вниманием. Разработчик удалил направление отказа методом abliteration, ортогонализовав его в 80 матрицах проекций attention и MLP; дообучение и дополнительные данные не использовались. Визуальная башня и голова языковой модели сохранены. Модель предназначена для диалогов и генерации текста, включая многоязычные вопросы и арифметические задачи; базовая архитектура также принимает изображения. Это reasoning-модель, которая может выводить блок рассуждений перед ответом, и поддерживает интерфейс вызова инструментов. В небольшом red-team тесте разработчика доля отказов составила 0 из 4; такая проверка ограничена малой выборкой и не гарантирует поведение на других запросах. Для загрузки README рекомендует один вычислительный прибор, поскольку разбиение на несколько GPU может нарушить рекуррентное состояние. Лицензия — Apache-2.0; удаление отказов ослабляет один из защитных механизмов, поэтому применение требует осторожности.

michaelfeil/Qwen3-Reranker-8B-seq — дообученная модель семейства Qwen3 для ранжирования текстовых пар: она оценивает релевантность документа запросу и помогает переставить найденные результаты в более полезном порядке. По карточке это reranker с 8 млрд параметров, поддержкой более 100 языков и обработкой длинных текстов; в метаданных указаны архитектура Qwen3ForSequenceClassification, контекст до 40 960 токенов и формат safetensors. Модель подходит для поиска по текстам и коду, многоязычного и межъязыкового поиска, а также для классификации текста. Можно задавать инструкции под сценарий; авторы отмечают, что инструкции обычно улучшают результаты на 1–5%. README указывает длину контекста 32K, тогда как метаданные каталога — 40 960 токенов. Модель основана на Qwen/Qwen3-8B-Base и распространяется по лицензии Apache-2.0.

StrangeMerges_49-7B-dare_ties — языковая модель Gille, полученная слиянием трёх моделей с помощью LazyMergekit и метода DARE-TIES. Это плотная архитектура Mistral с 7,1 млрд параметров; модель предназначена для генерации текста и диалогового использования. Указанное окно контекста составляет 32 768 токенов. Модель объединяет Gille/StrangeMerges_32-7B-slerp, AurelPx/Percival_01-7b-slerp и louisbrulenaudet/Pearl-7B-slerp. В карточке приведены результаты Open LLM Leaderboard, включая среднее значение 75,50, ARC 72,35 и HellaSwag 88,30. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

TARS-8B-llama-REMIX — языковая модель, созданная picAIso слиянием SLERP через mergekit моделей picAIso/MIX1 и NousResearch/Hermes-2-Pro-Llama-3-8B. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; заявленная длина контекста составляет 8192 токена. Карточка указывает поддержку чата, а базовая Hermes-2-Pro-Llama-3-8B ориентирована на следование инструкциям, вызов функций и генерацию структурированных данных JSON. Лицензия модели — MIT. Подробные оценки качества и ограничения конкретного слияния в карточке не приведены.

ZEUS 8B V17 – ABLITERATED V4 — диалоговая языковая модель, созданная T145 слиянием нескольких моделей семейства Llama 3.1 методом DARE TIES. В объединение вошли инструкционные и uncensored-варианты, включая unsloth/Meta-Llama-3.1-8B-Instruct; всего около 7,5 млрд параметров. Модель использует архитектуру LlamaForCausalLM и формат safetensors, поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ролевые сценарии и вызов инструментов через соответствующий интерфейс. В README приведены результаты оценивания Open LLM Leaderboard, в том числе 72,28% на IFEval и 30,97% на BBH; эти показатели не гарантируют качества на конкретных задачах. Модель позиционируется как abliterated и uncensored, поэтому может выдавать нежелательный или небезопасный контент. Лицензия — llama3.1.

pmysl/c4ai-command-r-plus-GGUF — это набор весов модели Command R+, разработанной CohereForAI, в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев; в репозитории доступны чат-шаблоны, а поддержка этих весов добавлена в llama.cpp начиная с релиза b2636. Доступны варианты с разной степенью квантизации, включая Q2_K, Q3_K_L и Q4_K_M, а также полноточный вариант f16. Для некоторых вариантов приведены значения perplexity на wikitext-2-raw: от 5,7178 у Q2_K до 4,3845 у f16, однако эти результаты обозначены как предварительные. Ключевые характеристики базовой модели, включая архитектуру, число параметров, поддерживаемые языки и размер контекста, в README не указаны. Сильной стороной репозитория является совместимость с llama.cpp и возможность выбирать компромисс между качеством, размером файлов и требованиями к ресурсам с помощью разных вариантов квантизации. Ограничения включают отсутствие подробной информации о возможностях базовой модели и неполные сведения о качестве. Использование распространяется по лицензии CC BY-NC-4.0.

Cygnis-Alpha 2 (8B) v0.3 — это языковая модель для генерации текста, представленная в формате GGUF с различными вариантами квантизации. Базовую модель разработал Simonc-44, а квантизацию выполнил mradermacher. Модель обучалась с использованием наборов данных Cygnis-Alpha2-Instruct-Mix и Cygnis-Identity-SFT и предназначена для локального запуска через совместимые инструменты работы с GGUF. Модель содержит около 8 миллиардов параметров и, судя по метаданным, относится к семейству архитектур Llama 3.1. Она ориентирована на текстовые задачи, включая генерацию ответов, следование инструкциям и рассуждения. Заявлены английский и французский языки. Поддержка мультимодальных входов и размер контекстного окна в README не указаны. Основное преимущество версии — широкий выбор квантизированных вариантов размером примерно от 2,1 до 6,7 ГБ, что позволяет адаптировать модель к доступным ресурсам и выбирать компромисс между скоростью, требованиями к памяти и качеством. При этом некоторые малобитные варианты характеризуются как низкокачественные, поэтому для практического использования рекомендуется выбирать более качественные варианты, например i1-Q4_K_M или i1-Q5_K_M. Модель распространяется под лицензией Apache-2.0.

DeepSeek-MOE-4X8B-R1-Distill-Llama-3.1-Deep-Thinker-Uncensored-24B-GGUF — языковая модель для генерации текста, разработанная DavidAU. Она основана на объединении четырёх Llama-настроек с технологиями рассуждения DeepSeek и предназначена для общего применения, творческого письма, ролевых сценариев, мозгового штурма, решения логических задач, загадок и многошаговых проблем. Модель использует архитектуру Mixture of Experts: заявлены четыре активируемых эксперта по 8B параметров, при этом размер модели составляет около 24,9B параметров. Указана поддержка английского языка, контекст до 128K токенов и формат GGUF для локального запуска. Модель может генерировать рассуждения и варианты решений, причём их активация и глубина зависят от запроса, температуры и других параметров. Рекомендуется использовать контекст не менее 4096 токенов, температуру примерно 0–0,8 для стабильной работы и повторный штраф 1,02–1,07; для более глубоких и разнообразных рассуждений автор допускает значительно более высокую температуру. К сильным сторонам относятся выраженная способность к многошаговому решению задач, генерации идей, созданию сюжетов и относительно стабильной работе при различных настройках. Ограничениями являются возможная непредсказуемость, чрезмерно длинные или неуместные рассуждения, необходимость иногда повторно запускать генерацию, а также риск появления рассуждений в основном ответе. Модель позиционируется как uncensored и может создавать материалы для взрослых, сцены ужасов и нецензурную лексику, поэтому она подходит не для всех аудиторий. Лицензия модели — Apache-2.0. Для работы требуется шаблон чата Llama 3 Instruct, Command-R или автоматически загружаемый шаблон Jinja, содержащийся в квантизации.

Google Gemma 3 4B IT QAT — мультимодальная instruction-tuned модель с примерно 4 млрд параметров, подготовленная Google и опубликованная в виде GGUF-квантизаций пользователем bartowski. Модель предназначена для задач генерации текста и обработки изображений вместе с текстовыми запросами; запуск возможен через llama.cpp, LM Studio и совместимые проекты. Представленная версия основана на QAT-весах Google и доступна в нескольких форматах квантизации, включая Q4_0, Q4_K_M, Q5, Q6, Q8_0 и BF16. Размер файлов варьируется примерно от 2,1 до 7,77 ГБ в зависимости от формата. Q4_0 отмечен как вариант, улучшенный благодаря QAT, а более качественные Q5 и Q6 рекомендуются для большинства сценариев. Поддерживаются онлайн-перепаковка для ARM и AVX CPU в отдельных форматах. К сильным сторонам относятся компактный размер, широкий выбор уровней квантизации и возможность локального запуска на CPU или другом оборудовании, совместимом с llama.cpp. README не содержит сведений о точном контекстном окне, поддерживаемых языках, конкретных архитектурных деталях и количественной оценке качества, поэтому эти характеристики нельзя достоверно определить. Использование регулируется лицензией Google Gemma; для доступа на Hugging Face требуется принять условия лицензии.