II.1Анализ требований и архитектура ПО

NeuralsirkrishnaShadow_MeliodasT3q — объединённая модель, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/MeliodasT3q-7B. Это плотная Mistral-архитектура с 7,1 млрд параметров для генерации текста; она также подходит для диалогов и поддерживает контекст до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Данные карточки не уточняют поддерживаемые естественные языки или специализированные предметные области.

NeuralsirkrishnaShadow_ShadowYamshadow — объединённая языковая модель, созданная из automerger/NeuralsirkrishnaShadow-7B и automerger/ShadowYamshadow-7B. Модель разработана в формате Mistral и содержит 7,1 млрд параметров; она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель принимает текстовые запросы и генерирует текст, поэтому подходит для диалога и других задач, сводящихся к продолжению текста. Репозиторий распространяет веса в формате safetensors по лицензии Apache-2.0. В карточке не приведены сведения о языковой специализации или результатах оценки качества.

Nous-Hermes-2-Yi-34B-imatrix-GGUF — набор квантизированных версий текстогенерационной модели Nous-Hermes-2-Yi-34B, разработанной Nous Research. Модель предназначена для диалогового взаимодействия и генерации текста, включая многоходовые чаты с системными инструкциями, ролями и управляемым стилем ответа. Модель имеет размер 34B и распространяется в формате GGUF с использованием imatrix-квантизации. Она поддерживает текстовую модальность и английский язык. Для взаимодействия используется формат ChatML, совместимый по принципу структурирования сообщений с API OpenAI; README также указывает на возможность запуска через llama.cpp и LM Studio. Размер контекстного окна и точная базовая архитектура в README не указаны. К сильным сторонам относятся поддержка системных инструкций, ролевой структуры диалога и локального запуска через совместимое программное обеспечение. Ограничения включают отсутствие сведений о качестве, результатах тестирования, требованиях к ресурсам и характеристиках отдельных вариантов квантизации. Лицензия обозначена как other, однако её конкретные условия в README не приведены.

Карточка модели SAIFIINDUSTRIES/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-noMTP-GGUF на Hugging Face совпадает с карточкой waseigo/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-noMTP-GGUF, поэтому описание составлено по ней. Это конвертированная в GGUF версия NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4, подготовленная автором репозитория для запуска через llama.cpp. Из конвертации исключены MTP-слои; веса сохранены в автоматически выбранном формате исходной модели. Модель предназначена для генерации текста и диалогового использования. Автор сообщает, что она запускалась на двух видеокартах RTX 5060 Ti по 16 ГБ, с контекстом до 1 048 576 токенов и квантизацией KV-кэша q8_0; по его оценке, для этого не требуется выгружать экспертные слои в оперативную память. Поддерживаемые языки по карточке: английский, испанский, французский, немецкий, итальянский и японский. Это конверсия исходной модели NVIDIA в GGUF для llama.cpp, а не самостоятельное дообучение; базовая модель — nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4. Репозиторий указывает лицензию «other», поэтому перед использованием следует проверить условия исходной модели и репозитория.

Это конвертированная в GGUF версия NVIDIA Nemotron 3.5 Lightning 30B-A3B NVFP4, подготовленная автором репозитория для запуска через llama.cpp. Из конвертации исключены MTP-слои; веса сохранены в автоматически выбранном формате исходной модели. Модель предназначена для генерации текста и диалогового использования. Автор сообщает, что она запускалась на двух видеокартах RTX 5060 Ti по 16 ГБ, с контекстом до 1 048 576 токенов и квантизацией KV-кэша q8_0; по его оценке, для этого не требуется выгружать экспертные слои в оперативную память. Поддерживаемые языки по карточке: английский, испанский, французский, немецкий, итальянский и японский. Это конверсия исходной модели NVIDIA в GGUF для llama.cpp, а не самостоятельное дообучение; базовая модель — nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4. Репозиторий указывает лицензию «other», поэтому перед использованием следует проверить условия исходной модели и репозитория.

Это GGUF-квантизация модели Nemotron-Cascade-2-30B-A3B, разработанной NVIDIA, подготовленная пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста общего назначения и задач, где важны рассуждения; в метаданных также указано обучение с применением SFT и RL. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством, размером файлов и требованиями к памяти. Известно, что модель относится к семейству Nemotron-Cascade-2 и имеет обозначение 30B-A3B, однако подробности архитектуры, фактическое число активируемых параметров, размер контекста и поддерживаемые модальности в README не указаны. Заявлен английский язык. Модель можно запускать через llama.cpp, LM Studio, koboldcpp, Jan AI и другие совместимые инструменты; для работы может потребоваться их обновлённая версия с поддержкой этой архитектуры. Более сильные варианты квантования обеспечивают лучшее сохранение качества, а компактные варианты снижают требования к оперативной памяти, но могут заметнее ухудшать результаты. Использование регулируется NVIDIA Open Model License; в карточке указана лицензия other и приведена ссылка на условия NVIDIA. Конкретные ограничения лицензии, результаты benchmark-тестов и подробные сведения о сильных и слабых сторонах исходной модели в README не приведены.

TheBloke опубликовал веса OpenAssistant LLaMA 30B SFT 7 в формате Hugging Face Transformers. Это плотная авторегрессионная модель семейства Llama с 32,3 млрд параметров, полученная слиянием XOR-весов OpenAssistant с исходными весами Llama 30B; чекпойнт соответствует седьмой эпохе обучения OpenAssistant. Модель предназначена для генерации текста в диалогах и ответах на запросы. Окно контекста — 2048 токенов. Репозиторий содержит веса PyTorch. В метаданных указана лицензия «other», а конкретные условия использования в предоставленной карточке не раскрыты.

pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral AI и TokenBender. В README указан метод слияния SLERP, а метаданные относят архитектуру к плотным моделям Mistral с классом MistralForCausalLM. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно применять для чат-ботов, составления текстов и ответов на вопросы в текстовом интерфейсе. В README перечислены исходные модели и настройки слияния; данные о поддерживаемых естественных языках и специализированных областях применения не приводятся. Лицензия — Apache-2.0.

Карточка модели cashxout/Qwen3-30B-A3B-Claude-4.5-Opus-High-Reasoning-2507-ABLITERATED-UNCENSORED-V2 на Hugging Face совпадает с карточкой DavidAU/Qwen3-30B-A3B-Claude-4.5-Opus-High-Reasoning-2507-ABLITERATED-UNCENSORED-V2, поэтому описание составлено по ней. DavidAU выпустил эту диалоговую модель на основе Huihui-Qwen3-30B-A3B-Thinking-2507-abliterated, дообучив её с помощью Unsloth на наборе TeichAI/claude-4.5-opus-high-reasoning-250x. Это генеративная языковая модель семейства Qwen3 MoE: всего около 30 млрд параметров, из которых активны примерно 3 млрд; метаданные каталога указывают 2,6 млрд параметров. Архитектура использует 128 экспертов, обычно активируя 8 за раз. Модель предназначена для диалогов, следования инструкциям и генерации ответов с рассуждениями. Автор отмечает, что блоки рассуждений обычно короче, чем у исходной Qwen, и что модель стремится реже отказывать, в том числе при запросах на взрослый или откровенный контент. Для таких ответов может потребоваться явно задать желаемый стиль и лексику. Заявленные автором результаты на бенчмарках не сопровождаются полными данными в карточке, поэтому их нельзя считать независимой оценкой качества. Модель принимает и генерирует текст, рассчитана прежде всего на английский язык и поддерживает контекст до 262 144 токенов. Файлы репозитория представлены в формате safetensors; указана лицензия Apache-2.0.

Qwen3.5-9B Opus 4.6 Reasoning Distill — текстовая диалоговая модель Empero AI, дообученная на рассуждениях Claude Opus 4.6 и Qwen. Она предназначена для пошагового анализа задач и формирования ответа после блока рассуждений в специальных тегах. Модель основана на Qwen/Qwen3.5-9B; для обучения применялся supervised fine-tuning с QLoRA 4-bit. В метаданных указаны 7,2 млрд параметров, контекст до 262 144 токенов и формат safetensors; README сообщает о максимальной длине последовательности 4096 токенов при обучении. Поддерживается английский язык. Модель подходит для диалоговых запросов, решения задач с многошаговым рассуждением и помощи в программировании. Как и другие модели, обученные на трассах рассуждений, она может ошибаться и выдавать убедительно звучащие, но неверные выводы; качество на независимых задачах в карточке не подтверждено. Доступна по лицензии Apache-2.0.

Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-GGUF — квантизированная GGUF-версия модели, разработанной lordx64 и опубликованной для распространения mradermacher. Модель основана на Qwen3.6-35B-A3B и дообучена методом дистилляции рассуждений на наборе reasoning-distill-opus-4-7-max-sft. В метаданных указаны архитектура Mixture-of-Experts, поддержка LoRA и библиотека Transformers. Модель предназначена для генерации текста и задач, требующих рассуждений; заявленный язык — английский. Доступны варианты квантования от Q2_K до Q8_0, размер файлов составляет примерно от 13 до 37 ГБ. Также предоставляются дополнительные файлы mmproj для мультимодального использования, однако конкретные поддерживаемые модальности и контекстное окно в README не указаны. Более качественными считаются старшие варианты квантования, а Q4_K_S и Q4_K_M отмечены как быстрые и рекомендуемые. Модель может быть полезна для локального запуска и сценариев, где важны рассуждения при ограниченных ресурсах, но квантование создаёт компромисс между размером, скоростью и качеством. Ограничения включают отсутствие подробных результатов тестирования, описания точного числа активных параметров, языкового охвата и контекстного окна. Лицензия — Apache-2.0.

scima/Qwen3.8-Whittle-MoE-27B-A17.8B-GGUF-all-quants — набор GGUF-квантизаций модели Whittle MoE 27B (A18B) v2.1, разработанной Logic65 на основе Qwen3.8-27B. Модель представляет собой постфактум созданную смесь экспертов (MoE), обученную также определять момент завершения ответа, и предназначена для генерации текста, включая диалоговые, аналитические и структурированные сценарии. Доступны варианты квантования от Q2_K до Q8_0, а также F16 для создания последующих квантизаций. Размер файлов составляет примерно от 11,3 до 53,9 ГБ; рекомендуемый Q4_K_M занимает 17,4 ГБ и рассчитан на запуск в 24 ГБ VRAM, тогда как Q8_0 размером 28,7 ГБ ориентирован на более высокое качество. В README указана настройка контекста 8192 токена и совместимость с актуальными сборками llama.cpp с поддержкой Qwen3.5 MoE. Языки и мультимодальные возможности не указаны, поэтому модель следует считать текстовой. Заявленные результаты версии v2.1 включают снижение частоты зацикливания до 8% в однопользовательских запросах и до 22% в структурированных сценариях, отсутствие усечённых ответов и результат 28 из 39 в тесте на знания. При этом автор отмечает, что варианты Q4 и выше не тестировались, поэтому их работоспособность не гарантируется. Распространение указано по лицензии Apache-2.0.

Ramakrishna-7b-v3 — объединённая модель для генерации текста, созданная Kukedlc с помощью LazyMergekit на основе шести моделей семейства Mistral. Она предназначена для генерации текста и диалогов. Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов; веса опубликованы в формате safetensors. Репозиторий не уточняет отдельные специализации, поддерживаемые языки или результаты оценки качества. Модель распространяется по лицензии Apache-2.0.

arcee-ai/Saul-Nous-Hermes-2-Mistral-7B-DPO-Ties — языковая модель, созданная Arcee AI объединением моделей Equall/Saul-Base и NousResearch/Nous-Hermes-2-Mistral-7B-DPO с помощью mergekit и метода TIES. В конфигурации также указана Mistral-7B-v0.1 как базовая модель. Это плотная авторегрессионная модель Mistral на 7,1 млрд параметров для генерации текста; репозиторий содержит веса в формате safetensors, а конфигурация слияния использует float16. Модель предназначена для генерации текста и диалоговых сценариев. Контекст составляет до 32 768 токенов. Метаданные указывают лицензию Apache-2.0. README и метаданные не описывают результаты оценки качества или специальные ограничения применения, поэтому характеристики ответов в конкретных задачах следует проверять отдельно.

LeroyDyer дообучил модель LeroyDyer/SpydazWeb_AI_CyberTron_Ultra_7b на базе LeroyDyer/Mixtral_AI_CyberTron_Ultra. Это языковая модель с архитектурой MistralForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста в диалогах и выполнения инструкций. В карточке отмечены возможности работы с кодом, математикой, финансовыми темами, ролевыми сценариями и несколькими языками, однако заявленные тематические навыки не подкреплены подробными оценками. Модель использует контекст до 32 768 токенов и распространяется в формате safetensors через Transformers. Автор сообщает об обучении с Unsloth и библиотекой TRL; приведены результаты оценок IFEval и BBH. Лицензия — Apache-2.0. В карточке есть неоднозначность: README описывает базовую Mistral-7B-Instruct-v0.2, тогда как метаданные и строка о дообучении указывают на Mixtral_AI_CyberTron_Ultra. Для базовой модели в каталоге использована связь из метаданных Hugging Face.

Strangemerges_32Shadow-7B — автоматическое объединение двух моделей, созданное Maxime Labonne: Gille/StrangeMerges_32-7B-slerp и CorticalStack/shadow-clown-7B-slerp. В карточке указано слияние методом SLERP с настройками для слоёв self-attention и MLP; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель предназначена для генерации текста и принимает текстовые запросы. Контекстное окно составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит оценок качества и подробных ограничений применения.

Strangemerges_32T3qm7xp-7B — автоматическое слияние моделей, созданное Maxime Labonne с помощью MergeKit. Это плотная авторегрессионная модель семейства Mistral на 7,1 млрд параметров для генерации текста; в конфигурации слияния указаны mistralai/Mistral-7B-v0.1, Gille/StrangeMerges_32-7B-slerp и nlpguy/T3QM7XP, метод model_stock и точность bfloat16. Модель принимает текст и может использоваться для продолжения фрагментов, ответов и других сценариев генерации текста. Заявленная длина контекста — до 32 768 токенов. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Карточка не описывает отдельные целевые области или языки; качество конкретных задач следует оценивать на подходящих данных.

Triunvirato-7b — языковая модель на архитектуре Mistral, созданная Kukedlc путём слияния трёх моделей с помощью LazyMergekit: mistralai/Mistral-7B-v0.1, Kukedlc/neuronal-7b-Mlab и mlabonne/Monarch-7B. Она предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов. Модель содержит 7,1 млрд параметров, имеет контекстное окно до 32 768 токенов и распространяется в формате Safetensors. Модель подходит для свободной генерации текста и разработки приложений на базе языковой модели. README не сообщает результаты оценки качества или перечень поддерживаемых языков, поэтому их нельзя надёжно уточнить. Лицензия — Apache-2.0.

Tulu 2 13B — языковая модель-помощник, разработанная Allen Institute for AI (AI2). Она дообучена методом SFT на базе meta-llama/Llama-2-13b-hf на смеси публичных, синтетических и созданных людьми инструкций и диалогов, включая набор allenai/tulu-v2-sft-mixture. Модель содержит 12,9 млрд параметров, использует плотную архитектуру Llama и принимает текстовый контекст длиной до 8192 токенов. Модель предназначена для диалогов с помощником, выполнения инструкций и генерации текста. В карточке указано, что она рассчитана преимущественно на английский язык. Для корректного формата ввода README рекомендует добавлять перевод строки после сообщения пользователя. В опубликованных результатах Tulu-v2-13b показала 6,70 на MT-Bench и 78,9% win rate на AlpacaEval. Модель не прошла этап RLHF-выравнивания для безопасных ответов и не сопровождается фильтрацией во время использования, поэтому может выдавать проблемный контент, особенно в ответ на соответствующие запросы. Лицензия — AI2 ImpACT Low-risk.

Tulu V2.5 DPO 13B – Nectar 60k — англоязычная чат-модель-помощник от Allen Institute for AI (AI2), основанная на Tulu 2 и дообученная методом DPO на случайной выборке из 60 тысяч примеров Nectar. Это плотная авторегрессионная модель семейства Llama с 12,9 млрд параметров и контекстом 4096 токенов; репозиторий содержит веса PyTorch и шаблон чата в токенизаторе. Модель предназначена для диалогов с помощником и генерации ответов на инструкции на английском языке. Она обучалась на смеси открытых, синтетических и созданных людьми данных, включая наборы Tulu, а затем выравнивалась по предпочтениям на Nectar. Лицензия — Apache 2.0. В фазе RLHF модель не обучали выдавать безопасные ответы, а встроенной фильтрации нет; при соответствующих запросах возможны проблемные ответы. Качество генерации зависит от правильного формата входа, включая завершающий перевод строки.

Unbound E4B — мультимодальная модель для диалога, дообученная командой Chromia & Eval Engine на Google Gemma 4 E4B Instruct. Она принимает текст и изображения и генерирует текст; предназначена для открытых диалогов, ответов на вопросы, рассуждений и анализа изображений. В карточке сообщается, что по знаниям и рассуждениям она сильнее младшей Unbound E2B и сохраняет результаты базовой модели на GPQA-Diamond и BBH в пределах статистической погрешности. Модель снижает частоту отказов на тесте AdvBench с 98,08% у базовой модели до 2,69%, поэтому чаще отвечает на запросы, от которых базовая модель отказалась бы. Разработчики также отмечают увеличение галлюцинаций на вредоносных запросах с 1,35% до 13,08%. Модель может выдавать вредные, ложные, предвзятые или небезопасные ответы; используйте результаты с проверкой. В репозитории находятся объединённые веса Transformers в формате Safetensors; для запуска на устройстве доступны отдельные сборки GGUF. Лицензия — Apache-2.0.

kevinpro/Vicuna-7B-CoT — плотная языковая модель семейства Llama с 6,6 млрд параметров, дообученная методом SFT для усиления способности Vicuna к рассуждениям по цепочке мыслей (CoT). Она предназначена для генерации текста и ответов на запросы, где полезно пошаговое рассуждение. Модель принимает текст и генерирует текст; заявленная длина контекста — 2048 токенов. В метаданных указан формат PyTorch. В карточке не приведены сведения о разработчике, языках, обучающих данных, оценках качества и лицензии. Поэтому пригодность модели для конкретных задач и условия её использования следует проверять отдельно. Как и другие языковые модели, она может давать неточные или необоснованные ответы.

WestKunai-XD-7b — слитая языковая модель, созданная автором seyf1elislam с помощью mergekit из WestKunai-Hermes-7b и KuTrix-7b на основе Mistral-7B-v0.1. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров; для репозитория указаны веса safetensors и контекст до 32 768 токенов. Также доступны квантованные версии в формате GGUF. Модель предназначена для генерации текста и ответов на запросы, включая сценарии с длинным контекстом. В карточке приведены результаты оценивания на задачах рассуждения и здравого смысла, однако конкретные языки, на которых модель оптимизирована, не описаны. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

YamshadowInex12_Experiment26Experiment26 — слитая текстовая модель семейства Mistral, созданная на основе automerger/YamshadowInex12-7B и automerger/Experiment26Experiment26-7B. Она предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов. Модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Поддерживает контекст до 32 768 токенов; веса опубликованы в формате safetensors. В карточке указана лицензия Apache-2.0. Сведения о специализации по языкам и об оценке качества отсутствуют.

YamshadowInex12_YamM7 — слитая модель для генерации текста, созданная на основе automerger/YamshadowInex12-7B и automerger/YamM7-7B. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и принимает текст для авторегрессионной генерации продолжений и ответов. Контекст модели составляет до 32 768 токенов, поэтому её можно применять в диалогах и при работе с длинными текстовыми запросами. Модель опубликована в формате safetensors под лицензией Apache-2.0. В README не описаны специальные навыки или гарантии качества; качество ответов следует проверять на целевых задачах.

YamshadowStrangemerges_32_Experiment28Yam — объединённая модель MaziyarPanahi на архитектуре Mistral, созданная на основе automerger/YamshadowStrangemerges_32-7B и automerger/Experiment28Yam-7B. Она предназначена для генерации текста и поддерживает контекст длиной до 32 768 токенов; размер модели — 7,1 млрд параметров. Модель можно применять для генерации продолжений, ответов и другого текста в сценариях, где требуется работа с длинным контекстом. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. В карточке не приведены сведения о языковой специализации или оценках качества.

YamshadowStrangemerges_32_Ognoexperiment27Multi_verse_model — объединённая модель для генерации текста, построенная на архитектуре Mistral и содержащая 7,1 млрд параметров. В её основе указаны две модели: automerger/YamshadowStrangemerges_32-7B и automerger/Ognoexperiment27Multi_verse_model-7B; веса представлены в формате Safetensors. Модель принимает текст и генерирует текст, поддерживая контекст до 32 768 токенов. Карточка не описывает специализированные предметные области или языки. Лицензия — Apache-2.0.

YamStrangemerges_32-7B — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit методом DARE TIES. В слиянии использованы mayacinka/yam-jom-7B-slerp в качестве базовой модели и Gille/StrangeMerges_32-7B-slerp. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста с контекстом до 32 768 токенов. Модель подходит для генерации и продолжения текста в приложениях на базе Transformers, включая сценарии, где требуется передавать длинный контекст. Карточка не описывает специализированные предметные области или отдельные языковые возможности, поэтому применение следует оценивать на собственных примерах. Файлы представлены в формате safetensors; лицензия в предоставленных данных не указана.

S4sch/zephyr-neural-chat-frankenmerge11b — языковая модель для генерации текста, созданная путём объединения слоёв HuggingFaceH4/zephyr-7b-beta и Intel/neural-chat-7b-v3-1 с помощью mergekit. В сборке чередуются диапазоны слоёв обеих моделей; указанный в метаданных размер — 11,3 млрд параметров, архитектура — плотная MistralForCausalLM, формат весов — safetensors. Модель поддерживает контекст длиной до 32 768 токенов. Она предназначена для генерации текста и диалогового применения на основе объединённых моделей Zephyr и Neural Chat. В карточке не приведены отдельные оценки качества, описание поведения или перечень поддерживаемых языков. Лицензия — Apache-2.0.

AI21-Jamba-Reasoning-3B-GGUF — набор GGUF-квантизованных версий языковой модели AI21-Jamba-Reasoning-3B, разработанной AI21 Labs. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и сценариев, где требуется рассуждение; запуск возможен локально через LM Studio, llama.cpp и другие проекты на базе llama.cpp. Доступны варианты от исходных BF16-весов размером 6,40 ГБ до компактных квантов IQ3 и Q3 размером примерно 1,47–1,76 ГБ, а также более качественные варианты Q4–Q8. Рекомендуемые сборки включают Q4_K_M, Q5, Q6 и другие варианты; выбор позволяет балансировать качество, скорость и требования к оперативной памяти. Формат приглашений предусматривает системное и пользовательское сообщения, а также блок <think> для рассуждений перед ответом. README не содержит сведений об архитектуре, длине контекста, поддерживаемых языках и модальностях, поэтому эти характеристики неизвестны. Более сильные квантизации обеспечивают качество, близкое к исходным весам, тогда как компактные варианты экономят память ценой снижения качества. Лицензия в представленном описании не указана.