II.1Анализ требований и архитектура ПО

zypcastles/QwQ-32B-Instruct-abliterated — объединённая модель семейства Qwen2, созданная разработчиком с помощью mergekit методом SLERP из huihui-ai/Qwen2.5-32B-Instruct-abliterated и huihui-ai/QwQ-32B-Preview-abliterated. Модель предназначена для диалога и генерации текста с улучшенным следованием инструкциям по сравнению с исходной QwQ-моделью. Модель содержит 32 млрд параметров, использует плотную архитектуру Qwen2ForCausalLM и принимает текст, выдавая текст. Контекст составляет до 32 768 токенов. Доступна в формате safetensors для библиотеки Transformers; метаданные также указывают интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

Tess-2.0-Llama-3-70B-v0.2 — чат-модель общего назначения, разработанная Migtissera и дообученная на базе Meta Llama 3 70B. Версия 0.2 включает дополнительный этап снятия ограничений на ответы. Модель содержит 69,5 млрд параметров, использует плотную архитектуру Llama и принимает запросы в формате Llama 3; заявленная длина контекста — 8192 токена. Модель предназначена для диалогов, следования инструкциям, генерации кода и ответов на общие вопросы. Дообучение выполнено на примерно 100 тысячах высококачественных примеров кода и общего назначения по принципам LIMA, в течение двух эпох с низкой скоростью обучения. Модель ориентирована на широкий спектр запросов и обычно охотно выполняет инструкции. Возможны неточные или вводящие в заблуждение ответы, а также предвзятый, оскорбительный или иной неподходящий контент; факты следует перепроверять. Модель описана как uncensored. Лицензия — Llama 3; применимые условия использования определяются лицензией Meta Llama 3.

ZYR3.1MoE (ZV1.1MeO) — текстовая генеративная модель с многоагентной архитектурой и маршрутизацией Mixture-of-Experts. В README разработчик явно не указан; модель опубликована под идентификатором zyr-AGENT/ZYR3.1MoE. Это объединённая самостоятельная версия с весами, токенизатором и chat template, без необходимости загружать отдельные адаптеры или компоненты. Размер весов составляет около 18 ГБ в пяти safetensors-фрагментах. Модель предназначена для сложных рабочих запросов: планирования, декомпозиции задач, программирования, математических рассуждений, исследования, проверки фактов, критики, обзора, оптимизации и координации компьютерных операций. Её поведение имитирует работу оркестрационной команды из 11 специализированных агентов, которыми управляют уровни ATP, ACN и MeO. Простые вопросы обрабатываются напрямую, а практические запросы могут запускать цикл планирования, распределения ролей и проверки результата. Ключевая особенность — обученное многоагентное поведение поверх одной объединённой модели; ATP и ACN являются внешними runtime-компонентами, а не отдельными нейронными весами. README не указывает точный размер базовой модели, максимальную длину контекста, поддерживаемые языки или мультимодальные возможности, поэтому подтверждённой является только работа с текстовой генерацией. Сгенерированные моделью отчёты о тестах могут быть симулированными и не заменяют реальные внешние результаты выполнения. Для надёжной работы рекомендуется GPU с объёмом памяти от 24 ГБ; поддержка 4-битной квантизации для гибридной архитектуры не гарантируется. Лицензия обозначена как other, но её конкретные условия в README не приведены.

Breeze-13B-32k-Instruct-v1_0 — чат-модель на базе архитектуры Mistral, созданная MediaTek Research с помощью объединения моделей через mergekit. В карточке в качестве компонентов слияния указан MediaTek-Research/Breeze-7B-32k-Instruct-v1_0; запись повторяется несколько раз. Метаданные указывают 12,5 млрд параметров, плотную архитектуру и контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. Длинный контекст позволяет использовать её для ответов по объёмным текстам и продолжительных диалогов. Репозиторий содержит веса safetensors. Лицензия — Apache 2.0.

mlx-community/DeepSeek-R1-Distill-Qwen-32B-abliterated — 32-миллиардная языковая модель для генерации текста и диалогов. Репозиторий mlx-community содержит версию в формате MLX, преобразованную из huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated с помощью mlx-lm 0.21.1. По метаданным, модель построена на плотной архитектуре Qwen2, поддерживает контекст до 131 072 токенов и предназначена для текстовых задач, включая рассуждения. Вариант abliterated модифицирован для уменьшения отказов. Лицензия в предоставленных данных не указана.

Light-IF-4B — дообученная командой Qihoo 360 языковая модель на базе Qwen3-4B, предназначенная для точного выполнения сложных инструкций. Подход к адаптации сочетает генерацию примеров с комплексными ограничениями, отбор данных методом rejection sampling, supervised fine-tuning с сохранением энтропии и обучение с подкреплением с адаптацией к энтропии токенов. Модель помогает планировать ответ и проверять его перед выдачей, чтобы лучше соблюдать многошаговые и ограниченные требования. Она относится к плотной архитектуре Qwen3ForCausalLM, содержит 3,7 млрд параметров, принимает текст и выдаёт текст; максимальный контекст — 40 960 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Llama-3.1-8B-Magpie-Align-SFT-v0.2 — диалоговая языковая модель семейства Llama 3.1, разработанная Magpie-Align. Это дообученная версия Meta Llama 3.1 8B, обученная на наборах Magpie-Llama-3.1-Pro-500K-Filtered и Magpie-Reasoning-150K. Модель предназначена для диалогов, выполнения инструкций и рассуждений в текстовом формате; для лучшего результата следует использовать официальный шаблон чата Llama 3. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README сообщается о результатах, сопоставимых с Llama 3.1 8B Instruct при обучении только методом SFT, включая оценки AlpacaEval 2 и Arena Hard. Модель принимает текст и генерирует текст. README не перечисляет поддерживаемые естественные языки, поэтому язык в описание не добавлен. Использование регулируется лицензией Meta Llama 3.1 Community License.

Omni-Reasoner4-Merged — объединённая языковая модель от prithivMLmods, созданная методом Model Stock с помощью mergekit. В объединение вошли Qwen/QwQ-32B-Preview, Qwen/Qwen2.5-32B и prithivMLmods/Blaze.1-32B-Instruct; в качестве базовой модели указана Qwen/QwQ-32B-Preview. Модель имеет архитектуру Qwen2ForCausalLM, содержит 32 млрд параметров и принимает текст для генерации текста и диалоговых ответов. Длина контекста — 32 768 токенов; заявлена поддержка интерфейса вызова инструментов. Модель подходит для диалоговых сценариев и генерации текста, включая задачи рассуждения, на которые указывает название и включение QwQ-32B-Preview. Поддерживаемые языки в карточке не перечислены. Файлы представлены в формате safetensors и предназначены для использования с Transformers. Лицензия в предоставленных данных не указана.

Shining Valiant 3 — дообученная Valiant Labs модель для научных задач, проектирования систем ИИ и рассуждений общего назначения, созданная на базе Qwen3-4B. Это плотная причинная языковая модель с 3,7 млрд параметров, рассчитанная на генерацию текста, диалоги, следование инструкциям, написание кода и пошаговое решение сложных задач. Для диалогов разработчик рекомендует включать режим рассуждений; модель использует формат запросов Qwen 3 и поддерживает контекст длиной до 40 960 токенов. Модель обучали на данных научных рассуждений, сгенерированных DeepSeek R1 0528, а также на сложных примерах рассуждений об ИИ. Она предназначена для локального запуска на настольных компьютерах и мобильных устройствах, а также для быстрой серверной инференции. Доступна в формате Safetensors и распространяется по лицензии Apache 2.0. Карточка описывает специализацию на рассуждениях и решение задач, но не приводит результатов сравнительных оценок качества.

FreedomAISVR публикует GGUF-квантизацию модели Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled — разговорной модели рассуждения, дистиллированной из Claude 4.7 Opus. В основе лежит архитектура Qwen3.5 MoE с 35 млрд параметров, около 3 млрд из которых активны при генерации; в модели 256 экспертов, из них 8 активируются на токен, а также 40 слоёв и MTP-голова. Контекст составляет 262 144 токена. Модель предназначена для генерации текста и диалогов с многошаговыми рассуждениями. Это текстовая версия без поддержки изображений. Веса сохранены в формате GGUF и квантизированы в NVFP4 примерно до 4 бит; файл модели занимает около 18,81 ГБ. Apache 2.0 указана как лицензия исходной модели.

Experiment28M7_YamshadowT3q — объединённая языковая модель семейства Mistral, созданная на основе automerger/Experiment28M7-7B и automerger/YamshadowT3q-7B. Она предназначена для генерации текста и может использоваться для составления ответов на запросы, в том числе математические. Модель содержит 7,1 млрд параметров, построена на плотной архитектуре Mistral и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

gghfez выпустил текстовую версию Google Gemma 3 12B IT, преобразовав мультимодальную архитектуру Gemma3ForConditionalGeneration в текстовую Gemma3ForCausalLM и удалив компоненты обработки изображений. По карточке модель предназначена для генерации текста и диалогов; метаданные указывают 11,6 млрд параметров, контекст до 131 072 токенов и формат Safetensors. README приводит оценку в 4 млрд параметров, что расходится с метаданными. Модель принимает текст и выдаёт текст, а использовать её предлагается так же, как текстовую Gemma 3 1B IT. Лицензия — Gemma; модель основана на google/gemma-3-12b-it.

GLM-4.5-GGUF — это GGUF-версия фундаментальной языковой модели GLM-4.5, разработанной Z.ai. Модель предназначена для создания интеллектуальных агентов и объединяет возможности рассуждения, программирования и взаимодействия с инструментами. Она поддерживает генерацию текста и рассчитана прежде всего на англоязычные и китайскоязычные сценарии. GLM-4.5 — гибридная reasoning-модель с двумя режимами работы: thinking mode для сложных рассуждений и использования инструментов и non-thinking mode для быстрых ответов. В модели 355 млрд общих параметров, из которых активно используется 32 млрд; архитектура построена с применением mixture-of-experts. Контекстное окно, дополнительные модальности и точные характеристики GGUF-квантизации в README не указаны. К сильным сторонам относятся сочетание рассуждений, программирования и агентных функций, а также возможность коммерческого использования и доработки. Ограничения включают высокие требования к вычислительным ресурсам исходной модели и отсутствие в предоставленных данных подробностей о конкретной GGUF-квантизации и совместимости с оборудованием. Модель распространяется под лицензией MIT.

GLM-5.3-Flash-GGUF — это GGUF-версия модели GLM-5.3-Flash, разработанной командой GLM-5 компании Z.ai; представленный репозиторий основан на модели zai-org/GLM-5.3-Flash и подготовлен с использованием методов Unsloth Dynamic 3.0. Модель предназначена для генерации текста, программирования, агентских сценариев и задач, требующих работы с длинным контекстом. Она поддерживает английский и китайский языки и относится к мультимодальным моделям, однако README не уточняет полный набор поддерживаемых модальностей и особенности их использования именно в данной GGUF-сборке. Архитектура сочетает разреженное и линейное внимание, а также использует Manifold-Constrained Hyper-Connections. Модель содержит 320 млрд параметров, из которых 18 млрд активируются при обработке запроса. Обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Заявлены повышенная эффективность, снижение стоимости обработки длинного контекста и сильные результаты в задачах программирования и использования инструментов; в README также указано контекстное окно до 300 000 токенов в отдельных оценках и до 1 млн токенов в NL2Repo. К ограничениям относятся высокие требования к ресурсам исходной модели, возможные потери качества из-за квантования и необходимость совместимого программного обеспечения: для запуска рекомендуется использовать llama.cpp с указанными изменениями или Unsloth Desktop. Конкретный формат квантования и требования к оперативной памяти в README не указаны. Модель распространяется по лицензии MIT.

duyntnet/internlm2_5-7b-chat-1m-imatrix-GGUF — это GGUF-квантизации чат-модели InternLM2.5-7B-Chat-1M, разработанной командой InternLM. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, следование инструкциям, математическое рассуждение, работу с длинными документами и использование инструментов. Модель содержит около 7 миллиардов параметров и работает с текстовой модальностью. Заявлено контекстное окно до 1 миллиона токенов, а также улучшенные способности к рассуждению, выбору инструментов, следованию инструкциям и рефлексии. Для длинного контекста рекомендуется LMDeploy; заявленная конфигурация на 1 миллион токенов требует 4 GPU A100 с 80 ГБ памяти. Для обычного запуска доступны llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. К сильным сторонам относятся большой контекст, математическое рассуждение и поддержка сценариев с инструментами. Ограничения включают высокие вычислительные требования при использовании максимального контекста, а также зависимость от совместимого ПО и параметров квантизации. В метаданных указаны английский язык и лицензия «other»; точные условия лицензии README не уточняет.

mistral-7b-openhermes-sft — дообученная методом supervised fine-tuning модель семейства Mistral, разработанная CorticalStack на базе unsloth/mistral-7b-bnb-4bit с использованием набора данных teknium/openhermes. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста.

NousResearch Nous-Hermes-2-Mistral-7B-DPO — диалоговая языковая модель на базе Mistral-7B-v0.1, дообученная методом DPO. Предварительный чекпойнт OpenHermes-2.5-Mistral-7B обучался на миллионе инструкций и диалогов, преимущественно на синтетических данных высокого качества; разработчик сообщает об улучшении результатов на нескольких бенчмарках после DPO. Модель предназначена для генерации ответов на инструкции и многошагового общения. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Для диалога применяется формат ChatML, включая системные сообщения и несколько ходов беседы. В карточке указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0. Качество ответов зависит от формулировки запроса; результаты на приведённых бенчмарках не гарантируют точность фактических утверждений или пригодность для конкретного сценария.

Nous Hermes 2 Mixtral 8x7B DPO — диалоговая языковая модель Nous Research, дообученная на базе Mixtral 8x7B с помощью SFT и DPO. Она использует разреженную архитектуру Mixture of Experts (MoE); в репозитории указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов в чате, следования инструкциям и многошагового диалога. Она обучалась на более чем миллионе примеров, преимущественно созданных GPT-4, а также на данных из открытых наборов. Для диалога применяется формат ChatML с системными инструкциями и шаблоном чата Hugging Face. Карточка приводит результаты нескольких бенчмарков и сообщает об улучшении относительно базовой Mixtral и Mixtral Instruct. Основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0. Для запуска в 4-битном режиме README указывает потребность более чем в 24 ГБ видеопамяти; фактические требования зависят от конфигурации и способа запуска.

pankajmathur/orca_mini_v7_72b — разговорная языковая модель на архитектуре Qwen2, созданная Pankaj Mathur и дообученная на различных наборах данных для SFT. Она предназначена для ответов в диалоге и выполнения широкого круга текстовых запросов; использовать её можно как основу для дальнейшего дообучения и слияния с другими моделями при указании авторства. Модель содержит 71,5 млрд параметров, принимает текст и выдаёт текст, поддерживает контекст длиной 32 768 токенов и формат диалога ChatML. README описывает расширение контекста с помощью YARN при развёртывании через vLLM. Модель опубликована под лицензией Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая средний балл 39,06 и 59,30 на IFEval; эти показатели относятся к указанной оценке и не гарантируют качество для конкретного сценария. Для vLLM статическая настройка YARN может снижать производительность на коротких запросах.

prototype-128x03 — языковая модель, созданная разработчиком shamwowzer слиянием предварительно обученных моделей при помощи mergekit. В слиянии использованы /workspace/modeler/Behemoth и /workspace/mistral-text-only; последняя указана базовой моделью. Применён метод Multi-SLERP, итоговые веса сохранены в формате safetensors с точностью bfloat16. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 123,4 млрд параметров. Она предназначена для генерации текста и диалогового общения; максимальный контекст составляет 262 144 токена. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

DavidAU/Qwen2.5-QwQ-35B-Eureka-Cubed-abliterated-uncensored — текстовая причинная языковая модель семейства Qwen2, предназначенная для диалогов, генерации текста и задач рассуждения. Это объединённая модель на основе huihui-ai/DeepSeek-R1-Distill-Qwen-32B-abliterated, huihui-ai/QwQ-32B-abliterated и huihui-ai/TinyR1-32B-Preview-abliterated; автор описывает её как вариант QwQ-32B, усиленный методом Cubed. Веса доступны в формате safetensors для использования с Transformers и преобразования в другие форматы. Модель содержит 33,9 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка ориентирует её на диалоги, многошаговое рассуждение, планирование, ответы на вопросы, творческое письмо и генерацию развёрнутых текстов. Автор сообщает об улучшениях в детализации, качестве и креативности вывода, но эти оценки основаны на его собственных тестах. В карточке указана версия с удалёнными отказами и без цензурных ограничений; лицензия не указана в предоставленных данных. Для общения рекомендуется шаблон ChatML; результат зависит от шаблона и параметров генерации.

Qwen3.6-28B — производная модель 0xSero на основе Qwen/Qwen3.6-35B-A3B, сокращённая методом REAP с последующим дообучением LoRA на открытых рассуждениях Claude Opus. Это причинная языковая модель семейства Qwen3.5 MoE для генерации текста и диалогов. После удаления 20% экспертов в каждом слое осталось около 28 млрд параметров, из которых активны примерно 3 млрд. Веса представлены в BF16; исходная архитектура имеет 40 слоёв и MoE-маршрутизацию. Модель предназначена для диалогов, задач на рассуждение и программирование, а также создания структурированных ответов, например JSON и Mermaid. В README заявлена калибровка с избытком примеров структурированного вывода, поэтому такие сценарии могли повлиять на сохранённые экспертовые способности. Указаны лицензия Apache-2.0 и библиотека Transformers. Оценки качества в карточке представлены шаблонными значениями, поэтому по ним нельзя судить о сравнительной производительности. Для задач в стиле GSM8K точность зависит от наличия достаточного бюджета токенов для цепочки рассуждений; калибровка структурированного вывода переориентирована на JSON и Mermaid. Поведение отказов унаследовано от базовой модели и дообучения.

QwQ-32B-GGUF — языковая модель для генерации текста и рассуждений из семейства Qwen, разработанная командой Qwen. Это GGUF-версия базовой модели Qwen/QwQ-32B, ориентированная на локальный запуск и диалоговые сценарии, включая решение сложных математических, логических и других задач, где важны пошаговое рассуждение и качество вывода. Модель предназначена для использования с llama.cpp и совместимыми инструментами. Модель является авторегрессионной causal language model с архитектурой на базе Qwen2.5, использующей RoPE, SwiGLU, RMSNorm и смещения в QKV-вычислениях внимания. Она содержит около 32,5 млрд параметров, 64 слоя и механизм grouped-query attention с 40 головами для Q и 8 для KV. Заявленная длина контекста составляет до 131 072 токенов, однако для GGUF-версии без дополнительных настроек рекомендуется учитывать ограничение около 32 768 токенов; обработка более длинных последовательностей требует YaRN и поддержки со стороны используемого фреймворка. Указан английский язык. Сильная сторона модели — усиленная способность к рассуждению, обеспеченная последующим обучением с учителем и reinforcement learning; заявляется конкурентоспособность с современными reasoning-моделями, включая DeepSeek-R1 и o1-mini. Доступны варианты квантования q4_K_M, q5_0, q5_K_M, q6_K и q8_0, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для стабильной работы рекомендуются специальные параметры семплирования и начало ответа с маркера <think>. Лицензия — Apache-2.0.

Zrald/Zrald-AI-model-quant-qwen-3.8-27b — набор GGUF-квантований Qwen3.8-27B, опубликованный Zrald для локального запуска через llama.cpp. Это плотная модель на 27 млрд параметров, дообученная на базе Qwen/Qwen3.8-27B; репозиторий предлагает три варианта с разным балансом размера, скорости и сохранения качества. README описывает применение для диалогов, программирования, рассуждений и инструктивных задач. Варианты занимают от 10,18 до 17,08 ГиБ; заявлены сценарии запуска на видеокартах с 12, 16 и 24 ГБ памяти, а для старшего варианта — контекст до 32 тысяч токенов. Автор сообщает о тестировании на AMD Instinct MI300X и совместимости с llama.cpp. Лицензия — Apache-2.0. Это текстовая модель генерации; мультимодальные функции базовой модели в карточке этого репозитория не заявлены.

Buddhi-128K-Chat — диалоговая языковая модель общего назначения от AI Planet, дообученная на базе Mistral-7B-Instruct-v0.2. Она предназначена для генерации ответов, работы с длинными документами и продолжительными диалогами: в частности, для суммаризации, генерации текста и ответов на вопросы по большому контексту. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстным окном до 131 072 токенов. Для расширения контекста применена техника YaRN; README также описывает Dynamic-YARN. Модель принимает текст и генерирует текст, поддерживает английский язык и использует шаблон инструкций Mistral с маркерами [INST] и [/INST]. Для запуска с контекстом 128K в карточке указано требование около 80 ГБ VRAM, а для 32K — около 40 ГБ; рекомендуется A100. Модель опубликована в формате safetensors под лицензией Apache-2.0. Приведённые в README результаты бенчмарков не являются независимой оценкой, а обработка максимального контекста требует значительных ресурсов.

Causal language model с архитектурой семейства Qwen2, опубликованная на Hugging Face под идентификатором codex176743/cedar-lantern-p4. Модель предназначена для генерации текста и совместима с библиотекой Transformers; для хранения весов используется формат safetensors.

Mungert/cogito-v1-preview-llama-8B-GGUF — квантизированная GGUF-версия предварительной модели Cogito v1-preview, разработанной Deep Cogito. Однако представленная карточка описывает вариант на 70B параметров с базовой моделью Meta Llama 3.1 70B, поэтому соответствие заявленному идентификатору 8B не подтверждено. Модель предназначена для генерации текста по тексту и работает как instruction-tuned LLM. Cogito — гибридная reasoning-модель: она может отвечать напрямую в стандартном режиме или выполнять саморефлексию в режиме расширенного рассуждения. Модель оптимизирована для программирования, задач STEM, следования инструкциям, общей полезности и tool calling. Заявлена поддержка более 30 языков и контекстного окна до 128k токенов. Расширенное рассуждение включается специальной системной инструкцией или параметром enable_thinking в chat template. Поддерживаются одиночные, параллельные и комбинированные вызовы инструментов. К сильным сторонам относятся гибридный режим работы, заявленные улучшения многоязычности, программирования и вызова инструментов, а также обучение методом Iterated Distillation and Amplification. Ограничения карточки — отсутствие подробных числовых результатов тестов в текстовом виде и несоответствие между идентификатором 8B и описанием 70B. Модель распространяется по лицензии llama3.1; в карточке указано, что семейство выпущено под открытой лицензией с возможностью коммерческого использования.

Command-R-01-Ultra-NEO-V1-35B-IMATRIX-GGUF — текстовая генеративная модель в формате GGUF на базе CohereLabs c4ai-command-r-v01, доработанная разработчиком DAVID_AU с использованием собственной технологии IMATRIX NEO V1. Модель предназначена для общего использования, следования инструкциям, общения, ролевых сценариев и творческой генерации, включая рассказы и художественные тексты. В README указан английский язык, размер базовой модели — 35 млрд параметров, а максимальный контекст — до 128 тысяч токенов. Для работы требуется специальный chat-шаблон Command-R. Заявленные сильные стороны — улучшенное следование инструкциям, качество вывода, работа с длинными текстами и более сильные связи между идеями и концепциями. Доступны варианты с разными уровнями GGUF-квантизации; качество, стиль и результаты генерации могут заметно различаться между квантами, поэтому выбор следует адаптировать под конкретный сценарий и доступные ресурсы. README также рекомендует настройку сглаживания sampling для некоторых интерфейсов. Модель распространяется по лицензии Apache-2.0.

Это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-14B, разработанной deepseek-ai. Квантизацию выполнил bartowski на основе llama.cpp release b4514; модель распространяется в рамках программы Community Model от LM Studio, которое не является её создателем или владельцем. Модель предназначена для генерации текста с акцентом на рассуждения и задачи, требующие пошагового анализа. Она дистиллирована из reasoning-модели DeepSeek-R1 и настроена для работы с chain-of-thought. Формат GGUF ориентирован на запуск через совместимое программное обеспечение, включая llama.cpp и LM Studio. Заявленная длина контекста составляет 128k токенов. В README не указаны точный вариант архитектуры Qwen, поддерживаемые языки, конкретные модальности, параметры выбранного уровня квантизации или результаты бенчмарков. Лицензия также не указана, поэтому условия использования следует уточнять в документации исходной модели и конкретного файла GGUF. Как и другие языковые модели, она может генерировать неточные, вредные или вводящие в заблуждение ответы.

DeepSeek-V2-Lite-Chat — диалоговая языковая модель DeepSeek AI, дообученная методом SFT на основе семейства DeepSeek-V2-Lite. В карточке описана архитектура MoE с Multi-head Latent Attention (MLA): около 16 млрд параметров всего, из которых для каждого токена активируется 2,4 млрд; модель имеет 27 слоёв. Она предназначена для генерации текста в диалоге, продолжения текста и ответов на запросы. README приводит результаты на английских и китайских бенчмарках и указывает длину контекста 32 тыс. токенов; метаданные каталога указывают 163 840 токенов. Эти значения расходятся, поэтому фактическое доступное окно следует сверять с конфигурацией используемого чекпойнта и программной среды. MLA сжимает KV-кэш для более экономичного инференса, а разреженные MoE-слои активируют часть экспертов на каждом токене. README сообщает, что для инференса в BF16 требуется GPU с 40 ГБ памяти; также описаны запуск через Transformers и оптимизированный вариант с vLLM. В метаданных указан формат safetensors. Модель рассчитана на текстовый ввод и текстовый вывод; результаты бенчмарков охватывают английский и китайский, но это не задаёт полный перечень поддерживаемых языков. В метаданных лицензия обозначена как other, без конкретных условий в предоставленных данных. Перед использованием следует проверить лицензионные условия на странице репозитория.