II.1Анализ требований и архитектура ПО

cloudyu выпустил плотную текстовую модель cloudyu/mistral_28B_instruct_v0.1 на архитектуре Mistral с 28 млрд параметров. Согласно README, модель дообучена методом SFT на наборе vicgalle/alpaca-gpt4 и использует формат инструкций с полями instruction, inputs и output. Метаданные также отмечают поддержку чата и контекст до 32 768 токенов. Модель предназначена для генерации ответов на инструкции и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; лицензия — CC BY 4.0. README заявляет 128 слоёв, но не описывает оценку качества или специализированную область применения.

Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

Maziyar Panahi выпустил эту диалоговую модель как слияние методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Sacralet/mistral-7B. Она использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и предназначена для генерации текста в диалоге и выполнения инструкций; карточка указывает поддержку chat и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. В карточке не описаны отдельная специализация по языкам, области применения или результаты оценки качества.

mistral-7b_open_platypus-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая языковая модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.2 и mistral-7b_open_platypus методом SLERP. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате. Её можно применять для чат-ботов, черновиков текстов, ответов на вопросы и задач, использующих возможности исходной модели Open Platypus. Веса опубликованы в формате safetensors; README указывает тип данных bfloat16. Модель распространяется по лицензии Apache-2.0. Результаты и конкретные ограничения качества в карточке не описаны; как и другие генеративные языковые модели, она может выдавать фактически неверные ответы.

Это GGUF-квантизированная версия Devstral-2-123B-Instruct-2512 — инструкционной модели, разработанной Mistral AI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель указана как mistralai/Devstral-2-123B-Instruct-2512. Распространяется в форматах GGUF для запуска через llama.cpp, LM Studio и совместимые проекты. Модель предназначена для генерации текста и обработки инструкций. В README отдельно упоминается интеграция с mistral-vibe и поддержка tool calling: одиночные вызовы инструментов работают в тестах, однако цепочки вызовов могут работать некорректно. Доступны варианты квантизации от Q8_0 до Q3 и IQ3/IQ4, что позволяет выбирать между качеством ответа, размером файла и требованиями к оперативной памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5 и некоторые варианты Q4. Размер исходной модели — 123 млрд параметров, а размер файлов зависит от выбранной квантизации и составляет примерно от 56,79 до 132,85 ГБ для указанных вариантов. Сильной стороной являются различные уровни квантизации и совместимость с локальными инструментами на базе llama.cpp. Ограничения включают высокие аппаратные требования, возможное снижение качества на низких уровнях квантизации и неполную надёжность цепочных вызовов инструментов. В метаданных указана лицензия other; конкретные условия лицензирования в README не приведены.

Mistral_solar-slerp — диалоговая языковая модель, созданная автором Pierre-obi слиянием NousResearch/Nous-Hermes-2-SOLAR-10.7B и mistralai/Mistral-7B-Instruct-v0.2 методом slerp с помощью LazyMergekit. Модель использует плотную архитектуру Mistral и содержит 7,1 млрд параметров. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель принимает текст и выдаёт текст; заявленная длина контекста — до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель подходит для чат-ботов, ответов на вопросы и других задач генерации текста. Публичные сведения не дают отдельных результатов оценки качества или подробных ограничений, поэтому производительность в конкретных сценариях следует проверять самостоятельно.

cloudyu/Mixtral_7Bx4_MOE_24B — языковая модель Cloudyu для генерации текста, построенная на архитектуре Mixtral с разреженной смесью экспертов (MoE). В README указано, что модель создана с помощью mergekit путём объединения пяти моделей на базе Mistral 7B: Q-bert/MetaMath-Cybertron-Starling, mistralai/Mistral-7B-Instruct-v0.2, teknium/Mistral-Trismegistus-7B, meta-math/MetaMath-Mistral-7B и openchat/openchat-3.5-1210. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы; README приводит результаты оценивания на ARC и HellaSwag. Для неё опубликованы веса в формате Safetensors, а лицензия CC BY-NC 4.0 ограничивает коммерческое использование. README также сообщает, что модель была улучшена с помощью DPO в отдельном репозитории cloudyu/Pluto_24B_DPO_200; это описание относится к последующей модели, а не меняет способ происхождения данного чекпойнта.

IAmTheCollector/MN-Slush-GGLD — плотная языковая модель семейства Mistral с архитектурой MistralForCausalLM, созданная слиянием двух предварительно обученных моделей: crestf411/MN-Slush и DavidAU/MN-GRAND-Gutenberg-Lyra4-Lyra-12B-DARKNESS. Для слияния применён метод SLERP; конфигурация использует BF16 и задаёт изменяющийся по слоям вклад исходных моделей. Модель предназначена для генерации текста и диалогового взаимодействия. Заявленный размер — 12,1 млрд параметров, родной контекст — до 1 024 000 токенов. Репозиторий содержит веса в формате Safetensors и использует библиотеку Transformers; метаданные также отмечают интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

ModernCE-large-nli — англоязычный cross-encoder для вывода по паре текстов: определяет, противоречат ли они друг другу, нейтральны ли они или второй текст следует из первого. Модель разработана dleemiller на архитектуре ModernBERT-large и совместима с аналогичными cross-encoder-моделями Sentence Transformers. Она содержит около 394,7 млн параметров; метаданные указывают контекст до 2048 токенов. Модель предназначена для классификации отношений между предложениями, проверки утверждений и оценки соответствия ответа исходному тексту, в том числе при оценке ответов LLM. В README указана точность 92,02% на MNLI mismatched и 91,10% на SNLI. Модель обучалась на AllNLI; автор сообщает, что для большой версии заморозил первые 19 слоёв и дообучил оставшиеся слои с новой классификационной головой. Лицензия — MIT. Это cross-encoder: для оценки пары текстов их нужно подавать совместно, поэтому применение для массового попарного сравнения может требовать значительных вычислений. Хотя README заявляет обработку последовательностей до 8192 токенов, метаданные каталога указывают нативный контекст 2048 токенов.

zelk12/MT2-Gen2-gemma-2-9B — слитая модель генерации текста на основе Gemma 2, созданная с помощью mergekit методом SLERP из zelk12/MT2-Gen2-BGMAMU-gemma-2-9B и zelk12/MT2-Gen2-IMM-gemma-2-9B. Модель разработана автором репозитория zelk12; README указывает, что в объединении использована конфигурация с коэффициентом t=0,25 и типом данных bfloat16. Модель с архитектурой Gemma2ForCausalLM и 9 млрд параметров предназначена для генерации текста и диалогового общения. Её контекст составляет 8192 токена. В README приведены результаты оценки на Open LLM Leaderboard, включая IFEval и BBH; эти показатели дают ориентир по следованию инструкциям и решению сложных задач, но не гарантируют качество в конкретном сценарии. Метаданные указывают библиотеку Transformers и формат весов safetensors. Сведения о лицензии и поддерживаемых естественных языках в предоставленных данных отсутствуют, поэтому условия использования и языковую специализацию определить нельзя.

zelk12/MT5-IG-gemma-2-9B — объединённая языковая модель на основе Gemma 2, опубликованная как результат слияния двух предварительно обученных моделей с помощью SLERP в mergekit. Она предназначена для генерации текста в диалоговом формате и других сценариев, поддерживаемых задачей text-generation. Модель имеет плотную архитектуру Gemma2ForCausalLM, содержит 9 млрд параметров и принимает контекст длиной до 8192 токенов. В состав слияния вошли zelk12/MT5-IF-gemma-2-RIv0.1RAv0.1-9B и zelk12/MT5-GP-gemma-2-RIv0.1RAv0.1-9B; веса сохранены в формате safetensors. Метаданные не дают оснований указать конкретные языки или специализированные предметные области. Лицензия в предоставленных сведениях не указана.

Abiray/Muse-Glimmer-30B-GGUF — набор GGUF-квантов мультимодальной модели Muse-Glimmer-30B, разработанной meta-models и дистиллированной из Muse Spark. Репозиторий подготовлен с использованием llama.cpp и предназначен для локального запуска модели, включая сценарии на потребительском оборудовании. Модель ориентирована на автономные агентные рабочие процессы, многошаговое рассуждение с длинным горизонтом, задачи программирования, включая SWE-bench, и надёжный вызов функций. Поддерживается обработка изображений через отдельный мультимодальный vision projector в формате GGUF; базовая модель и проектор загружаются раздельно. Заявлены 30 млрд параметров, контекст до 131 072 токенов и архитектура с визуальным проектором на основе ViT размером около 1,8 млрд параметров. Сведения о поддерживаемых языках в README не указаны. Доступны варианты квантования от Q8_0 до IQ3_XXS размером примерно от 29,6 до 11,5 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Вариант Q4_K_M обозначен как оптимальный компромисс и рассчитан примерно на 20–24 ГБ памяти, а Q8_0 обеспечивает качество, близкое к BF16, но требует 32–48 ГБ. Более сильное сжатие уменьшает требования к памяти, однако может снижать точность рассуждений и восприятия. Лицензия — Apache-2.0.

MaziyarPanahi/neural-chat-7b-v3-1-dare-0.85-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на базе Mistral-7B-Instruct-v0.2 и uukuguy/neural-chat-7b-v3-1-dare-0.85. Веса объединены методом SLERP с настройками для слоёв self-attention и MLP; модель имеет плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Контекст составляет до 32 768 токенов; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. В README не приведены результаты оценки качества или отдельные гарантии работы для конкретных языков и предметных областей.

NeuralLogic-7B-V — языковая модель на архитектуре Mistral, созданная Kukedlc слиянием моделей Kukedlc/Triunvirato-7b и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP с помощью LazyMergekit. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста; базовые модели описаны как диалоговые и настроенные на выполнение инструкций. Модель подходит для диалоговых сценариев, ответов на инструкции и генерации текста. Заявленный размер контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

NeuralTrix-7B-v1 — объединённая языковая модель на основе Mistral, опубликованная CultriX. Она предназначена для генерации текста и диалогов. Модель создана методом DARE-TIES с помощью LazyMergekit из OmniBeagle-7B, MBX-7B-v3 и AiMaven-Prometheus; в конфигурации также указан mistralai/Mistral-7B-v0.1 как базовая модель. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и формат safetensors. Длина контекста — до 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0. README и метаданные не описывают специальные домены или отдельные языковые возможности.

Nous-Hermes-13b — языковая модель Nous Research, дообученная совместно с Teknium и Karan4D на более чем 300 тысячах инструкций. В её основе Llama с плотной архитектурой и примерно 12,9 млрд параметров; модель распространяется в формате PyTorch. Она принимает текстовые инструкции в формате Alpaca и предназначена для генерации текста и диалоговых ответов. Модель обучалась преимущественно на синтетических ответах GPT-4 и наборах инструкций по общим темам, ролевым сценариям, программированию, математике и естественным наукам. Карточка заявляет длинные ответы и низкий уровень галлюцинаций, но не приводит в предоставленных материалах независимой проверки этих свойств. Контекст модели — 2048 токенов; карточка указывает английский язык. Лицензия — GPL.

Это объединённая модель Nous-Hermes-2-Pro_into_Nous_Hermes-2-DPO, созданная с помощью LazyMergekit на основе NousResearch/Hermes-2-Pro-Mistral-7B и NousResearch/Nous-Hermes-2-Mistral-7B-DPO. Веса объединены методом SLERP; модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста по инструкциям. Она принимает текст и выдаёт текст; заявленная длина контекста составляет 32 768 токенов. В метаданных указана возможность чат-взаимодействия, но отдельные языки и специализированные прикладные области не заявлены. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя. Качество и ограничения именно этого слияния в README не описаны; поведение может отличаться от исходных моделей.

Это GGUF-квантизированная версия языковой модели Llama-3_3-Nemotron-Super-49B-v1_5, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и может запускаться через llama.cpp, LM Studio и другие проекты на его основе. Модель относится к классу крупных текстовых моделей примерно на 49 млрд параметров. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ4, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; размеры файлов составляют примерно от 26,87 до 99,74 ГБ. Для работы используется специальный prompt format семейства Llama 3. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в совместимых инструментах. Ограничения связаны с большим размером модели и высокими требованиями к памяти, особенно для BF16 и качественных вариантов. В предоставленных данных не указаны поддерживаемые языки, размер контекстного окна, мультимодальные возможности и лицензия исходной модели.

Это квантизированная версия языковой модели NVIDIA Nemotron 3.5 Lightning 30B A3B, преобразованная в формат GGUF из nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 для запуска с llama.cpp. Модель предназначена для генерации текста; базовая карточка описывает исходную модель как предназначенную для диалога, рассуждений, оценки и адаптации под пользовательские задачи. Репозиторий содержит файлы GGUF с форматом BF16 по метаданным; в названии и README также указано Q4_K_M. Для запуска предлагается llama.cpp, включая CLI и сервер. Метаданные указывают поддержку английского, испанского, французского, немецкого, итальянского и японского языков. Лицензия обозначена как other; условия следует сверить с карточкой исходной модели NVIDIA.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и подготовленной для запуска с llama.cpp. Квантизацию выполнил bartowski с использованием imatrix. Модель предназначена для генерации текста и поддерживает только текстовый ввод; заявленное количество параметров — 33 млрд. Вариант включает поддержку MTP. Модель подходит для локального запуска и задач текстовой генерации, включая диалоговые сценарии при использовании рекомендованного шаблона промпта. Доступны варианты квантизации от BF16 и Q8_0 до более компактных Q3 и IQ3, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы. В README рекомендуются Q4_K_M как сбалансированный вариант, а также варианты Q5 и Q6 для более высокого качества. Заявлена поддержка английского, испанского, французского, немецкого, итальянского и японского языков. Ограничения модели включают отсутствие мультимодального ввода и неизвестный из предоставленных данных размер контекстного окна. Более сильное сжатие уменьшает требования к памяти, но может снижать качество по сравнению с BF16 и вариантами с более высокой точностью. Модель распространяется по лицензии openmdw-1.1; в README она обозначена как license: other, с дополнительной ссылкой на условия лицензии.

DevQuasar/openai.gpt-oss-120b-GGUF — это квантованная версия текстовой генеративной модели openai/gpt-oss-120b, подготовленная разработчиком DevQuasar. Модель предназначена для генерации текста в диалоговых и других сценариях, поддерживаемых базовой моделью. В README также указано наличие фиксированного chat template, что обеспечивает заранее заданный формат взаимодействия с моделью. Из доступных данных известно только, что модель относится к семейству с обозначением 120b и распространяется в формате GGUF; сведения о конкретном варианте квантования, архитектуре, размере файлов, поддерживаемых языках, длине контекста и модальностях отсутствуют. Квантование обычно позволяет снизить требования к памяти по сравнению с исходной моделью, но может сопровождаться потерей качества; степень этого компромисса для данного варианта не указана. Лицензия и условия использования в README не приведены.

Llama2 13B Orca 8K 3319 — языковая модель для генерации текста и диалогового взаимодействия, разработанная OpenAssistant и представленная в GGUF-формате TheBloke. Модель основана на Llama 2 с архитектурой Llama и содержит около 13 миллиардов параметров. В карточке указана поддержка английского языка и контекст длиной до 8K токенов. Модель предназначена для выполнения инструкций, ответов на вопросы, информационного поиска в формате диалога, написания текстов и историй, а также общих задач генерации текста. Она использует шаблон запросов OpenAssistant-System с отдельными ролями system, prompter и assistant. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие решения; возможны CPU- и GPU-сценарии, а доступные варианты квантования позволяют выбирать компромисс между качеством, скоростью и потреблением памяти. В README не приведены подробные результаты бенчмарков или явные ограничения качества, поэтому сильные стороны модели можно оценивать только по заявленным возможностям и расширенному контексту. Указанная лицензия источников обозначена как other; кроме того, поскольку модель основана на Llama 2, на неё распространяются условия лицензии Meta Llama 2. README указывает на возможное двойное лицензирование и рекомендует учитывать обе группы условий.

Open-Instruct Baize 13B — языковая модель на архитектуре LLaMA, дообученная исследователями Allen Institute for AI на датасете Baize для следования инструкциям и генерации текста. Это diff-модель: для её использования нужны исходные веса совместимой LLaMA-модели в формате Hugging Face и применение разницы весов согласно инструкциям карточки. Модель содержит 12,9 млрд параметров, работает с текстом и имеет контекстное окно 2048 токенов. Она предназначена для ответов на вопросы и выполнения инструкций; в карточке также приведены результаты оценок по тестам на знания, рассуждение, вопросы и генерацию кода. Модель обучена следовать заданному формату запросов, поэтому его соблюдение влияет на качество генерации. Модель создана в рамках исследования настройки инструкций на открытых ресурсах. Она распространяется по лицензии AI model license вместе с исходной лицензией LLaMA; перед использованием следует учитывать условия обеих лицензий. README не приводит сведений о конкретных ограничениях качества за пределами опубликованных результатов тестирования.

OpenLLaMA 7B — авторская предварительно обученная языковая модель OpenLM Research, созданная как открытая воспроизводимая реализация архитектуры Meta AI LLaMA. Это плотная авторегрессионная модель семейства LLaMA с 6,6 млрд параметров и контекстом 2048 токенов. Она обучена с нуля на наборе RedPajama, содержащем более 1,2 трлн токенов; доступны веса PyTorch, а проект также выпускал веса для JAX. Модель предназначена для генерации текста и может служить основой для языковых приложений и дальнейшей адаптации. По оценке авторов, OpenLLaMA 7B показывает сопоставимые с оригинальной LLaMA 7B и GPT-J 6B результаты на большинстве рассмотренных задач. В карточке не заявлены специализированная область или отдельная языковая специализация. Для корректной токенизации авторы рекомендуют не использовать быстрый токенизатор Transformers: автоматически конвертированная версия может ошибаться. При few-shot оценке рекомендуется добавлять BOS-токен. Авторы также отмечают возможное загрязнение обучающего набора данными бенчмарков CB и WSC и исключили эти задачи из оценки. Лицензия модели — Apache-2.0.

Optimus-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi с помощью слияния mistralai/Mistral-7B-Instruct-v0.2 и Q-bert/Optimus-7B методом SLERP. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и принимает текстовые инструкции и сообщения для генерации ответов и продолжения текста. Контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых приложений, ответов на инструкции и генерации текста. Репозиторий содержит веса Safetensors; указана лицензия Apache-2.0. README описывает конфигурацию слияния, но не сообщает о специальных возможностях сверх генерации текста.

Amira — языковая модель для генерации текста, созданная слиянием моделей psmathur/orca_mini_v3_13b, garage-bAInd/Platypus2-13B и WizardLM/WizardMath-13B-V1.0 с помощью mergekit. Она основана на архитектуре Llama и содержит 12,9 млрд параметров; максимальная длина контекста — 4096 токенов. Модель подходит для диалоговой генерации текста, ответов на вопросы и задач математического рассуждения. Доступна в формате safetensors и распространяется по лицензии Apache-2.0.

wls04/Qwen2.5-14B-AcaciaWL-Add — диалоговая языковая модель, дообученная разработчиком на базе Qwen/Qwen2.5-14B-Instruct с помощью TRL. Она предназначена для генерации текста и ответов в формате чата; пример карточки показывает запрос с открытым вопросом и генерацию ответа. Модель использует плотную архитектуру Qwen2 и содержит 14 млрд параметров. Она работает с текстом, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors для Transformers. Лицензия в доступных данных не указана.

bunnycore/Qwen2.5-3B-Loki — объединённая авторегрессионная языковая модель семейства Qwen2.5, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-3B и моделей Qwen2.5-3B-RP-Mix и Qwen2.5-3B-MiniMix. Модель содержит 3,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и доступна в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогового взаимодействия; также поддерживает интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. Карточка не сообщает языковую специализацию и лицензию, поэтому их нельзя уточнить. Качество и поведение унаследованы от объединённых моделей; отдельных результатов оценки и конкретных ограничений в карточке нет.

BenevolenceMessiah/Qwen2.5-72B-Instruct-abliterated-2x-TIES-v1.0 — объединённая модель на базе семейства Qwen2.5, созданная с помощью mergekit методом TIES. В качестве базовой использована huihui-ai/Qwen2.5-72B-Instruct-abliterated; в объединение также вошли Rombos-LLM-V2.5-Qwen-72b и Dracarys2-72B-Instruct. Модель предназначена для диалогов и генерации текста. Это плотная причинно-языковая архитектура Qwen2 с 71,5 млрд параметров и контекстом до 32 768 токенов; работает через Transformers и распространяется в формате safetensors. Метаданные указывают интерфейс вызова инструментов, однако README не описывает его поведение и надёжность. Изменённое поведение отказов унаследовано от базовой abliterated-модели согласно описанию каталога. README не сообщает результатов оценки качества или конкретных ограничений. Лицензия в предоставленных данных не указана.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено Dhptl с использованием quant-kit в формате GGUF, предназначенном для локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Модель относится к классу текстовых instruction-following и conversational-моделей и предназначена для диалогов, генерации текста, ответов на вопросы и других сценариев работы с текстом. Заявленный размер базовой модели — 4 млрд параметров. В карточке указано поддерживаемое язык — английский; сведения о контекстном окне, точной архитектуре и мультимодальности отсутствуют. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 1,55 до 3,99 ГБ. Версия Q4_K_M рекомендована как баланс размера и качества, Q3_K_M — для систем с ограниченной памятью, а Q8_0 — для максимально близкого к исходной модели качества. Квантование уменьшает требования к памяти и позволяет запускать модель на потребительском оборудовании, но варианты с более сильным сжатием могут заметно терять в качестве. Приведённые показатели сохранения качества около 97–99% заявлены без фактических результатов тестов в этой карточке, поэтому их следует воспринимать ориентировочно. Модель распространяется по лицензии Apache-2.0. Для практического использования необходимо выбрать конкретный GGUF-файл с учётом доступной оперативной памяти и допустимого компромисса между скоростью, размером и качеством.