II.7DevOps, облако и эксплуатация IT-систем

MiniCPM3-4B — плотная языковая модель третьего поколения семейства MiniCPM, разработанная командой OpenBMB. Она содержит 4,9 млрд параметров и предназначена для диалогов и генерации текста; также поддерживает вызов функций и работу с интерпретатором кода. Модель принимает текст и формирует текстовые ответы. Контекстное окно составляет 32 768 токенов. В README заявлена возможность теоретически обрабатывать контекст неограниченной длины с помощью LLMxMapReduce без резкого увеличения памяти. Модель ориентирована на китайский и английский языки и доступна для использования через Transformers; для vLLM в README требуется форк библиотеки. Модель подходит для диалоговых помощников, генерации и классификации текста, а также сценариев с вызовом инструментов и выполнением кода через интерпретатор. README сообщает о результатах, сопоставимых с рядом моделей большего размера, но конкретная таблица оценок в предоставленных данных отсутствует. Лицензия — Apache-2.0. Разработчики предупреждают, что ответы следует самостоятельно проверять.

Карточка модели marvalai/MiniMax-M3 на Hugging Face совпадает с карточкой dshive/MiniMax-M3, поэтому описание составлено по ней. MiniMax-M3 — мультимодальная модель семейства MiniMax, представленная в репозитории dshive/MiniMax-M3. Она принимает текст и изображения и предназначена для диалогов, анализа визуального содержимого, работы с видео, программирования и длительных агентных сценариев. В README заявлены около 428 млрд параметров, примерно 23 млрд активируемых параметров и контекст до 1 млн токенов. Модель использует разреженное внимание MiniMax Sparse Attention (MSA); в карточке указана архитектура MiniMax-M3-VL и формат весов safetensors. Разработчик заявляет ускорение обработки длинного контекста и сильные результаты в задачах программирования и совместной работы с агентом. Для использования описаны MiniMax Agent и MiniMax API, а также локальное развёртывание через Transformers. Репозиторий опубликован под лицензией other; конкретные условия лицензии следует проверять в карточке модели.

TheBloke/Mistral-7B-Instruct-v0.2-GGUF — это набор квантизированных файлов в формате GGUF для языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и квантизированной TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая локальный запуск через llama.cpp и совместимые интерфейсы и библиотеки. Для форматирования запросов используется шаблон Mistral: <s>[INST] {prompt} [/INST]. Модель содержит 7 миллиардов параметров; поддерживаются варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные версии. Формат GGUF ориентирован на эффективный запуск с использованием CPU и GPU и совместим с llama.cpp, text-generation-webui, KoboldCpp, GPT4All, LM Studio, llama-cpp-python и другими перечисленными средствами. README не указывает языки, размер контекста или мультимодальные возможности, поэтому модель следует рассматривать как текстовую. К преимуществам относятся возможность локального запуска, широкий выбор уровней квантования и поддержка различных программных инструментов. Более сильное квантование уменьшает требования к памяти, но может снижать точность по сравнению с исходной моделью; конкретные компромиссы зависят от выбранного файла. Модель распространяется по лицензии Apache-2.0.

TheBloke/Mistral-7B-Instruct-v0.2-GPTQ — это GPTQ-квантизированная версия языковой модели Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной к распространению TheBloke. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая работу через text-generation-webui, KoboldAI, LoLLMS Web UI и Hugging Face Text Generation Inference. Модель относится к семейству Mistral, содержит около 7 млрд параметров и работает с текстом. В репозитории представлены варианты квантования с разными параметрами; основной вариант использует 4-битное GPTQ-квантование, group size 128, Act Order и занимает около 4,16 ГБ. Для запросов рекомендуется шаблон «<s>[INST] {prompt} [/INST]». Квантование снижает требования к видеопамяти и облегчает локальный запуск, но может немного уменьшать точность по сравнению с исходной моделью и ограничивает совместимость средой выполнения. Указана поддержка Linux с GPU NVIDIA или AMD и Windows с GPU NVIDIA; для macOS рекомендуются версии GGUF. Лицензия — Apache 2.0.

Mistral-7B-Instruct-v0.3-GPTQ-4bit — это квантизированная версия инструкционной языковой модели Mistral-7B-Instruct-v0.3, разработанной Mistral AI и опубликованной в каталоге RedHatAI. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая ответы на вопросы, рассуждения, решение математических задач и работу с типовыми тестовыми запросами. Она работает с текстовыми данными; сведения о поддерживаемых языках и размере контекста в README не указаны. В модели применена весовая квантизация GPTQ до 4 бит с group_size=128. Указано, что квантизация обеспечивает восстановление 99,75% точности относительно неквантизированной версии. Средняя точность на наборе тестов Open LLM Leaderboard составляет 65,05%; приведены результаты для ARC, MMLU, HellaSwag, Winogrande, GSM8K и TruthfulQA. Сильными сторонами являются снижение требований к памяти и возможность оптимизированного инференса с использованием Marlin mixed-precision kernels в vLLM. К ограничениям относятся потенциальная потеря качества по сравнению с полной точностью и отсутствие в README подробностей о фактических требованиях к оборудованию, языках и контексте. Модель распространяется по лицензии Apache-2.0. README также указывает готовность к использованию в vLLM в качестве сервера инференса.

MaziyarPanahi/Mistral-Large-Instruct-2411-GGUF — это набор файлов модели в формате GGUF для Mistral-Large-Instruct-2411, разработанной компанией mistralai и преобразованной в GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сервисах, совместимых с GGUF. Формат GGUF поддерживается llama.cpp и рядом библиотек и интерфейсов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и ctransformers. Это позволяет запускать модель локально, в том числе с аппаратным ускорением и через OpenAI-совместимые серверы, в зависимости от выбранного инструмента. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Сведения об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, точных характеристиках вариантов квантования и лицензии в README не указаны. Поэтому пригодность конкретного варианта для определённых задач и аппаратной конфигурации следует оценивать отдельно.

Mistral-Nemo-Instruct-2407-4bit — это 4-битная версия модели Mistral-Nemo-Instruct-2407, разработанной Mistral AI и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.16.0. Модель предназначена для выполнения инструкций и генерации текста в приложениях, поддерживающих MLX и библиотеку mlx-lm. В карточке указана поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Ключевая характеристика этой версии — 4-битное представление, которое уменьшает требования к памяти по сравнению с полноразмерной моделью, но может сопровождаться некоторой потерей качества. Архитектура, число параметров, модальности и размер контекста в предоставленных данных не указаны. Для использования требуется библиотека mlx-lm; модель загружается по идентификатору mlx-community/Mistral-Nemo-Instruct-2407-4bit. Лицензия — Apache-2.0. Условия запуска и производительность зависят от совместимой с MLX среды.

Nex-N2.5-mini-NVFP4 — это квантизированная версия модели Nex-N2.5-mini от Nex-AGI, подготовленная primitive-ai. Модель предназначена для генерации текста, агентных сценариев и вызова инструментов. Она распространяется в формате NVFP4 и рассчитана на запуск через Transformers и vLLM на одной видеокарте NVIDIA с архитектурой Blackwell. Модель имеет разреженную MoE-архитектуру: маршрутизируемые эксперты во всех 40 слоях квантизированы до 4 бит, тогда как механизмы внимания, linear attention, общие эксперты, эмбеддинги и vision tower сохранены в BF16. Размер весов составляет 23,91 ГБ против 70,24 ГБ у версии BF16. Заявлена поддержка контекста до 32 768 токенов; на видеокарте с 96 ГБ памяти измерен KV-пул объёмом 2,74 млн токенов. Языки и точный перечень поддерживаемых модальностей в README не указаны, хотя наличие vision tower указывает на мультимодальную составляющую исходной модели. Сильными сторонами являются существенное уменьшение размера, высокая пропускная способность при параллельной нагрузке и отсутствие заметного ухудшения результатов на приведённых наборах тестов. На одной RTX PRO 6000 Blackwell модель показала 145 токенов/с при одном потоке и 1019 токенов/с при параллелизме 32, а также результаты 90,5 на наборе знаний и 77,0 на наборе вызова инструментов. Ограничения включают обязательную совместимость с Blackwell, зависимость производительности от уровня параллелизма и особенности шаблона чата: по умолчанию модель формирует пустой блок рассуждений. Доступно управление reasoning_effort со значениями low, medium и xhigh. Лицензия — Apache 2.0.

OpenAI o4-mini — компактная модель рассуждений из серии o-series, разработанная OpenAI. Она предназначена для быстрых и экономичных ответов с сохранением развитых мультимодальных и агентных возможностей, включая использование инструментов. В доступной карточке указаны мультимодальность и поддержка инструментов, но не уточнены входные и выходные типы данных, конкретные языки или размер контекста, поэтому эти характеристики не конкретизируются.

Olmo-3.1-32B-Think — авторегрессионная Transformer-модель семейства OLMo, разработанная Allen Institute for AI (Ai2). Это вариант Think с 31,7 млрд параметров, дообученный на базе allenai/Olmo-3-32B-Think-DPO; в метаданных указан датасет Dolci-Think-RL. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Контекстное окно составляет 65 536 токенов, основным языком карточка называет английский. Модель предназначена для рассуждений и ответов на запросы по математике, программированию, общим знаниям и диалогу. Ai2 сообщает об улучшении решения задач благодаря длинным цепочкам рассуждений; в карточке приведены результаты тестирования, включая 96,2 балла на MATH и 80,6 на AIME 2024. Результаты бенчмарков не гарантируют точность ответов в конкретных сценариях. Модель распространяется в формате safetensors и использует библиотеку Transformers. Лицензия — Apache 2.0; Ai2 указывает на исследовательское и образовательное применение в соответствии с рекомендациями ответственного использования. Модель может выдавать неточные сведения и вредоносный или предвзятый контент, поэтому ответы следует проверять.

Olmo 3 7B Instruct — авторегрессионная Transformer-модель Allen Institute for AI (Ai2) для диалогов и выполнения инструкций. Модель содержит 6,9 млрд параметров, рассчитана на английский язык и принимает текст, выдавая текст. Контекстное окно — до 65 536 токенов; модель работает через Transformers и распространяется в формате safetensors. Модель создана на основе allenai/Olmo-3-7B-Instruct-DPO и дополнительно обучена на наборе Dolci-Instruct-RL-7B. Она подходит для ответов на вопросы, общего диалога, задач по математике и программированию. Лицензия Apache 2.0; Ai2 указывает исследовательское и образовательное применение согласно своим рекомендациям ответственного использования. Ответы могут содержать фактические ошибки и предвзятость; без дополнительной фильтрации модель может генерировать вредоносный или чувствительный контент. Результаты следует проверять, а при внедрении учитывать необходимость мер безопасности.

Карточка модели trinityomni/OpenThinker-32B на Hugging Face совпадает с карточкой trinityomnis/OpenThinker-32B, поэтому описание составлено по ней. OpenThinker-32B — плотная языковая модель на 32 млрд параметров, созданная дообучением Qwen/Qwen2.5-32B-Instruct командой OpenThoughts на наборе OpenThoughts-114k. Она предназначена для генерации текста в диалоге и задач, где требуется пошаговое рассуждение, включая математику, научные вопросы и программирование. Модель поддерживает контекст до 32 768 токенов; для работы доступны веса в формате Safetensors и интерфейс вызова инструментов. В README приведены результаты оценки на наборах математических и научных задач, но они не гарантируют аналогичного качества на других данных. Обучающие примеры получены с помощью дистилляции DeepSeek-R1, поэтому ответы могут содержать ошибки или необоснованные рассуждения. Модель распространяется по лицензии Apache 2.0.

Phi-3.5-MoE-instruct-GGUF — это набор GGUF-квантизованных версий инструкционной языковой модели Phi-3.5-MoE-instruct, разработанной Microsoft. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с кодом и многоязычными запросами, и может запускаться локально через llama.cpp или LM Studio. В набор входят варианты от F16 до низкоразрядных Q2 и IQ-квантизаций размером примерно от 15 до 84 ГБ. Доступны версии с различным компромиссом между качеством, требованиями к памяти и скоростью работы; наиболее качественными считаются F16, Q8_0 и Q6, а Q4-варианты ориентированы на более широкий круг локальных сценариев. Модель относится к архитектуре Mixture of Experts, однако точные сведения о числе параметров, длине контекста и поддерживаемых языках в README не указаны; заявлена многоязычность. Сильные стороны — широкий выбор форматов, локальный запуск и возможность подобрать размер модели под доступные ресурсы. Ограничения зависят от уровня квантизации: уменьшение размера может снижать качество, а даже компактные варианты требуют значительного объёма памяти. Модель распространяется по лицензии MIT.

Phi-3 Medium-128K-Instruct ONNX DirectML — конвертированная и оптимизированная Microsoft версия языковой модели Phi-3 Medium для генерации текста и диалогов. Модель содержит 13,8 млрд параметров и распространяется в формате ONNX; вариант в репозитории квантован до INT4 методом AWQ и рассчитан на инференс через ONNX Runtime с DirectML на Windows GPU. Модель предназначена для ответов на вопросы, следования инструкциям, рассуждений, работы с математическими и программными задачами и обработки длинных запросов. Исходная модель обучена на синтетических данных и отфильтрованных общедоступных веб-страницах, а её постобучение включало supervised fine-tuning и direct preference optimization. README описывает семейство как поддерживающее контекст до 128K токенов, однако метаданные репозитория указывают native context в 4096 токенов, поэтому доступную длину контекста следует уточнять для конкретной сборки. Сборка ориентирована на ускорение генерации на GPU AMD, Intel и NVIDIA с DirectML; в README приведено тестирование на RTX 4090 и минимальная конфигурация Windows с GPU, совместимым с DirectX 12, и 10 ГБ объединённой RAM. Квантование может влиять на точность, несмотря на заявленное сохранение качества AWQ. Модель разработана Microsoft и распространяется по лицензии MIT.

unsloth/Phi-4-reasoning-GGUF — GGUF-версия модели Phi-4-reasoning, разработанной Microsoft Research и подготовленной для распространения Unsloth. Это открытая модель с весами, дообученная на базе Phi-4 с использованием supervised fine-tuning на наборах трасс рассуждений и reinforcement learning. Обучающие данные были ориентированы на математику, естественные науки, программирование, безопасность и Responsible AI. Модель представляет собой плотный decoder-only Transformer с 14 млрд параметров и поддерживает текстовые входы, предпочтительно в формате чата. Длина контекста составляет 32k токенов, заявленный язык — английский. Модель генерирует ответы, включающие блок рассуждений и последующее резюме, поэтому подходит для задач, требующих пошагового анализа, решения математических и научных задач, а также написания и анализа кода. К сильным сторонам относятся специализация на reasoning-задачах и сочетание сравнительно компактного размера с возможностями Phi-4. Ограничения включают поддержку только текстовой модальности, ориентацию на английский язык и необходимость корректного шаблона запуска: для включения рассуждений в llama.cpp требуется параметр --jinja. README не содержит полной информации о характеристиках конкретного квантования GGUF, включая его вариант и требования к памяти. Модель распространяется по лицензии MIT.

Qemma — компактная гибридная языковая модель Convergent Intelligence LLC, объединяющая веса Gemma 3 1B и Qwen 3 0.6B. В архитектуре используются основа и MLP-блоки Gemma 3, а также механизм внимания и выходная голова в стиле Qwen, согласованные с размерностью Gemma. Модель использует токенизатор и шаблон диалога Gemma 3; объём параметров — около 1 млрд, контекст — до 32 768 токенов. После объединения весов модель дообучена на инструкциях для диалогов и пошаговых рассуждений. Она предназначена для генерации ответов, анализа, помощи с кодом и дальнейшего дообучения. Указанные в карточке обучающие наборы включают OpenO1-SFT, Alpaca Cleaned и GPT-OSS reasoning STEM 5K; заявлен английский язык. Модель может галлюцинировать, поэтому её ответы не подходят для критически важных решений в медицине, праве и финансах. Лицензия — OSL-3.0; при использовании следует учитывать лицензии базовых моделей и обучающих данных.

Qwen1.5-7B-Chat-GGUF — диалоговая версия языковой модели серии Qwen, разработанная командой Qwen. Это авторегрессионная decoder-only модель на архитектуре Transformer с обучением на больших массивах данных и последующей настройкой с помощью supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста и ведения диалогов, включая ответы на вопросы, ассистирование и другие сценарии обработки естественного языка. Она содержит около 7 миллиардов параметров, поддерживает многоязычную работу и контекст длиной до 32 тысяч токенов. Репозиторий распространяет модель в формате GGUF с вариантами квантования от q2_k до q8_0, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Предполагается запуск через llama.cpp. К сильным сторонам относятся улучшенная по сравнению с предыдущим поколением поддержка диалогов, многоязычность, большой контекст и наличие нескольких уровней квантования для локального использования. Ограничения включают возможные потери качества при более агрессивном квантовании, а также отсутствие в предоставленных данных подробных оценок по прикладным задачам и точного перечня поддерживаемых языков. Лицензия указана как other с названием tongyi-qianwen; перед использованием следует изучить условия по ссылке на лицензию.

Qwen2-1.5B-Instruct-GPTQ-Int4 — инструкционно дообученная языковая модель из семейства Qwen2, разработанная командой Qwen. Она предназначена для диалоговых сценариев и генерации текста: ответов на вопросы, кратких объяснений, работы с естественным языком и кодом. Модель относится к классу decoder-only Transformer и содержит 1,5 млрд параметров; версия GPTQ-Int4 использует 4-битное квантование для снижения требований к памяти при инференсе. Поддерживаются текстовые входы и выходы, а контекстное окно в README не указано. В архитектуре заявлены активация SwiGLU, bias в QKV-проекциях и group query attention. Токенизатор адаптирован для нескольких естественных языков и языков программирования, однако в метаданных README явно указан английский язык. Модель предварительно обучалась на большом объёме данных, а затем дообучалась с помощью supervised fine-tuning и direct preference optimization; заявлены возможности в понимании и генерации текста, многоязычности, программировании, математике и рассуждениях. README не приводит точных результатов тестов и не описывает специфические ограничения качества квантированной версии; для запуска рекомендуются актуальные версии transformers, autogptq или vLLM. Лицензия — Apache 2.0.

Это чат-модель richardyoung на основе Qwen2.5-14B-Instruct, преобразованная методом abliteration с помощью Heretic v1.4.0 для снижения частоты отказов. По приведённому в карточке сравнению число отказов составило 11 из 100 запросов против 98 из 100 у исходной модели; это значение относится только к описанной в README оценке. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции, написание длинных текстов, работу с таблицами и структурированными форматами, а также задачи по математике и программированию. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, реализованная для Transformers и распространяемая в формате Safetensors. Метаданные указывают контекст до 32 768 токенов; README описывает возможность расширения контекста с помощью YaRN и указывает для семейства исходной модели предел до 131 072 токенов. Семейство поддерживает более 29 языков, однако карточка этой модели подтверждает английский; перечисление других языков относится к описанию Qwen2.5 в целом. Модель подходит для разговорных помощников и генерации текста, но указанное снижение отказов не означает отсутствия ограничений или гарантий качества. Лицензия — Apache-2.0.

unsloth/Qwen2.5-1.5B-Instruct-unsloth-bnb-4bit — инструкция-ориентированная языковая модель семейства Qwen2.5, разработанная Qwen и опубликованная в формате Unsloth. Это квантованная 4-битная версия модели Qwen/Qwen2.5-1.5B-Instruct, предназначенная для диалогов, следования инструкциям, генерации и обработки текста, а также для задач программирования, математики и формирования структурированных ответов, включая JSON. Модель является каузальной языковой моделью с примерно 1,5 млрд параметров и работает через библиотеку Transformers. Формат Unsloth использует динамическое 4-битное квантование: разные части модели квантуются выборочно для снижения потребления памяти с целью лучшего сохранения точности по сравнению со стандартным 4-битным квантованием. В материалах семейства Qwen2.5 заявлена поддержка более 29 языков, включая русский, английский, китайский, французский, немецкий, испанский, японский и другие; точные параметры контекстного окна для данной версии в README не указаны. Сильными сторонами модели являются компактный размер, сниженные требования к памяти и улучшенные возможности следования инструкциям, работы с кодом, математикой и структурированными данными. Ограничения связаны с существенно меньшей ёмкостью по сравнению с крупными моделями, возможной потерей точности из-за квантования и тем, что README не содержит подробных результатов тестирования именно этой версии. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-1.5B-unsloth-bnb-4bit — 4-битно квантованная версия базовой языковой модели Qwen2.5-1.5B, подготовленная Unsloth на основе Qwen/Qwen2.5-1.5B. Модель предназначена для генерации и продолжения текста, программирования, математических задач, обработки структурированных данных и последующего дообучения. Это текстовая, авторегрессионная causal language model без заявленной поддержки изображений или других модальностей. Ключевая особенность варианта — формат Unsloth Dynamic 4-bit Quant, который избирательно применяет квантование для снижения требований к памяти при сохранении качества по сравнению со стандартными 4-битными вариантами. Семейство Qwen2.5 поддерживает контекст до 128K токенов и генерацию до 8K токенов, а также более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Точные архитектурные параметры именно версии 1.5B в представленном README не указаны; приведённый там блок с характеристиками 0.5B относится к другой конфигурации. Модель выигрывает за счёт небольшого размера и сниженного потребления памяти, что делает её подходящей для локального запуска, экспериментов и эффективного fine-tuning. Как базовая, а не instruction-tuned модель, она не оптимизирована для диалогов без дополнительного дообучения и может требовать настройки шаблонов и параметров генерации. Лицензия — Apache-2.0.

Это дообученная диалоговая языковая модель Qwen2.5-32B-Instruct, опубликованная пользователем qfq и обученная с помощью TRL. Она предназначена для генерации текста в ответ на инструкции и сообщения пользователя; поддерживает чат и интерфейс вызова инструментов. Модель построена на плотной архитектуре Qwen2 (Qwen2ForCausalLM), содержит 32 млрд параметров, работает через Transformers и распространяется в формате safetensors. Контекстное окно составляет 32 768 токенов. В карточке не приведены отдельные оценки качества или список поддерживаемых естественных языков; возможности и характеристики унаследованы от базовой модели Qwen2.5-32B-Instruct. Лицензия в предоставленных данных не указана, поэтому условия использования следует сверить на странице репозитория Hugging Face. Для запуска приведён пример с Transformers и CUDA; для модели такого размера требуются значительные вычислительные ресурсы.

SII-Enigma/Qwen2.5-7B-Ins-SFT-32k — плотная причинно-языковая модель семейства Qwen2.5 с 7,1 млрд параметров, дообученная на основе Qwen/Qwen2.5-7B-Instruct. В README описан подход AMPO: он использует решения нескольких моделей-учителей, вмешиваясь, когда модель не справляется самостоятельно, и выбирая понятные ей варианты решений. Авторы заявляют, что подход улучшает результативность и эффективность по сравнению с одним RL или SFT. Модель предназначена для генерации текста и диалогов, в том числе для задач рассуждения. Контекст составляет 32 768 токенов; репозиторий использует формат Safetensors и библиотеку Transformers. Метаданные указывают интерфейс вызова инструментов, но README не приводит подробных примеров или результатов оценки именно этого чекпойнта. Указана лицензия Apache-2.0.

Карточка модели helmo/Qwen3-0.6B на Hugging Face совпадает с карточкой Qwen/Qwen3-0.6B, поэтому описание составлено по ней. Qwen3-0.6B — компактная плотная каузальная языковая модель семейства Qwen3, разработанная командой Qwen. Она содержит около 508 млн параметров и поддерживает контекст до 40 960 токенов по метаданным Hugging Face. Модель прошла предварительное обучение и последующее дообучение на основе Qwen/Qwen3-0.6B-Base; распространяется в формате Safetensors и использует библиотеку Transformers. Модель предназначена для генерации текста и диалогов, следования инструкциям, рассуждений, генерации кода, перевода и работы с инструментами. Qwen3 поддерживает более 100 языков и диалектов и может переключаться между режимами рассуждения и обычного диалога. Компактный размер облегчает использование в сценариях с ограниченными вычислительными ресурсами, хотя качество и устойчивость могут уступать более крупным моделям. README рекомендует настраивать параметры генерации при появлении повторов. Лицензия — Apache 2.0.

QuantFactory/Qwen3-0.6B-GGUF — квантизированная версия языковой модели Qwen3-0.6B, созданная QuantFactory на основе базовой модели Qwen/Qwen3-0.6B с использованием llama.cpp. Это каузальная языковая модель для генерации текста, диалогов, следования инструкциям, решения математических и логических задач, написания кода, творческих сценариев и интеграции с внешними инструментами. Модель содержит 0,6 млрд параметров, из которых 0,44 млрд не относятся к embedding, и включает 28 слоёв. Используется Grouped Query Attention: 16 голов для запросов и 8 для ключей и значений. Максимальная длина контекста составляет 32 768 токенов. Модель поддерживает более 100 языков и диалектов, включая многоязычное следование инструкциям и перевод. Она умеет переключаться между режимами thinking для сложных рассуждений, математики и программирования и non-thinking для более быстрого универсального диалога. К сильным сторонам относятся малый размер, поддержка квантизированного формата GGUF, многоязычность, рассуждения, диалоговые и агентские сценарии. Ограничения включают меньшую ёмкость по сравнению с более крупными моделями и возможные повторения при неудачных параметрах генерации; в исходной документации для таких случаев рекомендуется настроить sampling и presence_penalty. Данные о конкретном варианте квантизации, требованиях к памяти и производительности не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-24B-A4B-Freedom-HQ-Thinking-Abliterated-Heretic-NEOMAX-Imatrix-GGUF — модель от DavidAU, созданная на базе шести моделей Qwen3 4B и их производных, включая варианты с дистилляцией рассуждений из более крупных моделей. Это текстовая reasoning-модель с архитектурой dense Mixture of Experts: по умолчанию активен один эксперт, но доступны конфигурации с двумя–шестью экспертами, соответствующие заявленным уровням 4–24B параметров. Модель распространяется в формате GGUF с различными вариантами квантования и рассчитана на локальный запуск на GPU или CPU. Модель предназначена для широкого спектра задач: генерации и продолжения художественных текстов, ролевых сценариев, диалогов, написания кода, математики, обучения, исторических и научных объяснений, включая задачи высокого уровня. Заявлена поддержка контекста до 256K токенов и английского языка. Модель ориентирована на подробные рассуждения, планирование и точное следование инструкциям; увеличение числа активных экспертов может повысить доступную вычислительную мощность и качество ответов. К сильным сторонам относятся большой контекст, гибкая настройка числа активных экспертов, reasoning-возможности и сниженный уровень отказов благодаря применению Heretic и abliterated-подхода. При этом модель может требовать более явных указаний для получения желаемого уровня резкости, ненормативной лексики или откровенного содержания. Для локального запуска потребуются соответствующие вычислительные ресурсы, особенно при активации нескольких экспертов; заявленные показатели скорости зависят от оборудования и настроек. В README указана лицензия Apache-2.0.

Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP — мультимодальная модель семейства Qwen3.5, дообученная и собранная DavidAU совместно с Nightmedia на основе нескольких собственных дообучений Qwen3.5-9B. Это плотная архитектура с 9 млрд параметров, 32 слоями и зрительным энкодером; модель принимает текст и изображения и формирует текстовые ответы. В карточке заявлены контекст до 256 тыс. токенов, режимы рассуждения и диалога, а также интерфейс вызова инструментов. Модель предназначена для диалогов, следования инструкциям, рассуждений, программирования и творческого письма, включая ролевые сценарии. По заявлению автора, она прошла многоэтапное дообучение и слияние моделей; опубликованы также варианты GGUF, включая квантизованные и MTP-сборки, но эта карточка содержит исходные веса BF16 в safetensors. Автор приводит сравнительные результаты тестов, однако они не гарантируют превосходства на любых задачах. Модель помечена как uncensored; лицензионные условия — Apache-2.0.

AtomicChat/Qwen3.6-27B-GGUF — набор GGUF-квантизаций базовой модели Qwen/Qwen3.6-27B, подготовленный и самостоятельно квантизированный командой Atomic Chat из оригинальных весов с использованием importance matrix. Модель предназначена для локального и полностью офлайн-использования в задачах генерации текста, диалоговых сценариях, программировании, фронтенд-разработке и рассуждениях на уровне репозитория. Для работы рекомендуется использовать llama.cpp и применять шаблон чата Qwen3.6 через параметр --jinja. Модель содержит 27,8 млрд параметров, имеет плотную decoder-архитектуру с 64 слоями, 24 attention heads и 4 KV heads, словарь из 248 320 токенов и контекст до 262 144 токенов. Базовая Qwen3.6-27B поддерживает текст и изображения, однако представленные в этом репозитории GGUF-файлы являются текстовыми и не содержат vision projector. Доступны варианты квантизации от Q2_K до Q8_0; Q4_K_M заявлен как оптимальный баланс размера, скорости и качества, а Q6_K и Q8_0 обеспечивают более высокую точность при повышенных требованиях к памяти. К сильным сторонам относятся офлайн-запуск, широкий выбор размеров, калибровка всех вариантов с importance matrix и сохранение большинства характеристик полноточной модели, особенно начиная с Q4_K_M. Ограничения включают потерю качества в низкобитных вариантах, значительные требования к оперативной или видеопамяти и отсутствие поддержки изображений в поставляемых файлах. В README указана лицензия Apache-2.0.

Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF — языковая модель в формате GGUF, разработанная trinityomni на основе модели DavidAU Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking. Согласно README, модель расширена из Qwen3.6 27B до 40 млрд плотных параметров, имеет 96 слоёв и поддерживает контекст до 256K токенов. Обучение и доработка выполнялись с использованием Unsloth, датасетов с высокоуровневыми рассуждениями, а также наборов Deckard/PDK, ориентированных на характер, интеллект, глубину, наблюдательность и стиль ответа. Модель предназначена для универсального применения: диалогов, сложных рассуждений, программирования, математики, решения задач, творческого письма, генерации сюжетов и ролевых сценариев. Заявлены английский и китайский языки. Поддерживается переменная длина рассуждений: для простых задач модель должна формировать более короткие рассуждения, а для сложных — более подробные. README также заявляет поддержку изображений при использовании совместимого mmproj-файла, что соответствует сценарию image-text-to-text. К сильным сторонам относятся большой контекст, высокая производительность в задачах рассуждений и письма, ориентированность на длительные диалоги, код и математику, а также специальные NEO-CODE-Di-IMatrix-MAX-квантизации, оптимизированные по результатам сравнений с полной точностью BF16. Ограничением является необходимость подбирать подходящий GGUF-квант и, для работы с изображениями, отдельно устанавливать mmproj. Модель заявлена как uncensored и unfiltered, поэтому она может генерировать потенциально небезопасный или NSFW-контент. Лицензия указана как Apache-2.0.

R1-Stheno-8B — объединённая языковая модель автора harkov000, созданная с помощью mergekit методом SLERP из DeepSeek-R1-Distill-Llama-8B и Llama-3.1-8B-Stheno-v3.4. Это плотная модель семейства Llama с примерно 7,5 млрд параметров, предназначенная для генерации текста в диалогах и многошаговых рассуждений. В метаданных указано контекстное окно 131 072 токена; модель распространяется в формате safetensors и рассчитана на работу через Transformers. Сочетание базовых моделей ориентирует её на диалоговую генерацию и задачи рассуждения, включая решение математических задач и программирование. Метаданные отмечают интерфейс вызова инструментов, однако README не описывает его формат или надёжность. Лицензия в предоставленных сведениях не указана.