II.7DevOps, облако и эксплуатация IT-систем

Theta-35 — плотная языковая модель семейства Theta от SVECTOR, предназначенная для диалогов и задач, требующих сложных рассуждений. Она обучалась в несколько этапов: предварительное обучение, supervised fine-tuning и обучение с подкреплением. Архитектура включает Transformers, RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; в карточке указано 33 млрд параметров, а в метаданных — 32 млрд. Модель поддерживает генерацию текста и интерфейс вызова инструментов. Theta-35 рассчитана на математические и научные рассуждения, логические выводы, многошаговое решение задач, а также понимание и генерацию кода. В метаданных указаны английский язык и контекст до 131 072 токенов; README приводит контекст 32 768 токенов, поэтому фактическую длину контекста следует сверить с документацией и конфигурацией используемой версии. Для работы нужна актуальная версия Transformers, README рекомендует версию 4.43.1 или новее. Модель распространяется по лицензии Apache-2.0.

Agents-A1-4B-Fable-Preview-heretic-GGUF — это GGUF-квантизированная vision-language модель, разработанная hotdogs на основе Agents-A1-4B от InternScience. Модель предназначена для диалогов, понимания изображений, агентских сценариев, пошагового рассуждения, вызова инструментов и function calling, а также выполнения задач с кодом и shell-командами. Поддерживаются английский и тайский языки, формат ChatML и инференс через llama.cpp с использованием vision-проектора mmproj. Модель содержит около 4,29 млрд параметров и использует гибридную архитектуру Qwen3.5 с линейным и полным вниманием. Для обработки изображений применяется 24-слойный ViT-энкодер, контекст поддерживает до 128K токенов. Обучение включало 3 500 примеров Fable-style reasoning traces в течение трёх эпох; заявлена поддержка многошаговых агентских траекторий и блоков рассуждений <think>. Доступны варианты GGUF с разными уровнями квантизации, включая рекомендуемый IQ4_NL размером около 2,61 ГБ. К сильным сторонам относятся мультимодальность, поддержка инструментов, двуязычность, большой контекст и возможность запуска на видеокартах с ограниченной памятью. Abliteration с использованием heretic снизила заявленный уровень отказов примерно до 11%, однако модель может генерировать вредный, оскорбительный или неподходящий контент, поэтому требует осторожного применения. Лицензия — AGPL-3.0.

airoboros-l2-13b-gpt4-2.0 — языковая модель, дообученная Jondurbin на основе Llama 2 с использованием синтетических инструкций, созданных GPT-4 версии 0614. Это плотная авторегрессионная модель на 12,9 млрд параметров с контекстом до 4096 токенов, опубликованная в формате PyTorch. Модель предназначена для диалогов и выполнения инструкций: она отвечает на вопросы, в том числе по предоставленному контексту, помогает с программированием, формирует структурированные ответы и планы для сценариев с инструментами. Карточка описывает настройку формата промпта с метками USER и ASSISTANT; для контекстных вопросов рекомендуются явные разделители источников. Функциональность вызова инструментов требует внешнего механизма, который разбирает и исполняет сгенерированный план. Модель обучена на синтетических данных, поэтому ответы могут содержать ошибки или выдуманные сведения; инструкция «не выдумывай ответ» может помочь в вопросах по контексту, но не гарантирует точность. В карточке указана неоднозначная лицензия для вариантов Llama 2; коммерческие условия следует проверять по лицензии репозитория. Ограничение «только исследования» в README относится к оригинальным Llama-моделям 33B/65B, а не к этому варианту Llama 2.

Bagel 7B v0.5 — разговорная языковая модель, созданная Jon Durbin на основе дообучения Mistral-7B-v0.2 на наборе данных Bagel v0.5. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; в репозитории веса представлены в формате Safetensors. Модель предназначена для диалога и широкого круга инструктивных задач: ответов на вопросы, рассуждений, суммаризации, написания текстов, программирования и работы с контекстом. Обучающие данные охватывают математику, естественные науки, код, чтение с пониманием, ролевые диалоги, SQL, вызов функций и другие сценарии. Карточка указывает четыре варианта форматирования запросов, включая Vicuna, Llama 2, Alpaca и модифицированный ChatML; шаблон по умолчанию использует формат Llama 2. Модель работает с текстом и генерирует текст. Лицензия — Apache-2.0. Качество ответов зависит от задачи и формата запроса; модель может ошибаться в фактах и коде, а состав обучающих данных включает токсичный и потенциально незаконный контент. Для безопасного применения следует проверять результаты и учитывать особенности данных и ограничений исходной Mistral-7B-v0.2.

Bagel-8b-v1.0-GGUF — квантизированная версия текстовой генеративной модели bagel-8b-v1.0, разработанной jondurbin на базе Meta-Llama-3-8B. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF с вариантами квантизации от Q8_0 до IQ2_XXS. Модель предназначена для генерации и обработки текста, включая диалоговые сценарии, следование инструкциям, программирование, работу с математическими и естественно-научными задачами, суммирование, ответы на вопросы и function calling. Это одномодальная языковая модель: поддерживается только текстовый ввод и вывод. В README не указаны точный размер контекста, полный список поддерживаемых языков и подробные параметры архитектуры. Сильная сторона модели — выбор вариантов квантизации, позволяющий подобрать баланс между качеством, размером файла и требованиями к памяти: Q6_K и Q5 рекомендованы для высокого качества, а более компактные варианты подходят для систем с ограниченными ресурсами, хотя могут заметно уступать по качеству. Ограничения включают возможное ухудшение результатов при низких уровнях квантизации, а также отсутствие в представленных данных независимых оценок качества и подробностей о поведении модели в специализированных задачах. Лицензия обозначена как other с именем llama3; применяется лицензия Meta Llama 3, ссылка на текст которой приведена в карточке модели.

MaziyarPanahi/bagel-dpo-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на основе Mistral-7B-Instruct-v0.1 и jondurbin/bagel-dpo-7b-v0.1. Веса объединены методом SLERP; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалогов. Обучающие данные включают наборы для вопросов и ответов, рассуждений, математики, кода и диалогов, поэтому модель подходит для широкого спектра текстовых запросов. Указана лицензия Apache-2.0.

mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1 — повторно дистиллированная версия DeepSeek-R1-Distill-Qwen-7B-7B модели, опубликованная Mobius Labs. Это плотная авторегрессионная языковая модель семейства Qwen2 для диалогов и генерации текста; она подходит для задач, требующих многошаговых рассуждений, включая математику и программирование. В README приведены результаты сравнительных тестов на ARC, HellaSwag, MMLU, GPQA, MMLU PRO и MUSR; показатели версии v1.1 выше исходной на части тестов и ниже на ARC. Модель содержит 7,1 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Опубликована в формате safetensors, поддерживает интерфейс диалога и tool calling. Лицензия — MIT. README не сообщает языки обучения или оценки, поэтому языковую поддержку нельзя уточнить по этим данным.

Gemma 4 12B IT Assistant — мультимодальная модель с открытыми весами от Google DeepMind, предназначенная для диалогов и генерации текста. Эта карточка описывает вариант Multi-Token Prediction (MTP): компактная черновая модель для speculative decoding, которая предлагает несколько токенов заранее, а целевая модель проверяет их параллельно. Такой режим может ускорять декодирование до 3 раз без изменения качества относительно обычной генерации. Модель семейства Gemma 4 использует плотную архитектуру и поддерживает ввод текста, изображений и аудио; на выходе генерирует текст. Она предназначена для рассуждений, программирования, распознавания и понимания речи, работы с изображениями и агентных сценариев с вызовом инструментов. Семейство поддерживает длинный контекст до 256 тысяч токенов и многоязычную работу; в карточке указана поддержка более 140 языков при обучении. MTP-вариант рассчитан на использование в speculative decoding с соответствующей целевой моделью, а не как самостоятельная замена обычному checkpoint для всех сценариев. Лицензия — Apache 2.0.

AtomicChat/gemma-4-E2B-it-GGUF — это текстовая GGUF-квантизированная версия модели google/gemma-4-E2B-it, подготовленная Atomic Chat из оригинальных весов Google с использованием importance matrix. Модель предназначена для локального и полностью автономного запуска в задачах генерации текста, чат-диалогов, рассуждений, программирования и обработки длинного контекста. Для корректного применения шаблона диалога требуется поддержка Gemma 4 chat template. Модель имеет 2,3 млрд эффективных параметров и 5,1 млрд параметров с учётом эмбеддингов, 35 слоёв и контекст до 128K токенов. Это плотный decoder с гибридным вниманием: sliding-window attention с окном 512 токенов и глобальное внимание; используется 8 attention heads и 1 KV head. Базовая модель поддерживает текст, изображения и аудио, однако данный репозиторий содержит только текстовые GGUF-кванты и не включает vision projector. Доступны варианты от Q2_K до Q8_0, включая рекомендуемый баланс качества и размера Q4_K_M. Сильные стороны модели — небольшой размер, возможность офлайн-развёртывания, длинный контекст и несколько уровней квантизации, позволяющих подобрать соотношение скорости, потребления памяти и качества. Уровень качества зависит от выбранного кванта: низкобитные варианты экономичнее, но сильнее теряют точность, тогда как Q6_K и Q8_0 ближе к полноточной версии. Приведённые в README результаты являются опубликованными показателями базовой модели Google, а не независимыми измерениями данного репозитория. Модель распространяется по лицензии Apache-2.0.

GLM-5.3-Flash — разработанная Z.ai мультимодальная модель семейства GLM-5 для диалогов, анализа изображений, программирования и агентных сценариев. Это новая модель с гибридной архитектурой, сочетающей разреженное и линейное внимание; в README указаны 320 млрд общих параметров и 18 млрд активных параметров. Репозиторий содержит веса в формате safetensors FP8, а метаданные указывают библиотеку Transformers и лицензию MIT. Модель предназначена для ответов на вопросы по тексту и изображениям, помощи с кодом и выполнения многошаговых задач с инструментами. В README описано управление бюджетом рассуждений через reasoning_effort; также заявлены улучшения эффективности и работы с длинным контекстом. Указанные в карточке результаты контекстных оценок не подтверждают максимальную длину контекста для всех способов запуска. Языковые метаданные карточки перечисляют английский и китайский; независимых сведений о качестве на других языках нет.

Iceball-Phi-3.5-mini-instruct-shareGPT-v1.0 — компактная языковая модель EpistemeAI, дообученная на базе unsloth/phi-3.5-mini-instruct-bnb-4bit с использованием Unsloth и TRL. В карточке указаны supervised fine-tuning, PPO и DPO; модель предназначена для диалогового следования инструкциям и генерации текста. По метаданным она содержит 3,7 млрд параметров, использует плотную архитектуру семейства Llama и поддерживает контекст до 4096 токенов. Модель рассчитана на общие генеративные приложения, в том числе работу в условиях ограниченных вычислительных ресурсов и низкой задержки, а также задачи рассуждения, программирования, математики и логики. README заявляет поддержку нескольких языков, но метаданные карточки указывают английский язык. Лицензия — Apache-2.0. Указанная в README длина контекста 128K противоречит метаданным каталога, поэтому здесь приведено значение 4096 токенов из метаданных.

Infinity-Instruct-3M-0625-Mistral-7B — языковая модель Beijing Academy of Artificial Intelligence (BAAI), дообученная на наборах инструкций Infinity-Instruct-3M и Infinity-Instruct-0625. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для диалогов и выполнения пользовательских инструкций. Она не обучалась с подкреплением на основе отзывов людей (RLHF) и использует шаблон чата OpenHermes-2.5-Mistral-7B. Модель подходит для многошаговых диалогов, ответов на вопросы, помощи с кодом и математикой, а также для повседневных задач на естественном языке. В README приведены результаты MT-Bench 8,1 и AlpacaEval 2.0 31,42; это оценки из карточки, а не гарантия качества для конкретных запросов. Метаданные указывают контекст до 32 768 токенов и английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0, однако авторы ограничивают использование связанных ресурсов академическими исследованиями и запрещают коммерческое применение.

JiRack Ultra 7B — текстовая модель для генерации и диалогов от CMSManhattan. Она построена на плотной архитектуре Qwen2 с 7,1 млрд параметров, а в карточке модели также заявлена основа DeepSeek R1 7B. Модель оптимизирована для запуска на CPU: автор сообщает о применении технологий BitNet и QAT, а в репозитории доступны веса safetensors и варианты GGUF с квантованием от Q2_K до Q8_0. Указанный контекст — до 131 072 токенов. Модель предназначена для диалоговых сценариев, использования в RAG, агентной разработки и вызова инструментов. Карточка упоминает специализированные токены для маршрутизации, мультимедиа, зрения, звука и робототехники, но метаданные подтверждают только текстовую генерацию и возможность чата; мультимодальный ввод или вывод ими не подтверждён. Среди отмеченных в метаданных языков — английский, китайский, японский, корейский, французский, испанский, португальский, немецкий, итальянский, русский, арабский, вьетнамский и тайский. По заявлению автора, модель рассчитана на экономичный локальный или облачный инференс, включая запуск через llama.cpp и Ollama. Для квантованного Q4_K_M README рекомендует не менее 12 ГБ системной памяти, а для комфортной работы — 16–24 ГБ; фактическая скорость зависит от процессора и контекста. Веса распространяются по лицензии MIT, однако Docker-образ, готовые Ollama-сборки и UI-клиенты могут требовать отдельной коммерческой лицензии.

Ling-3.0-tiny — компактная гибридная языковая модель для диалогов, рассуждений и агентных задач; разработчик в предоставленной карточке не назван. Модель использует архитектуру MoE с чередованием слоёв KDA и MLA: на каждый токен активируется часть экспертов. README сообщает о 7,9 млрд параметров всего и 1,3 млрд активных на токен, тогда как метаданные Hugging Face указывают 977,5 млн параметров, поэтому размер модели в источниках расходится. Метаданные указывают контекст 131 072 токена и формат safetensors; карточка также описывает варианты весов BF16, FP8 и INT4. Модель предназначена для локального и ресурсно-ограниченного запуска, ответов на инструкции, программирования, математических и научных рассуждений, понимания длинного контекста и агентных сценариев. Режим пошагового рассуждения можно включать для сложных запросов. README приводит результаты собственных оценок и примеры запуска на отдельных устройствах, но они не гарантируют такую же скорость или качество на другом оборудовании. Лицензия по метаданным — MIT.

Llama-3.3-70B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Llama 3.3 70B, разработанной Meta и подготовленной в формате GGUF сообществом lmstudio-community; в метаданных также указан quantized_by: bartowski. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и другие задачи обработки естественного языка. Она относится к семейству текстовых моделей и содержит около 70 миллиардов параметров. Сведения о конкретном варианте квантизации, размере контекста, поддерживаемых языках, точных модальностях и требованиях к аппаратному обеспечению в представленном README отсутствуют. Крупный размер модели потенциально обеспечивает высокое качество рассуждений и генерации, однако обычно требует значительных вычислительных ресурсов; влияние выбранной квантизации на качество и производительность здесь не уточняется. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов необходимо предоставлять текст лицензии, указывать «Built with Llama» и соблюдать применимую политику допустимого использования; для некоторых очень крупных коммерческих сервисов предусмотрены дополнительные лицензионные условия.

Llama-8B-Distill-CoT — плотная языковая модель для генерации текста, разработанная prithivMLmods на основе DeepSeek-R1-Distill-Llama-8B. Она дообучена на данных для рассуждений и специализированных наборах с упором на цепочки рассуждений и многошаговое решение задач. Модель содержит 7,5 млрд параметров, использует архитектуру Llama и формат safetensors; для запуска предусмотрена библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель предназначена для диалоговых помощников, следования инструкциям, математических и логических задач, программирования, а также подготовки объяснений, документации и аналитических текстов. В карточке перечислен английский язык. Модель может генерировать ошибочные или предвзятые ответы, испытывать пробелы в специализированных областях и требует значительных вычислительных ресурсов. Лицензия — Llama 3.1.

LongCat-Flash-Chat — разговорная языковая модель Meituan для генерации ответов и выполнения агентных задач. Она основана на архитектуре Mixture-of-Experts (MoE) и поддерживает интерфейс вызова инструментов. В README указано 560 млрд параметров всего и в среднем около 27 млрд активируемых на токен; метаданные Hugging Face указывают 17,7 млрд параметров, поэтому размер модели в источниках расходится. Контекст составляет до 131 072 токенов. Модель предназначена для диалогов, задач с инструментами, многошагового взаимодействия, а также задач рассуждения и программирования. В README модель описана как non-thinking; авторы сообщают о высокой пропускной способности инференса и конкурентных результатах на своих оценках. Доступны веса в формате safetensors. Лицензия — MIT. Авторы предупреждают, что модель не была специально разработана и всесторонне проверена для всех возможных прикладных сценариев.

MiniCPM5-2B MLX 4-bit — это квантизированная версия языковой модели OpenBMB/MiniCPM5-2B, подготовленная для локального запуска в формате MLX. Исходная модель разработана OpenBMB; данный вариант представлен пользователем abenzerps. Модель предназначена для генерации текста, программирования, рассуждений, работы с длинным контекстом и использования инструментов. Модель имеет плотную Llama-подобную архитектуру и содержит около 2 млрд параметров. Это текстовая модель без поддержки изображений: в поставку не входят vision-проектор и файлы MTP. Поддерживаются английский и китайский языки. Заявленная нативная длина контекста исходной модели составляет 131 072 токена. Квантование выполнено методом affine 4-bit с размером группы 64; размер MLX safetensors-файлов — около 1,4 ГБ. Ключевые преимущества модели — небольшой размер, возможность локального запуска, поддержка длинного контекста и сценариев с инструментами при существенно сниженных требованиях к памяти. Ограничения связаны с 4-битным квантованием, текстовой модальностью и отсутствием заявленных в карточке подробных результатов тестирования для этой конкретной конвертации. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Nous-Hermes-2-SOLAR-10.7B-GGUF — квантизированная версия Nous-Hermes-2-SOLAR-10.7B, созданная с помощью llama.cpp. Базовую модель разработала Nous Research на основе SOLAR 10.7B; обучение проводилось на 1 000 000 примеров, преимущественно сгенерированных GPT-4, а также на качественных данных из открытых наборов, включая teknium/OpenHermes-2.5. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций, включая задачи программирования и рассуждений. Она работает в формате instruct/chat и использует шаблон ChatML. Указан английский язык, поддерживаются текстовые входы и выходы; размер модели — 10,7 млрд параметров. Квантизация снижает требования к ресурсам по сравнению с исходной моделью, но конкретный формат квантизации, размер контекста и аппаратные требования в README не указаны. По заявлению авторов, модель заметно превосходит базовую SOLAR 10.7B на бенчмарках GPT4All, AGIEval, BigBench и TruthfulQA; для GPT4All указан средний результат 74,69%, для AGIEval — 47,79%. Ограничения включают ориентацию на английский язык, возможные ошибки и галлюцинации, а также отсутствие подробной информации о варианте квантизации и эксплуатационных требованиях. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3-Nano-30B-A3B-Base-BF16 — базовая большая языковая модель, обученная NVIDIA с нуля на предсказание следующего токена. Она предназначена для разработчиков и исследователей, которым нужна основа для дообучения под следование инструкциям и создания специализированных ИИ-агентов. Архитектура сочетает Mamba2 и Transformer с экспертами (MoE); модель содержит 30 млрд параметров, принимает и генерирует текст, а в карточке указано окно контекста до 1 млн токенов. Конфигурация Hugging Face по умолчанию использует 256 тыс. токенов из-за требований к видеопамяти. Модель обучалась на коде, математике, научных и общеязыковых данных; NVIDIA приводит поддержку русского и других естественных языков, а также обучение на 43 языках программирования. Заявленные области корпуса включают право, математику, науку и финансы. Для запуска NVIDIA рекомендует GPU-системы, в частности H100-80GB или A100, и NeMo Framework; также перечислены Transformers, vLLM и TRT-LLM. Модель заявлена как готовая к коммерческому использованию, однако метаданные Hugging Face обозначают лицензию как «other», поэтому перед использованием следует проверить условия лицензии в карточке.

Omega AI 8B — публикация модели Qwen3-8B под брендом Omega AI. Репозиторий сохраняет исходные предварительно обученные веса без дообучения и содержит только изменения брендинга и метаданных. Это плотная авторегрессионная языковая модель семейства Qwen3 с 7,6 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; заявленная длина контекста — 40 960 токенов. Модель подходит для диалоговых приложений, следования инструкциям, рассуждений, работы с кодом и вызова инструментов — эти возможности описаны для базовой Qwen3-8B. Карточка Omega не сообщает о дополнительном обучении или отдельных улучшениях относительно базы. Лицензия репозитория — Apache-2.0.

Locutusque/Orca-2-13b-SFT-v4 — языковая модель Locutusque, полученная полным дообучением Microsoft Orca 2 на 13 млрд параметров. Она использует архитектуру LLaMA и шаблон диалога ChatML; базовая модель рассчитана на рассуждения, ответы на вопросы, решение математических задач и суммаризацию. Версия v4 обучена на наборах no_robots, EverythingLM-data-V3, Guanaco и OpenAssistant; в карточке указана тестовая потеря 0,18. Модель предназначена для генерации текста и диалогового применения, а в метаданных также отмечена работа с кодом. Поддерживает английский, французский, испанский, хинди и китайский языки, имеет контекст 4096 токенов. Для использования необходимо соблюдать исследовательскую лицензию Microsoft Orca 2; в метаданных лицензия обозначена как other.

kaitchup/Phi-3-mini-4k-instruct-gptq-4bit — это 4-битная GPTQ-квантизованная версия Phi-3 Mini-4K-Instruct, опубликованная пользователем kaitchup на Hugging Face и основанная на модели Microsoft. Она предназначена для генерации текста, диалогов и выполнения инструкций, включая задачи по работе с кодом, математикой, рассуждениями и общими знаниями, при локальном или серверном запуске с меньшими требованиями к памяти. Исходная Phi-3 Mini-4K-Instruct представляет собой плотную decoder-only Transformer-модель примерно на 3,8 млрд параметров, дообученную с применением supervised fine-tuning и Direct Preference Optimization. Модель работает с текстовыми входами и поддерживает контекст до 4K токенов; основной язык — английский, при этом в метаданных также указан французский. Вариант из указанного репозитория использует 4-битное GPTQ-представление, что уменьшает размер и требования к памяти, но может снижать точность и качество по сравнению с полной точностью. Сильные стороны — компактность, возможность запуска на более доступном оборудовании и хорошие для своего размера результаты в задачах следования инструкциям, рассуждений и программирования. Ограничения включают короткое окно контекста, преимущественно англоязычную ориентацию, возможные ошибки и галлюцинации, а также потери качества из-за квантизации. Для опубликованной версии в карточке модели условия лицензирования явно не указаны; исходная модель Microsoft распространяется по лицензии MIT.

Qwen1.5-7B-Chat — диалоговая языковая модель от команды Qwen, бета-версия семейства Qwen2. Это декодерная модель на архитектуре Transformer с 7,1 млрд параметров, предназначенная для генерации текста в формате беседы и ответов на запросы. Модель принимает текстовые сообщения и генерирует текст. Модель поддерживает контекст до 32 768 токенов и многоязычную работу. В карточке указаны улучшения качества диалоговых моделей по предпочтениям пользователей и токенизатор, адаптированный к нескольким естественным языкам и программным кодам. Для загрузки используется библиотека Transformers; удалённый код не требуется. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует сверить на странице модели. В README отмечено, что при переключении между языками или других проблемах генерации рекомендуется использовать параметры из generation_config.json.

dec0dedd выпустил чат-модель Qwen2.5-14B-Instruct-heretic — версию Qwen2.5 Instruct на 14 млрд параметров, обработанную методом abliteration для снижения частоты отказов. По приведённому в карточке сравнению, модель отказала в 5 из 100 тестовых запросов против 98 из 100 у исходной Qwen2.5-14B-Instruct; это измерение относится только к указанному тесту. Архитектура — плотная причинная языковая модель Qwen2 с поддержкой чата. Метаданные указывают контекст до 32 768 токенов; README описывает расширение контекста до 131 072 токенов с YaRN, но предупреждает о возможном ухудшении работы на коротких запросах при статической настройке YaRN. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы, следование инструкциям и создание длинных или структурированных ответов. README базовой Qwen2.5 также отмечает навыки программирования, математики и работу с таблицами, однако отдельные результаты для этой производной модели не приведены. Поддерживаются английский и другие языки Qwen2.5; карточка явно помечает английский. Модель распространяется под лицензией Apache-2.0.

unsloth/Qwen2.5-1.5B-Instruct-bnb-4bit — это 4-битная версия instruction-tuned языковой модели Qwen2.5-1.5B-Instruct, разработанной командой Qwen при Alibaba Cloud и опубликованной сообществом Unsloth. Модель предназначена для диалоговых ассистентов, следования инструкциям, генерации текста, работы со структурированными данными и JSON, а также задач программирования и математики. Модель относится к causal language models и использует архитектуру Transformer с RoPE, SwiGLU, RMSNorm, смещениями в QKV attention и связанными эмбеддингами слов. Исходная модель содержит около 1,54 млрд параметров, 28 слоёв и Grouped Query Attention с 12 головами Q и 2 головами KV. Указанный контекст исходной модели составляет 32 768 токенов, максимальная длина генерации — 8192 токена. Поддерживаются более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество варианта bnb-4bit — сниженное потребление памяти и возможность запуска на более доступном оборудовании; при этом квантование может уменьшать точность по сравнению с полноформатной моделью. Размер 1,5 млрд параметров делает модель подходящей для локального инференса и ресурсоограниченных приложений, однако её возможности и качество уступают более крупным моделям. Для работы рекомендуется актуальная версия библиотеки Transformers. Модель распространяется по лицензии Apache-2.0.

zetasepic/Qwen2.5-32B-Instruct-abliterated-v2 — доработанная версия Qwen/Qwen2.5-32B-Instruct, созданная с использованием кода из проекта refusal_direction и техники Abliterated. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров, предназначенная для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а заявленное окно контекста составляет 32 768 токенов. Базовая Qwen2.5-32B-Instruct рассчитана на диалог, программирование, математику и структурированные ответы; карточка этой версии не приводит отдельные оценки качества или подробные результаты. Язык карточки и метаданные указывают английский, поэтому поддержка других языков здесь не заявляется. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0.

AtomicChat/Qwen2.5-7B-Instruct-GGUF — это квантизированная версия инструкционной языковой модели Qwen2.5-7B-Instruct, подготовленная Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, диалоговых приложений и локального офлайн-использования через совместимые инструменты, включая llama.cpp, Ollama, LM Studio и Jan. Модель имеет 7,6 млрд параметров, 28 слоёв и архитектуру плотного декодера Qwen2ForCausalLM с гибридным вниманием: sliding-window attention и глобальным вниманием. Заявленная длина контекста составляет 32 768 токенов, размер словаря — 152 064 токена. Поддерживается только текстовый ввод и вывод; заявлена многоязычная работа более чем с 29 языками, включая китайский, английский, французский, испанский, немецкий, русский, японский, корейский, вьетнамский, тайский и арабский. Репозиторий содержит варианты GGUF-квантизации Q4_K_M, UD-Q4_K_XL, Q5_K_M, Q6_K и Q8_0. Квантизация с importance matrix помогает сохранить качество исходной модели при уменьшении размера; Q4_K_M рекомендуется как компромисс между размером, скоростью и качеством, а Q8_0 обеспечивает практически исходную точность, но требует около 8,1 ГБ. Ограничения связаны с потерями качества у низкобитных вариантов и необходимостью применять шаблон чата Qwen2.5; в llama.cpp следует использовать параметр --jinja. Исходная модель распространяется по лицензии Apache 2.0; квантизация выполнена Atomic Chat.

qwen27B-Agent-R2-abliterated-preview — языковая модель с 27 млрд параметров, разработанная hotdogs на основе hotdogs/qwen27b-abliterated-Fable-MTP и huihui-ai/Huihui-Qwen3.6-27B-abliterated. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, системных задач и агентских сценариев с вызовом инструментов и функций. Заявлена поддержка английского и тайского языков. Модель использует архитектуру семейства Qwen3.6 и поддерживает Fable-style reasoning с пошаговым рассуждением, Hermes/Qwen-формат function calling и Multi-Token Prediction (MTP) для speculative decoding. В llama.cpp заявлена возможность чернового предсказания до двух токенов за шаг и прироста скорости декодирования до 85% на одной GPU, однако фактический результат зависит от оборудования и настроек. Для визуальных задач модель можно сочетать с мультимодальным проектором mmproj от Qwen/Qwen3.6-27B, но собственная поддержка изображений в карточке отдельно не специфицирована. Это preview-версия v0.1, поэтому возможны нестабильность и ограничения качества. Модель помечена как abliterated: механизмы отказа и защитные ограничения удалены, что расширяет свободу использования, но повышает риски небезопасных или некорректных ответов. Указана лицензия AGPL-3.0.

mlx-community/Qwen3-1.7B-bf16 — конверсия модели Qwen/Qwen3-1.7B в формат MLX, подготовленная сообществом mlx-community с помощью mlx-lm версии 0.24.0. Это плотная авторегрессионная языковая модель семейства Qwen3 с 1,7 млрд параметров; она предназначена для генерации текста и диалогов, следования инструкциям, рассуждений и работы с кодом. Метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Нативная длина контекста — 40 960 токенов. Репозиторий использует safetensors, а вариант bf16 рассчитан на запуск в экосистеме MLX. Лицензия — Apache-2.0.