II.7DevOps, облако и эксплуатация IT-систем

PearsonKyle/Qwen3.8-27B-GPTQ-W4A16 — это квантованная версия мультимодальной модели Qwen/Qwen3.8-27B, разработанной командой Qwen и опубликованной PearsonKyle. Модель предназначена для генерации и понимания текста, работы с изображениями, агентных сценариев, вызова инструментов и function calling. Она ориентирована прежде всего на запуск через vLLM. Модель содержит около 27 млрд параметров и использует квантование GPTQ в формате compressed-tensors W4A16: основная часть весов представлена в int4 с группами размера 128 и симметричным квантованием. Размер загрузки составляет около 18,1 GiB. Калибровка выполнена на 4,26 млн токенов агентных сессий программирования при контексте 32 768 токенов. В состав также входят MTP-голова для speculative decoding и vision tower, сохранённый в bf16; заявлена скорость декодирования до 1,71 раза выше при принятии 71,2% черновых токенов. К сильным сторонам относятся поддержка текста и изображений, tool calling, интеграция с vLLM без конвертации, а также возможность speculative decoding. Ограничения связаны с потерями и особенностями 4-битного квантования: embed_tokens и lm_head оставлены в bf16, поэтому итоговый размер и средняя точность отличаются от полностью 4-битной модели; для работы требуется совместимая версия vLLM и соответствующая аппаратная память. В карточке указан английский язык, поэтому поддержка других языков не подтверждена. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-Coder-30B-A3B-Instruct-1M-GGUF — GGUF-версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель для генерации текста и кода, ориентированная на агентное программирование, использование браузера и другие задачи разработки ПО, включая работу с репозиториями большого размера и интеграцию с инструментами вроде Qwen Code и CLINE. Модель построена на Mixture-of-Experts-архитектуре: содержит 30,5 млрд параметров, из которых при генерации активируется около 3,3 млрд; включает 48 слоёв, 128 экспертов и 8 активируемых экспертов, а также Grouped Query Attention с 32 головами для запросов и 4 для ключей и значений. Нативная длина контекста составляет 262 144 токена, а в данной версии заявлено расширение до 1 млн токенов с использованием YaRN. Поддерживается только режим без рассуждений: модель не генерирует блоки <think></think>. Сведения о поддерживаемых языках и точных параметрах квантования в README не указаны. К сильным сторонам относятся высокая эффективность за счёт разреженной активации экспертов, специализация на кодинге и агентных сценариях, а также поддержка сверхдлинного контекста. Ограничения включают работу только в нережиме рассуждений и потенциальную зависимость качества и требований к ресурсам от конкретной GGUF-квантизации, параметры которой не приведены. Модель распространяется по лицензии Apache 2.0.

Qwen3-Coder-30B-A3B-Instruct-AWQ — квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанная сообществом dark-side-of-the-code. Модель предназначена прежде всего для генерации и редактирования программного кода, агентных сценариев с вызовом инструментов и других задач text generation. Указана поддержка английского языка и библиотеки Transformers. Это Mixture-of-Experts-модель с 128 экспертами, из которых для каждого токена активируются 8. Она использует внимание GQA и имеет 30B параметров при обозначении активной части как A3B. Данная версия сжата методом AWQ в формате W4A16 с 4-битными весами, размером группы 128 и занимает около 15,5 ГБ, что позволяет запускать её на одной видеокарте с 24 ГБ памяти. Базовая модель поддерживает контекст до 262K токенов, однако для 24 ГБ GPU практическим ограничением указано 64K токенов. Сильные стороны модели — эффективный запуск на потребительских GPU, корректная генерация кода, работа с tool calls через parser qwen3_coder в vLLM и пригодность для локальных агентных циклов чтения, редактирования и тестирования. Ограничения связаны с потерями и компромиссами квантизации, практическим ограничением контекста при запуске на 24 ГБ GPU и заявленной языковой поддержкой только английского. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-GGUF — квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, разработанной Qwen и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста, прежде всего для задач программирования и работы с кодом, и может запускаться через GaiaNet с шаблоном запросов ChatML. Модель имеет архитектуру и параметры исходной Qwen3-Coder-30B-A3B-Instruct; в README указано обозначение 30B-A3B, однако подробности архитектуры не приведены. Поддерживается контекст размером до 256 000 токенов. Модель работает в текстовой модальности, а сведения о поддерживаемых языках в README отсутствуют. Квантизация выполнена с использованием llama.cpp b6031. Модель подходит для локального или распределённого запуска в сценариях генерации текста и помощи с программированием. Ключевое преимущество — большой контекст и формат GGUF, удобный для совместимых сред запуска. Ограничения README не описывает; также не приведены сведения о точном типе квантизации, требованиях к ресурсам, производительности и языковом покрытии. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-Next-GPTQ — это 4-битная GPTQ-квантизованная версия модели Qwen3-Coder-Next, разработанной Qwen и подготовленной пользователем 6block. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования, и поддерживает английский и китайский языки. Она рассчитана на эффективное развертывание с помощью vLLM и SGLang. В основе лежит разреженная MoE-архитектура qwen3_next: 80 млрд параметров всего, около 3 млрд активных, 48 слоёв, 512 экспертов и маршрутизация top-10. Контекст составляет 256K токенов. Используется схема W4A16 с размером группы 128 и формат compressed-tensors на базе safetensors. Большинство весов, включая линейные слои экспертов и attention, квантизовано до 4 бит, тогда как маршрутизаторы MoE и lm_head сохранены в bf16. Размер модели составляет около 40 ГиБ, что позволяет запускать её на одной видеокарте объёмом 48 ГБ и, с параллелизмом или выгрузкой, на конфигурациях с 24 ГБ. Главное преимущество — существенное снижение требований к памяти при сохранении близкого к исходной модели поведения; по данным README, perplexity на wikitext-2-raw составляет 9,34 против 7,74 у эталонной bf16-версии. Ограничением является заметное ухудшение этого показателя относительно bf16, а также необходимость совместимого движка, поддерживающего compressed-tensors. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

btbtyler09/Qwen3-Coder-Next-GPTQ-4bit — квантизированная версия Qwen3-Coder-Next, разработанного командой Qwen и дополнительно подготовленного пользователем btbtyler09. Это языковая модель для генерации кода, общего чата и сценариев с вызовом инструментов, предназначенная для запуска в средах инференса vLLM и SGLang. Модель использует архитектуру Qwen3NextForCausalLM с гибридом линейного и полного внимания, включая DeltaNet. Она построена по схеме Mixture-of-Experts: содержит около 80 млрд параметров, из которых примерно 3 млрд активируются для каждого токена; на каждом шаге выбираются 10 из 512 экспертов. Архитектура включает 48 слоёв, контекстное окно до 262 144 токенов и поддержку инструментального вызова. Экспертные модули квантизированы в INT4 методом GPTQ с размером группы 32, тогда как внимание, общие эксперты, эмбеддинги, нормализации и LM head сохранены в FP16. Размер модели составляет около 47 ГБ вместо примерно 160 ГБ у исходной BF16-версии. К преимуществам относятся существенное уменьшение размера и требований к памяти при сохранении качества: на тесте wikitext-2-raw-v1 ухудшение perplexity относительно исходной модели составило около 0,8%. Ограничения связаны с необходимостью совместимого программного обеспечения и значительных вычислительных ресурсов для работы крупной MoE-модели; README не указывает точные языки, на которых она обучалась, и не приводит более подробных сравнений для задач программирования. Модель распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen-Qwen2.5-Coder-14B-Instruct-GGUF — набор GGUF-квантизированных вариантов модели Qwen2.5-Coder-14B-Instruct, подготовленный Featherless AI Quants. Модель предназначена для генерации текста и прежде всего для задач программирования: написания, дополнения и объяснения кода, а также работы с инструкциями в формате instruct. В README не указаны точные сведения о поддерживаемых языках, длине контекста, архитектуре исходной модели и используемых модальностях, поэтому их характеристики нельзя определить достоверно. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 5,5 до 15 ГБ. Разные уровни квантизации позволяют выбирать между меньшими требованиями к ресурсам и потенциальным сохранением качества исходной модели, однако README не содержит результатов сравнительных оценок. Файлы предназначены для запуска в совместимой с форматом GGUF инфраструктуре. Разработчик исходной модели — Qwen, а квантизацию выполнила команда Featherless AI Quants. Ограничения включают зависимость характеристик от выбранного варианта квантизации и отсутствие в README данных о производительности, системных требованиях, качестве на конкретных тестах и ограничениях применения. Лицензия в README не указана.

enfuse/smol-tools-4b-32k — языковая модель для агентских сценариев и вызова инструментов, разработанная enfuse на базе Jackrong/Qwen3.5-4B-Claude-4.6-Opus-Reasoning-Distilled. Модель дообучена методом LoRA на 8 059 примерах, включая многошаговые диалоги с использованием инструментов длиной до 32K токенов. Она предназначена для выбора одного или нескольких инструментов, формирования структурированных вызовов функций, работы с результатами инструментов в многоходовых диалогах, анализа длинных документов и выполнения сложных агентских рабочих процессов. Архитектура — Qwen3_5ForCausalLM с 4 млрд параметров, 32 слоями и гибридным вниманием: 24 слоя используют линейное внимание, 8 — полное. Модель текстовая, поддерживает английский язык и контекст до 32 768 токенов. Доступны BF16 safetensors размером 9,7 ГБ, а также варианты GGUF Q8_0 на 4,9 ГБ и Q4_K_M на 2,9 ГБ. Заявлены 100% валидность JSON, 100% корректность аргументов и 100% точность отказа от инструментов, а F1 выбора инструментов составляет 0,940 на отложенной выборке из 200 примеров. Сильные стороны модели — длинный контекст, высокая надежность структурированного вывода, поддержка последовательных и параллельных вызовов инструментов и сохранение точности в многоходовых сценариях. Ограничение — некоторое снижение F1 выбора инструментов по сравнению с 4K-версией: 0,940 против 0,955; в сложных многошаговых рабочих процессах показатель составляет 0,818, а в сценариях с интенсивным рассуждением — 0,914. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/speechless-code-mistral-7b-v2.0-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на архитектуре Mistral, созданная методом SLERP из Mistral-7B-Instruct-v0.2 и speechless-code-mistral-7b-v2.0. Она предназначена для генерации текста и ответов на инструкции, с акцентом на задачи программирования благодаря одной из исходных моделей. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель принимает текст и генерирует текст; метаданные отмечают поддержку чата. Веса опубликованы в формате Safetensors, лицензия — Apache-2.0. Карточка не описывает специальные языковые ограничения или результаты оценки качества, поэтому пригодность для конкретного языка и точность ответов о коде могут различаться.

Theta-Crucis-0.6B-Turbo1 — компактная языковая модель prithivMLmods на архитектуре Qwen3, дообученная на базе prithivMLmods/Qwen3-0.6B-ft-bf16 с использованием набора Mixture of Thoughts и акцентом на программирование. Модель содержит 507,9 млн параметров, принимает текст и генерирует текст; заявленная длина контекста — 40 960 токенов. Репозиторий использует формат safetensors, библиотеку Transformers и лицензию Apache-2.0. Модель предназначена для генерации и объяснения кода, поиска ошибок, технических рассуждений и формирования структурированных результатов в форматах вроде JSON и YAML. Карточка заявляет поддержку кода на Python, JavaScript, C++ и других языках, а также технических запросов более чем на 20 естественных языках; метаданные карточки указывают английский язык. Компактный размер делает модель подходящей для локального запуска на ноутбуках и устройствах с ограниченными ресурсами. Среди ограничений указаны более слабые результаты в длинных диалогах и абстрактных языковых задачах, а также ограниченная способность рассуждать о больших проектах с множеством файлов. Модель ориентирована на технические запросы, поэтому её общая языковая беглость и пригодность для творческого письма могут быть ограничены.

Карточка модели honore-250/Umucuzi-Coder на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

QuixiAI выпустила WizardLM-1.0-Uncensored-CodeLlama-34b — дообученную на базе CodeLlama-34b языковую модель семейства Llama с 33,5 млрд параметров. Модель обучена на отфильтрованных данных WizardLM Evol Instruct V2 и использует формат запросов, совместимый со стилем Vicuna 1.1. Модель предназначена для генерации текста и кода, выполнения инструкций и диалоговых сценариев. Разработчик сообщает, что обучение было направлено на снижение отказов, уклончивых ответов и смещения; база CodeLlama, по описанию карточки, обеспечивает хорошие возможности для программирования. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 16 384 токенов. Метка «uncensored» не означает полного отсутствия ограничений: в README отмечены унаследованные этические установки LLaMA и отсутствие защитных механизмов. Модель распространяется по лицензии Llama 2; применяйте её с учётом условий этой лицензии и самостоятельно оценивайте генерируемый контент.

Yi-Coder-9B-Chat-GGUF — GGUF-квантизированная версия чат-модели Yi-Coder-9B-Chat, разработанной 01-AI. Квантизация выполнена bartowski на базе llama.cpp release b3658. Модель предназначена прежде всего для диалога по вопросам программирования, генерации и объяснения кода, а также работы с большими кодовыми базами. Она настроена для общения, а не для автодополнения кода. Модель содержит около 9 миллиардов параметров и поддерживает контекст до 128 тысяч токенов. Она обучалась на данных, связанных с 52 языками и форматами программирования, включая Python, JavaScript, C++, C#, Java, Go, Rust, SQL, TypeScript, HTML, CSS, PHP, Ruby, Swift, Kotlin, R, Bash, PowerShell, Dockerfile и другие. В README указаны результаты 23% на LiveCodeBench; также отмечается, что модель стала первой моделью с менее чем 10 миллиардами параметров, преодолевшей отметку 20% на этом тесте. Для использования рекомендуется шаблон ChatML. Модель распространяется по лицензии Apache-2.0.

CodeGeeX4-ALL-9B — открытая многоязычная модель генерации кода, разработанная командой THUDM и дообученная на базе GLM-4-9B. Модель предназначена для помощи в разработке программного обеспечения: автодополнения и генерации кода, ответов на вопросы по программированию, работы в режиме интерпретатора кода, веб-поиска, вызова функций и ответов на вопросы по репозиториям. Представленная версия распространяется в формате GGUF и рассчитана на локальный запуск с совместимыми инструментами, включая llama.cpp. Модель содержит около 9 миллиардов параметров, поддерживает китайский и английский языки и имеет контекст длиной до 128K токенов. Заявлена поддержка различных сценариев генерации кода и конкурентоспособные результаты на публичных бенчмарках, включая HumanEval, MBPP, BigCodeBench и NaturalCodeBench. К сильным сторонам относятся сочетание качества генерации, широкого контекста и относительно высокой скорости вывода при размере менее 10 миллиардов параметров. README не указывает поддерживаемые модальности помимо текстового ввода и вывода, а также не приводит подробностей об ограничениях, безопасности или качестве работы в отдельных языках программирования. Веса распространяются по специальной лицензии CodeGeeX4; точные условия необходимо уточнять в файле лицензии по ссылке, указанной разработчиками.

CodeLlama 13B GGUF — это квантизированная версия языковой модели CodeLlama 13B, разработанной Meta и преобразованной в формат GGUF пользователем TheBloke. Модель предназначена для генерации текста и программного кода, а также для локального запуска через llama.cpp и совместимые интерфейсы и библиотеки. Модель построена на архитектуре Llama и содержит около 13 миллиардов параметров. Она ориентирована на работу с кодом; в README язык указан как code. Доступны варианты GGUFv2 с квантованием от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти, скоростью и качеством. Формат поддерживает метаданные, специальные токены и улучшенную токенизацию. Длина контекста и перечень поддерживаемых естественных языков в предоставленных данных не указаны. К сильным сторонам относятся возможность запуска на CPU и GPU, широкий выбор уровней квантования и совместимость с llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другими инструментами. Ограничения включают потенциальное снижение качества у более агрессивно квантизированных вариантов, а также отсутствие в README подробных результатов оценки, сведений о контекстном окне и мультимодальных возможностях. Модель распространяется по лицензии Llama 2; условия лицензии следует учитывать при использовании.

CodeLlama-34B-Instruct-fp16 — преобразованная в формат Transformers/Hugging Face копия модели Code Llama 34B Instruct от Meta AI, подготовленная TheBloke. Это авторегрессионная плотная Transformer-модель с 33,5 млрд параметров для следования инструкциям, генерации и понимания кода, в том числе для создания помощников по программированию. Модель принимает и выдаёт текст; карточка указывает английский язык и поддержку контекста 16 384 токена. В репозитории представлены веса safetensors в формате FP16. Для корректной загрузки этих весов README требует параметр trust_remote_code=True из-за изменения RoPE Theta. Модель рассчитана на коммерческое и исследовательское применение по условиям лицензии Llama 2; перед внедрением следует проверить точные условия лицензии. Она может выдавать неточный или нежелательный текст, а заявленное тестирование проводилось на английском языке.

CodeLlama 34B Python — языковая модель для генерации и решения задач программирования, разработанная Meta на базе CodeLlama 34B Python. Версия из этого репозитория преобразована TheBloke в формат GGUF и предназначена для локального запуска через llama.cpp и совместимые приложения и библиотеки. Модель имеет архитектуру LLaMA и размер 34 миллиарда параметров. Она ориентирована на работу с программным кодом и использует текстовый ввод и вывод; заявленный язык — code, без указания поддержки конкретных естественных языков. Модель подходит для написания кода по описанию задачи, соблюдения заданных ограничений и проверки решения на примерах. README не указывает размер контекстного окна и точные характеристики обучения. Ключевое преимущество версии — доступность нескольких вариантов квантования GGUF, включая 2-, 3-, 4-, 5-, 6- и 8-битные варианты, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Ограничения связаны с потерями качества при использовании более агрессивного квантования, высокой вычислительной нагрузкой 34-миллиардной модели и специализацией преимущественно на коде. Репозиторий распространяется по лицензии Llama 2.

Code Llama 70B Instruct — генеративная языковая модель Meta для написания и понимания кода, настроенная следовать инструкциям и вести диалог. Репозиторий содержит вариант на 70 млрд параметров в форматах PyTorch и Safetensors; архитектура — авторегрессионный трансформер. Модель принимает и генерирует текст, включая запросы на естественном языке и код. Модель предназначена для генерации кода, его дополнения и ответов на вопросы по программированию. Она рассчитана на английский язык и распространённые языки программирования; карточка отмечает поддержку диалогового режима и работы с инструкциями. Настройка проводилась с контекстом до 16 тысяч токенов; этот вариант не поддерживает контекст до 100 тысяч токенов. Модель разработана Meta и выпущена по пользовательской лицензии Meta Llama 2; условия использования определяются этой лицензией. Качество ответов и корректность сгенерированного кода могут различаться, поэтому результаты следует проверять.

Codestral-22B-v0.1-GGUF — набор GGUF-квантизаций модели Codestral-22B-v0.1, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода; формат GGUF и совместимость с llama.cpp позволяют запускать её локально с использованием CPU и/или GPU. В README указан шаблон диалога в формате инструкций с системным промптом и пользовательским запросом. Модель имеет размер 22B параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS, Q3 и Q2 с размером файлов примерно от 6,64 до 23,64 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5 и Q4 отмечены как рекомендуемые, а низкоразрядные варианты предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Ключевые характеристики исходной архитектуры, поддерживаемые естественные языки и размер контекста в README не указаны. Лицензия обозначена как MNPL-0.1; условия следует уточнять по документу Mistral AI. README не содержит данных о мультимодальности, результатах бенчмарков или ограничениях исходной модели, поэтому её сильные стороны можно уверенно связывать только с ориентацией на задачи программирования и возможностью локального запуска в разных вариантах квантизации.

TheBloke/deepseek-coder-33B-instruct-AWQ — это 4-битная AWQ-квантизированная версия DeepSeek Coder 33B Instruct, разработанной компанией DeepSeek и опубликованной TheBloke. Модель предназначена для задач программирования и компьютерных наук: генерации и объяснения кода, ответов на технические вопросы и работы в сценариях ассистента программиста. Согласно шаблону запросов, она ориентирована только на вопросы, связанные с computer science, и может отказываться отвечать на политически чувствительные, связанные с безопасностью и приватностью, а также другие нетехнические вопросы. Модель основана на архитектуре DeepSeek с 33B параметров и представлена в формате AWQ с 4-битными весами, групповым размером 128 и длиной последовательности 16 384 токена. Файлы поставляются в виде шардированных safetensors; указанный размер репозитория составляет около 18,01 ГБ. Это текстовая модель без заявленной поддержки изображений или других модальностей. Языки обучения и полный перечень поддерживаемых языков в README не указаны. К сильным сторонам относятся сниженные требования к памяти и высокая скорость инференса при сохранении качества, сопоставимого с распространёнными настройками GPTQ. Модель рассчитана на GPU-инференс и поддерживает AutoAWQ, text-generation-webui и Hugging Face Text Generation Inference; сведения о совместимости vLLM в README ограничены моделями Llama и Mistral. Лицензия обозначена как other с названием deepseek; подробные условия следует уточнять в файле LICENSE исходного репозитория.

DeepSeek-Coder-V2-Instruct-0724-GGUF — это квантизированная в формате GGUF версия большой MoE-модели для генерации текста и программного кода DeepSeek-Coder-V2-Instruct-0724. Исходную модель разработала команда deepseek-ai, а GGUF-квантизацию подготовил bartowski на основе llama.cpp версии b3715. Модель предназначена прежде всего для задач, связанных с написанием и обработкой кода, однако конкретные поддерживаемые языки программирования, размер, длина контекста и другие архитектурные параметры в README не указаны. Модель можно использовать в инструментах, поддерживающих формат GGUF и шаблон запросов Jinja, в частности в LM Studio. Квантизация делает модель пригодной для локального запуска при наличии совместимого программного обеспечения и подходящих аппаратных ресурсов, но README не содержит сведений о точных требованиях, вариантах квантизации, производительности или качестве на отдельных задачах. Как и другие генеративные модели, она может создавать неточные или неподходящие ответы. Указана лицензия DeepSeek License; тип лицензии обозначен как other, а полный текст доступен в файле LICENSE. Дополнительные сведения о том, что изменилось относительно исходной модели, в README отсутствуют.

DeepSeek-Coder-V2-Lite-Instruct — языковая модель для кода от DeepSeek, построенная на архитектуре Mixture-of-Experts семейства DeepSeek-V2. Модель содержит 16 млрд параметров, из которых при работе активны около 2,4 млрд; метаданные каталога указывают 2,5 млрд параметров. Это вариант Instruct для диалогового взаимодействия и выполнения инструкций, доступный в формате safetensors и поддерживаемый библиотекой Transformers. Модель предназначена для генерации и дополнения кода, вставки фрагментов в существующий код и ответов на запросы в формате чата. Семейство обучалось на дополнительных 6 трлн токенов и расширило поддержку до 338 языков программирования; README указывает контекст 128K токенов, а метаданные — 163 840 токенов. Также заявлено улучшение математических рассуждений при сохранении возможностей для общих языковых задач. Для локального инференса в BF16 README приводит требование 8 GPU по 80 ГБ, что делает такую конфигурацию требовательной к ресурсам. В метаданных лицензия обозначена как other; конкретные условия следует проверить в файлах лицензии репозитория.

DeepSeek-Coder-V2-Lite-Instruct-FP8 — это квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанная Neural Magic. Модель принимает текст и генерирует текст; она предназначена для коммерческого и исследовательского использования, прежде всего для англоязычного ассистентского диалога и задач генерации кода. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в формат FP8, что примерно вдвое снижает требования к дисковому пространству и памяти GPU по сравнению с 16-битным представлением. Используется симметричная поэлементно-тензорная квантизация, при этом экспертные шлюзы сохраняют исходную точность. Модель оптимизирована для инференса через vLLM версии 0.5.2 и новее; в документации указан максимальный контекст 4096 токенов. Входная и выходная модальности — текст, основной заявленный язык — английский. Модель сохраняет близкую к исходной точность при меньших требованиях к ресурсам: на HumanEval+ указано 79,60 балла против 79,33 у неквантизированной версии, а базовый pass@1 составляет 79,3 против 80,8. Ограничения включают специализацию на английском языке и недопустимость использования на других языках согласно описанию модели; качество также может зависеть от особенностей FP8-квантизации и используемого движка. Модель распространяется по лицензии deepseek-license, условия которой определены в лицензии DeepSeek.

unsloth/Devstral-Small-2507-unsloth-bnb-4bit — 4-битная версия Devstral Small 1.1, подготовленная Unsloth на основе моделей Mistral AI. Devstral разработана в сотрудничестве Mistral AI и All Hands AI как агентная языковая модель для задач программной инженерии, включая исследование кодовых баз, вызов инструментов, редактирование нескольких файлов и работу в составе coding-агентов. Модель содержит 24 миллиарда параметров, использует текстовую модальность и поддерживает контекст до 128 тысяч токенов. Она поддерживает формат function calling Mistral и особенно ориентирована на использование с OpenHands. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского и ряда других языков. Токенизатор Tekken имеет словарь размером 131 тысяча токенов. Сильными сторонами модели являются специализация на агентном программировании, большой контекст, поддержка инструментов и возможность локального запуска, в том числе на одной RTX 4090 или Mac с 32 ГБ оперативной памяти. В SWE-Bench Verified указано качество 53,6% при использовании OpenHands Scaffold. Ограничения включают текстовую природу модели без поддержки изображений и необходимость корректной настройки шаблона запросов и инструментального взаимодействия. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию.

EVA-Meissa-Coder-14B-Instruct — объединённая инструкционная языковая модель на архитектуре Qwen2, созданная mergekit методом TIES. В слиянии использованы Orion-zhen/Meissa-Qwen2.5-14B-Instruct, Qwen/Qwen2.5-Coder-14B-Instruct и EVA-UNIT-01/EVA-Qwen2.5-14B-v0.2; README называет Meissa базовой моделью слияния. Модель содержит 14 млрд параметров, работает через библиотеку Transformers и принимает текст для генерации ответов в диалоговом формате. Контекст составляет до 32 768 токенов. Каталог отмечает интерфейс вызова инструментов; модель предназначена, в частности, для задач генерации, анализа и исправления кода. В карточке не приведены отдельные результаты оценки качества или специальные ограничения. Лицензия в доступных данных не указана.

GLM-4.5-Air-REAP-82B-A12B — сжатая версия GLM-4.5-Air от Cerebras, созданная методом REAP (Router-weighted Expert Activation Pruning). Это причинная языковая модель со смешанной экспертной архитектурой MoE: из 128 экспертов удалена четверть, осталось 96, из которых активируются 8 на каждый токен. В модели 82 млрд параметров, при этом на токен активируется около 12 млрд; контекст составляет 131 072 токена. Модель предназначена для генерации текста и кода, работы с агентными сценариями, вызова функций и понимания крупных репозиториев. По данным карточки, она сохраняет производительность, близкую к исходной GLM-4.5-Air, и требует примерно на 25% меньше памяти; дополнительное дообучение после прореживания не проводилось. Для развёртывания README указывает актуальную версию vLLM и поддержку вызова инструментов. Модель распространяется по лицензии MIT. Карточка заявляет близкие к исходной модели результаты, однако приводит подробности оценок отдельно; качество на конкретных задачах и требования к памяти зависят от конфигурации развёртывания.

Laguna M.1 GGUF — независимая общественная конверсия и набор квантизированных GGUF-версий модели Laguna M.1, разработанной Poolside. Модель предназначена для генерации кода, задач программирования с длинным контекстом и агентских сценариев локального запуска. Данный репозиторий содержит производные артефакты, созданные на основе исходных BF16 safetensors Poolside, а не официальный релиз разработчика. Исходная Laguna M.1 — разреженная MoE-модель с 225 млрд общих параметров и 23 млрд активируемых параметров на токен. Она использует 70 слоёв с глобальным вниманием, 256 разреженных экспертов после первых трёх плотных слоёв, маршрутизацию top-k=16, RoPE с YaRN и механизм softplus attention output gating. Заявленное контекстное окно составляет 262 144 токена. Доступны варианты квантизации от наиболее компактных IQ1_S_R4 размером 43,54 GiB до BF16 размером 420,71 GiB; качество и требования к памяти зависят от выбранного варианта. Сильными сторонами модели являются специализированная направленность на программирование, поддержка сверхдлинного контекста и возможность локального использования через GGUF. Для запуска требуется совместимый runtime: подтверждена поддержка ik_llama.cpp начиная с версии, включающей соответствующие изменения, тогда как другие средства могут потребовать отдельной реализации поддержки Laguna. Модель и представленные GGUF-артефакты распространяются с метаданными лицензии Apache License 2.0; конверсия является независимой, а торговые названия и брендинг Poolside остаются собственностью Poolside.

MiMo-V2.6-Distill-Qwen-9B-GGUF — GGUF-версия агентной модели MiMo-V2.6-Distill-Qwen-9B, разработанной Xiaomi MiMo. Модель представляет собой результат supervised fine-tuning Qwen3.5-9B на данных, сгенерированных MiMo, и предназначена для дальнейших исследований в области агентного обучения с подкреплением. Модель ориентирована на программирование, общие агентные задачи, визуальное программирование и кибербезопасность, а также поддерживает использование инструментов. Объём модели составляет 9 млрд параметров. В README указана поддержка английского языка и pipeline image-text-to-text, а наличие мультимодального проекционного файла указывает на сценарии работы с изображениями и текстом. Доступны варианты квантования от BF16 до Q3_K_L, что позволяет выбирать между качеством и требованиями к памяти; рекомендованными названы Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S и Q6_K. Сильными сторонами заявлены заметные улучшения относительно базовой Qwen3.5-9B в задачах автоматизации, кибербезопасности, работы в терминале и программирования, включая SWE-bench. Ограничения включают зависимость качества и требований к памяти от выбранного варианта квантования, а также отсутствие в README точных сведений о размере контекстного окна и подробностей о поддерживаемых языках помимо английского. Лицензия указана как other; базовая модель Qwen3.5-9B распространяется под Apache-2.0, но условия лицензирования данного репозитория требуют отдельной проверки.

saricles/MiniMax-M2.7-NVFP4-GB10-AC — квантизированная версия MiniMax-M2.7 от автора репозитория saricles, подготовленная для генерации кода и агентных сценариев с вызовом инструментов. Модель использует архитектуру MiniMaxM2ForCausalLM типа MoE: исходная модель содержит 230 млрд параметров и 256 экспертов с top-K=8. После посттренировочной квантизации NVFP4 файлы занимают около 141,05 ГБ; в метаданных указано 2,9 млрд параметров, что расходится с README. Квантизация выполнена NVIDIA TensorRT Model Optimizer, а калибровка проведена на смеси датасетов кода, вызова функций, рассуждений и обычного чата. Модель предназначена для генерации кода, многошаговой работы с кодом и математикой, а также для агентных систем, которым нужно вызывать инструменты. Она сохраняет возможности диалоговой модели и рассчитана на запуск на NVIDIA DGX Spark с GB10 и оборудовании семейства Blackwell; README описывает распределённый запуск на двух DGX Spark. Контекстное окно составляет 196 608 токенов по метаданным. В карточке указаны английский и китайский языки. Лицензия обозначена как other, поэтому конкретные условия следует уточнять в репозитории базовой модели и карточке Hugging Face.

Nail-Qwen3.6-35B-A3B-MLX — вариант модели Qwen3.6-35B-A3B, опубликованный пользователем peculiar-ragdoll. Это квантованная сборка для MLX на базе Unsloth Dynamic 4-bit quant, дополненная исправленным шаблоном чата, который добавляет инструкции для кратких и прямых ответов. Модель ориентирована на локальный запуск на компьютерах Mac с Apple Silicon. Модель предназначена для рассуждений, многошаговых диалогов, агентной разработки программного обеспечения и работы в coding-агентах. Она поддерживает текстовые и, согласно метаданным pipeline, мультимодальные сценарии image-text-to-text, однако подробности о фактически поддерживаемых визуальных входах в README не приведены. Заявлены английский и китайский языки, архитектура Mixture-of-Experts и контекст до 262 144 токенов. При использовании 8-битной точности KV-кэша заявлен запуск примерно в 24 ГБ оперативной памяти; также описана работа на системах с 32 ГБ unified memory. Сильные стороны модели — высокая скорость получения ответа, эффективность по расходу токенов и пригодность для автономных задач программной инженерии и длительных многоходовых взаимодействий. Ограничение заключается в том, что модель может тратить больше токенов на внутреннее рассуждение, чем некоторые альтернативы, из-за чего быстрее заполняет контекст; для очень длинных сессий это снижает выносливость. Приведённые в README результаты основаны на авторских тестах и не заменяют независимую оценку. Модель распространяется по лицензии Apache-2.0.