II.11Кибербезопасность и приватность

GLM-4-9B-0414-GGUF — это квантизированная в формате GGUF версия языковой модели GLM-4-9B-0414, разработанной командой THUDM. Квантизация выполнена bartowski на основе llama.cpp, релиз b5228. LM Studio распространяет модель в рамках Community Model Program, но не является её разработчиком. Модель предназначена для генерации текста и ориентирована на продвинутое программирование, создание артефактов, function calling и агентские сценарии. Заявлена сопоставимая с существенно более крупными моделями производительность. Поддерживается контекст до 32 тысяч токенов. В метаданных указаны китайский и английский языки. Архитектура исходной модели и точный размер файлов не описаны подробнее; конкретный вариант квантизации также не указан. Модель может быть полезна для локального запуска задач кодирования, автоматизации и построения LLM-агентов при наличии совместимого ПО для GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и требований к ресурсам от выбранного варианта квантизации. Лицензия модели — MIT.

Карточка модели NostraEmpire/mirror-qwen2.5-coder-7b-instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-7B-Instruct — инструкционная версия каузальной языковой модели для работы с программным кодом, разработанная командой Qwen. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров по метаданным. Модель принимает текстовые запросы и генерирует текст, включая код; поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для генерации, анализа и исправления кода, рассуждений о коде и создания кодовых агентов. README описывает архитектуру на базе Transformers с RoPE, SwiGLU и RMSNorm, а также контекст до 131 072 токенов при настройке YaRN для длинных входов. В конфигурации по умолчанию используется контекст 32 768 токенов. Для длинных контекстов масштабирование YaRN может снижать качество на коротких запросах. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers; README рекомендует актуальную версию библиотеки. Лицензия — Apache-2.0. Карточка подтверждает прежде всего английский язык; отдельный список поддерживаемых языков программирования и оценка качества именно этой instruct-версии здесь не приведены.

Mythos-9B-Unhinged — языковая модель для генерации текста, разработанная King3Djbl в экосистеме FableForge. Она предназначена для агентских сценариев, программирования, работы с shell-командами, генерации кода, многошагового рассуждения, roleplay и использования инструментов и функций. Модель основана на Qwen3-9B с архитектурой из 36 слоёв, скрытым размером 4096 и 32 головами внимания; весовая версия содержит около 9 млрд параметров и поддерживает контекст до 32 768 токенов. Она объединена методом SLERP при t=0,65 с braindao/Qwen3-8B-Uncensored и сохраняет нативный режим рассуждения Qwen3. Указан английский язык. Доступны форматы GGUF с различными уровнями квантования, а запуск поддерживается через Ollama, llama.cpp, LM Studio, vLLM, Transformers и другие совместимые инструменты. К сильным сторонам относятся заявленные возможности tool use, рассуждения и генерации кода, а также высокая устойчивость к отказам в тестах автора. Модель обучалась на наборе FableForge Mix A, включающем 47 824 примера агентских трасс, shell-команд, программирования и многошагового рассуждения. Ограничения включают сравнительно невысокую скорость генерации в режиме рассуждения и отсутствие встроенных механизмов отказа, поэтому ответы могут содержать опасные или ненадёжные инструкции и требуют контроля со стороны пользователя. Модель распространяется по лицензии Apache-2.0.

Nail-Qwen3.6-35B-A3B-GGUF-MTP — это GGUF-квантизация базовой модели Qwen/Qwen3.6-35B-A3B, опубликованная peculiar-ragdoll. Модель ориентирована на reasoning, многошаговые диалоги, агентную разработку программного обеспечения и генерацию кода. В сборку включены улучшенный chat template, встроенный системный промпт и тензоры multi-token prediction (MTP), предназначенные для ускорения генерации посредством speculative decoding. Модель построена на архитектуре Mixture-of-Experts: заявленный размер — 35B параметров при 3B активных параметров. Указаны языки English и Chinese, а нативное контекстное окно составляет 262 144 токена. Формат GGUF рассчитан прежде всего на локальный запуск, включая llama.cpp и совместимые среды. При поддержке MTP возможное ускорение зависит от runtime и конфигурации; для llama.cpp требуется свежая сборка с поддержкой draft-MTP, тогда как обычные релизы могут работать без ускорения. Заявлены высокая скорость ответа, эффективность использования памяти и пригодность для длительных агентных сессий, однако приведённые результаты получены на ограниченном наборе тестов и конкретной конфигурации Mac Studio M2 Ultra. Модель распространяется по лицензии Apache-2.0. Ограничения включают зависимость производительности от аппаратного обеспечения, версии runtime, квантизации и поддержки MTP. Заявления о превосходстве над другими моделями основаны на бенчмарках автора и не гарантируют аналогичных результатов во всех задачах.

occamy-ai_occamy-1.0-GGUF — GGUF-квантизированная версия модели occamy-1.0, разработанной occamy-ai и подготовленной bartowski с использованием llama.cpp. Модель ориентирована на агентные сценарии, использование инструментов и задачи программирования, а также заявлена как модель для работы с длинным контекстом. Модель содержит около 35 млрд параметров и поддерживает текстовый и визуальный ввод; для обработки изображений требуется отдельный файл mmproj. В карточке указана поддержка английского языка. Доступны варианты от BF16 до различных уровней квантизации, что позволяет выбирать между качеством, требованиями к памяти и скоростью работы; рекомендуемым универсальным вариантом назван Q4_K_M размером 21,39 ГБ, а более качественными — Q5 и Q6. Спекулятивное декодирование не поддерживается, при этом применена imatrix-квантизация. Сильными сторонами модели являются сочетание большого размера, мультимодального ввода, возможностей для tool use и агентных рабочих процессов, а также широкий выбор форматов GGUF. Ограничениями выступают значительные требования к памяти даже для квантизированных вариантов, необходимость отдельного mmproj для изображений и отсутствие в README точного размера контекстного окна, подробных результатов оценки и информации о поддерживаемых языках помимо английского. Лицензия в карточке не указана.

mlx-community/Qwen2.5-Coder-7B-Instruct-bf16 — конверсия в формат MLX модели Qwen2.5-Coder-7B-Instruct, опубликованная сообществом mlx-community. Это плотная авторегрессионная модель семейства Qwen2 на 7,1 млрд параметров для генерации текста и кода в диалоговом формате. Она предназначена для написания, анализа и исправления программного кода; метаданные указывают на интерфейс вызова инструментов. Максимальная длина контекста — 32 768 токенов, библиотека — Transformers. Модель принимает текст и генерирует текст, включая код. В карточке указан английский язык. Лицензия — Apache-2.0. README сообщает, что модель преобразована в MLX из Qwen/Qwen2.5-Coder-7B-Instruct с помощью mlx-lm версии 0.18.1; указанный формат файлов репозитория — safetensors.

Qwen2.5-Coder-7B-Instruct-Q8_0-GGUF — это конвертированная в формат GGUF и квантизованная версия модели Qwen/Qwen2.5-Coder-7B-Instruct. Конвертацию выполнила организация ggml-org с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для генерации текста и прежде всего для задач, связанных с программным кодом, включая диалоговое взаимодействие и работу с кодом через llama.cpp. Модель имеет размер 7B параметров и представлена в варианте квантизации Q8_0, что позволяет запускать её локально с помощью llama.cpp в режиме CLI или сервера. В карточке указано, что поддерживаемый язык — английский. Для примера серверного запуска задан контекст 2048 токенов, однако максимальный размер контекста в README не указан. Архитектура и перечень поддерживаемых модальностей не описаны; из назначения и типа pipeline следует, что это текстовая авторегрессионная модель. К сильным сторонам относятся специализация на программном коде, инструкция-ориентированный режим и совместимость с локальным инференсом через llama.cpp. Ограничения связаны с отсутствием в карточке подробных сведений о качестве, бенчмарках, точном размере контекста и поддерживаемых языках помимо английского, а также с потерями точности, возможными при квантизации. Указана лицензия Apache 2.0.

QuantTrio/Qwen3-Coder-30B-A3B-Instruct-AWQ — 4-битная AWQ-квантизированная версия Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen. Это причинная языковая модель для генерации текста и программного кода, включая агентное программирование, использование браузера, понимание репозиториев и вызов функций в совместимых инструментах и платформах. Исходная модель имеет MoE-архитектуру с 30,5 млрд параметров, из которых 3,3 млрд активируются при обработке запроса, 48 слоями, 128 экспертами и 8 активными экспертами. Используется GQA с 32 головами запросов и 4 головами ключей и значений. Нативная длина контекста составляет 262 144 токена, а с использованием YaRN может быть расширена до 1 млн токенов. Модель работает только в режиме без рассуждений и не генерирует блоки <think></think>. Поддерживаются текстовые сценарии; сведения о конкретном наборе языков в README не приведены. К сильным сторонам относятся высокая эффективность MoE-архитектуры, задачи программирования, агентские сценарии, вызов инструментов и работа с длинным контекстом. Основное ограничение этой версии — существенная потеря качества при 4-битной квантизации, поэтому её следует использовать с осторожностью. Для запуска через vLLM требуется версия 0.10.0 или совместимая, включённый экспертный параллелизм и подходящая GPU-конфигурация; в README приведён сценарий запуска на четырёх GPU с контекстом 32 768 токенов. Распространение указано по лицензии Apache-2.0.

Qwopus3.6-27B-Fusion-GGUF — экспериментальная модель от KyleHessling1, созданная объединением Qwopus3.6-27B-v2 с уклоном на рассуждения и Qwopus3.6-27B-Coder с уклоном на программирование. Обе родительские модели происходят от Qwen/Qwen3.6-27B. Модель предназначена для текстовой генерации, многошагового рассуждения и автономной разработки программного обеспечения, особенно для сценариев, где агент самостоятельно планирует, пишет код, запускает его и исправляет ошибки. Модель содержит 27 млрд параметров и 64 слоя, использует гибридную архитектуру qwen35 с линейным вниманием и периодическими слоями полного внимания. Нативный контекст составляет 262 144 токена; корректная работа проверена на контексте до 60 000 токенов. По умолчанию включён режим reasoning. Доступна версия GGUF с квантизацией Q4_K_M размером около 16,5 ГБ, рассчитанная на запуск через llama.cpp на одной видеокарте с 24–32 ГБ памяти. Поддерживается ввод изображений при использовании совместимого проектора Qwopus3.6-27B-Fusion-mmproj-Q8_0.gguf. В README указан английский язык. Сильные стороны модели — сочетание устойчивого рассуждения и генерации кода, хорошие результаты на HumanEval, MBPP и GSM8K, стабильное завершение генерации и способность работать как автономный агент программирования. Ограничения связаны с экспериментальным статусом и отсутствием полного строгого оценивания; результаты зависят от квантизации и режима работы. Лицензия указана как other с названием qwen и ссылкой на лицензию Qwen.

Карточка модели honore-250/Umucuzi-Coder на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

Yi-Coder-9B-Chat-GGUF — GGUF-квантизированная версия чат-модели Yi-Coder-9B-Chat, разработанной 01-AI. Квантизация выполнена bartowski на базе llama.cpp release b3658. Модель предназначена прежде всего для диалога по вопросам программирования, генерации и объяснения кода, а также работы с большими кодовыми базами. Она настроена для общения, а не для автодополнения кода. Модель содержит около 9 миллиардов параметров и поддерживает контекст до 128 тысяч токенов. Она обучалась на данных, связанных с 52 языками и форматами программирования, включая Python, JavaScript, C++, C#, Java, Go, Rust, SQL, TypeScript, HTML, CSS, PHP, Ruby, Swift, Kotlin, R, Bash, PowerShell, Dockerfile и другие. В README указаны результаты 23% на LiveCodeBench; также отмечается, что модель стала первой моделью с менее чем 10 миллиардами параметров, преодолевшей отметку 20% на этом тесте. Для использования рекомендуется шаблон ChatML. Модель распространяется по лицензии Apache-2.0.

TheBloke/CodeLlama-34B-GGUF — это набор квантованных файлов модели CodeLlama 34B, разработанной Meta. Репозиторий подготовил TheBloke, преобразовав исходную модель codellama/CodeLlama-34b-hf в формат GGUFv2 для локального запуска и инференса. Модель предназначена прежде всего для генерации и работы с программным кодом. Она относится к семейству Llama и имеет размер 34 млрд параметров. В README указано, что модель поддерживает текстовую генерацию и ориентирована на код; конкретные языки программирования, контекстное окно и дополнительные модальности не указаны. Файлы доступны в вариантах квантования от 2 до 8 бит, что позволяет выбирать баланс между требованиями к памяти, скоростью и качеством. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию. Модель совместима с llama.cpp начиная с указанной версии, а также с рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. К сильным сторонам относятся возможность локального запуска на CPU и GPU и наличие нескольких уровней квантования. Ограничения связаны с потерями качества при сильном квантовании и высокими требованиями к ресурсам для 34-миллиардной модели; точные показатели производительности в README не приведены. Модель распространяется по лицензии llama2. Условия использования исходной модели и квантованных файлов следует рассматривать с учетом этой лицензии.

Codestral-22B-v0.1-GGUF — GGUF-квантизированная версия специализированной кодовой модели Codestral-22B-v0.1, разработанной Mistral AI. Квантизацию подготовил bartowski на основе llama.cpp, а модель опубликована для использования в LM Studio. Модель предназначена для генерации, дополнения и объяснения программного кода. Она поддерживает диалоговые запросы по инструкции и режим Fill in the Middle (FIM), позволяющий предсказывать пропущенный фрагмент между заданными префиксом и суффиксом. Обучение проводилось на данных более чем по 80 языкам программирования, включая Python, Java, C++, JavaScript и Bash. Размер модели составляет 22 млрд параметров; поддерживаемая модальность — текст. Сильные стороны модели — специализация на программировании, сочетание инструкционного режима и FIM, а также широкий охват языков программирования. README не содержит точных сведений о размере контекста, требованиях к памяти, результатах бенчмарков и ограничениях качества, поэтому эти характеристики нельзя определить по представленным данным. В карточке указана лицензия Apache-2.0, а также приведена ссылка на MNPL-0.1 от Mistral; условия использования следует уточнять по исходной лицензии и документации разработчика.

Deepseek Coder 6.7B Instruct — языковая модель для генерации и обработки программного кода, разработанная DeepSeek и представленная в GGUF-квантизованном формате компанией Second State Inc. Модель основана на deepseek-ai/deepseek-coder-6.7b-instruct и предназначена для работы с инструкциями, ответами на вопросы и задачами программирования в локальных приложениях и сервисах, включая LlamaEdge. Модель содержит 6,7 млрд параметров; в README указана архитектура DeepSeek и контекстное окно 4096 токенов. Поддерживаются различные варианты квантизации от 2 до 8 бит, размером примерно от 2,53 до 7,16 ГБ. Варианты Q4_K_M, Q5_K_M и Q5_K_S обозначены как рекомендуемые благодаря балансу размера и качества. README не содержит точного перечня поддерживаемых языков программирования или естественных языков и не описывает мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются адаптация к инструкциям, ориентация на код и возможность запуска в средах с ограниченными ресурсами за счёт квантизации. Ограничения включают контекст 4096 токенов и неизбежную потерю качества у наиболее компактных вариантов, особенно Q2_K и некоторых Q3/Q4-конфигураций. Для запуска через LlamaEdge требуется версия 0.2.8 или новее и соответствующий prompt template. Лицензия указана как deepseek с обозначением other; дополнительные условия должны быть проверены в файле LICENSE.

Ornith-1.0-35B-FP8 — это квантизированная версия модели DeepReinforce Ornith-1.0-35B, подготовленная и проверенная командой protoLabs. Модель представляет собой гибридную MoE-архитектуру Qwen3.5-35B-A3B с механизмами рассуждения и самоскэффолдинга, ориентированную прежде всего на агентное программирование. Она поддерживает генерацию текста, рассуждения, работу с инструментами и мультимодальные сценарии с изображениями и видео. Модель использует блочную FP8-квантизацию E4M3 с блоками 128×128 и динамическим квантованием активаций по токенам. Квантизированы экспертные FFN-слои и проекции внимания, тогда как критичные компоненты, включая SSM-линейное внимание, маршрутизатор MoE, эмбеддинги, нормализации и vision tower, сохранены в bf16. Полный контекст составляет 256K токенов. Размер обслуживаемой модели — около 35 ГБ; она рассчитана на одну видеокарту с 80–96 ГБ памяти и проверена с vLLM. Сильные стороны модели — пригодность для агентного кодирования, рассуждений, длинного контекста, многоязычной генерации и вызова инструментов при производительности, близкой к исходной bf16-версии. Ограничения включают требования к мощной GPU, зависимость от совместимого стека vLLM и remote code, а также возможную небольшую потерю качества при квантизации: в приведённых однократных тестах показатель генерации кода составил 0,975 против 1,00, а успешность function call — 89% против 93%. Модель распространяется по лицензии MIT; авторство базовой модели принадлежит команде DeepReinforce, а protoLabs добавила FP8-квантизацию.

Parable-Granite-4.1-8B-Claude-Fable-5-GGUF — языковая модель AnkitAI, дообученная на базе IBM Granite 4.1 8B. Модель создана для многошаговых агентных сценариев: планирования, использования инструментов, работы с терминалом, программирования, отладки и рассуждений. Обучение проводилось на трассировках реальных сессий Claude Fable 5 и GPT-5.5, включая блоки рассуждений и взаимодействие с инструментами, а не на синтетических вопросах и ответах. Модель предназначена для генерации текста на английском языке и распространяется в формате GGUF для запуска через llama.cpp, Ollama и LM Studio; также доступна полноточная версия для vLLM, Transformers и дальнейшего дообучения. Выпуск содержит 8 миллиардов параметров и варианты квантования от Q4_K_M до Q8_0. Рекомендуемая версия Q4_K_M занимает около 4,8 ГБ и требует примерно 6 ГБ RAM или VRAM. В README указан контекст оценки 1 024 токена, а в примере llama-cpp-python используется контекст 8 192 токена. Ответы модель начинает с блока <think>, который рекомендуется удалять перед показом пользователю. К сильным сторонам относятся специализация на агентных задачах, программировании и терминальных сценариях, локальный офлайн-запуск и небольшой объём памяти для 8B-модели. На опубликованном тестовом разбиении дообученная модель показала test loss 0,617 против 2,030 у базовой Granite 4.1 8B; при строгой качественной проверке 20 из 34 ответов были полностью корректными, а 32 — корректными или частично корректными. Ограничения включают англоязычную специализацию, необходимость самостоятельно обрабатывать блоки рассуждений и отсутствие завершённого результата оценки function calling BFCL V3 из-за ограничения GPU-бюджета. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-14B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-Coder-14B-Instruct, преобразованная в формат GGUF для запуска с помощью llama.cpp. Исходная модель разработана командой Qwen; данный вариант конвертирован через GGUF-my-repo на базе llama.cpp. В README также указано, что модель предназначена для генерации текста и работы с кодом в диалоговом формате. Модель ориентирована на программирование, генерацию и обработку кода, а также сценарии локального запуска через llama.cpp в CLI или серверном режиме. Она содержит 14 миллиардов параметров, использует квантизацию Q4_K_M и поддерживает текстовый ввод и вывод. В метаданных указан английский язык, однако дополнительных сведений о языковом охвате, архитектуре, максимальном контексте и точных требованиях к аппаратному обеспечению нет. Ключевое преимущество варианта — возможность более экономичного локального инференса благодаря формату GGUF и квантизации, включая запуск на совместимом оборудовании через llama.cpp. Ограничения связаны с потерей точности по сравнению с полной версией модели из-за квантизации, а также с отсутствием в README подробных результатов оценки качества и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

QuantFactory/Qwen2.5-Coder-1.5B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Qwen2.5-Coder-1.5B-Instruct, созданная QuantFactory на основе обновлённых весов от 6 ноября 2024 года с использованием llama.cpp. Исходная модель относится к серии специализированных кодовых моделей Qwen, разработанных командой Qwen; в README конкретная организация-разработчик не указана, однако модель основана на репозитории Qwen/Qwen2.5-Coder-1.5B-Instruct. Модель предназначена для генерации, анализа и исправления программного кода, рассуждений о коде, создания code agents, а также задач общего назначения и математики. Это авторегрессионная causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm, смещениями в QKV внимания и связанными эмбеддингами слов. Модель содержит 1,54 млрд параметров, из них 1,31 млрд без учёта эмбеддингов, имеет 28 слоёв и Grouped-Query Attention с 12 головами для Q и 2 для KV. Поддерживается текстовая модальность и заявлен английский язык. Заявленная максимальная длина контекста составляет 131 072 токена, но исходная конфигурация рассчитана на 32 768 токенов; для более длинных входов требуется включение YaRN, причём статическое масштабирование может ухудшать производительность на коротких текстах. Квантизация и небольшой размер делают модель подходящей для более экономичного локального развёртывания, однако README не содержит сведений о конкретном формате квантизации, требованиях к памяти, производительности или сравнительных результатах. Модель распространяется по лицензии Apache-2.0.

mbetixz/Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для программирования из семейства Qwen2.5-Coder. Она предназначена для генерации и объяснения кода, рассуждений о коде, исправления ошибок и создания кодовых агентов; также сохраняет математические и общие языковые возможности. Модель разработана на архитектуре Qwen2 с причинным декодированием и 32 млрд параметров по метаданным. Карточка описывает архитектуру с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием, а также контекст до 131 072 токенов; конфигурация репозитория рассчитана на 32 768 токенов, а для более длинных входов требуется настройка YaRN. Модель принимает текстовые инструкции и выдаёт текст, включая код. Карточка описывает обучение на коде, текстово-кодовом сопоставлении и синтетических данных; языковая поддержка в метаданных отмечена как английская. Для работы рекомендуется актуальная версия Transformers; для развёртывания README рекомендует vLLM. Лицензия — Apache-2.0. Заявления карточки о сравнительной производительности являются утверждениями разработчика, а результат на конкретных задачах зависит от сценария и настройки.

Sg-at-srijan-us-kg выпустил instruction-tuned модель Qwen2.5-Coder-32B на 32 млрд параметров для генерации, анализа и исправления программного кода, а также создания кодовых агентов. Это причинная языковая модель семейства Qwen2 с архитектурой Qwen2ForCausalLM; она принимает текстовые инструкции и выдаёт текст и код. Карточка описывает поддержку контекста до 128K токенов с YaRN, тогда как конфигурация по умолчанию рассчитана на 32 768 токенов. Модель использует сильные стороны Qwen2.5-Coder в задачах программирования, сохраняя способности к математике и общим задачам. Метаданные указывают английский язык, библиотеку Transformers и формат safetensors. Для работы с длинным контекстом требуется включить YaRN; в vLLM статический коэффициент масштабирования может снижать качество или эффективность на коротких запросах. Лицензия Apache-2.0.

Карточка модели bigxho15/Qwen2.5-Coder-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-7B-Instruct — инструкционная версия каузальной языковой модели для работы с программным кодом, разработанная командой Qwen. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров по метаданным. Модель принимает текстовые запросы и генерирует текст, включая код; поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для генерации, анализа и исправления кода, рассуждений о коде и создания кодовых агентов. README описывает архитектуру на базе Transformers с RoPE, SwiGLU и RMSNorm, а также контекст до 131 072 токенов при настройке YaRN для длинных входов. В конфигурации по умолчанию используется контекст 32 768 токенов. Для длинных контекстов масштабирование YaRN может снижать качество на коротких запросах. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers; README рекомендует актуальную версию библиотеки. Лицензия — Apache-2.0. Карточка подтверждает прежде всего английский язык; отдельный список поддерживаемых языков программирования и оценка качества именно этой instruct-версии здесь не приведены.

Карточка модели Thor39/Qwen2.5-Coder-7B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-7B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-7B-Instruct — инструкционная версия каузальной языковой модели для работы с программным кодом, разработанная командой Qwen. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров по метаданным. Модель принимает текстовые запросы и генерирует текст, включая код; поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для генерации, анализа и исправления кода, рассуждений о коде и создания кодовых агентов. README описывает архитектуру на базе Transformers с RoPE, SwiGLU и RMSNorm, а также контекст до 131 072 токенов при настройке YaRN для длинных входов. В конфигурации по умолчанию используется контекст 32 768 токенов. Для длинных контекстов масштабирование YaRN может снижать качество на коротких запросах. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers; README рекомендует актуальную версию библиотеки. Лицензия — Apache-2.0. Карточка подтверждает прежде всего английский язык; отдельный список поддерживаемых языков программирования и оценка качества именно этой instruct-версии здесь не приведены.

unsloth/Qwen2.5-Coder-7B-Instruct — инструкционная языковая модель для программирования, основанная на Qwen2.5-Coder-7B-Instruct от Qwen и представленная Unsloth. Это плотная причинная трансформерная модель семейства Qwen2 с 7,1 млрд параметров, доступная в формате safetensors и рассчитанная на генерацию текста в диалоговом режиме. Модель предназначена для генерации, анализа и исправления кода, рассуждений о программировании и создания кодовых агентов. Она также сохраняет общие языковые и математические способности базовой модели. Метаданные указывают контекст 32 768 токенов; в README упоминается более длинный контекст базовой модели, но для этой конфигурации расширение за 32 768 токенов требует настройки YaRN и может ухудшить работу на коротких запросах. Поддерживаемый язык карточки — английский. Репозиторий лицензирован по Apache-2.0. Модель принимает текстовые запросы и выдаёт текст, включая код; фактическое качество зависит от языка программирования и постановки задачи.

pL-Community опубликовало инструкционную версию Qwen2.5-Coder-7B в формате FP8 Dynamic. Это плотная причинная языковая модель семейства Qwen2, рассчитанная на генерацию кода и диалоговые сценарии; в метаданных указано 7,1 млрд параметров и контекст 32 768 токенов. Карточка базовой модели описывает архитектуру с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Модель подходит для написания и дополнения кода, анализа программ, поиска и исправления ошибок, а также для создания кодовых агентов. README базовой карточки сообщает о тренировке на коде, текстово-кодовых связях и синтетических данных и отмечает сохранение математических и общих языковых способностей. Хотя README базовой модели описывает поддержку контекста до 131 072 токенов с настройкой YaRN, метаданные этого репозитория указывают нативный контекст 32 768 токенов. Метаданные связывают модель с Qwen/Qwen2.5-Coder-7B как с базой и указывают Apache-2.0. Репозиторий содержит веса safetensors; отдельное описание метода динамической FP8-квантизации в предоставленных материалах отсутствует.

Qwen2.5-Coder-7B-Instruct-Q4_K_M-GGUF — это квантизированная версия Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF пользователем или организацией matrixportal с помощью llama.cpp и сервиса GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и прежде всего для задач, связанных с программированием, включая работу с кодом и чат-сценарии. В README указано, что базовая модель разработана Qwen, однако подробные сведения о её обучении и возможностях вынесены в исходную карточку модели. Модель содержит 7B параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерной версией. Она распространяется в формате GGUF и рассчитана на запуск через llama.cpp, включая локальный CLI и серверный режим. В карточке указано, что заявленный язык — английский; поддержка других языков, архитектура, точный размер контекста и перечень модальностей не уточняются. Пример запуска использует контекст длиной 2048 токенов, но это не подтверждает максимальный размер контекста модели. Сильными сторонами являются специализация на коде, возможность локального запуска и совместимость с llama.cpp. Ограничения связаны с квантизацией, которая может снижать точность по сравнению с исходной моделью, а также с отсутствием в карточке подробных оценок качества и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

continuum-ai/qwen3-coder-30b-a3b-compacted-19b-256k — компактная версия Qwen3-Coder-30B-A3B-Instruct, разработанная на основе модели Qwen. При создании удалено 35% MoE-экспертов с использованием калибровочного ранжирования по частоте активаций. Модель предназначена прежде всего для генерации, дополнения и инфиллинга кода, агентного программирования и вызова функций, включая локальный и периферийный запуск на потребительских GPU, компьютерах Apple и мобильных устройствах. Это разреженная Mixture-of-Experts-модель с заявленным классом 30B и компактированной эффективной конфигурацией 19B. Сохраняет контекст до 256K токенов и работает с текстом; в README заявлена поддержка английского, китайского и широкого набора языков программирования, включая Python, JavaScript, TypeScript, C, C++, Java, Kotlin, Go, Rust, Swift, PHP, Ruby, SQL, HTML и CSS. Доступны квантованные форматы GGUF Q4_K_M, Q5_K_M и Q8_0 для llama.cpp, Ollama и LM Studio, а также варианты для локального запуска через Transformers и MLX. На HumanEval модель получила 88,4 балла против 92,1 у исходной версии, а на HumanEval+ — 85,4 против 88,4. К сильным сторонам относятся сочетание кодировочных возможностей 30B-класса с меньшими требованиями к памяти, длинный контекст и варианты для локального выполнения. Ограничения включают неполное восстановление качества исходной модели, отсутствие отдельного измерения обобщения на языки, отличные от Python, отсутствие тестирования генерации длиннее 32K токенов и пока не измеренные результаты на MBPP+ и LiveCodeBench. Калибровка выполнялась на 300 примерах Python. Модель распространяется по лицензии Apache-2.0. В README также заявлена криптографически проверяемая цепочка происхождения через ForgeAlloy, однако доверие к аттестации обозначено как self-attested.

Qwen3-Coder-Next-GPTQ — это 4-битная GPTQ-квантизованная версия модели Qwen3-Coder-Next, разработанной Qwen и подготовленной пользователем 6block. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования, и поддерживает английский и китайский языки. Она рассчитана на эффективное развертывание с помощью vLLM и SGLang. В основе лежит разреженная MoE-архитектура qwen3_next: 80 млрд параметров всего, около 3 млрд активных, 48 слоёв, 512 экспертов и маршрутизация top-10. Контекст составляет 256K токенов. Используется схема W4A16 с размером группы 128 и формат compressed-tensors на базе safetensors. Большинство весов, включая линейные слои экспертов и attention, квантизовано до 4 бит, тогда как маршрутизаторы MoE и lm_head сохранены в bf16. Размер модели составляет около 40 ГиБ, что позволяет запускать её на одной видеокарте объёмом 48 ГБ и, с параллелизмом или выгрузкой, на конфигурациях с 24 ГБ. Главное преимущество — существенное снижение требований к памяти при сохранении близкого к исходной модели поведения; по данным README, perplexity на wikitext-2-raw составляет 9,34 против 7,74 у эталонной bf16-версии. Ограничением является заметное ухудшение этого показателя относительно bf16, а также необходимость совместимого движка, поддерживающего compressed-tensors. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

Qwen-Qwen2.5-Coder-14B-Instruct-GGUF — набор GGUF-квантизированных вариантов модели Qwen2.5-Coder-14B-Instruct, подготовленный Featherless AI Quants. Модель предназначена для генерации текста и прежде всего для задач программирования: написания, дополнения и объяснения кода, а также работы с инструкциями в формате instruct. В README не указаны точные сведения о поддерживаемых языках, длине контекста, архитектуре исходной модели и используемых модальностях, поэтому их характеристики нельзя определить достоверно. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 5,5 до 15 ГБ. Разные уровни квантизации позволяют выбирать между меньшими требованиями к ресурсам и потенциальным сохранением качества исходной модели, однако README не содержит результатов сравнительных оценок. Файлы предназначены для запуска в совместимой с форматом GGUF инфраструктуре. Разработчик исходной модели — Qwen, а квантизацию выполнила команда Featherless AI Quants. Ограничения включают зависимость характеристик от выбранного варианта квантизации и отсутствие в README данных о производительности, системных требованиях, качестве на конкретных тестах и ограничениях применения. Лицензия в README не указана.

Tiel-Coder-35B-A3B-Genesis-Hermes-NVFP4-GGUF — это квантизированная в формате GGUF модель LuffyTheFox, созданная на базе Tiel-Coder-35B-A3B с переносом данных Hermes-файнтюнинга от DJLougen и последующей обработкой алгоритмом Genesis. Модель использует архитектуру Mixture of Experts: около 35 млрд параметров всего и примерно 3 млрд активных параметров на токен; заявлено 8 активных экспертов. Квантизация выполнена в формате NVFP4, то есть NVIDIA 4-bit Floating Point. Модель предназначена для агентного программирования, точной генерации кода, задач с вызовом инструментов в формате Hermes, рассуждений в режиме Thinking и мультимодальных сценариев с изображениями. Заявлена поддержка английского, китайского и других языков. В примере конфигурации указан контекст до 128K токенов. Для совместимости с Hermes Agent рекомендуется использовать JSON-формат вызовов инструментов через параметр tool_call_format, поскольку шаблон чата может по умолчанию формировать XML-вызовы. Сильными сторонами модели являются MoE-архитектура с относительно небольшим числом активных параметров, поддержка программирования, инструментов, рассуждений и vision, а также ориентация на стабильную генерацию после постобработки Genesis. Ограничения связаны с использованием низкобитной NVFP4-квантизации, возможными требованиями к совместимому ПО и оборудованию, а также необходимостью корректно настроить шаблон чата и параметры сэмплирования. Репозиторий распространяется по лицензии MIT.

Codestral-22B-v0.1-GGUF — набор GGUF-квантизаций модели Codestral-22B-v0.1, разработанной Mistral AI и подготовленной пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода; формат GGUF и совместимость с llama.cpp позволяют запускать её локально с использованием CPU и/или GPU. В README указан шаблон диалога в формате инструкций с системным промптом и пользовательским запросом. Модель имеет размер 22B параметров. Доступны варианты квантизации Q8_0, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_XS, Q3 и Q2 с размером файлов примерно от 6,64 до 23,64 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество, но требуют больше памяти; варианты Q6_K, Q5 и Q4 отмечены как рекомендуемые, а низкоразрядные варианты предназначены для систем с ограниченными ресурсами и могут заметно уступать в качестве. Ключевые характеристики исходной архитектуры, поддерживаемые естественные языки и размер контекста в README не указаны. Лицензия обозначена как MNPL-0.1; условия следует уточнять по документу Mistral AI. README не содержит данных о мультимодальности, результатах бенчмарков или ограничениях исходной модели, поэтому её сильные стороны можно уверенно связывать только с ориентацией на задачи программирования и возможностью локального запуска в разных вариантах квантизации.