II.11Кибербезопасность и приватность

Perciqa_Aurora-Code-1-GGUF — это квантизированная версия модели Aurora-Code-1, разработанной Perciqa и преобразованной в формат GGUF пользователем bartowski с использованием llama.cpp. Модель дообучена по инструкциям на наборе данных perciqa/aurora-code-sft-v1 и ориентирована на генерацию кода. Модель предназначена для программирования, агентских сценариев, анализа и ревью кода, отладки и выполнения инструкций, связанных с разработкой программного обеспечения. В описании указана MoE-архитектура, однако точный размер модели, число активных параметров и максимальная длина контекста не приведены. Заявлена поддержка английского, французского и мультиязычного ввода; модальность — текстовая. Основное преимущество представленной версии — доступность в различных вариантах квантизации от BF16 до низкобитных форматов, что позволяет выбирать баланс между качеством, размером файла и требованиями к памяти. Рекомендуемые варианты Q4–Q6 обеспечивают высокое качество при меньшем объёме, но более сильная квантизация может снижать точность ответов. Для запуска подходят llama.cpp, LM Studio, Jan AI, KoboldCpp и другие совместимые инструменты. Модель распространяется по лицензии Apache-2.0.

Карточка модели fanie123/Qwen2.5-Coder-14B на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-14B, поэтому описание составлено по ней. Qwen2.5-Coder-14B — плотная причинная языковая модель для кода, разработанная командой Qwen. Это базовый чекпойнт серии Qwen2.5-Coder на 14,7 млрд параметров (13,1 млрд без эмбеддингов), полученный дообучением Qwen2.5-14B на данных с исходным кодом, текстово-кодовым соответствием и синтетическими примерами. Архитектура Qwen2 использует RoPE, SwiGLU, RMSNorm и смещение в проекциях QKV; модель содержит 48 слоёв и поддерживает генерацию текста через Transformers. Модель предназначена для генерации, анализа и исправления кода, а также для задач с заполнением пропусков в коде и создания кодовых агентов. Она сохраняет способности к математике и общим языковым задачам. Контекст конфигурации составляет 32 768 токенов; с YaRN модель можно настроить на обработку контекста до 131 072 токенов. Разработчики не рекомендуют использовать базовую версию для диалогов без дополнительного постобучения. Для длинных запросов масштабирование YaRN может повлиять на качество обработки коротких текстов. Лицензия — Apache-2.0.

Qwen2.5-Coder-1.5B-Instruct-AWQ — это инструкционно дообученная языковая модель для работы с программным кодом из серии Qwen2.5-Coder, разработанная командой Qwen компании Alibaba Cloud. Она предназначена для генерации, анализа и исправления кода, задач кодового рассуждения, создания приложений и использования в сценариях Code Agents. Модель также сохраняет возможности в математике и общих задачах обработки текста. Модель относится к причинным языковым моделям и поддерживает текстовую модальность. Она содержит 1,54 млрд параметров, из которых 1,31 млрд не являются параметрами эмбеддингов, имеет 28 слоёв и контекст до 32 768 токенов. Архитектура использует transformers, RoPE, SwiGLU, RMSNorm, смещения в Attention QKV, связанные эмбеддинги слов и GQA с 12 головами для Q и 2 для KV. Репозиторий содержит AWQ-квантизированную 4-битную версию; в карточке явно указан английский язык. К сильным сторонам относятся специализация на генерации, рассуждении и исправлении кода, большой контекст и сниженные требования к памяти благодаря 4-битной квантизации. Небольшой размер делает модель удобной для локального развертывания, однако квантизация может влиять на точность, а компактный масштаб модели ограничивает качество по сравнению с более крупными моделями серии. Модель распространяется по лицензии Apache-2.0.

lmstudio-community/Qwen2.5-Coder-3B-Instruct-GGUF — это квантованная в формате GGUF версия Qwen2.5-Coder-3B-Instruct, разработанной командой Qwen. Квантование выполнено bartowski на основе llama.cpp, релиз b4014. Модель предназначена для генерации текста и кода, диалогового взаимодействия и использования в Code Agents. Модель имеет размер 3B параметров и поддерживает контекст до 32K токенов. При обучении использовалось до 5,5 триллиона токенов, включая исходный код, данные для выравнивания текста и кода, а также синтетические данные. В метаданных указано английское языкoвое направление. Формат GGUF и совместимость с llama.cpp делают модель подходящей для локального запуска в приложениях, поддерживающих этот формат. К сильным сторонам относятся специализация на программировании, большой контекст и адаптация к сценариям с агентами для работы с кодом. Ограничениями являются относительно небольшой размер по сравнению с крупными моделями, возможные потери качества из-за квантования и стандартный риск генерации неточного, небезопасного или ошибочного кода. В README указана лицензия qwen-research; точные условия следует проверять в оригинальной лицензии Qwen.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-NVFP4-1M — модель семейства Qwen3.8 с 27 млрд параметров, созданная на основе модели DavidAU/Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Объединение весов и исходная модель относятся к DavidAU, а расширение контекста, квантизация и упаковка для NVIDIA Blackwell выполнены Solstice-AI. Модель предназначена для диалогов, программирования, агентной разработки ПО, решения задач с длинным контекстом и визуального анализа. Модель использует формат NVIDIA NVFP4 с 4-битным microscaling, гибридную архитектуру с блоками Gated Delta Recurrent Network и Grouped-Query Attention, а также Multi-Token Prediction для ускорения генерации. Заявлена поддержка текстово-визуального ввода, включая анализ схем, интерфейсов кода и видеокадров; для визуального режима поставляется компонент mmproj-BF16.gguf. Контекст расширен с 262 144 до 1 048 576 токенов с помощью YaRN. В карточке указаны английский и китайский языки, а также совместимость с инфраструктурой vLLM и SGLang на оборудовании NVIDIA Blackwell, включая B200, GB200 и RTX 5090. Среди заявленных сильных сторон — высокая скорость и эффективность на поддерживаемом оборудовании, большой контекст, возможности рассуждения, программирования и компьютерного управления. README приводит результаты внутренних или заявленных оценок, включая 61,7% на SWE-bench Pro, 90,3% на LiveCodeBench v6 и показатели ARC-C 735 и ARC-E 882; эти результаты следует интерпретировать с учетом условий тестирования и не считать независимой гарантией качества. Ограничения включают зависимость от NVFP4-совместимого оборудования и специализированной инфраструктуры, а также возможные потери качества из-за 4-битной квантизации и расширения контекста. Лицензия модели указана как Apache-2.0.

WaveCut/Qwen3.8-Flash-Next-REAM-288-Q8E-MLX — квантизированная MLX-версия модели WaveCut/Qwen3.8-Flash-Next-REAM-288, построенная на базе Qwen3.8-Flash-Next. Разработчик карточки — WaveCut; метод REAM создан исследователями Samsung SAIL Montréal. Модель относится к мультимодальному классу image-text-to-text, однако в README подробно описано преимущественно применение для текстовой генерации и agentic coding. Она предназначена для программирования, рефакторинга, математических и общих текстовых задач, а также работы с английским, русским, кодом и редкими сущностями. Точный размер базовой модели и длина контекста в README не указаны. Архитектура использует mixture-of-experts: сохранено 288 экспертных слотов, а 224 удаляемых эксперта не отбрасываются, а объединяются с наиболее похожими сохранёнными экспертами. Основная часть модели квантизирована до 4 бит, экспертные веса представлены в 8-битном формате с группировкой gs64; модель совместима с mlx-vlm и поддерживает стандартный runtime с qwen4_exp. По сравнению с REAP-288 объединение экспертов лучше сохраняет близость к исходной 512-экспертной модели по KL-метрике, а опубликованные 4-битные сравнения показывают сопоставимые или немного более высокие результаты на HumanEval, GSM8K и тесте редких имён, хотя различия статистически незначимы. Ограничение — большой размер текущей сборки: около 107 ГБ, из-за чего она не помещается на GPU с 80 ГБ памяти; генеративное тестирование именно этой сборки не проводилось. Для спекулятивного декодирования требуется отдельный MTP drafter. Лицензия указана как qwen-community-license-1.0.

cyankiwi/Qwen3-Coder-Next-AWQ-4bit — это 4-битная AWQ-квантизованная версия Qwen3-Coder-Next, базовой модели, разработанной командой Qwen. Модель представляет собой авторегрессионную языковую модель для генерации текста, ориентированную прежде всего на программирование, coding agents и локальную разработку. Модель предназначена для написания и анализа кода, длительных агентных сценариев, использования инструментов, работы с CLI и IDE, а также восстановления после ошибок выполнения. Она имеет 80 млрд параметров всего, из которых активируются 3 млрд, 79 млрд приходятся на параметры без эмбеддингов. Архитектура включает 48 слоёв с гибридным сочетанием Gated DeltaNet, Gated Attention и Mixture of Experts: 512 экспертов, 10 активируемых экспертов и один общий эксперт. Нативная длина контекста составляет 262 144 токена. Модель работает только в режиме без рассуждений и не генерирует блоки <think></think>; поддержка модальностей и список языков в README не указаны. Сильными сторонами являются высокая вычислительная эффективность за счёт малого числа активируемых параметров, большой контекст и развитые возможности для агентного взаимодействия и вызова инструментов. Ограничения включают необходимость совместимого программного обеспечения и аппаратных ресурсов для эффективного запуска крупной модели, несмотря на квантизацию; при нехватке памяти рекомендуется уменьшать длину контекста. Модель распространяется по лицензии Apache-2.0.

GadflyII/Qwen3-Coder-Next-NVFP4 — квантованная версия модели Qwen3-Coder-Next, разработанной командой Qwen. Модель предназначена прежде всего для генерации текста и задач программирования, а также для сценариев инференса, где важны уменьшенное потребление памяти и поддержка длинного контекста. Она распространяется в формате compressed-tensors и рассчитана на использование с vLLM. Модель построена на архитектуре Qwen3NextForCausalLM, объединяющей Hybrid DeltaNet, attention и Mixture-of-Experts (MoE). Она содержит 80 млрд параметров, из которых около 3 млрд активируются на каждом токене, использует 512 экспертов, 10 активных экспертов и одного общего эксперта, а также 48 слоёв. Заявленная длина контекста составляет 262 144 токена. Квантование NVFP4 применяется к весам и активациям; размер модели уменьшен примерно со 149 ГБ в BF16 до 45 ГБ. В тестах достигнута работа с контекстом до 128K токенов при FP8 KV cache. К сильным сторонам относятся значительное снижение требований к памяти, MoE-архитектура с малым числом активных параметров и поддержка длинного контекста. На MMLU-Pro квантованная версия показала точность 51,27% против 52,90% у BF16, то есть снижение составило 1,63 процентного пункта. Для работы требуется vLLM с поддержкой NVFP4, версия 0.16.0 или новее, и Transformers 5.0.0 или новее; для многографических систем на Blackwell могут потребоваться специальные исправления vLLM. Модель распространяется по лицензии Apache 2.0, как и базовая модель.

Карточка модели roskosmos19/Rhea-4B-Coding на Hugging Face совпадает с карточкой roskosmos19/Orca-2-4B-Coding-max, поэтому описание составлено по ней. Rhea-4B-Coding — дообученная Roskosmos19 модель для программирования на базе Aquiles-ai/Athenea-4B-Coding. Это плотная авторегрессионная модель семейства Qwen3 с 3,7 млрд параметров; она работает через Transformers, принимает текст и генерирует текст. В карточке заявлено контекстное окно до 262 144 токенов. Модель предназначена для рассуждений о коде, его написания и дополнения, отладки, проектирования алгоритмов и понимания программ. Она обучена на программных данных с трассами рассуждений и ориентирована на многошаговый цикл: первоначальная реализация, самопроверка на ошибки и улучшение итогового решения. Также заявлена поддержка сценариев с агентными инструментами. Модель рассчитана на задачи разработки с несколькими языками программирования; метаданные указывают английский язык. Карточка описывает её как uncensored и предназначенную для исследований и экспериментов. Лицензия — Apache-2.0. Качество рассуждений и работы с инструментами зависит от запроса и настроек инференса; отдельные результаты оценки в карточке не приведены.

Карточка модели roskosmos19/Rhea-4B-Coding-max на Hugging Face совпадает с карточкой roskosmos19/Orca-2-4B-Coding-max, поэтому описание составлено по ней. Rhea-4B-Coding — дообученная Roskosmos19 модель для программирования на базе Aquiles-ai/Athenea-4B-Coding. Это плотная авторегрессионная модель семейства Qwen3 с 3,7 млрд параметров; она работает через Transformers, принимает текст и генерирует текст. В карточке заявлено контекстное окно до 262 144 токенов. Модель предназначена для рассуждений о коде, его написания и дополнения, отладки, проектирования алгоритмов и понимания программ. Она обучена на программных данных с трассами рассуждений и ориентирована на многошаговый цикл: первоначальная реализация, самопроверка на ошибки и улучшение итогового решения. Также заявлена поддержка сценариев с агентными инструментами. Модель рассчитана на задачи разработки с несколькими языками программирования; метаданные указывают английский язык. Карточка описывает её как uncensored и предназначенную для исследований и экспериментов. Лицензия — Apache-2.0. Качество рассуждений и работы с инструментами зависит от запроса и настроек инференса; отдельные результаты оценки в карточке не приведены.

starcoder2-15b-instruct-v0.1-GGUF — это квантизированная в формате GGUF версия StarCoder2-15B-Instruct, разработанной командой BigCode и опубликованной в вариантах квантования пользователем bartowski. Модель предназначена для генерации кода и работы в формате инструкций, включая написание, исправление и анализ программ, предсказание результатов выполнения и решение задач программирования. Модель основана на bigcode/starcoder2-15b и содержит около 15 млрд параметров. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3_K и IQ3 объёмом примерно от 7 до 17 ГБ, что позволяет выбирать между качеством и требованиями к памяти. README не указывает поддерживаемые языки программирования и размер контекста. Модель использует специальный формат инструкций и не поддерживает системный промпт. Сильными сторонами являются специализация на задачах программирования и несколько вариантов квантования для локального запуска с разным балансом качества и потребления памяти. В бенчмарках указаны результаты HumanEval pass@1 72,6%, MBPP 75,2% и другие показатели LiveCodeBench и DS-1000, однако фактическое качество зависит от выбранного уровня квантования и сценария использования. Модель предназначена для текстовой генерации и не заявлена как мультимодальная. Лицензия — BigCode OpenRAIL-M.

Карточка модели falloutxvats/Aero-Qwen2.5-Coder-32B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-32B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-32B-Instruct — инструктивно дообученная языковая модель для кода из семейства Qwen2.5-Coder, разработанного командой Qwen. Она предназначена для генерации, анализа и исправления кода, а также для создания кодовых агентов; сохраняет способности к математике и общим задачам. Модель может применяться в диалоговых сценариях и интерфейсах вызова инструментов. Это плотная причинная трансформерная модель Qwen2 с 32 млрд параметров по метаданным (в README указано 32,5 млрд), доступная в формате safetensors и рассчитанная на работу через Transformers. README описывает RoPE, SwiGLU, RMSNorm и GQA. Метаданные указывают контекст 32 768 токенов; README сообщает о поддержке до 131 072 токенов с настройкой YaRN для длинных входов. Карточка относит модель к английскому языку; модель специализируется на программировании. Лицензия Apache-2.0 допускает широкое использование с соблюдением её условий. При обработке контекстов длиннее 32 768 токенов требуется настройка YaRN; статический YaRN в vLLM может снижать качество на коротких текстах. Заявления README о сравнительной производительности являются оценкой авторов.

CodeLlama 13B GGUF — это квантизированная версия языковой модели CodeLlama 13B, разработанной Meta и преобразованной в формат GGUF пользователем TheBloke. Модель предназначена для генерации текста и программного кода, а также для локального запуска через llama.cpp и совместимые интерфейсы и библиотеки. Модель построена на архитектуре Llama и содержит около 13 миллиардов параметров. Она ориентирована на работу с кодом; в README язык указан как code. Доступны варианты GGUFv2 с квантованием от 2 до 8 бит, что позволяет выбирать компромисс между размером модели, требованиями к памяти, скоростью и качеством. Формат поддерживает метаданные, специальные токены и улучшенную токенизацию. Длина контекста и перечень поддерживаемых естественных языков в предоставленных данных не указаны. К сильным сторонам относятся возможность запуска на CPU и GPU, широкий выбор уровней квантования и совместимость с llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другими инструментами. Ограничения включают потенциальное снижение качества у более агрессивно квантизированных вариантов, а также отсутствие в README подробных результатов оценки, сведений о контекстном окне и мультимодальных возможностях. Модель распространяется по лицензии Llama 2; условия лицензии следует учитывать при использовании.

CodeLlama 70B GGUF — квантизированная версия большой языковой модели CodeLlama 70B, разработанной Code Llama. Репозиторий TheBloke содержит файлы модели в формате GGUF, подготовленные TheBloke с использованием оборудования Massed Compute. Модель предназначена прежде всего для генерации и обработки программного кода, а также для сценариев текстовой генерации на основе входного запроса. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать между сниженным потреблением памяти и сохранением качества. Модель относится к архитектуре Llama; в README указано 70B параметров, язык обозначен как code. Формат GGUF совместим с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Мультимодальность и размер контекста в предоставленных данных не указаны. Сильные стороны модели — большой размер, специализация исходной Code Llama на задачах программирования и возможность локального запуска на CPU и GPU с различными уровнями квантизации. Ограничениями являются высокая вычислительная и ресурсная требовательность 70B-версии, возможная потеря качества при сильной квантизации и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии Llama 2.

FlashModel-Qwen3.5-9B-GGUF — набор GGUF-квантизаций модели FlashModel-Qwen3.5-9B, подготовленный flashback2k на базе Qwen/Qwen3.5-9B. Исходная модель дообучена методом LoRA с RSLoRA на проекциях внимания и MLP, затем объединена с базовой моделью. Дообучение выполнено на 9 638 примерах и примерно 45 млн токенов, включая математические задачи, соревновательное программирование, агентные сценарии, следование инструкциям и научные данные. Модель ориентирована на рассуждения, генерацию и анализ кода, диалоги и вызовы инструментов. В карточке указан английский язык; поддержка других языков не заявлена. Модель имеет около 9 млрд параметров и распространяется в нескольких вариантах GGUF с разным уровнем квантизации и размером файлов примерно от 4,42 до 6,74 ГБ. Для квантизации использована собственная importance matrix, рассчитанная на этой дообученной модели. Варианты предназначены для локального запуска через llama.cpp, Ollama и LM Studio; заявлена совместимость с инструментальными вызовами и контекстом до 32 768 токенов при использовании рекомендованной конфигурации. Модель текстовая: vision tower отсутствует, поэтому мультимодальный ввод изображений не поддерживается. Сильными сторонами являются специализация на reasoning, coding и tool-calling, выбор вариантов под разные объёмы VRAM или RAM, а также оптимизация GGUF для локального запуска. Ограничения включают неизбежную потерю качества при низкой квантизации, необходимость оставлять память под KV-кэш, отсутствие заявленной поддержки изображений и ограниченность опубликованных сведений об оценках качества. Рекомендуемые параметры генерации взяты из карточки базовой модели и не перенастраивались специально для этого fine-tune; влияние тегов reasoning budget отмечено как экспериментальное. Модель распространяется по лицензии Apache-2.0.

cyankiwi/Laguna-S-2.1-AWQ-INT4 — квантизированная версия Laguna S 2.1 от poolside, подготовленная cyankiwi в формате AWQ INT4. Это текстовая модель text-to-text для агентного программирования, работы с инструментами и долгих многошаговых задач. Модель поддерживает интерleaved reasoning между вызовами инструментов и рассчитана на использование в vLLM, SGLang, Transformers, TRT-LLM и llama.cpp. Базовая модель содержит 118 млрд параметров, из которых около 8 млрд активируются на каждом токене, и использует Mixture-of-Experts с 256 маршрутизируемыми экспертами и одним общим экспертом. Архитектура включает 48 слоёв, grouped-query attention, 12 слоёв глобального внимания и 36 слоёв sliding-window attention с окном 512 токенов. Контекстное окно составляет 1 048 576 токенов, словарь — 100 352 токена. Поддерживаются английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки; модальность — текстовая. Ключевые преимущества — большое контекстное окно, эффективная MoE-архитектура, поддержка рассуждений и сценариев с инструментами, а также снижение требований к хранению и инференсу благодаря INT4-квантизации; размер файла указан как 76,83 ГБ. Ограничения включают высокие требования к вычислительным ресурсам даже в квантизированном виде и возможные потери качества из-за квантизации по сравнению с исходной точностью. Модель распространяется по лицензии OpenMDW-1.1, допускающей свободное использование и изменение для коммерческих и некоммерческих целей.

Llama-3-8B-Instruct-Coder-v2-GGUF — набор GGUF-квантизаций модели Llama-3-8B-Instruct-Coder-v2. Базовая модель указана как NousResearch/Meta-Llama-3-8B-Instruct, оригинальная модель разработана rombodawg, а квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель относится к текстовым генеративным моделям и ориентирована на работу с инструкциями и задачами программирования, включая генерацию и обработку кода. Заявленный язык — английский. Доступны варианты с разными уровнями квантизации: от Q8_0 размером 8,54 ГБ до IQ2_XXS размером 2,39 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS отмечены как рекомендуемые; более компактные варианты требуют меньше оперативной памяти, но могут заметно уступать по качеству. Файлы предназначены для запуска через llama.cpp и используют специальный шаблон запросов Llama 3. В README не указаны точный размер контекстного окна, архитектурные детали сверх принадлежности к семейству Llama 3, результаты тестирования и поддержка других языков. Лицензия — Apache-2.0.

MOMENT-1-Large — крупная модель семейства MOMENT, разработанная Auton Lab при Университете Карнеги — Меллона для универсального анализа временных рядов. Она предназначена для прогнозирования, классификации, обнаружения аномалий, восстановления пропусков и получения представлений временных рядов; может применяться без дообучения или с небольшим числом примеров, а также настраиваться на специализированных данных. Модель относится к семейству foundation-моделей для временных рядов. В README указаны варианты Small, Base и Large, но точное число параметров и длина контекста для этого репозитория не приведены. Веса доступны в форматах PyTorch и safetensors. Лицензия — MIT.

Qwen2.5-Coder-14B-GGUF — набор GGUF-квантизаций модели Qwen2.5-Coder-14B, разработанной Qwen и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и работы с исходным кодом, включая локальные сценарии программирования и текстовой генерации. В README указан английский язык, однако подробные сведения о языковом покрытии отсутствуют. Это текстовая autoregressive-модель на 14 млрд параметров, представленная в форматах от F16 до различных вариантов 2–8-битной квантизации. Размер файлов составляет примерно от 6,38 до 29,55 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, а варианты с меньшим размером подходят для систем с ограниченной оперативной памятью; для большинства сценариев автор рекомендует варианты Q4_K_M, Q5 и Q6. Поддерживается запуск через llama.cpp и LM Studio. Формат prompt использует шаблон с маркерами ролей system, user и assistant. К сильным сторонам относятся специализация на коде, широкий выбор квантизаций и возможность локального запуска. Ограничения связаны с компромиссом между размером и качеством: низкоразрядные варианты дают более низкое качество, а некоторые ARM-оптимизированные файлы требуют поддержки sve или i8mm и не рекомендуются для Mac и Windows. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen2.5-Coder-32B-Instruct — инструктивная 32-миллиардная языковая модель для программирования из семейства Qwen2.5-Coder, опубликованная Unsloth как дообученная версия Qwen/Qwen2.5-Coder-32B-Instruct. Это плотная авторегрессионная модель архитектуры Qwen2, рассчитанная на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 32 768 токенов. Модель предназначена для генерации, анализа и исправления кода, рассуждений о программном коде и создания кодовых агентов. Она также сохраняет возможности в математике и общих задачах. В метаданных указан английский язык; README описывает серию как ориентированную на код, но не приводит перечень поддерживаемых языков программирования. Репозиторий использует формат safetensors и библиотеку Transformers. Лицензия — Apache 2.0. README содержит противоречащие идентификатору модели сведения о модели 0,5B и её архитектурных характеристиках, поэтому эти детали здесь не приписываются версии 32B; оценка сходства с GPT-4o приведена в README как заявление авторов без описания результатов оценки.

RedHatAI/Qwen2.5-Coder-32B-Instruct-FP8-dynamic — это вариант instruction-tuned языковой модели Qwen2.5-Coder-32B-Instruct, опубликованный Red Hat AI и представленный в формате FP8 dynamic quantization. Базовую модель разработала команда Qwen компании Alibaba Cloud. Это каузальная текстовая модель, ориентированная прежде всего на генерацию, понимание, исправление и рассуждение по программному коду, а также на использование в кодовых ассистентах и code-agent сценариях. Исходная модель содержит около 32,5 млрд параметров, построена на архитектуре Qwen2 с 64 слоями и Grouped-Query Attention: 40 голов для запросов и 8 для ключей и значений. Заявлена поддержка контекста до 131 072 токенов; базовая конфигурация рассчитана на 32 768 токенов, а для более длинных входов применяется YaRN. Модель работает с текстом на входе и выходе. Qwen2.5-Coder обучалась на корпусе свыше 5,5 трлн токенов и демонстрирует возможности работы более чем с 40 языками программирования, включая генерацию, завершение, рефакторинг и исправление кода. Вариант FP8 dynamic квантует веса и активации линейных операторов трансформера с 16 до 8 бит, что примерно вдвое снижает требования к памяти и размер файлов и может повысить пропускную способность матричных вычислений. Компромиссом является использование квантизированной версии вместо исходной точности; конкретные результаты потери качества для этого репозитория в найденной карточке не приведены. Для исходной Qwen2.5-Coder-32B-Instruct указана лицензия Apache 2.0, однако на странице точного репозитория RedHatAI отдельная лицензия и полноценная карточка модели не указаны.

Qwen2.5-Coder-7B-Instruct-GGUF — квантизированная GGUF-версия языковой модели Qwen2.5-Coder-7B-Instruct, разработанной Qwen и подготовленной компанией Second State Inc. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, объяснения и редактирования кода, а также других сценариев, где требуется ассистент для разработки. Указанный язык — английский. Модель содержит 7 миллиардов параметров и использует шаблон запросов ChatML. Для запуска через LlamaEdge заявлен контекст до 128 000 токенов и поддержка LlamaEdge версии 0.14.3. Доступны варианты квантизации от Q2_K до Q8_0, а также f16, с размером файлов примерно от 3,02 до 15,2 ГБ. Вариант Q4_K_M рекомендован как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Основные преимущества — специализация на программном коде, инструктивный режим, большой заявленный контекст и возможность локального запуска в разных вариантах квантизации. Более агрессивная квантизация уменьшает требования к памяти, но приводит к заметной потере качества; точные сведения о производительности и поддерживаемых языках программирования в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-OBLITERATED — языковая модель для генерации текста на базе Qwen/Qwen3.8-27B, разработанная сообществом OBLITERATUS. Модель модифицирована методом abliteration: из весового пространства удалены направления, связанные с отказами и защитными отступлениями. Она предназначена для локального текстового и кодового взаимодействия, исследовательских задач, red-team-тестирования, агентных сценариев и генерации ответов без типичных отказов на ограниченные запросы. Модель относится к семейству Qwen3, имеет размер 27B параметров и поддерживает текстовую генерацию. Заявлены режимы с рассуждением и без него, а также совместимость с форматами GGUF, Safetensors и MLX. Для версии V3 указана оценка MMLU 82,3% против 84,5% у исходной модели; по данным автора, она сохраняет близкие к базовой модели возможности, но теряет около 2,1 процентного пункта качества. Для стабильной работы рекомендуются температура 0, repetition_penalty 1,15 и не менее 2048 новых токенов; системный промпт лучше не задавать. Сильная сторона модели — снижение числа жёстких отказов и безопасностных отступлений при сохранении высокой способности к генерации кода и работе в агентных сценариях. Ограничения включают некоторое снижение качества относительно исходной Qwen3.8-27B, склонность к зацикливанию без repetition_penalty и возможное увеличение длины ответов в режиме рассуждения. Длина контекста и перечень поддерживаемых языков в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-Next-AWQ — квантизированная версия модели Qwen3-Coder-Next, разработанная Qwen и подготовленная пользователем qtum. Модель предназначена прежде всего для генерации и обработки программного кода, а также для текстовой генерации на английском и китайском языках. Она подходит для локального и серверного развертывания с использованием vLLM или SGLang. В основе лежит разреженная MoE-архитектура qwen3_next: 80 млрд параметров всего, около 3 млрд активных параметров, 48 слоёв, 512 экспертов и маршрутизация top-10. Контекстное окно составляет 256K токенов. Используется AWQ-квантизация W4A16 с размером группы 128 в формате compressed-tensors и safetensors. Основная часть весов хранится в 4-битном формате, а маршрутизаторы MoE и lm_head сохранены в bf16 для снижения потери качества. Размер модели составляет около 40 GiB, что позволяет размещать её на одной видеокарте объёмом 48 ГБ; для 24 ГБ может потребоваться распределение, выгрузка или параллелизм. Главное преимущество модели — существенное уменьшение требований к дисковому пространству и памяти по сравнению с bf16- и FP8-версиями при сохранении исходной архитектуры и маршрутизации. Ограничение — заметное ухудшение показателя perplexity относительно bf16: 12,53 против 7,74 на указанном тесте wikitext-2-raw. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели; поведение и лицензионные обязательства определяются базовой моделью Qwen3-Coder-Next.

AgentionAI Signal 3.8 Flash Next — это дообученная версия Qwen3.8-Flash-Next в формате GGUF, настроенная на более короткие ответы и эффективное рассуждение. В основе — мультимодальная разреженная MoE-модель на 177 млрд параметров с поддержкой изображений и диалога; сохранены vision encoder и голова multi-token prediction базовой модели. Репозиторий содержит варианты F16, IQ4, Q4_K и Q8. Модель предназначена для диалога, анализа изображений, решения математических задач и агентного программирования. По данным разработчика, на MATH-500 она использовала меньше токенов рассуждения и показала более высокий результат, а на Terminal-Bench 2.0 быстрее выполняла задачи программного агента. Самостоятельное тестирование разработчика ограничено небольшими выборками и единичными запусками на Terminal-Bench; на задачах, требующих длительного перебора вариантов, модель может исчерпать бюджет рассуждений раньше базовой. Модель обучена методом самодистилляции на ответах самой Qwen3.8-Flash-Next, настроенных на прямой стиль. Для запуска автор рекомендует llama.cpp и приводит контекст 65 536 токенов. Лицензия указана как other, поэтому перед использованием следует проверить условия в карточке модели.

Aurora-Code-1 — языковая модель для программирования, разработанная канадской компанией Perciqa на базе Qwen3.6-35B-A3B. Это дообученная методом LoRA SFT модель архитектуры Transformer с механизмом Mixture-of-Experts: в README указано 35 млрд параметров всего и 3 млрд активируемых на токен; метаданные каталога указывают 2,9 млрд параметров. Модель предназначена для генерации и анализа кода, отладки, ревью и многошаговой работы агентных систем с кодовыми базами. Обучение проводилось на 2 700 инструкционных примерах для задач программирования. README заявляет поддержку более 40 языков программирования и перечисляет Python, TypeScript, Go и Rust. Модель принимает текстовые запросы и выдаёт текст, включая код. Контекстное окно — 262 144 токена. Её можно развернуть на собственной инфраструктуре; указана совместимость с Transformers, vLLM и Ollama. Лицензия — Apache-2.0. Независимые оценки на LiveCodeBench, SWE-bench Verified, HumanEval+ и MBPP+ на момент карточки ещё не опубликованы, поэтому качество на этих тестах не подтверждено. Для запуска README ориентирует примерно на 60–65 ГБ VRAM, например одну карту A100/H100 на 80 ГБ или две карты по 48 ГБ; также упоминается CPU offload.

DeepSeek Coder 7B Instruct v1.5 GGUF — это набор GGUF-квантованных версий модели DeepSeek Coder 7B Instruct v1.5, разработанной DeepSeek и преобразованной для локального запуска в репозитории Edmon02. Модель предназначена прежде всего для генерации и редактирования кода, работы локальных ассистентов в IDE и CLI, автономных агентов и офлайн-разработки без API-ключей. Для запуска подходят llama.cpp, LM Studio, KoboldCPP, llamafile и другие GGUF-совместимые среды. Модель относится к семейству архитектур LLaMA, имеет размер 7B параметров и поддерживает контекст до 4096 токенов. Это текстовая instruct-модель с шаблоном общения через секции «### Instruction» и «### Response». В репозитории представлены 14 вариантов квантования IQ и K, включая Q2_K, Q4_K_M, Q6_K и Q8_0, с размером примерно от 2,5 до 7,35 ГБ. Q4_K_M позиционируется как оптимальный баланс качества и размера, а Q8_0 — как вариант с наивысшим качеством среди доступных. Сильными сторонами являются возможность автономного запуска, широкий выбор квантований под разные объёмы VRAM и специализация на задачах программирования. Ограничения включают контекст 4096 токенов, возможное снижение точности синтаксиса у низкобитных квантований на длинном коде, небольшие различия между версиями квантования и отсутствие гарантированного соответствия облачным API DeepSeek. Модель не предназначена для тонкой настройки непосредственно в формате GGUF и может отказываться от запросов, не связанных с кодом. Лицензия указана как other с названием deepseek; подробные условия приведены в лицензии DeepSeek.

DeepSeek V4 Flash 0731 for one DGX Spark — это квантованная сборка модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek и упакованная пользователем 0xSero. Модель предназначена для генерации текста и программного кода, структурированного вывода и работы через OpenAI-совместимый API. В README указана архитектура mixture-of-experts; сборка использует REAP pruning, формат EXL3/Trellis и точность около 3,0 bpw. Модель рассчитана на развёртывание на одном NVIDIA DGX Spark с GPU GB10/SM121 и 128 ГБ унифицированной памяти. Заявленный предел контекста составляет 262 144 токена. Для запуска требуется специализированный ARM64-совместимый runtime SparkInfer и опубликованный Docker-образ; стандартные vLLM, ExLlamaV3 и простой запуск с tensor parallelism 1 не поддерживаются для этого rank-sliced артефакта. Поставляемый runtime выполняет преобразование TP4-чекпойнта в TP1 и поддерживает CUDA Graphs и speculative decoding. К сильным сторонам относятся возможность локального запуска крупной MoE-модели на одном DGX Spark, проверенная генерация текста и кода, поддержка строгих JSON-схем и длинного контекста. Ограничения — жёсткая зависимость от конкретного оборудования и закреплённого runtime, значительный объём загрузки и дискового пространства, а также не полностью достигнутый целевой порог стабильной скорости декодирования: в одном из пяти измерений получено 34,30 токена в секунду. Лицензия модели указана как MIT.

dolphincoder-starcoder2-15b-GGUF — квантизированная версия модели dolphincoder-starcoder2-15b, разработанной cognitivecomputations и опубликованной в формате GGUF пользователем bartowski. Модель основана на StarCoder2 с размером около 15 млрд параметров и предназначена для генерации текста и программного кода. Модель ориентирована на задачи программирования, включая написание, дополнение и обработку кода, а также работу с инструкциями в сценариях code assistant. Для обучения использовались наборы данных Dolphin, Airoboros, Dolphin Coder, OpenHermes, Magicoder, Code-Feedback и их производные. В карточке указан английский язык; модальности ограничены текстом. Размер контекста и точные архитектурные характеристики не указаны. Преимущество этой версии — возможность локального запуска через llama.cpp с различными уровнями квантизации. Вариант Q6_K отмечен как рекомендуемый благодаря высокому качеству, тогда как менее битные варианты требуют меньше памяти, но дают более заметное снижение качества; Q2_K и Q3_K_S не рекомендуются. К ограничениям относятся зависимость качества и требований к памяти от выбранной квантизации, а также отсутствие данных о производительности и поддерживаемых языках программирования. Лицензия модели — bigcode-openrail-m.

Gemma 4 E4B Agentic Sol-Fable Reasoning GeminiCLI GGUF — дообученная версия Gemma 4, разработанная RavenX AI Labs. Модель предназначена для локального текстового общения, программирования, отладки, агентских сценариев, вызова инструментов и функционального вызова. В README она также позиционируется для работы с OpenHarness, OpenClaw и Hermes Agent. Модель поставляется в формате GGUF и доступна в вариантах Q4_K_M размером 5,07 ГБ и F16 размером 15,0 ГБ. Вариант Q4_K_M рекомендован как компромисс между качеством и размером, F16 ориентирован на максимальное качество. Обучение выполнено на 22 389 примерах, включающих трассы программирования и отладки, использования инструментов и рассуждений; заявлены встроенные reasoning-трейсы с блоками <think>. Основной язык — английский. Точная длина контекста в README не указана. Сильными сторонами модели заявлены генерация производственного кода, отладка, структурированное рассуждение, агентское программирование и корректное поведение в отдельных задачах безопасности. По приведённому локальному тестированию на Apple Silicon пять из шести задач были оценены как имеющие производственное качество, а в одной модель корректно отказалась от несанкционированной эксплуатации. Ограничения включают отсутствие данных о полноценной независимой оценке, неизвестный максимальный контекст и возможное усечение длинных ответов: в одном тесте модель достигла лимита токенов. Для использования доступны Ollama, llama.cpp и LM Studio; GGUF не требует подключения адаптера. Лицензия указана как Gemma, с отдельной ссылкой на условия лицензии Google.