II.11Кибербезопасность и приватность

Replete-Coder-Llama3-8B — модель общего назначения с дообучением на программировании, созданная Rombodawg на архитектуре Llama 3. Она содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов; модель принимает текстовые инструкции и генерирует текст, включая код. По описанию разработчика, 75% обучающих данных составляли инструкции по программированию, а 25% — инструкции общего назначения; обучение охватывало более 100 языков программирования и включало задачи перевода кода, математики, работы с уязвимостями и вызова функций. Модель предназначена для написания и преобразования кода, помощи в программировании, а также ответов на общие запросы. В метаданных указаны архитектура LlamaForCausalLM, формат safetensors и поддержка диалогового режима. README характеризует обучающие данные как нецензурированные, но не приводит отдельную оценку безопасности или качества. Разработчик не гарантирует производительность при запросах длиннее 8192 токенов. Лицензия в метаданных обозначена как other, без уточнения её условий.

CodeLlama 34B Python — языковая модель для генерации и решения задач программирования, разработанная Meta на базе CodeLlama 34B Python. Версия из этого репозитория преобразована TheBloke в формат GGUF и предназначена для локального запуска через llama.cpp и совместимые приложения и библиотеки. Модель имеет архитектуру LLaMA и размер 34 миллиарда параметров. Она ориентирована на работу с программным кодом и использует текстовый ввод и вывод; заявленный язык — code, без указания поддержки конкретных естественных языков. Модель подходит для написания кода по описанию задачи, соблюдения заданных ограничений и проверки решения на примерах. README не указывает размер контекстного окна и точные характеристики обучения. Ключевое преимущество версии — доступность нескольких вариантов квантования GGUF, включая 2-, 3-, 4-, 5-, 6- и 8-битные варианты, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Ограничения связаны с потерями качества при использовании более агрессивного квантования, высокой вычислительной нагрузкой 34-миллиардной модели и специализацией преимущественно на коде. Репозиторий распространяется по лицензии Llama 2.

Granite-8B-Code-Base-128K — базовая языковая модель для программирования, разработанная IBM Research. Это плотная авторегрессионная модель семейства Llama с 8,1 млрд параметров и контекстом до 128 000 токенов. Её получили продолжением предобучения Granite-8B-Code-Base на данных кода с упаковкой файлов на уровне репозиториев и увеличением доли длинных примеров; обучение для расширения контекста включало 4 млрд токенов. Модель поддерживает код на множестве языков программирования. Модель предназначена для генерации и объяснения кода, исправления ошибок, написания модульных тестов и документации, анализа технического долга, поиска уязвимостей и перевода кода, в том числе с учётом длинного контекста репозитория. Разработчик не рекомендует её для новых проектов и предоставляет для исторического и научного использования; для новых приложений предлагается актуальное семейство Granite. Лицензия — Apache 2.0. Модель не проходила выравнивание безопасности, может выдавать проблемный или неверный код и способна дословно воспроизводить фрагменты из обучающих данных. Сгенерированный код необходимо проверять, особенно при принятии важных решений.

Rhea-4B-Coding — дообученная Roskosmos19 модель для программирования на базе Aquiles-ai/Athenea-4B-Coding. Это плотная авторегрессионная модель семейства Qwen3 с 3,7 млрд параметров; она работает через Transformers, принимает текст и генерирует текст. В карточке заявлено контекстное окно до 262 144 токенов. Модель предназначена для рассуждений о коде, его написания и дополнения, отладки, проектирования алгоритмов и понимания программ. Она обучена на программных данных с трассами рассуждений и ориентирована на многошаговый цикл: первоначальная реализация, самопроверка на ошибки и улучшение итогового решения. Также заявлена поддержка сценариев с агентными инструментами. Модель рассчитана на задачи разработки с несколькими языками программирования; метаданные указывают английский язык. Карточка описывает её как uncensored и предназначенную для исследований и экспериментов. Лицензия — Apache-2.0. Качество рассуждений и работы с инструментами зависит от запроса и настроек инференса; отдельные результаты оценки в карточке не приведены.

Qwen2.5.1-Coder-7B-Instruct-GGUF — это квантизированная версия инструкционной модели Qwen2.5-Coder-7B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с программным кодом: она подходит для написания, объяснения и исправления кода, а также для диалоговых сценариев с использованием системных и пользовательских инструкций. В README заявлена поддержка английского языка. Модель имеет размер 7 миллиардов параметров. Доступны варианты от F16 до различных уровней квантизации Q8_0, Q6, Q5, Q4, Q3 и IQ, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Квантизации выполнены с помощью llama.cpp и imatrix; отдельные варианты оптимизированы для ARM-процессоров. Более компактные версии удобны для локального запуска, в том числе через LM Studio, однако снижение разрядности может уменьшать качество генерации. Длина контекста, полный список поддерживаемых языков и результаты бенчмарков в README не указаны. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-Flash-Next-Uncensored-NVFP4-FP8PLE — квантованная vision-language модель, опубликованная lychee888 на основе orcarouter/Qwen3.8-Flash-Next-Uncensored-NVFP4, который, в свою очередь, создан на базе Qwen/Qwen3.8-Flash-Next. Модель предназначена для обработки текста и изображений, рассуждений, function calling, тестирования безопасности и red-teaming. Вариант описан как abliterated и uncensored, то есть с изменениями, направленными на снижение встроенных ограничений поведения. Архитектура относится к семейству Qwen3.8-Flash-Next и использует 48 слоёв: 36 слоёв Gated-DeltaNet и 12 слоёв full attention с интервалом full_attention_interval 4. В конфигурации указаны 512 экспертов и MTP. Эксперты квантованы в NVFP4, attention-компоненты используют FP8, а таблица PLE n-gram embeddings дополнительно переведена из BF16 в FP8 e4m3 с единой глобальной шкалой. Благодаря этому размер контрольной точки уменьшен примерно со 170,93 до 123,25 GiB. Для запуска ориентирована на vLLM и рецепт развёртывания на двух NVIDIA DGX Spark; точные поддерживаемые языки и размер контекстного окна в предоставленных данных не указаны. К сильным сторонам относятся существенно меньший размер по сравнению с исходной сборкой, совместимость по структуре PLE с определёнными NVFP4-сборками Qwen3.8-Flash-Next и сохранение остальных файлов модели без изменений относительно исходной версии orcarouter. Ограничения включают необходимость совместимой инфраструктуры и vLLM, а также то, что PLE-веса нельзя смешивать с аналогичной сборкой RadixArk: формат совместим, но сами значения отличаются. Модель распространяется по лицензии Apache-2.0.

rombodawg/rombos_Llama3-8B-Instruct-Replete-Adapted — экспериментальная чат-модель на архитектуре Llama 3, созданная Rombodawg. В README сказано, что к Meta-Llama-3-8B-Instruct применён адаптер Replete-AI/Replete-Coder-Llama3-8B; метаданные указывают 7,5 млрд параметров, формат PyTorch и контекст 8192 токена. Для модели заявлены генерация и объяснение кода, перевод между языками программирования, помощь с математикой, вопросы безопасности кода, вызов функций и общие диалоговые задачи. README описывает исходный обучающий набор как примерно на 75% состоящий из инструкций по программированию и на 25% — из общих инструкций; в метаданных перечислены соответствующие датасеты для кода, математики и диалогов. Модель предназначена для диалогового использования и генерации текста, включая код. Карточка характеризует её как эксперимент и не приводит сравнительных оценок качества. Указанный контекст — 8192 токена; автор предупреждает, что качество за его пределами не гарантируется. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования следует проверять в репозитории модели.

CodeLlama 13B Python — языковая модель Meta, специализированная на генерации программного кода, представленная в формате GGUF и квантованная TheBloke. В основе лежит архитектура Llama с 13 миллиардами параметров; исходная версия доступна как CodeLlama 13B Python в формате Hugging Face. Модель предназначена для решения задач программирования по текстовому описанию: генерации кода с учётом ограничений, прохождения примеров тестов и помощи в разработке. В README приведён шаблон запроса для таких задач. Модель работает с текстом и кодом, однако конкретный набор естественных языков, максимальный размер контекста и другие параметры не указаны. Формат GGUF поддерживает метаданные и специальные токены и совместим с llama.cpp, а также рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантования от 2 до 8 бит для инференса на CPU и GPU; конкретные характеристики качества, скорости и требований к памяти зависят от выбранного варианта. Квантование может сопровождаться компромиссом между эффективностью и точностью, а README не содержит подробной оценки ограничений модели. Лицензия указана как llama2.

CodeLlama 7B Python GGUF — это квантизированная версия языковой модели CodeLlama 7B Python, разработанной Meta и преобразованной в формат GGUF пользователем TheBloke. Модель предназначена прежде всего для генерации кода, решения задач программирования и работы с запросами, требующими написания Python-кода. Это текстовая модель архитектуры Llama с 7 миллиардами параметров; заявленный язык — code, а поддерживаемые модальности ограничены текстом и кодом. Размер контекста в представленных данных не указан. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другие. Доступны варианты квантизации с разной разрядностью, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти при CPU- и GPU-инференсе. Ограничения включают возможное снижение качества из-за квантизации, отсутствие в README данных о результатах тестирования и точных требованиях к ресурсам. Модель распространяется по лицензии Llama 2.

DeepSeek-Coder-V2-Lite-Instruct — языковая модель для генерации текста и программного кода, разработанная компанией DeepSeek и представленная в GGUF-квантизации сообществом LM Studio. Квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для выполнения инструкций по программированию, завершения кода, решения задач в области информатики и математического рассуждения. Модель использует архитектуру Mixture of Experts (MoE): общий объём составляет 16 млрд параметров, из которых при обработке активируются 2,4 млрд. Она дообучалась на 6 трлн высококачественных токенов с кодом и поддерживает контекст длиной до 128k токенов. В README языки явно не перечислены; указано, что официальный шаблон иногда приводит к генерации текста на китайском языке. К сильным сторонам относятся специализация на программировании, следовании инструкциям, завершении кода и высокая скорость вывода благодаря разреженной активации параметров. Для работы в LM Studio требуется версия 0.2.25 или новее, а Flash Attention необходимо отключить. Модель распространяется по лицензии DeepSeek License; конкретные условия следует уточнять в файле LICENSE исходного репозитория. README не содержит подробных результатов бенчмарков и не описывает ограничения по безопасности или точности, поэтому сгенерированный код и ответы требуют проверки.

Qwen3.8-27B-OBLITERATED-AWQ-W4A16 — это 4-битная AWQ-квантизованная версия модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, опубликованная пользователем MurtazaNasir. Модель предназначена для генерации текста, программного кода, агентных сценариев и исследований AI safety и red teaming, включая запросы, на которые модели с обычными защитными настройками могут отказываться отвечать. В основе используется гибридная архитектура Qwen3.8-27B с 64 слоями: 48 слоёв линейного внимания gated-DeltaNet и 16 слоёв полноценного внимания, а также vision tower и MTP-head. Квантизация выполнена в формате AWQ W4A16_ASYM с размером группы 128; часть компонентов сохранена в bf16. Размер репозитория около 19,55 ГБ. Для запуска рекомендуется две видеокарты по 24 ГБ с tensor parallel либо одна карта на 24 ГБ при небольшом контексте. Модель поддерживает текстовые и визуальные компоненты исходной архитектуры, но точные языки и максимальный размер контекста в предоставленных данных не указаны. Сильными сторонами заявлены близкая к исходной производительность, отсутствие жёстких отказов, совместимость с режимом thinking и хорошие результаты в генерации кода. Ограничения включают возможное снижение качества относительно базовой модели: в README указано падение MMLU на 2,1 процентного пункта. Для стабильной работы рекомендуются temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов. Стандартный шаблон чата поддерживает вызов инструментов, тогда как исходный шаблон их определения и роль tool игнорирует; также системные промпты могут повторно вызвать отказы. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-Q8_0-GGUF — это версия модели Qwen3-Coder-30B-A3B-Instruct, преобразованная в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo проекта ggml.ai. Модель разработана командой Qwen; данный репозиторий поддерживается ggml-org и предназначен для запуска средствами llama.cpp. Модель относится к классу text-generation и ориентирована на задачи генерации текста и кода в сценариях локального инференса через llama.cpp, включая запуск в командной строке или в режиме сервера. Из доступных данных известно, что используется конфигурация Q8_0 с 30B параметров и архитектурой Mixture of Experts с активной частью 3B параметров, однако сведения о поддерживаемых языках, модальностях и размере контекста в карточке не приведены. Формат GGUF и интеграция с llama.cpp упрощают запуск на совместимом оборудовании, но требования к ресурсам и фактическая производительность зависят от аппаратной конфигурации. Лицензия указана как Apache-2.0. Подробные характеристики, ограничения и рекомендации по применению следует уточнять в карточке исходной модели Qwen/Qwen3-Coder-30B-A3B-Instruct, на которую ссылается README.

CodeLlama 34B Instruct — языковая модель для генерации и объяснения программного кода, разработанная Meta. Представлена в репозитории TheBloke в формате GGUF как квантизированная версия исходной модели codellama/CodeLlama-34b-instruct-hf. Модель предназначена для решения задач программирования по текстовому описанию, создания кода с учетом ограничений и тестовых примеров, а также для локального использования через совместимые приложения и библиотеки. Модель построена на архитектуре Llama и содержит 34 миллиарда параметров. Она работает с текстовой модальностью и ориентирована на код; конкретный набор поддерживаемых языков программирования и размер контекста в README не указаны. Формат GGUF поддерживает метаданные и специальные токены, а доступные варианты используют квантизацию от 2 до 8 бит, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством генерации. Сильными сторонами являются специализация на программировании, возможность запуска на CPU и GPU, а также совместимость с llama.cpp, text-generation-webui, LM Studio, KoboldCpp, llama-cpp-python и другими инструментами. К ограничениям относятся потенциальная потеря качества из-за квантизации, высокие требования к ресурсам для 34-миллиардной модели и отсутствие в предоставленных данных подробных оценок качества, контекстного окна и перечня языков. Указана лицензия llama2; за квантизацию и публикацию GGUF-версии отвечает TheBloke.

bartowski/Qwen2.5-Coder-32B-GGUF — это набор квантизованных версий модели Qwen2.5-Coder-32B, разработанной командой Qwen. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена прежде всего для генерации и обработки программного кода, включая локальный запуск через llama.cpp и LM Studio. Модель содержит около 32 млрд параметров и распространяется в формате GGUF с различными уровнями квантизации от Q8_0 до более компактных вариантов Q2_K_L. Доступны версии размером примерно от 13 до 35 ГБ; варианты Q5 и Q6 обеспечивают очень высокое качество, а Q4_K_M предлагается как сбалансированный вариант для большинства сценариев. README указывает английский язык, текстовую модальность и формат prompt-шаблона для диалоговой генерации, но размер контекста и полный набор поддерживаемых языков не указаны. Сильной стороной является широкий выбор квантизаций, позволяющий подобрать компромисс между качеством, размером файла и требованиями к памяти. Некоторые варианты оптимизированы для ARM-инференса, однако требуют соответствующих аппаратных инструкций; отдельные ARM-варианты не рекомендуются для Mac и Windows. Низкобитные версии экономят память, но обладают более низким качеством, а Q4_0 отмечен как устаревший формат. Модель распространяется по лицензии Apache-2.0.

ThomasBaruzier/Qwen2.5-Coder-32B-Instruct-GGUF — это набор GGUF-квантизованных вариантов Qwen2.5-Coder-32B-Instruct, базовой модели семейства Qwen, разработанной командой Qwen. Квантизация выполнена с использованием llama.cpp и метода imatrix с калибровочным файлом Bartowski. Модель предназначена для генерации и обработки текста, прежде всего для задач программирования и диалогового взаимодействия с кодом. Доступны варианты квантизации от IQ1_S до Q5_K_M, размером примерно от 6,9 до 21,6 ГБ. README приводит показатели perplexity, размера и точности для отдельных вариантов: более крупные квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. Поддерживается текстовый ввод и вывод; заявлен язык en. Архитектура, размер контекста и полный перечень языков в карточке не указаны. Сильная сторона набора — широкий выбор компромиссов между размером файла, требованиями к ресурсам и качеством, а также совместимость с экосистемой llama.cpp благодаря формату GGUF. Ограничения связаны с потерями качества, характерными для квантизации, и значительными требованиями к памяти у 32B-модели; конкретные характеристики зависят от выбранного варианта. Модель распространяется по лицензии Apache-2.0.

CISCai/Qwen2.5-Coder-32B-Instruct-SOTA-GGUF — это квантизированная версия Qwen2.5-Coder-32B-Instruct, разработанной командой Qwen. Модель предназначена для генерации текста и кода в диалоговом формате, включая написание, дополнение и исправление программ. Она поддерживает сценарий Fill-in-the-Middle и использует шаблон запросов ChatML. Модель основана на архитектуре Qwen2 и содержит 32 млрд параметров. Поставляется в формате GGUFv3 с вариантами квантизации от 1 до 4 бит, включая IQ1_S, IQ1_M, IQ2, IQ3 и IQ4 с importance matrix. Размер файлов составляет примерно от 6,8 ГБ, а требуемый объём оперативной памяти — от 7,8 ГБ, в зависимости от варианта. Базовая длина контекста составляет 32 768 токенов; для отдельных файлов доступны варианты с YaRN и контекстом до 131 072 токенов. Основные преимущества — возможность локального запуска через llama.cpp и совместимые интерфейсы, а также снижение требований к памяти благодаря квантизации. При этом наиболее компактные варианты сопровождаются существенной или высокой потерей качества, поэтому выбор файла требует компромисса между размером и точностью. В README язык указан как английский; сведения о поддержке других языков отсутствуют. Файлы совместимы с llama.cpp начиная с версии от 27 февраля 2024 года. Модель распространяется по лицензии Apache-2.0.

AEON-7 Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 — дообученная версия мультимодальной модели Qwen3.6-27B с архитектурой Qwen3_5ForConditionalGeneration и 27 млрд параметров. Разработчик применил abliteration: удалил направление отказа, чтобы модель реже отказывалась и продолжала рассуждение на темах, ограничиваемых обычным выравниванием. Карточка также сообщает о восстановлении исходной MTP-головы для спекулятивного декодирования в vLLM. Модель предназначена для диалогов, генерации текста, программирования, рассуждений, агентных сценариев и задач с изображениями. В метаданных указана мультиязычная поддержка, включая английский и китайский; контекст описан как длинный, но его точная длина не приведена. Весы доступны в BF16 в формате safetensors, лицензия — Apache-2.0. Отключение отказов может привести к выдаче вредоносного или небезопасного контента, а заявления о сохранении возможностей и сравнительных преимуществах основаны на данных карточки и не являются независимой оценкой. Автор указывает, что модель устарела и рекомендует более новую линейку Qwen3.8.

Карточка модели roskosmos19/Rhea-4B-Coding-max-1809 на Hugging Face совпадает с карточкой roskosmos19/Orca-2-4B-Coding-max, поэтому описание составлено по ней. Rhea-4B-Coding — дообученная Roskosmos19 модель для программирования на базе Aquiles-ai/Athenea-4B-Coding. Это плотная авторегрессионная модель семейства Qwen3 с 3,7 млрд параметров; она работает через Transformers, принимает текст и генерирует текст. В карточке заявлено контекстное окно до 262 144 токенов. Модель предназначена для рассуждений о коде, его написания и дополнения, отладки, проектирования алгоритмов и понимания программ. Она обучена на программных данных с трассами рассуждений и ориентирована на многошаговый цикл: первоначальная реализация, самопроверка на ошибки и улучшение итогового решения. Также заявлена поддержка сценариев с агентными инструментами. Модель рассчитана на задачи разработки с несколькими языками программирования; метаданные указывают английский язык. Карточка описывает её как uncensored и предназначенную для исследований и экспериментов. Лицензия — Apache-2.0. Качество рассуждений и работы с инструментами зависит от запроса и настроек инференса; отдельные результаты оценки в карточке не приведены.

DeepSeek-Coder-V2-Lite-Base-GGUF — набор GGUF-квантизаций базовой модели DeepSeek-Coder-V2-Lite-Base, разработанной командой DeepSeek и преобразованной в GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp, релиз b3166, с использованием imatrix и специализированного набора данных. Модель относится к классу text-generation и предназначена прежде всего для генерации и обработки программного кода, а также других сценариев локальной генерации текста. Доступны варианты квантизации от Q8_0 и Q8_0_L до Q2_K и IQ2_S, размером примерно от 6,00 до 17,09 ГБ. Старшие варианты обеспечивают очень высокое качество, тогда как младшие требуют меньше оперативной памяти, но заметно уступают по качеству. Для ряда вариантов указана поддержка контекстного формата с системным сообщением, запросом пользователя и ответом ассистента. Архитектура, число параметров, поддерживаемые языки программирования, максимальная длина контекста и дополнительные модальности в README не указаны, поэтому модель следует рассматривать как текстовую. Основные преимущества — широкий выбор уровней сжатия, возможность запуска через llama.cpp и хорошее сохранение качества у вариантов Q5–Q8; варианты Q6_K и Q5_K рекомендованы автором как сбалансированные. Ограничения связаны с потерей качества при низких уровнях квантизации и с тем, что некоторые варианты имеют экспериментальный статус. Модель распространяется по лицензии DeepSeek License; точные условия следует уточнять в файле LICENSE исходного репозитория.

Granite-34B-Code-Base-8K — базовая авторегрессионная модель для генерации кода, разработанная IBM Research. Она предназначена для создания и объяснения кода, исправления ошибок, написания модульных тестов и документации, поиска уязвимостей, перевода кода и других задач программной инженерии. Модель построена на архитектуре GPTBigCode и содержит 34 млрд параметров. Её обучали с помощью увеличения глубины модели Granite-20B-Code-Base в два этапа на данных из 116 языков программирования, а также на текстовых и математических данных. Контекст составляет 8192 токена; репозиторий использует формат safetensors и библиотеку Transformers. Модель не проходила выравнивание безопасности. Сгенерированный код может содержать ошибки или проблемные фрагменты, поэтому его следует проверять; также существует риск дословного воспроизведения обучающих данных. README не рекомендует выбирать её для новых проектов и описывает выпуск как предназначенный для исторических и научных целей. Лицензия — Apache 2.0.

Qwen2.5-Coder-14B-GGUF — квантизированная в формате GGUF версия базовой модели Qwen2.5-Coder-14B, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp версии b4058. Модель предназначена для генерации и автодополнения исходного кода и других задач программирования; в карточке указаны английский язык и текстогенерация как основной сценарий применения. Модель содержит 14 млрд параметров, обучена на 5,5 трлн токенов и поддерживает контекст до 128 тыс. токенов с настройками RoPE YaRN и коэффициентом 4,0; исходная длина контекста составляет 32 тыс. токенов. Это именно базовая модель, поэтому она рассчитана на completion и generation, а не на диалоговый или instruct-режим, что ограничивает её готовность к общению по инструкциям без дополнительного форматирования или дообучения. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-14B-Instruct-abliterated-GGUF — это GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-14B-Instruct-abliterated. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована huihui-ai. Модель предназначена для генерации текста, диалогового взаимодействия и задач программирования, включая работу с кодом и запросами в формате инструкций. Модель содержит 14 миллиардов параметров и работает с текстовыми данными. README указывает английский язык, но сведения о полном наборе поддерживаемых языков, архитектуре и размере контекстного окна отсутствуют. Доступны варианты от F16 до Q3 и различные форматы квантизации; версии Q4_K_M, Q5, Q6 и другие позволяют выбирать компромисс между качеством, размером файла и требованиями к памяти. Файлы предназначены для запуска через llama.cpp, в частности в LM Studio. Сильной стороной является широкий выбор квантизированных вариантов: от почти исходного качества до более компактных сборок для систем с ограниченными ресурсами. Ограничения включают зависимость характеристик от выбранного типа квантизации и отсутствие в README подробных данных о производительности, контекстном окне и поддерживаемых языках. Для ARM доступны специальные варианты, часть которых требует поддержки SVE или i8mm и не предназначена для Mac или Windows. Лицензия модели указана как Apache-2.0.

Deepdive404-3/Qwen3.8-27B-OBLITERATED — текстовая генеративная модель на базе Qwen/Qwen3.8-27B, модифицированная с применением методов abliteration для удаления или ослабления отказов и защитных поведенческих реакций. Согласно README, разработчики позиционируют её как модель для ответов на ограниченные запросы, red-team-исследований, исследований безопасности ИИ, генерации кода и агентских сценариев. Модель поддерживает режим рассуждений, однако для более прямых и содержательных ответов рекомендуется отключать thinking mode. Размер модели — 27B параметров, тип архитектуры — qwen3. Доступны форматы GGUF, Safetensors и MLX. В README не указаны полный список поддерживаемых языков, размер контекстного окна и мультимодальные возможности; по приведённым данным это текстовая модель с pipeline tag text-generation. Заявлены результаты 82,3% на MMLU в режиме 0-shot, что на 2,1 процентного пункта ниже базовой модели, а также 20 из 20 успешных ответов на внутренних задачах генерации кода. Эти показатели приведены авторами README и не являются независимой оценкой. Сильной стороной модели считается снижение частоты жёстких отказов и уклончивых ответов при сохранении близких к базовой модели возможностей. Ограничения включают небольшое снижение результата MMLU относительно исходной Qwen3.8-27B, возможные циклы при жадной генерации без repetition penalty и чувствительность к настройкам декодирования. Для практического использования рекомендуются temperature 0, repetition_penalty 1,15 и не менее 2048 новых токенов; для агентских сценариев авторы советуют temperature 0,1–0,3 и ограничение длины ответа. Лицензия указана как Apache-2.0. README не содержит сведений о точном разработчике или организации-владельце модели; указанный идентификатор и описание связывают её с проектом Deepdive404 и производной от Qwen3.8-27B.

Qwen3.8-27B-Uncensored-YMQ-MTP-GGUF-12GB — квантизированная GGUF-версия модели Qwen3.8-27B-Uncensored, подготовленная 0xSojalSec на основе модели JonathanColetti/Qwen3.8-27B-Uncensored. Модель предназначена для локальной генерации текста, диалогов и прежде всего для задач программирования, включая работу с API и агентские сценарии в инструментах вроде RooCode и Aider. Модель имеет 27 миллиардов параметров и использует архитектурно-ориентированную смешанную квантизацию, созданную с применением YMQ-Compiler v2.0 и подходов, вдохновлённых AutoRound. Сборки поддерживают параллельное multi-token prediction (MTP) для speculative decoding. В README заявлена оптимизация под большой контекст, однако точный размер контекстного окна, список языков и мультимодальные возможности не указаны. Версия с ориентиром на 12 ГБ предназначена для запуска на видеокартах с ограниченным объёмом памяти; конкретные характеристики зависят от выбранного пресета. Сильными сторонами заявлены сохранение логической устойчивости и качества форматирования при работе с кодом и длинными многошаговыми агентскими сценариями, а также возможность запуска 27B-модели в компактном объёме памяти. Ограничения связаны с потерями качества из-за квантизации: README предупреждает о структурном шуме, возможной амнезии контекста и циклах форматирования у наиболее компактных вариантов. Распространение указано по лицензии Apache-2.0.

DeepSeek-Coder-V2-Lite-Instruct — языковая модель для кода от DeepSeek, построенная на архитектуре Mixture-of-Experts семейства DeepSeek-V2. Модель содержит 16 млрд параметров, из которых при работе активны около 2,4 млрд; метаданные каталога указывают 2,5 млрд параметров. Это вариант Instruct для диалогового взаимодействия и выполнения инструкций, доступный в формате safetensors и поддерживаемый библиотекой Transformers. Модель предназначена для генерации и дополнения кода, вставки фрагментов в существующий код и ответов на запросы в формате чата. Семейство обучалось на дополнительных 6 трлн токенов и расширило поддержку до 338 языков программирования; README указывает контекст 128K токенов, а метаданные — 163 840 токенов. Также заявлено улучшение математических рассуждений при сохранении возможностей для общих языковых задач. Для локального инференса в BF16 README приводит требование 8 GPU по 80 ГБ, что делает такую конфигурацию требовательной к ресурсам. В метаданных лицензия обозначена как other; конкретные условия следует проверить в файлах лицензии репозитория.

Это квантованная версия MiMo-V2.6-Distill-Qwen-9B от Xiaomi MiMo, подготовленная FreedomAISVR в формате GGUF MXFP4 для запуска через llama.cpp. Исходная модель — дообученная методом SFT мультимодальная модель на 9 млрд параметров на основе Qwen3.5-9B; репозиторий распространяет её веса в более компактном формате. Модель сочетает слои Mamba-2 и полного внимания, включает визуальный энкодер и поддерживает контекст до 262 144 токенов. Для обработки изображений и видео требуется отдельный файл mmproj. Модель предназначена для агентного программирования и инженерии ПО, работы с инструментами и автоматизацией, анализа интерфейсов и изображений, связанных с кодом, а также задач кибербезопасности. README приводит результаты Xiaomi на кодовых бенчмарках, но они не были независимо проверены для этой сборки. Это исследовательская SFT-модель, представленная как отправная точка для дальнейшего обучения агентному поведению, а не как готовое производственное решение. Лицензия — MIT. К известным ограничениям относятся отсутствие весов MTP, включённый по умолчанию режим рассуждения и высокая потребность в памяти KV-кэша при длинном контексте. MXFP4 снижает точность представления весов; на GPU, отличных от NVIDIA Blackwell, производительность может быть ниже. Данных о поддерживаемых естественных языках в использованных источниках нет.

Qwen3.6-35B-A3B-MXFP8-CRACK-MTP — мультимодальная модель dealignai на базе Qwen/Qwen3.6-35B-A3B, подготовленная для запуска через MLX на компьютерах Apple с Apple Silicon. Это доработанная и квантованная версия с архитектурой MoE и гибридом SSM и полного внимания; в README указаны 35 млрд параметров, 40 слоёв и 10 активных экспертов. Модель принимает текст и изображения, поддерживает понимание видео и генерирует текст в диалоге; также предоставляет интерфейс вызова инструментов. По заявлению автора, CRACK удаляет поведение отказа на уровне весов, а сохранённая голова MTP позволяет ускорять генерацию спекулятивным декодированием d3 примерно в 1,5 раза в совместимой среде vMLX. Автор приводит результаты HarmBench-320 99,4% и MMLU 84,6%; это заявленные оценки, а не независимая гарантия качества. Предназначена для диалогов, анализа изображений и видео, рассуждений и исследовательских сценариев, включая авторизованное тестирование безопасности. Распространяется по лицензии Apache-2.0. Версия описана как лишённая отказов и потому может выполнять запросы из разных категорий; пользователь отвечает за применение модели. Для видео и ускорения MTP требуется совместимый рантайм, а README рекомендует vMLX.

Rombos-Coder-V2.5-Qwen-7b-GGUF — это GGUF-квантизованная версия кодовой языковой модели Rombos-Coder-V2.5-Qwen-7b, опубликованная и квантизованная bartowski с использованием llama.cpp и метода imatrix. Базовая модель разработана rombodawg и основана на семействе Qwen. Модель предназначена для генерации текста и программного кода, включая локальный запуск через llama.cpp или LM Studio. В репозитории представлены варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-форматов, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер исходной модели обозначен как 7B; точные сведения об архитектуре, длине контекста, дополнительных модальностях и полном наборе поддерживаемых языков в README не указаны. Заявлен английский язык, а pipeline модели относится к text-generation. Сильной стороной является широкий выбор квантований, включая варианты, оптимизированные для ARM, а также высококачественные Q6 и Q5, рекомендованные автором. Ограничения зависят от выбранного варианта: более компактные квантования снижают качество, а ARM-специализированные файлы требуют соответствующих аппаратных инструкций и не рекомендуются для Mac или Windows. Для использования указан формат диалогового шаблона ChatML. Лицензия — Apache-2.0; ссылка на лицензию ведёт к лицензии Qwen2.5-Coder-14B.

Code-Llama-3-8B-GGUF — это набор квантизованных версий языковой модели Code-Llama-3-8B в формате GGUF, подготовленный пользователем bartowski с использованием llama.cpp и метода imatrix. Исходная модель размещена на Hugging Face организацией или автором ajibawa-2023. Модель предназначена прежде всего для генерации, дополнения и объяснения программного кода, а также для решения задач по программированию и математических задачах в диалоговом формате. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. В README указан английский язык, а среди целевых языков программирования перечислены Python, C++, PHP, JavaScript, Java, Rust, Ruby, SQL, MySQL, R и Julia. Доступно множество вариантов квантизации от Q8_0 до IQ1_M, что позволяет выбирать баланс между качеством и требованиями к памяти: рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые варианты IQ4. Более компактные варианты экономят память, но снижают качество и могут быть непригодны для требовательных задач. Сильными сторонами являются специализация на коде, широкий выбор размеров файлов и возможность локального запуска через совместимый стек llama.cpp. Ограничения включают потери качества при низкой разрядности квантизации; сведения о размере контекстного окна, точной архитектуре и поддержке других естественных языков в README не указаны. Модель распространяется по лицензии llama3.

CodeLlama 7B Instruct — языковая модель для генерации и объяснения программного кода, разработанная Meta. Данный репозиторий TheBloke содержит её файлы в формате GGUF, предназначенные для локального запуска и инференса через llama.cpp и совместимые интерфейсы. Модель относится к семейству Llama и имеет около 7 миллиардов параметров. Модель ориентирована на решение задач программирования по текстовому описанию, включая генерацию кода с учётом ограничений и примеров тестов. Указана модальность работы с кодом; конкретный перечень поддерживаемых языков программирования и размер контекстного окна в README не приведены. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать баланс между требованиями к памяти, скоростью и сохранением качества, однако более агрессивное квантование может снижать точность результатов. Файлы совместимы с llama.cpp и рядом сторонних приложений и библиотек, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python. Модель распространяется по лицензии Llama 2. Для использования требуется программное окружение, поддерживающее GGUF; характеристики конкретного запуска зависят от выбранного варианта квантования и аппаратной конфигурации.