II.11Кибербезопасность и приватность

CodeLlama 7B GGUF — это квантизированные файлы модели CodeLlama 7B, разработанной Meta и подготовленной в формате GGUF пользователем TheBloke. Модель относится к семейству Llama и предназначена для генерации и обработки программного кода, а также для задач текстовой генерации, связанных с разработкой программного обеспечения. Модель содержит около 7 миллиардов параметров и представлена в формате GGUFv2, совместимом с llama.cpp и рядом сторонних интерфейсов и библиотек. Доступны варианты квантизации от 2 до 8 бит, рассчитанные на запуск с использованием CPU и GPU; выбор варианта позволяет находить компромисс между размером файлов, требованиями к оперативной памяти, скоростью и качеством вывода. В README не указаны точное максимальное окно контекста, поддерживаемые естественные языки и дополнительные модальности, поэтому модель следует рассматривать прежде всего как кодовую текстовую модель. К сильным сторонам относятся возможность локального запуска на широком спектре оборудования, несколько уровней квантизации и совместимость с популярными инструментами, включая llama.cpp, LM Studio, text-generation-webui и llama-cpp-python. Ограничения связаны с потерями качества, возможными при низкобитной квантизации, а также с тем, что конкретные требования к памяти и производительность зависят от выбранного файла и оборудования. Модель распространяется по лицензии Llama 2; условия использования следует учитывать согласно этой лицензии.

DeepSeek-Coder-V2-Instruct-0724 — инструктивная модель для программирования от DeepSeek, основанная на DeepSeek-Coder-V2-Base. Это модель архитектуры DeepSeek-V2 с разреженной MoE-архитектурой; в карточке Hugging Face указано 18,1 млрд параметров и контекст до 163 840 токенов. Семейство DeepSeek-Coder-V2 обучалось на дополнительных 6 трлн токенов и предназначено для генерации и дополнения кода, математических рассуждений и диалогового взаимодействия. Модель подходит для написания и редактирования кода, заполнения пропусков между фрагментами программы, ответов на технические вопросы и вызова инструментов через интерфейс функций. README сообщает о поддержке 338 языков программирования для семейства, но не уточняет поддержку естественных языков конкретной версии. Для запуска полной версии в формате BF16 README указывает на необходимость восьми GPU с 80 ГБ памяти каждая. В репозитории используется Transformers и формат safetensors; лицензия обозначена как «other», поэтому перед использованием следует проверить её условия в карточке модели.

EmbeddingGemma 300M — открытая модель для получения векторных представлений текста, разработанная Google DeepMind. Она построена на основе Gemma 3 с инициализацией T5Gemma и предназначена для задач семантического поиска и извлечения информации, классификации, кластеризации и вычисления семантического сходства. Модель содержит около 300 млн параметров и ориентирована на локальное использование на мобильных устройствах, ноутбуках и настольных компьютерах. Она принимает текстовые строки длиной до 2048 токенов и возвращает эмбеддинги размерностью 768. Благодаря Matryoshka Representation Learning размерность можно сократить до 512, 256 или 128 с последующей нормализацией. Модель обучалась на данных объёмом около 320 млрд токенов, включая более 100 языков, веб-документы, код, технические материалы и синтетические данные для задач поиска, классификации и анализа тональности. К сильным сторонам относятся небольшой размер, мультиязычность, поддержка широкого спектра сценариев работы с текстовыми эмбеддингами и возможность эффективного развёртывания на устройствах с ограниченными ресурсами. Ограничением является максимальная длина входа 2048 токенов; активации модели не поддерживают float16, поэтому рекомендуется использовать float32 или bfloat16. Веса рассчитаны на применение с Sentence Transformers и реализацией Gemma 3 в Hugging Face Transformers. Модель распространяется по лицензии Gemma; условия использования определяются соответствующими Terms of Use Google.

GLM-5 — диалоговая языковая модель семейства GLM, разработанная Z.ai. Она предназначена для решения сложных задач программирования и системной инженерии, многошаговых рассуждений и длительных агентных сценариев с использованием инструментов. В карточке описана модель на 744 млрд параметров с 40 млрд активных параметров; применяются архитектура MoE и механизм DeepSeek Sparse Attention (DSA), рассчитанный на эффективную работу с длинным контекстом. Метаданные этого репозитория указывают 30,4 млрд параметров и контекст до 202 752 токенов. Модель генерирует текст, поддерживает диалог и интерфейс вызова инструментов. В карточке заявлена поддержка английского и китайского языков. Для локального развёртывания README упоминает vLLM, SGLang и xLLM. Репозиторий распространяется по лицензии MIT. Размер модели и расхождение между описанием архитектуры в README и параметрами репозитория требуют внимания при выборе конкретного чекпойнта и конфигурации развёртывания.

GLM-5.3-MLX — это MLX-сборка официальной модели GLM-5.3 от Z.AI, подготовленная OrcaRouter для Apple Silicon и MLX CUDA backend. Модель предназначена для генерации текста, программирования, задач рассуждения и длительных агентских инженерных сценариев, включая анализ кода и проверку pull request. Поддерживаются английский и китайский языки. Модель использует разреженную MoE-архитектуру glm_moe_dsa с MLA и механизмом sparse attention в стиле DeepSeek с общим индексатором. Заявленный объём составляет 753 млрд параметров, из которых около 39 млрд активны одновременно; контекстное окно — до 1 млн токенов. Модель поставляется в вариантах 2-, 3-, 4- и 6-битной квантизации OrcaSAQ, причём 4-битная версия является рекомендуемой и размещена также в корне репозитория. В методе OrcaSAQ чувствительные компоненты получают повышенную точность, attention сохраняется в 8-битном формате, а индексатор DSA — в BF16. Главное преимущество сборки — существенное снижение требований к памяти при сохранении качества по сравнению с исходной FP8-версией, а также оптимизация для экосистемы MLX. Ограничением остаются чрезвычайно высокие требования к оперативной памяти: размер файлов составляет примерно 322–671 ГБ в зависимости от варианта, поэтому даже 4-битная версия требует около 480 ГБ RAM, а 6-битная не помещается на одном современном Apple Silicon компьютере. Модель распространяется по лицензии GLM-5.3; точные условия определяются файлом лицензии по указанной ссылке.

GPT-5.6 Sol — флагманская модель серии GPT-5.6 от OpenAI. Она предназначена для сложных рассуждений, программирования и агентных сценариев. Модель особенно хорошо подходит для задач в командной строке и многоэтапной разработки: например, для анализа задачи, планирования изменений и подготовки кода. Данных об архитектуре, размере, модальностях, поддерживаемых языках и контексте в предоставленной карточке нет. Карточка также не сообщает лицензионные условия.

Ling-3.0-flash — разговорная языковая модель компании Inclusion AI для генерации текста, рассуждений и выполнения агентных задач. В README описана гибридная линейная архитектура MoE с чередованием Kimi Delta Attention и gated MLA; заявлены 124 млрд параметров всего и 5,1 млрд активных на токен. Метаданные Hugging Face указывают размер 3,5 млрд параметров, поэтому точный размер модели по источникам расходится. Модель предназначена для задач программирования, следования инструкциям, математических рассуждений, работы с длинным контекстом и агентных сценариев, включая исследование и многошаговые рабочие процессы. Заявленное контекстное окно — 262 144 токена. README сообщает о тестировании на бенчмарках для кодирования и агентов, но это не гарантирует аналогичное качество в конкретных приложениях. Модель принимает текст и генерирует текст; сведений о поддержке других модальностей нет. Лицензия — MIT.

gabrielloiseau/ModernBERT-base-authorship-verification — модель Sentence Transformers, дообученная на основе answerdotai/ModernBERT-base. Она кодирует предложения и абзацы в плотные векторы размерностью 768 и предназначена для сравнения текстов по смыслу с помощью косинусного сходства. Модель подходит для семантического поиска, поиска перефразирований, кластеризации и классификации текстов, а также для проверки сходства авторского стиля. Она содержит 149 млн параметров, использует архитектуру ModernBERT и обрабатывает последовательности длиной до 8192 токенов. В метаданных указан английский язык базовой модели; отдельные сведения о языках обучения этой версии не приведены. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

Карточка модели xieloser/Qwen2.5-Coder-14B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-Coder-14B-Instruct, поэтому описание составлено по ней. Qwen2.5-Coder-14B-Instruct — инструкция-ориентированная языковая модель для программирования от команды Qwen. Это плотная причинная Transformer-модель семейства Qwen2 с 14 млрд параметров по метаданным; карточка указывает архитектурные компоненты RoPE, SwiGLU и RMSNorm, 48 слоёв и grouped-query attention. Модель дообучена на базе Qwen/Qwen2.5-Coder-14B и предназначена для генерации и анализа кода в диалоговом формате. Модель помогает создавать код, рассуждать о нём и исправлять ошибки, а также подходит для разработки кодовых агентов и сохраняет общие способности, включая математику. Карточка описывает контекст до 131 072 токенов с применением YaRN для обработки входов длиннее 32 768 токенов; метаданные указывают нативный контекст 32 768 токенов. Для загрузки рекомендуется актуальная версия Transformers, для развёртывания — vLLM. Лицензия Apache 2.0. Среди ограничений: при включении статического YaRN масштабирования в vLLM производительность на коротких текстах может снизиться. Подробные результаты оценки и требования к памяти в предоставленной карточке не приведены.

Qwen2.5-Coder-3B-Instruct-MLX-4bit — это 4-битная MLX-квантизация инструкционной модели Qwen2.5-Coder-3B-Instruct, разработанной Qwen. Квантизацию подготовил bartowski на основе инструментов mlx-examples. Модель предназначена для запуска на компьютерах Mac с Apple Silicon и ориентирована на задачи генерации и обработки текста и исходного кода, включая использование в Code Agents. Модель имеет около 3 миллиардов параметров, поддерживает контекст до 32 тысяч токенов и обучалась на объёме до 5,5 триллиона токенов, включая исходный код, пары «текст—код» и синтетические данные. Указана текстовая модальность; сведения о дополнительных языках и модальностях в README отсутствуют. 4-битное представление снижает требования к памяти и делает модель более подходящей для локального запуска, однако может ограничивать качество по сравнению с полноразмерной версией. Как и другие языковые модели, она способна генерировать неточный, вредный или неподходящий контент. В README лицензия модели не указана, поэтому условия использования необходимо уточнять в документации оригинальной модели Qwen2.5-Coder-3B-Instruct и материалах к данной квантизации.

Qwen2.5-Coder-7B-Instruct — инструкционная версия каузальной языковой модели для работы с программным кодом, разработанная командой Qwen. Это дообученная версия Qwen/Qwen2.5-Coder-7B с архитектурой Qwen2 и 7,1 млрд параметров по метаданным. Модель принимает текстовые запросы и генерирует текст, включая код; поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для генерации, анализа и исправления кода, рассуждений о коде и создания кодовых агентов. README описывает архитектуру на базе Transformers с RoPE, SwiGLU и RMSNorm, а также контекст до 131 072 токенов при настройке YaRN для длинных входов. В конфигурации по умолчанию используется контекст 32 768 токенов. Для длинных контекстов масштабирование YaRN может снижать качество на коротких запросах. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers; README рекомендует актуальную версию библиотеки. Лицензия — Apache-2.0. Карточка подтверждает прежде всего английский язык; отдельный список поддерживаемых языков программирования и оценка качества именно этой instruct-версии здесь не приведены.

lemuralabs/Qwen3.6-27B-Coder-uncensored-MXFP8 — мультимодальная модель для генерации текста и кода, выпущенная исследовательской командой Lemura Labs. Она создана на основе Qwen/Qwen3.6-27B и производных моделей Jackrong с дистилляцией рассуждений и дообучением для агентного программирования. Модель ориентирована на написание и анализ кода, агентные сценарии, работу с инструментами и function calling, а также на обработку изображений. Модель содержит 27 млрд параметров, поддерживает заявленные языки English, Chinese, Spanish, Russian и Japanese, а также мультиязычные сценарии. Она использует формат MLX и квантование MXFP8 с 8-битным микромасштабированием; размер файлов составляет около 29,5 ГБ. Контекст заявлен до 262K токенов. Vision-компоненты и параметры multi-token prediction сохранены в fp16, поэтому доступны нативное speculative decoding без внешнего drafter и обработка изображений. Для запуска рекомендуется Apple Silicon с не менее чем 36 ГБ оперативной памяти. Сильными сторонами являются высокая точность локального инференса, специализированная настройка под программирование, мультимодальность и поддержка нативного MTP. В README также заявлены результат 67,0% на SWE-bench Verified для исходной Coder-модели, снижение частоты отказов с 86 до 8 из 100 тестовых запросов и KL divergence 0,007 после abliteration. Ограничения включают зависимость от экосистемы Apple MLX и значительные требования к памяти; заявленные метрики относятся к исходной или специализированной процедуре оценки и не гарантируют аналогичные результаты во всех задачах. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-27B-FP8 — открытая FP8-квантизированная версия модели Qwen3.6-27B, разработанная командой Qwen. Это каузальная языковая модель с vision encoder, представленная в формате Hugging Face Transformers и совместимая с Transformers, vLLM, SGLang и KTransformers. Модель предназначена прежде всего для агентного программирования, работы с frontend-задачами, анализа репозиториев и итеративной разработки с сохранением контекста рассуждений из предыдущих сообщений. Модель содержит 27 млрд параметров, 64 слоя и использует гибридную архитектуру с блоками Gated DeltaNet, Gated Attention и FFN. Нативная длина контекста составляет 262 144 токена и может быть расширена до 1 010 000 токенов. Поддерживаются текстовые и визуальные входные данные благодаря vision encoder, однако перечень языков в README не указан. Квантизация выполнена методом fine-grained FP8 с размером блока 128; заявлено, что её показатели почти идентичны оригинальной модели. Сильными сторонами модели являются улучшенная работа с кодом, репозиториями и агентными сценариями, большой контекст и сниженные требования к памяти по сравнению с полноразмерными весами. Ограничения включают отсутствие в предоставленных данных подробностей о поддерживаемых языках, требованиях к оборудованию и результатах по общим задачам, а также возможные потери точности, типичные для квантизации, несмотря на заявленную близость к оригиналу. Модель распространяется по лицензии Apache-2.0.

webhie/Qwen3.6-27B-int4-AutoRound-Code — квантованная версия мультимодальной модели Qwen/Qwen3.6-27B, созданная с использованием Intel AutoRound. Модель представляет собой плотную VLM с 27 млрд параметров и предназначена прежде всего для генерации и анализа кода, программирования, выполнения инструкций и использования в качестве AI-ассистента разработчика. Также поддерживает работу с изображениями через энкодер MoonViT. Применяется квантование INT4 W4A16 с группами по 128 весов и симметричным округлением; активации сохраняются в FP16. Калибровка выполнена на нормализованной выборке из nvidia/OpenCodeInstruct — датасета проверенных выполнением задач по программированию. Это должно улучшать сохранение качества при генерации кода, следовании инструкциям, структурированном выводе и рассуждениях по сравнению с универсальной калибровкой. Размер модели составляет около 18 ГБ вместо примерно 54 ГБ в BF16. В модели сохранена BF16-голова Multi-Token Prediction, благодаря чему в vLLM поддерживается нативное speculative decoding с потенциальным ускорением генерации. Заявлена поддержка длинного контекста до 200704 токенов при соответствующей конфигурации vLLM. Ограничения включают возможную потерю качества из-за INT4-квантования, зависимость расширенных возможностей от совместимых версий vLLM и аппаратного окружения, а также отсутствие в README явного перечня поддерживаемых языков. Лицензия — Apache-2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-mlx-oQ4e-1M — это релиз модели Qwen3.8-27B Cold Fusion, созданной на основе объединения весов DavidAU. Solstice-AI выполнила последующее квантование, масштабирование контекста и упаковку для Apple MLX. Модель предназначена для локального запуска на компьютерах Apple Silicon, включая MacBook с 16 или 24 ГБ памяти, через Anvil и MLX-LM с ускорением Metal. Модель содержит около 27 млрд параметров и использует смешанную oQ4e-квантизацию с калибровкой по матрице важности; размер релиза составляет примерно 17,02 ГБ. Заявлена гибридная архитектура Qwen 3.8: около 75% слоёв используют линейное внимание Gated Delta Recurrent Network, а остальные — Grouped-Query Attention. Также заявлены аппаратная Multi-Token Prediction для ускорения генерации и встроенное YaRN-масштабирование RoPE до 1 048 576 токенов. В карточке указаны английский и китайский языки. Основные сценарии — рассуждение, программирование, агентная разработка ПО, работа с большими контекстами и многошаговыми задачами. README приводит высокие результаты на SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench, CoWorkBench и тестах ARC, однако эти показатели следует воспринимать как заявленные авторами и зависящие от методики оценки. Ограничениями являются требования к совместимому Apple Silicon и программному стеку, последствия 4-битной квантизации, а также значительные вычислительные и временные затраты при использовании контекста до миллиона токенов. Релиз распространяется по лицензии Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU-NVFP4 — релиз Solstice-AI, основанный на модели DavidAU Qwen3.8-27B-TURBO-Fable-Cold-Fusion. Это 27-миллиардная языковая модель с поддержкой английского и китайского языков, оптимизированная для работы на оборудовании NVIDIA Blackwell и Ada Lovelace в формате NVFP4. Указана поддержка контекста до 262 144 токенов. Модель также заявлена как мультимодальная: вместе с ней поставляется компонент mmproj-BF16.gguf для анализа изображений, архитектурных схем, пользовательских интерфейсов и видеокадров. Архитектура сочетает гибридное линейное внимание Qwen 3.8: 75% слоёв используют Gated Delta Recurrent Network с линейной сложностью по памяти, а 25% — Grouped-Query Attention. В модель включены Multi-Token Prediction с заявленной генерацией двух токенов за проход и объединение весов Cold Fusion GAIN. Разработчики позиционируют её для рассуждений, программирования, агентной разработки ПО, отладки репозиториев, управления компьютером и мобильными устройствами, а также выполнения длинных многофайловых сценариев. README приводит высокие результаты на SWE-bench Pro, LiveCodeBench v6, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench и тестах ARC, однако эти показатели представлены самими разработчиками и требуют независимой проверки. Заявленная оптимизация ориентирована на NVIDIA Blackwell, включая B200, GB200 и RTX 5090; также упоминается совместимость с RTX 4090. Модель описана как uncensored и может иметь ослабленные ограничения отказа, что следует учитывать при эксплуатации. Лицензия — Apache 2.0.

Qwen3-Coder-Next-Uncensored-Heretic-GGUF — набор GGUF-квантизаций модели llmfan46/Qwen3-Coder-Next-Uncensored-Heretic, созданной независимым разработчиком llmfan46 на основе Qwen3-Coder-Next от Qwen. Модель предназначена прежде всего для локальной разработки, программирования и агентских сценариев, включая работу с инструментами, длительные цепочки рассуждений, восстановление после ошибок выполнения и интеграцию с CLI/IDE-средами. Доступна для llama.cpp, LM Studio, Ollama и других совместимых инструментов. Архитектура исходной модели — каузальная языковая модель с гибридной структурой Gated DeltaNet, Gated Attention и Mixture of Experts. Всего 80 млрд параметров, из которых активируются 3 млрд; 79 млрд параметров относятся к неэмбеддинговым. Модель содержит 48 слоёв, 512 экспертов MoE, из которых активируются 10, и поддерживает контекст до 262 144 токенов. Указан только текстовый режим и режим без рассуждений с блоками <think></think>; сведения о поддерживаемых языках в README не приведены. Это декензурированная версия: по данным автора, она показала 8 отказов из 100 против 100 из 100 у оригинальной модели при KL-дивергенции 0,1488, что указывает на значительно меньшее число отказов при сохранении близости к исходной модели. Основное ограничение — отсутствие подробных независимых оценок качества и языкового охвата, а также необходимость выбирать компромисс между размером и качеством среди вариантов от BF16 до Q3_K_S. Модель распространяется по лицензии Apache-2.0.

Qwopus3.5-9B-Coder-MTP-GGUF — набор GGUF-квантизаций модели Qwopus3.5-9B-Coder, разработанной Jackrong, с сохранёнными MTP-головами для multi-token prediction и speculative decoding. Квантизации подготовлены автором репозитория с использованием imatrix от mradermacher и инструментов llama.cpp. Модель ориентирована на генерацию и анализ кода, рассуждения, агентские сценарии, tool use и function calling; также заявлена поддержка работы с изображениями и текстом через mmproj-файлы. Доступны варианты IQ4_XS размером примерно 4,99–5,29 GiB. В README заявлены контекст до 98 304 токенов при использовании YaRN за пределами исходных 32 768 токенов, запуск примерно в 6 ГБ VRAM и начальная скорость около 60 токенов в секунду на RTX 4060 в Windows 11 с KVarN. Поддерживаются английский, китайский, корейский, русский, японский и испанский языки. Версии различаются распределением более точных форматов квантования по отдельным слоям; по наблюдениям автора, у V3 лишь незначительно снизилась доля принятых предсказаний по сравнению с V1, оставаясь выше 60% в задачах программирования. Модель подходит для локального запуска через llama.cpp и совместимые приложения, особенно когда важны небольшой размер, длинный контекст и ускорение декодирования MTP. Ограничения включают зависимость мультимодального режима от отдельного mmproj-файла, необходимость корректной настройки YaRN, KVarN и speculative decoding, а также отсутствие подробных независимых бенчмарков. Распространяется по лицензии Apache-2.0.

Solstice-AI/Qwopus3.8-27B-Flash-GGUF-1M — это набор GGUF-квантизаций модели Qwopus3.8-27B-Flash, упакованный и опубликованный Solstice-AI на основе модели Jackrong/Qwopus3.8-27B-Flash с атрибуцией Qwen AI. Модель предназначена для локального запуска в llama.cpp, Ollama, LM Studio и Unsloth, включая задачи программной разработки, решения алгоритмических задач, рефакторинга, автоматизации рабочего стола и работы с длинными документами. Поддерживаются английский и китайский языки, а также мультимодальный ввод изображений через отдельный vision-проектор mmproj-BF16.gguf. Архитектура указана как Qwen3.5 / Qwopus Conditional Generation с мультимодальным зрением; размер базовой модели — 27B параметров. Заявлено нативное контекстное окно до 1 048 576 токенов. Доступны варианты квантизации от 4- до 8-битных, рассчитанные на различный объём памяти: примерно от 16 ГБ до 64 ГБ и более в зависимости от файла и конфигурации. В комплект также входит DSpark-драфтер для speculative decoding, который может повысить скорость генерации при совместимом запуске. Сильными сторонами модели являются большой контекст, поддержка изображений, широкий выбор квантизаций и возможность локального развертывания. В README приведены высокие результаты на ряде бенчмарков, однако условия их получения и независимое подтверждение не описаны. К ограничениям относятся значительные требования к памяти, зависимость мультимодального режима от отдельного проектора и возможная потеря точности в более агрессивных квантизациях. Набор распространяется по лицензии Apache 2.0.

rubert-mini-frida — компактная модель на архитектуре BERT, опубликованная sergeyzh для построения эмбеддингов предложений на русском и английском языках. Она создана дистилляцией эмбеддингов ai-forever/FRIDA в sergeyzh/rubert-mini-sts: 7 слоёв и размер эмбеддинга 312 вместо 24 слоёв и 1536 у FRIDA. Используется mean pooling; по умолчанию настроен префикс «categorize: », также поддерживаются префиксы FRIDA для разных задач. Модель подходит для семантического поиска и сравнения предложений, выявления перефразирований, классификации и кластеризации текста, анализа тональности и токсичности, а также задач NLI. В карточке приведены результаты ruMTEB: модель уступает FRIDA по указанным метрикам, но превосходит приведённые варианты multilingual-e5 в некоторых из них. Хотя унаследованная длина контекста составляет 2048 токенов, автор рекомендует не превышать 512. Лицензия — MIT.

Viper-Coder-v1.1 — дообученная prithivMLmods 14-миллиардная языковая модель семейства Qwen2 для генерации кода и решения задач рассуждения. В карточке указана архитектура Qwen 2.5 14B, а метаданные определяют архитектуру как Qwen2ForCausalLM; модель распространяется в формате safetensors и использует библиотеку Transformers. Она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для написания и отладки кода, решения алгоритмических и математических задач, следования инструкциям, работы со структурированными данными и создания технической документации. README заявляет контекст до 128K токенов и генерацию до 8K токенов, однако метаданные указывают нативный контекст 32768 токенов. Заявлены поддержка программирования на Python, JavaScript, C++, Java, SQL и других языках, а также документации на 29+ естественных языках; языковые теги карточки — английский и китайский. Модель содержит 14 млрд параметров, поэтому для инференса требуются значительные вычислительные ресурсы. Возможны ошибки в длинных ответах, чувствительность к формулировке запроса и неодинаковое качество для разных языков программирования; модель не располагает актуальными данными из интернета. Лицензия — Apache-2.0.

AlchemistCoder-DS-6.7B-GGUF — квантованная в формате GGUF версия модели AlchemistCoder DS 6.7B, разработанной InternLM и основанной на DeepSeek-Coder-Base. Квантование выполнено bartowski с использованием llama.cpp. Модель предназначена прежде всего для генерации, понимания, анализа и ревью программного кода, а также других задач, связанных с разработкой программного обеспечения. Модель содержит 6,7 млрд параметров и работает с текстовыми входными и выходными данными. Она дообучалась на 200 млн токенов гармонизированных данных шести типов, включавших развитие инструкций, фильтрацию данных и задачи проверки кода. Для работы в LM Studio рекомендуется пресет Alpaca с шаблоном запроса «### Instruction» и «### Response». Согласно README, модель показывает высокие результаты на шести бенчмарках программирования, превосходит открытые модели сопоставимого размера и может конкурировать с более крупными моделями; также отмечены улучшения на MMLU, BBH и GSM8K. При этом конкретные поддерживаемые языки программирования, размер контекстного окна и характеристики отдельных вариантов квантования не указаны, а результаты зависят от выбранного варианта GGUF и условий запуска. Модель распространяется по лицензии Apache-2.0.

khoa-klaytn/bge-small-en-v1.5-angle — англоязычная модель эмбеддингов на архитектуре BERT, дообученная на тех же данных и с той же библиотекой, что и WhereIsAI/UAE-Large-V1. Она преобразует текст в плотные векторы размером 384, подходящие для поиска и сопоставления текстов. Модель содержит около 40 млн параметров, принимает текст длиной до 512 токенов и распространяется в формате safetensors. Модель предназначена для семантического поиска, извлечения релевантных документов, кластеризации и классификации текстов, а также для использования в векторных базах данных и RAG-системах. Версия BGE v1.5 улучшает поиск без инструкций; для коротких запросов к длинным документам добавление инструкции может повысить качество. Лицензия — MIT. Оценивать сходство следует по относительному порядку оценок: абсолютный балл сам по себе не является надёжным порогом сходства. Для фильтрации по порогу его следует подбирать на данных конкретной задачи.

Claude Opus 4.6 — модель Anthropic, предназначенная для программирования и длительных профессиональных задач. Карточка описывает её как особенно подходящую для агентов, которые выполняют целые рабочие процессы, а не отвечают на отдельные запросы. Данных о размере, архитектуре, модальностях, языках, длине контекста и лицензии в предоставленных источниках нет. Описание не уточняет конкретные возможности и ограничения модели.

bartowski/DeepSeek-Coder-V2-Instruct-GGUF — это набор квантованных версий модели DeepSeek-Coder-V2-Instruct, разработанной DeepSeek и преобразованной bartowski в формат GGUF для запуска через llama.cpp и совместимые инструменты. Модель предназначена прежде всего для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также решения связанных с программированием задач. В набор входят варианты квантования Q4_K_M, Q3_K_XL, Q3_K_M, Q2_K_L, Q2_K, IQ2_XS и IQ1_M размером примерно от 52,7 до 142,45 ГБ. Квантование выполнено с использованием imatrix и llama.cpp. Версия Q4_K_M отмечена как рекомендуемая благодаря балансу качества и размера; варианты с более сильным сжатием требуют меньше памяти, но обеспечивают более низкое качество, а IQ1_M обозначена как крайне низкокачественная и нерекомендуемая. Точные архитектурные характеристики, число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель подходит для локального запуска при наличии значительных ресурсов RAM и, при необходимости, VRAM; выбор файла зависит от доступной памяти и используемого backend. Поддерживаются K- и I-кванты, при этом совместимость и производительность могут различаться для CPU, Apple Metal, NVIDIA cuBLAS, AMD rocBLAS и Vulkan. Модель распространяется по лицензии DeepSeek License; в карточке указано обозначение лицензии и ссылка на файл LICENSE.

DeepSeek-Coder-V2-Instruct-GGUF — это GGUF-квантизированная версия модели DeepSeek-Coder-V2-Instruct, разработанной DeepSeek-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена прежде всего для генерации и обработки программного кода, а также для диалогового взаимодействия в формате instruct. В README указана поддержка контекста до 128 000 токенов и запуск через LlamaEdge версии 0.12.3 или новее с шаблоном prompt-типа deepseek-chat-2. Доступны варианты с квантизацией Q2_K, Q3_K и другие GGUF-варианты с различными уровнями точности и размерами файлов. Более компактные варианты требуют меньше ресурсов, но могут заметно уступать по качеству; для Q2_K и Q3_K это прямо отмечено в описании. Модель ориентирована на локальное или встраиваемое использование через совместимые инструменты GGUF и LlamaEdge. Данные о точной архитектуре, числе параметров, поддерживаемых языках программирования и естественных языках, модальностях, результатах тестирования и системных требованиях в представленном README не указаны. Использование регулируется лицензией DeepSeek, обозначенной как deepseek-license; в метаданных указана лицензия other.

DeepSeek-R1-Distill-Qwen-7B-imatrix-GGUF — это квантизированные в формате GGUF варианты модели DeepSeek-R1-Distill-Qwen-7B, разработанной командой DeepSeek на базе Qwen2.5. Репозиторий предназначен для локального запуска языковой модели в задачах генерации текста, рассуждений, решения математических задач и программирования. Модель относится к плотным моделям примерно на 7 млрд параметров и работает с текстом; в README указан английский язык. Она создана посредством дообучения Qwen2.5 на данных рассуждений, сгенерированных DeepSeek-R1, что позволяет переносить способности крупной reasoning-модели в более компактную модель. Формат GGUF и imatrix-квантизации ориентированы на эффективный запуск через llama.cpp и совместимые приложения, включая KoboldCPP, Ollama, LM Studio и другие клиенты. Сильными сторонами являются компактный размер, возможность локального использования и специализация на сложных рассуждениях, математике и коде. Ограничения конкретных вариантов квантизации, требования к ресурсам, размер контекстного окна и точные характеристики производительности в README не указаны; квантизация может влиять на качество по сравнению с исходной моделью. Лицензия обозначена как other, без подробного описания условий в предоставленных данных.

PocketWeights/Gemma-4-12B-agentic-abliterated-GGUF — это квантизированная в формате GGUF версия 12-миллиардной модели на архитектуре Gemma, разработанной Google. К использованной базовой модели Huihui-gemma-4-12B-agentic-fable5-abliterated применены дообучение и методы удаления отказов от huihui-ai / yuxinlu1; сборку и оптимизацию GGUF выполняет PocketWeights. Модель предназначена для генерации текста, диалогов, многошагового планирования, декомпозиции сложных запросов, структурированного вывода, агентских сценариев и использования инструментов или function calling. Заявлены возможности технического анализа, автономного выполнения многошаговых целей, red-teaming и творческого письма. Поддерживаемые модальности и языки в README не указаны; контекстное окно также не заявлено. Доступны варианты IQ3_M размером 5,73 ГБ, рассчитанный примерно на 6 ГБ VRAM или 8 ГБ RAM, и Q4_K_M размером 7,38 ГБ, рекомендованный для 8–12 ГБ VRAM или 16 ГБ RAM. Ключевое преимущество — сочетание 12B-параметров с локальным запуском на потребительском оборудовании. Ограничение — удалённые защитные механизмы, поэтому модель может генерировать небезопасный контент и рекомендуется для авторизованных исследований безопасности, симуляций red-teaming и локальных изолированных сред. Модель распространяется по Gemma Terms of Use / Open Model License; конкретные условия применения следует проверять в тексте лицензии.

Это квантизированная версия мультимодальной модели Google Gemma 4 31B-it, опубликованная pearsonkyle в формате GGUF для llama.cpp, Ollama и LM Studio. Модель предназначена для генерации текста, программирования, работы с инструментами и function calling, агентских сценариев, а также анализа изображений. Поддерживается английский язык; заявлены текстовый и визуальный ввод. Доступны варианты IQ2_M, IQ3_M, IQ4_XS и Q5_K_S с размером примерно от 10,2 до 19,8 GiB и разной степенью сжатия. Версия IQ2_M использует 2-битную AWQ-квантизацию, настроенную на основе журналов задач программирования и tool use; автор заявляет повышение точности аргументов инструментов на 54% по сравнению с обычным вариантом при сопоставимом размере. Более качественные варианты используют hybrid imatrix. Модель также поддерживает MTP-драфтер для ускорения генерации, а для обработки изображений требуется отдельный vision-модуль mmproj размером около 772 МБ на базе SigLIP-подобного энкодера. Сильными сторонами являются сочетание программирования, tool use и vision, работа в стандартных локальных средах и возможность разместить конфигурацию Q5_K_S с текстовой моделью, MTP-драфтером и vision-модулем примерно в 24 ГБ видеопамяти. Ограничения связаны с потерями качества при низкобитной квантизации, особенно в варианте IQ2_M, необходимостью отдельного mmproj для изображений и отсутствием в предоставленных данных точного размера контекста и подробных результатов независимого тестирования. Лицензия указана как Gemma.

GPT-5.4 mini — компактная модель OpenAI, созданная для более быстрой и эффективной работы по сравнению с GPT-5.4 при высокой нагрузке. Она принимает текстовые и графические входные данные и предназначена для задач рассуждения и программирования. Модель подходит для приложений, которым нужны быстрые ответы при большом потоке запросов, включая задачи с изображениями. В предоставленных данных не описаны её размер, длина контекста, поддерживаемые языки или условия лицензирования.