II.11Кибербезопасность и приватность

OS-Software/Gemma 4 12B IT QAT Q4_0 Unquantized Heretic JA v2 — экспериментальная производная модели Google Gemma 4 12B IT. Репозиторий описывает Gemma 4 как мультимодальную модель Google DeepMind для работы с текстом, изображениями, видео и аудио; эта версия дообучена на базе google/gemma-4-12B-it и помечена как uncensored/abliterated. Указаны гибридное внимание с локальными окнами и глобальными слоями, рассуждение, вызов инструментов, генерация и исправление кода, а также мультиязычная поддержка. Для семейства 12B заявлено контекстное окно до 256K токенов и поддержка распознавания речи и перевода аудио в текст; метаданные указывают Transformers, safetensors и лицензию Apache-2.0. Карточка позиционирует модель для исследований и экспериментов, включая исследования безопасности, выравнивания и red teaming, и просит не развёртывать её в публичных сервисах или пользовательских приложениях. Возможны предвзятые, неточные или устаревшие ответы, трудности со сложными инструкциями и языковыми нюансами; для этой версии отдельные измерения качества не приведены.

Карточка модели manaladan6/GLM-4.5-Air на Hugging Face совпадает с карточкой zai-org/GLM-4.5-Air, поэтому описание составлено по ней. GLM-4.5-Air — компактная гибридная модель серии GLM-4.5 от Zhipu AI, разработанная для интеллектуальных агентов. Она объединяет генерацию текста, рассуждение, программирование и работу с инструментами; поддерживает режим обдумывания для сложных запросов и вызовов инструментов, а также режим быстрого ответа. По карточке модели, у GLM-4.5-Air 106 млрд параметров, из которых активны 12 млрд. Метаданные Hugging Face указывают архитектуру GLM4 MoE, класс Glm4MoeForCausalLM, 8,5 млрд параметров и контекст до 131 072 токенов. Модель предназначена для диалоговых приложений, задач программирования и агентных сценариев с использованием инструментов. Она поддерживает английский и китайский языки и распространяется в формате Safetensors; библиотека Transformers указана как основная. Лицензия MIT разрешает коммерческое использование и дальнейшую разработку. Значения общего и активного числа параметров из README расходятся с числом параметров в метаданных, поэтому размер следует считать противоречивым.

JiRack Ultra 14B — плотная языковая модель на 14 млрд параметров от CMSManhattan для генерации текста и диалогов. По карточке, модель построена на архитектуре DeepSeek R1-14B, адаптирована для эффективного вывода на CPU с применением подхода BitNet и использует токенизатор JiRack с тегами для маршрутизации, мультимедиа, вызова инструментов и робототехники. Метаданные указывают архитектуру Qwen2 и контекст до 131 072 токенов; доступны файлы Safetensors и варианты GGUF с разной степенью квантования. Модель предназначена для чат-сценариев, применения в RAG, программирования и работы с агентами и инструментами, в том числе в локальных и облачных развертываниях. Заявлена поддержка многих языков, включая русский, английский, китайский, японский и ряд европейских и азиатских языков. Карточка рекомендует от 16 ГБ оперативной памяти для квантованного Q4-варианта; для полной точности требуется больше ресурсов. Весы распространяются по лицензии MIT, но готовые Docker-образы, Ollama-квантизации и пользовательские интерфейсы могут требовать отдельной коммерческой лицензии.

Kimi-K2-Instruct-0905-BF16 — версия модели Kimi K2-Instruct-0905, опубликованная Unsloth и основанная на модели Moonshot AI. Это языковая модель с архитектурой Mixture-of-Experts (MoE): в README указаны 1 трлн параметров всего и 32 млрд активируемых параметров. Репозиторий содержит веса в формате safetensors; метаданные каталога указывают 37,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалогов, задач программирования и работы в роли агента, в том числе с вызовом инструментов. В README отмечены улучшения в агентном программировании и создании интерфейсов, а увеличенный контекст подходит для длительных задач и больших фрагментов кода. Интерфейс модели текстовый; языки модели не перечислены в предоставленных данных. Метаданные указывают лицензию other, поэтому конкретные условия использования следует сверять с лицензией и уведомлениями в репозитории. Большой размер модели требует соответствующих ресурсов для локального запуска. Оценки в README получены на указанных бенчмарках и не гарантируют качество для каждого сценария.

Laguna S 2.1-FP8 — языковая модель компании Poolside, предназначенная прежде всего для агентного программирования, работы с инструментами и выполнения длительных многоэтапных задач на локальной машине. Это обновлённый FP8-чекпойнт базовой модели poolside/Laguna-S-2.1; он поддерживает текстовый ввод и вывод, а также встроенный режим рассуждений с чередованием размышлений и вызовов инструментов. Модель построена по архитектуре Mixture-of-Experts и содержит 117,6 млрд параметров, из которых 8,5 млрд активируются на каждом токене. В ней 48 слоёв, 256 экспертов и один общий эксперт; 36 слоёв используют Sliding Window Attention с окном 512 токенов, а 12 — глобальное внимание. Применяются покомпонентное управление вниманием, пер-head gating, FP8-квантование KV-кэша и контекст до 1 048 576 токенов. Эти решения снижают требования к памяти и ускоряют инференс, однако при очень длинном контексте возможно ухудшение качества. FP8-веса занимают примерно 121 ГБ, поэтому для локального запуска требуется мощное оборудование; доступны варианты использования через vLLM, SGLang, Transformers, TRT-LLM, Ollama и llama.cpp с указанными ограничениями по форматам. Сильными сторонами модели являются специализация на программировании и инструментальных сценариях, поддержка длительного контекста, эффективное число активных параметров и возможность локального развёртывания. README не содержит сведений о поддерживаемых естественных языках. Модель распространяется по лицензии OpenMDW-1.1, разрешающей свободное использование и модификацию модели и связанных материалов в коммерческих и некоммерческих целях.

Laguna-S-2.1-GGUF — GGUF-квантизированная версия текстовой Mixture-of-Experts-модели Laguna S 2.1, разработанной poolside и подготовленной для запуска через Unsloth и llama.cpp. Модель предназначена прежде всего для агентного программирования, вызова инструментов и выполнения длительных многошаговых задач с кодом. Она поддерживает нативное рассуждение с чередованием размышлений и вызовов инструментов, а также спекулятивное декодирование с использованием отдельной DFlash-модели. Архитектура содержит 118 млрд параметров, из которых около 8 млрд активируются для каждого токена. Модель имеет 48 слоёв, 256 маршрутизируемых экспертов с выбором 10 экспертов на токен и один общий эксперт, grouped-query attention с 8 KV-головами, а также комбинацию глобального и скользящего внимания: 12 глобальных слоёв и 36 слоёв с окном 512 токенов. Контекстное окно составляет 1 048 576 токенов, размер словаря — 100 352 токена. Модальность — text-to-text; языки в README не указаны. Ключевые преимущества — большое контекстное окно, специализированность на агентных задачах и программировании, поддержка нескольких движков инференса и снижение требований к памяти за счёт GGUF-квантизации. Вариант UD-Q4_K_XL занимает около 40 ГБ и поставляется в трёх файлах; для него требуется llama.cpp версии b10087 или новее. Ограничения включают значительный общий размер модели и необходимость нескольких GPU для полноточных вариантов. Модель распространяется по лицензии OpenMDW-1.1, разрешающей свободное использование и модификацию для коммерческих и некоммерческих целей.

NeoHorse-1-9B-GGUF — это набор GGUF-квантизованных файлов модели NeoHorse-1-9B, разработанной TokenRhythm и распространяемой в этой сборке сообществом ngquocvinh. Модель представляет собой причинную языковую модель примерно на 9 млрд параметров, созданную на основе Qwen3.5-9B и предназначенную для текстовых агентских систем, использования инструментов, программирования, рассуждений и выполнения инструкций. В сборке применена библиотека llama.cpp и поддерживается текстовая генерация. Модель рассчитана на локальный запуск с разными уровнями квантизации. Размер файлов варьируется примерно от 1,97 до 9,53 ГБ; Q4_K_M указан как сбалансированный вариант, а Q5_K_M, Q6_K и Q8_0 обеспечивают большую точность при наличии достаточного объёма памяти. Согласно данным исходной карточки, базовая модель поддерживает контекст до 262 144 токенов с возможностью расширения до 1 010 000 токенов, однако эти характеристики относятся к upstream-модели и могут зависеть от используемой конфигурации запуска. Сильными сторонами являются поддержка агентских сценариев, tool use, программирования и рассуждений, а также возможность локального запуска на совместимом оборудовании. Ограничения включают отсутствие vision-весов и поддержку только текста, а также потенциальное снижение качества на низких уровнях квантизации. Приведённые результаты оценки качества относятся к совпадению следующего токена с BF16-версией, а не напрямую к качеству решения задач; показатели исходной модели не являются результатами тестирования этих GGUF-файлов. Лицензия — Apache-2.0.

OpenBuddy/openbuddy-qwen2.5coder-32b-v24.1q-200k — чат-модель OpenBuddy, дообученная на Qwen2.5-Coder-32B-Instruct. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров, рассчитанная на генерацию текста и диалог; базовая модель предназначена для генерации, анализа и исправления кода, а также создания кодовых агентов. Заявлена длина контекста 200 000 токенов. Модель оптимизирована для повышения качества инференса после квантизации и рекомендована автором для квантизации от 3 до 8 бит. В тегах карточки указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache 2.0. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Авторы предостерегают от её применения в критических и высокорисковых сценариях, включая медицину, управление потенциально опасными системами и важные финансовые или юридические решения.

Ornith-1.5-9B — плотная языковая модель примерно на 9 млрд параметров семейства Qwen3.5, представленная в карточке как лёгкая модель семейства Ornith-1.5. Она предназначена для диалогов и агентных сценариев, включая программирование, решение задач с инструментами и работу с длинными входными данными. Модель поддерживает вызов инструментов через совместимый с OpenAI интерфейс и контекст до 262 144 токенов; README описывает расширение окна примерно до миллиона токенов с помощью YaRN, с возможным снижением качества на обычных запросах. В карточке Ornith-1.5 описана как результат развития Ornith-1.0 с генерацией обучающих задач, поиском стратегий и обучением с подкреплением; указанная модель позиционируется как вариант для эффективного развёртывания. Представлены результаты бенчмарков для программных и агентных задач, а также измерения показывают меньше отказов, чем у сравниваемой исходной модели. Репозиторий содержит веса safetensors и использует Transformers. Лицензия — MIT. README указывает на плотную архитектуру Qwen3.5 и размер около 9 млрд параметров, однако также описывает семейство как основанное на Qwen3.5 и Gemma4; точную связь именно этого чекпойнта с базовой моделью из доступных сведений установить нельзя. Метаданные включают тег image-text-to-text, но карточка описывает текстовое поколение и не подтверждает визуальный ввод для этой версии.

perplexity-ai/pplx-computer-qwen-3-6-35b-a3b-mlx-20260709 — локальная языковая модель, опубликованная Perplexity и предназначенная для Perplexity Computer. Она используется в сценариях Hybrid Compute на Mac: локально обрабатывает файлы, конфиденциальные сведения и действия на устройстве, тогда как облачная часть системы выполняет поиск, планирование и более сложное рассуждение. Модель доступна в формате MLX для запуска на Apple silicon. Модель относится к семейству Qwen3.6 и имеет 35 млрд параметров при конфигурации с 3 млрд активных параметров (35B-A3B). Для семейства Qwen3.6 указана разреженная hybrid-архитектура с маршрутизацией Mixture-of-Experts, сочетающая рекуррентные состояния фиксированного размера с full attention. Опубликованный checkpoint использует groupwise affine 4-bit quantization и занимает около 19,4–19,5 ГБ. Подтверждённые модальности и языки, размер контекстного окна, результаты оценки и подробности дообучения для данной версии не указаны. Сильные стороны модели — возможность локального выполнения задач с чувствительными данными, уменьшенный объём весов и оптимизация для Apple silicon. Ограничения связаны с необходимостью совместимого Mac на Apple silicon и достаточного объёма unified memory; в Hybrid Compute требуется не менее 24 ГБ, а 32 ГБ рекомендуются для лучших результатов. Лицензионные условия для этого репозитория в доступных первоисточниках явно не указаны, поэтому свободное коммерческое использование и условия перераспределения подтверждать нельзя.

mlx-community/Qwen2.5-Coder-14B-Instruct-4bit — это 4-битная версия языковой модели Qwen2.5-Coder-14B-Instruct, разработанной Qwen и преобразованной сообществом mlx-community в формат MLX с помощью mlx-lm 0.19.3. Модель предназначена для генерации текста и работы в диалоговом режиме. Основная специализация модели — задачи, связанные с программным кодом: написание, продолжение и обсуждение кода, а также взаимодействие с пользователем в формате инструкций и ответов. Модель содержит 14 миллиардов параметров и использует 4-битное квантование, что снижает требования к памяти по сравнению с полноразмерной версией. Формат MLX ориентирован на запуск с библиотекой mlx-lm. В метаданных указан английский язык. README не содержит сведений о длине контекста, поддерживаемых модальностях, результатах тестирования и конкретных ограничениях качества, поэтому эти характеристики нельзя определить по представленным данным. Модель распространяется по лицензии Apache 2.0.

legraphista/Qwen2.5-Coder-1.5B-Instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Qwen/Qwen2.5-Coder-1.5B-Instruct. Квантование выполнено legraphista с использованием llama.cpp и метода IMatrix; исходный формат модели — BF16. README не уточняет команду или организацию, разработавшую базовую модель Qwen2.5-Coder. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также выполнения инструкций, связанных с разработкой. Указан английский язык. Это текстовая модель без заявленной поддержки изображений или других модальностей. Размер базовой модели — 1,5 млрд параметров, однако сведения об архитектуре и размере контекстного окна в README отсутствуют. Доступны варианты GGUF от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; для ряда вариантов применена IMatrix. Квантированные файлы занимают примерно от 676 МБ до 1,65 ГБ, что делает модель пригодной для локального запуска при ограниченных ресурсах. Более агрессивное квантование уменьшает требования к памяти, но может снижать точность и качество генерации. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-Instruct-4bit — это 4-битная версия модели Qwen2.5-Coder-32B-Instruct, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.19.3. Модель предназначена для генерации текста и работы с программным кодом в инструкционном и чат-сценариях: она может использоваться для написания, дополнения и объяснения кода, а также для диалога по техническим задачам. Указанный язык — английский. Модель содержит 32 миллиарда параметров и распространяется в 4-битном представлении. Она ориентирована на запуск через библиотеку mlx-lm; README не указывает поддерживаемые модальности, размер контекстного окна или перечень языков программирования. Модель предоставляется по лицензии Apache 2.0. Сведения о конкретных ограничениях качества, требованиях к оборудованию и результатах тестирования в README отсутствуют.

Qwen2.5-Coder-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-Coder-32B-Instruct, преобразованная в формат GGUF пользователем zhangfeng026 с использованием llama.cpp и сервиса GGUF-my-repo. Исходная модель разработана командой Qwen; в карточке указана лицензия Apache-2.0. Модель предназначена для генерации текста и прежде всего для задач, связанных с программным кодом, включая работу в чат-сценариях и использование через llama.cpp. Формат GGUF ориентирован на локальный запуск с помощью llama-cli или llama-server и может применяться на совместимом CPU или GPU-оборудовании. В качестве базовой модели указана Qwen/Qwen2.5-Coder-32B-Instruct, а размер исходной модели составляет 32B параметров. Ключевая характеристика этой версии — квантизация Q4_K_M, которая уменьшает требования к памяти по сравнению с полноразмерной моделью, но потенциально снижает точность генерации. Модель относится к текстовым, поддерживает генерацию кода и текста; в метаданных указан английский язык. Размер контекста в README не определён: в примере запуска llama.cpp используется значение 2048 токенов, но это является параметром команды, а не обязательно максимальным контекстом модели. Подробные сведения о языках, архитектуре, результатах оценки и ограничениях рекомендуется уточнять в карточке исходной модели.

unsloth/Qwen2.5-Coder-7B — плотная авторегрессионная языковая модель семейства Qwen2, подготовленная Unsloth на основе Qwen/Qwen2.5-Coder-7B. Она предназначена прежде всего для генерации, анализа и исправления программного кода, а также может применяться в задачах кодовых агентов и рассуждений. В метаданных указаны 7,1 млрд параметров, архитектура Qwen2ForCausalLM, формат safetensors и контекст до 32 768 токенов; README базовой модели сообщает о поддержке расширения контекста до 131 072 токенов с YaRN, но это требует настройки. Модель принимает текст и генерирует текст. README описывает базовую версию как предварительно обученную и не рекомендует использовать её для диалогов без последующего дообучения. В карточке указаны английский язык и лицензия Apache-2.0. Сведения README о 5,5 трлн обучающих токенов и архитектурных деталях относятся к серии Qwen2.5-Coder и исходной модели; они не подтверждают отдельные особенности обучения этой копии Unsloth.

theo77186/Qwen2.5-Coder-7B-Instruct-20241106 — повторная публикация весов Qwen2.5-Coder-7B-Instruct от автора репозитория theo77186; исходная серия разработана командой Qwen. Это причинная языковая модель семейства Qwen2, дообученная для диалоговой генерации и работы с кодом. Она предназначена для генерации, анализа и исправления программного кода, а также для создания кодовых агентов и решения математических и общих текстовых задач. Модель содержит около 7,1 млрд параметров по метаданным и использует архитектуру Qwen2ForCausalLM с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Метаданные указывают контекст 32 768 токенов; в README заявлена поддержка до 131 072 токенов с настройкой YaRN для длинных запросов. Карточка и метаданные указывают английский язык. Лицензия — Apache-2.0. Для длинного контекста может потребоваться включить YaRN; в README отмечено, что постоянный коэффициент масштабирования способен ухудшать работу на коротких текстах. Для загрузки рекомендуется актуальная версия Transformers; README предупреждает о несовместимости с версиями ниже 4.37.0.

Mungert/Qwen3.6-27B-GGUF — квантованное представление открытой модели Qwen3.6-27B, разработанной командой Qwen. Репозиторий содержит веса в формате GGUF, сгенерированные с помощью llama.cpp. Модель представляет собой каузальную языковую модель с vision encoder и предназначена для локального запуска и интеграции с совместимыми инструментами вывода. Основные сценарии применения — программирование, работа с интерфейсным кодом, анализ репозиториев и агентные задачи разработки. Модель также поддерживает обработку изображений благодаря мультимодальной архитектуре. Она содержит около 27 млрд параметров, 64 слоя и имеет нативный контекст 262 144 токена с заявленной возможностью расширения до 1 010 000 токенов. В архитектуре используются Gated DeltaNet, Gated Attention и feed-forward блоки. Поддерживаемые языки в README не указаны. К сильным сторонам относятся ориентация на реальные задачи разработки, работа с длинным контекстом и сочетание текстовых и визуальных входов. Ограничения, требования к конкретному уровню квантования и потреблению ресурсов для данного файла в README не приведены; характеристики зависят от выбранного GGUF-варианта и оборудования. Модель распространяется по лицензии Apache 2.0.

QuantTrio/Qwen3.6-35B-A3B-AWQ — квантованная версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen. Репозиторий содержит веса в формате Hugging Face Transformers и подготовлен с использованием data-free-квантизации AWQ без калибровочного набора данных. Указана лицензия Apache 2.0, унаследованная от базовой модели Qwen/Qwen3.6-35B-A3B. Модель предназначена для генерации текста, программирования, агентных сценариев и работы с изображениями благодаря архитектуре causal language model с vision encoder. Она ориентирована, в частности, на repository-level reasoning, frontend-разработку, использование инструментов и сохранение контекста рассуждений между сообщениями. Для запуска рекомендуется vLLM; в README также заявлена совместимость с Transformers, SGLang и KTransformers. Архитектура включает 35 млрд параметров, из которых активируется около 3 млрд, 40 слоёв, Mixture of Experts с 256 экспертами, 8 маршрутизируемыми и одним общим активным экспертом, а также компоненты Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Размер файлов модели — около 24 ГиБ. README не приводит полный перечень поддерживаемых языков и подробные результаты тестирования. Ключевые ограничения связаны с требованиями к совместимым версиям vLLM и Transformers, CUDA 12.8 или 13.0, а также с необходимостью корректной настройки expert parallelism при распределённом запуске.

giladgd/Qwen3-Coder-30B-A3B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, преобразованная в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo. В README не указано, кто именно разработал исходную модель, однако она основана на Qwen/Qwen3-Coder-30B-A3B-Instruct. Модель предназначена для генерации текста и, прежде всего, для задач, связанных с программированием, включая работу с кодом и использование в диалоговых приложениях. Модель рассчитана на локальный запуск с помощью llama.cpp и node-llama-cpp, в том числе через командную строку или серверный режим. Обозначение 30B указывает на класс модели примерно с 30 миллиардами параметров, а A3B и Q4_K_M относятся к характеристикам исходной архитектуры и применённой 4-битной квантизации соответственно. В README не приведены точные сведения о контекстном окне, языках, поддерживаемых модальностях и других архитектурных деталях. К сильным сторонам относятся совместимость с популярными локальными инструментами инференса и уменьшенные требования к памяти благодаря формату Q4_K_M. Ограничениями являются возможная потеря качества по сравнению с полной точностью и зависимость производительности от оборудования и настроек llama.cpp. Модель распространяется по лицензии Apache-2.0.

Step 3.5 Flash — открытая языковая модель компании StepFun для диалогов, рассуждений, программирования и агентных задач. Карточка описывает разреженную архитектуру Transformer с Mixture of Experts: всего 196 млрд параметров, из которых для каждого токена активируются около 11 млрд. Механизм Multi-Token Prediction предназначен для ускорения генерации, а гибридное внимание с окном 256K токенов рассчитано на работу с длинными контекстами и большими кодовыми базами. Модель предназначена для интерактивного чата, сложного многошагового рассуждения, помощи в разработке и выполнения задач агентами. Карточка приводит результаты на SWE-bench Verified и Terminal-Bench 2.0 и заявляет поддержку запуска через vLLM, SGLang, Transformers и llama.cpp, а также локального развертывания на высокопроизводительном оборудовании. Указанный в карточке сценарий использования — текстовый диалог; метаданные классифицируют модель как генеративную и отмечают возможность чата. В README заявлено окно контекста 256K токенов и высокая скорость генерации, однако реальная производительность зависит от оборудования и программной поддержки: например, для vLLM отмечено отсутствие полной поддержки MTP3. Метаданные указывают 9,8 млрд параметров, тогда как README заявляет 196 млрд параметров всего и 11 млрд активных на токен; эти сведения расходятся. Лицензия — Apache 2.0.

Ternary-Bonsai-27B-GGUF — набор GGUF-квантизаций модели Ternary-Bonsai-27B, подготовленный пользователем vcruz305 на основе официального F16-релиза prism-ml. В основе лежит backbone Qwen3.6-27B с гибридным вниманием, контекстом до 262 тысяч токенов и поддержкой vision. Модель предназначена для генерации текста и кода, диалоговых сценариев, программирования, рассуждений и отладки через llama.cpp. Репозиторий включает варианты Q3_K_M, IQ4_XS, Q4_K_M, Q5_K_M, Q6_K и Q8_0 размером примерно от 13,3 до 28,6 ГБ. Для большинства вариантов использована importance matrix, полученная на корпусе объёмом 63 КБ с примерами программирования, отладки и рассуждений; Q8_0 создан без неё. Доступны два файла mmproj для работы с изображениями. Производительность зависит от пропускной способности памяти и оборудования: на GB10 заявлены скорости примерно от 7,8 до 14 токенов в секунду. Сильная сторона модели — широкий диапазон квантизаций для систем с 12–32 ГБ памяти, а также сочетание генерации кода, рассуждений и визуального ввода. При объёме памяти до 8 ГБ автор рекомендует использовать официальные QAT-кванты prism-ml, поскольку они сохраняют более высокое качество. Совместное использование с DSpark drafter протестировано, но для этих квантизаций не рекомендуется: коэффициент принятия черновых токенов составил около 54%, поэтому прирост производительности может отсутствовать. Модель распространяется по лицензии Apache-2.0 и рассчитана на использование с llama.cpp.

BTL-4 — 35-миллиардная мультимодальная модель, разработанная badtheorylabs и представленная в формате GGUF с квантованиями от bartowski. Модель предназначена для работы с текстом и изображениями; для обработки изображений требуется отдельный файл mmproj. В описании также заявлены сценарии агентной работы, использования инструментов, программирования и решения задач, требующих рассуждений. Модель запускается через llama.cpp и доступна в вариантах от BF16 до низкобитных квантований Q8, Q6, Q5, Q4 и Q3, включая форматы IQ. Размер файлов составляет примерно от 14,87 до 69,38 ГБ, поэтому выбор варианта позволяет балансировать между качеством, скоростью и требованиями к памяти. Для большинства сценариев рекомендуется Q4_K_M размером 21,39 ГБ, а для более высокого качества — Q5 или Q6. В README не указаны архитектура, поддерживаемые языки и размер контекста; также отсутствуют результаты бенчмарков. К сильным сторонам относятся поддержка текста и изображений, ориентация на код, tool use и reasoning, а также широкий выбор квантований. Ограничениями являются значительные требования к памяти, возможное снижение качества в низкобитных вариантах и необходимость совместимого рантайма llama.cpp, а для мультимодальной работы — файла mmproj. Распространение указано по лицензии Apache-2.0.

DeepSeek-Coder-V2-Lite-Instruct-GGUF — квантизированная версия модели DeepSeek-Coder-V2-Lite-Instruct, разработанной DeepSeek-AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для запуска через GaiaNet и совместима с шаблоном запросов deepseek-chat-2. Модель ориентирована на задачи, связанные с программированием и обработкой инструкций. В README указано, что она основана на архитектуре deepseek и поддерживает контекст размером до 128 000 токенов. Дополнительные сведения о размере модели, языках программирования и поддерживаемых модальностях не приведены; по имеющимся данным, модель относится к текстовым, а не мультимодальным решениям. К преимуществам относятся большой контекст и возможность локального запуска в формате GGUF через экосистему GaiaNet. К ограничениям относятся отсутствие в README подробных характеристик качества, перечня языков, требований к ресурсам и результатов бенчмарков. Модель распространяется по лицензии deepseek-license; тип лицензии обозначен как other, поэтому перед использованием следует ознакомиться с условиями файла LICENSE.

E5-mistral-7b-instruct — текстовая модель эмбеддингов, созданная командой авторов статьи «Improving Text Embeddings with Large Language Models». Это дообученная версия Mistral-7B-v0.1 с 32 слоями и размерностью эмбеддингов 4096; число параметров — 7,1 млрд. Модель принимает текст и преобразует его в векторы для поиска и сравнения текстов. Она поддерживает контекст до 32 768 токенов, однако авторы не рекомендуют подавать входы длиннее 4096 токенов. Модель предназначена для получения эмбеддингов с инструкциями, задающими цель поиска или сравнения. Инструкцию следует добавлять к запросу, но не к документу. Примеры сценариев — семантический поиск, ранжирование passage по запросу и оценка сходства предложений. Модель обучена на смеси многоязычных наборов данных, но ориентирована прежде всего на английский; в некоторых многоязычных сценариях она уступает multilingual-e5-large. Модель распространяется по лицензии MIT. Для воспроизводимости результатов учитывайте, что версии Transformers и PyTorch могут вызывать небольшие различия в оценках.

Focus — производная текстовая модель Jaidchen на базе Qwen/Qwen3.6-27B, представленная в архитектуре Qwen3_5ForCausalLM и содержащая 22,3 млрд параметров. Она предназначена для генерации текста, программирования и агентных сценариев с чатом и интерфейсом вызова инструментов. Контекст составляет до 262 144 токенов. Из модели удалены компоненты обработки изображений и видео: соответствующие данные могут оставаться в контексте, но модель не интерпретирует их. Автор заявляет о снижении требований к хранению, памяти и времени вывода без потери качества; независимые результаты сравнения в доступной карточке не приведены. Шаблон чата поддерживает роли developer и system, сохранение исторических рассуждений и разные формы вызовов инструментов. Совместимость зависит от движка: карточка указывает поддержку в SGLang версии 0.5.17 и новее и vLLM версии 0.26.0 и новее; другие движки могут требовать адаптации и вести себя непредсказуемо. По умолчанию случайная выборка отключена, что ограничивает пригодность для длинного творческого письма и развлекательного чата. Лицензия — Apache-2.0.

Gemini 3.7 Flash — мультимодальная модель Google для быстрых агентных сценариев, программирования и сложных многошаговых рассуждений. Она предназначена для задач, где важны отзывчивость и надёжное выполнение последовательности шагов. Каталог классифицирует модель как image-text-to-text, что указывает на обработку изображений с выдачей текстового ответа. Данных о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных сведениях нет. README описывает модель как мультимодальную, но не уточняет перечень модальностей и конкретные ограничения.

Granite-20b-code-instruct-GGUF — квантизированная версия модели granite-20b-code-instruct, разработанной IBM и опубликованной в формате GGUF пользователем bartowski. Модель предназначена для генерации и анализа программного кода, выполнения инструкций, решения математических задач, работы с SQL-контекстами и сценариев, связанных с function calling и ассистентами для разработки. Модель содержит около 20 миллиардов параметров и относится к текстовым моделям генерации. В карточке указаны датасеты для обучения и дообучения, включая Code Прикладные наборы, MathInstruct, MetaMathQA, наборы для SQL и function calling. Доступны варианты от F16 до квантизаций Q3–Q8 в формате GGUF, совместимые с llama.cpp и рекомендованные для запуска, в частности, через LM Studio. Размер файлов варьируется примерно от 11,5 до 40,2 ГБ. Сильными сторонами являются специализация на программировании, поддержка инструкционного режима и наличие вариантов квантизации для различного объёма оперативной памяти; для оценки HumanEvalSynthesis(Python) в README приведены значения pass@1 до 60,4%. Ограничения включают высокие требования к памяти для полноразмерной версии, возможное снижение качества у более сильных квантизаций и отсутствие в карточке сведений о поддерживаемых языках, размере контекста и мультимодальности. Базовая модель распространяется по лицензии Apache-2.0.

Mungert/granite-8b-code-instruct-128k-GGUF — это GGUF-квантизированная версия Granite-8B-Code-Instruct-128K, разработанная IBM Research и предназначенная для генерации текста и программного кода по инструкциям. Модель дообучена на базе Granite-8B-Code-Base-128K с использованием разрешённых к распространению наборов данных и синтетических инструкций для задач с длинным контекстом. Релиз исходной модели состоялся 18 июля 2024 года. Модель содержит около 8 миллиардов параметров, работает как causal language model и поддерживает контекст до 128 тысяч токенов. Она ориентирована на создание coding assistants, генерацию, объяснение и исправление кода, работу с большими фрагментами исходного кода и репозиториями, а также на задачи, связанные с математикой, SQL и function calling. В README приведены результаты на Python, C++, Java, TypeScript и Rust; показатели pass@1 составляют от 37 до 73 в отдельных тестах RepoQA, однако результаты отмечены как непроверенные. Ключевая особенность этой версии — формат GGUF и дополнительный подход к квантизации: автор применяет повышение точности отдельных важных слоёв сверх стандартной конфигурации IMatrix. Это может улучшать точность при ограниченной разрядности, но увеличивает размер файлов модели; конкретный вариант квантизации и требования к памяти в README не указаны. Модель работает с текстовыми входами и выходами; сведения о мультимодальности и полном наборе поддерживаемых языков отсутствуют. Модель распространяется по лицензии Apache 2.0. Для использования необходима совместимая среда инференса, например llama.cpp или библиотека, поддерживающая GGUF.

SanctumAI/granite-8b-code-instruct-GGUF — квантизированная версия Granite-8B-Code-Instruct в формате GGUF, подготовленная SanctumAI. Исходную модель разработала IBM Research в рамках семейства IBM Granite Code. Это языковая модель с 8 млрд параметров, дообученная на Granite-8B-Code-Base на наборе разрешённых к использованию инструкционных данных для улучшения следования инструкциям, логического рассуждения и решения задач. Модель предназначена прежде всего для генерации, объяснения и исправления программного кода, а также для задач, связанных с математикой, SQL, вызовом функций и общим решением проблем. В README приведены результаты HumanEvalPack для Python, JavaScript, Java, Go, C++, Rust по сценариям генерации, объяснения и исправления кода; однако достоверность этих результатов не подтверждена. Другие характеристики, включая размер контекста, поддерживаемые языки естественного языка, точную архитектуру и конкретные параметры квантизации, в предоставленных данных не раскрыты. Ключевые преимущества — открытая модель, ориентация на программирование и доступность в компактном формате GGUF для локального запуска при совместимом программном обеспечении и оборудовании. Ограничения включают неизвестные требования к ресурсам для конкретного варианта квантизации, отсутствие заявленных мультимодальных возможностей и необходимость самостоятельно проверять сгенерированный код. Модель распространяется по лицензии Apache 2.0.

Grok 4.7 — флагманская модель SpaceXAI, представленная как преемник Grok 4.6. Она предназначена для программирования, агентных задач и работы со знаниями, в том числе для длительных задач разработки ПО и проверки собственного результата. Доступный фрагмент карточки не раскрывает архитектуру, размер, модальности, языки, длину контекста и лицензию, поэтому эти характеристики здесь не уточняются.