II.11Кибербезопасность и приватность

Laguna XS.2-INT4 — текстовая Mixture-of-Experts модель, разработанная Poolside для агентного программирования и длительных рабочих процессов на локальном компьютере. Она предназначена для генерации и анализа кода, взаимодействия с инструментами и решения задач, требующих последовательного выполнения множества действий. Модель поддерживает встроенное рассуждение между вызовами инструментов, которое можно включать и отключать для каждого запроса. Модель содержит 33 млрд параметров, из которых 3 млрд активируются для каждого токена, и включает 40 слоёв: 30 со Sliding Window Attention и 10 с глобальным вниманием. В 30 слоях используется механизм per-head gating; окно локального внимания составляет 512 токенов. Реализована смешанная схема внимания в соотношении 3:1, а KV-cache квантизирован в FP8. Это text-to-text модель с контекстом до 262 144 токенов, 256 экспертами и одним общим экспертом. Вариант INT4 ориентирован на экономичное локальное развёртывание и, согласно карточке, может запускаться на Mac с 36 ГБ оперативной памяти; заявлена поддержка vLLM, Transformers и Ollama. Сильными сторонами являются малое число активируемых параметров, сниженные требования к KV-cache, длинный контекст и специализация на агентных задачах программирования. Ограничения связаны с тем, что модель предназначена прежде всего для текстовых и кодовых сценариев, а INT4-квантизация может влиять на качество по сравнению с версиями BF16 или FP8. Приведённые результаты бенчмарков получены в конкретной экспериментальной конфигурации и не гарантируют аналогичную производительность в других условиях. Модель распространяется по лицензии Apache 2.0, допускающей использование и модификацию в коммерческих и некоммерческих целях.

MiroThinker-1.7 — агентная языковая модель miromind-ai, созданная на основе Qwen3-235B-A22B-Thinking-2507 методом дообучения. Она предназначена для глубокого исследования, многошагового анализа и ответов на сложные вопросы с использованием инструментов; в поддерживаемом агентном сценарии может выполнять до 300 вызовов инструментов за задачу. Модель использует архитектуру Qwen3 MoE, содержит 18,2 млрд параметров и принимает контекст до 262 144 токенов. README сообщает о сильных результатах в задачах исследования, включая BrowseComp, BrowseComp-ZH, GAIA-Val-165 и HLE-Text. Для полноценного использования рекомендован агентный фреймворк с поддержкой инструментов и режимом рассуждений; сама модель в каталоге размечена как генерация текста. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-OptiQ-4bit — квантизированная версия языковой модели NVIDIA Nemotron-3.5-Lightning, подготовленная сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. Модель предназначена для локальной генерации текста на компьютерах Apple Silicon и поддерживает сценарии общего диалога, рассуждений, программирования, решения математических задач, следования инструкциям и вызова функций. В основе лежит гибридная архитектура nemotron_h: блоки Mamba2 сочетаются с несколькими слоями attention, а маршрутизируемая MoE-архитектура содержит 128 экспертов, из которых для каждого токена активируются 6. Общий размер базовой модели составляет около 30 млрд параметров, при этом активно примерно 3 млрд. Используется чувствительная к слоям смешанная квантизация: 36 слоёв и 36 экспертных тензоров имеют точность 4-bit, ещё 127 слоёв и 10 экспертных тензоров — 8-bit. Размер файлов модели — около 22,8 ГБ; сохранена MTP-голова для speculative decoding. Модель демонстрирует сильные результаты в генерации кода, математике, следовании инструкциям и вызове функций: в README указаны 87,8% на HumanEval, 85,5% на GSM8K и 83,0% на BFCL-V3 simple. Ограничением является слабее выраженная способность к извлечению информации из длинного контекста: результат HashHop составляет 40,0%. Для работы требуется MLX и пакет mlx-optiq; на компьютерах с ограниченной оперативной памятью рекомендуется потоковая загрузка экспертов с SSD. Модель выпускается по NVIDIA Open Model License; точные условия следует уточнять в тексте этой лицензии.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT4 — квантизированная версия открытой модели Qwen3.6-27B, опубликованная пользователем cyankiwi на основе базовой модели Qwen/Qwen3.6-27B. Модель распространяется в формате Hugging Face Transformers и совместима с Transformers, vLLM, SGLang и KTransformers. Это авторегрессионная языковая модель с vision encoder, предназначенная для работы с текстом и изображениями, включая агентное программирование, фронтенд-разработку, анализ репозиториев и задачи, требующие длительного контекста. Заявлены улучшения в обработке coding-agent сценариев и возможность сохранять контекст рассуждений из предыдущих сообщений. Модель поддерживает английский, китайский, хинди, арабский, русский, японский, корейский, нидерландский, французский и испанский языки. Модель содержит 27 млрд параметров, 64 слоя и имеет нативную длину контекста 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура включает Gated DeltaNet, Gated Attention и multi-step training; размер опубликованного файла составляет 28,32 ГБ. Вариант использует квантизацию AWQ-BF16-INT4, что является его ключевой особенностью, однако README не приводит подробных результатов сравнения именно этой квантизированной версии с исходной моделью. Лицензия — Apache-2.0. Модель подходит для локального и серверного развертывания при наличии совместимого программного обеспечения и достаточных вычислительных ресурсов; конкретные требования к памяти и ограничения качества для мультимодальных задач в README не указаны.

cyankiwi/Qwen3.6-27B-AWQ-BF16-INT8 — квантизированный вариант Qwen3.6-27B, разработанный сообществом cyankiwi на основе модели Qwen/Qwen3.6-27B от команды Qwen. Модель предназначена для работы с текстом и изображениями, включая агентное программирование, работу с интерфейсами и репозиториями, итеративную разработку и задачи, требующие сохранения контекста рассуждений. Это каузальная языковая модель с vision encoder и 27 миллиардами параметров. Архитектура включает 64 слоя, комбинацию Gated DeltaNet и Gated Attention, а также multi-step training с MTP. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Размер файлов модели указан как 36,85 ГБ. Сильными сторонами являются мультимодальность, большой контекст, ориентация на coding agent-сценарии и совместимость с Transformers, vLLM, SGLang и KTransformers. README не содержит подробных сведений о типичных ограничениях качества, требованиях к оборудованию или влиянии квантизации на результаты, поэтому эти характеристики нельзя оценить по имеющимся данным. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-QAT-Q2_0 — квантизированная версия Qwen3.8-27B, разработанная Samuel Yuan и предназначенная для запуска через llama.cpp. Модель представлена в формате GGUF, использует 2-битное квантование Q2_0 с учётом квантования при обучении (QAT) и занимает 8,76 ГБ. Базовая модель разработана командой Qwen; точные архитектурные параметры, поддерживаемые языки и размер контекстного окна в README не указаны. Модель ориентирована прежде всего на генерацию текста, программирование, рассуждения и tool calling. Квантование специально оптимизировано для сохранения качества кода и reasoning, поэтому подходит для устройств с менее чем 12–16 ГБ видеопамяти, включая некоторые Mac. По приведённым измерениям, согласие с FP16-моделью составляет 94,7% для reasoning, 93,3% для кода и 78,7% для tool calling. Ограничением является некоторое ухудшение мультимодальных возможностей и извлечения необработанных фактов, включая результаты на Wikitext-2; мультимодальность также не описана подробно. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-GGUF-UltraOptimised — GGUF-квантизированная версия модели на базе Qwen3.8-27B TURBO Fable Cold Fusion GAIN. Оригинальную модель и её объединение разработал DavidAU, а квантизацию, интеграцию MTP и упаковку выполнила Solstice-AI. Модель ориентирована на генерацию текста, рассуждения, программирование, агентные задачи разработки ПО и мультимодальную работу с изображениями, интерфейсами, диаграммами и временными кадрами видео. Заявлены поддерживаемые языки English и Chinese, нативный контекст до 262K токенов и архитектура Qwen 3.8 Hybrid Linear Attention: 75% слоёв используют линейное внимание GDN, а 25% — глобальное Grouped-Query Attention. Размер основной модели — 27 млрд параметров. Ключевая особенность выпуска — поддержка ускоренного декодирования через встроенный Multi-Token Prediction и отдельные DSpark draft-модели размером 1,86 млрд параметров; README заявляет ускорение speculative decoding в 2,5–3,1 раза при использовании llama.cpp или Anvil. Для мультимодального режима поставляется vision-проектор mmproj-BF16. В README также приведены высокие результаты на ARC-C, ARC-E, SWE-bench Pro, LiveCodeBench, QwenSWEBench, OSWorld-Verified, AndroidWorld, IFBench и CoWorkBench, однако эти показатели представлены авторами модели и требуют независимой проверки. Ограничения включают зависимость производительности от выбранной GGUF-квантизации, аппаратных ресурсов и совместимого рантайма; подробные характеристики отдельных вариантов квантизации в предоставленных данных не раскрыты. Лицензия — Apache 2.0.

unsloth/Qwen3-Coder-Next-GGUF — GGUF-квантизированные версии открытой языковой модели Qwen3-Coder-Next, разработанные Unsloth на базе модели Qwen. Это каузальная текстовая модель, предназначенная прежде всего для программирования, локальной разработки и работы в кодинговых агентах, включая сценарии с CLI и IDE, длительным рассуждением, использованием инструментов и восстановлением после ошибок выполнения. Модель имеет 80 млрд параметров всего, из которых активируются 3 млрд; 79 млрд параметров приходятся на неэмбеддинговую часть. Архитектура сочетает Mixture of Experts с 512 экспертами и гибридные механизмы Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена. Модель поддерживает только режим без пошагового рассуждения и не генерирует блоки <think></think>. README описывает её как текстовую модель, но не указывает полный перечень поддерживаемых языков. Сильными сторонами являются высокая эффективность при небольшом числе активных параметров, поддержка сложных агентных сценариев, работы с инструментами и длинным контекстом. Для запуска 4-битных вариантов рекомендуется более 45 ГБ объединённой памяти RAM/VRAM, а для 2-битных XL-квантов и выше — более 30 ГБ. Для GGUF требуется совместимое локальное ПО, например llama.cpp или приложения на его основе; точные свойства зависят от выбранного варианта квантования. Модель распространяется по лицензии Apache-2.0.

michaelfeil/Qwen3-Embedding-4B-auto — текстовая embedding-модель семейства Qwen3, представленная в виде дообучения Qwen/Qwen3-4B-Base. Она преобразует текст в векторы для поиска и сравнения текстов, извлечения информации, кластеризации, классификации и поиска соответствий между языками; поддерживаются также сценарии поиска по коду. Модель содержит 3,7 млрд параметров, использует плотную архитектуру Qwen3 и принимает последовательности длиной до 40 960 токенов согласно метаданным. Размер выходного embedding можно задавать в диапазоне от 32 до 2560 измерений. Карточка заявляет поддержку более 100 естественных языков и языков программирования, а также настройку инструкций под задачу; для многоязычных сценариев рекомендуются инструкции на английском языке. Модель предназначена для прикладного использования в поисковых и аналитических системах. Для получения векторов требуется библиотека Transformers версии 4.51.0 или новее: в более ранних версиях возможна ошибка распознавания архитектуры Qwen3. Лицензия — Apache-2.0.

GLM-4.7-Flash-NEO-CODE-Imatrix-MAX-GGUF — набор специализированных GGUF-квантов модели GLM-4.7-Flash, разработанный DavidAU на базе модели zai-org/GLM-4.7-Flash. Модель предназначена для генерации текста, рассуждений, программирования, диалогов и ролевых сценариев. Заявлена поддержка английского и китайского языков. Архитектура — mixture of experts (MoE) объёмом около 30B параметров, из которых при генерации активируются четыре эксперта, примерно 2B параметров. Модель может запускаться на GPU, CPU или их комбинации и поддерживает контекст до 200K токенов. В этой версии используются NEO- и Code-данные для imatrix-квантизации, а также 16-битный выходной тензор для повышения качества финальной генерации. Доступны специализированные варианты IQ4_NL, Q5_1, Q4_1 и Q8_0, а также обычные типы квантов. Сильными сторонами являются высокая эффективность MoE-архитектуры, большой контекст, ориентация на код и рассуждения, а также оптимизация квантов под актуальную версию llama.cpp. Ограничения связаны с зависимостью качества и скорости от выбранного кванта и конфигурации оборудования; для некоторых сценариев рекомендуется отключать Flash Attention из-за проблем со скоростью генерации и выгрузкой на CPU. Для длинных ответов автор рекомендует использовать контекст не менее 8–16K токенов и подбирать параметры сэмплирования. В метаданных указана лицензия MIT. Для подготовки квантов и их корректной работы требуется актуальная версия llama.cpp, указанная автором; более ранние кванты могут работать хуже.

jina-embeddings-v2-base-code-GGUF — GGUF-квантизированная версия модели jinaai/jina-embeddings-v2-base-code, разработанной jinaai и преобразованной в GGUF компанией Second State Inc. Это модель для получения векторных представлений текста и исходного кода, предназначенная для семантического поиска, сравнения схожести, классификации и других задач feature extraction, включая работу с кодовыми фрагментами. Указан английский язык. Модель поддерживает контекст до 8192 токенов и формирует embedding размерностью 768. Доступны варианты квантования от 2 до 8 бит, а также f16; размеры файлов составляют примерно от 82,7 до 323 МБ. В README вариант Q4_K_M отмечен как сбалансированный и рекомендуемый, тогда как низкобитные варианты обеспечивают меньший размер ценой заметной потери качества. Модель может запускаться через LlamaEdge с prompt type embedding. Распространяется по лицензии Apache-2.0. Ограничения зависят от выбранного варианта квантования: чем сильнее сжатие, тем выше потенциальная потеря качества embeddings. Архитектура исходной модели, точное число параметров и перечень поддерживаемых языков, кроме указанного английского, в предоставленных данных не описаны.

Mellum2 Instruct — диалоговая языковая модель, разработанная JetBrains для прямых ответов без явного пошагового рассуждения. Она подходит для интерактивного чата, выполнения инструкций, помощи с кодом и использования инструментов. Модель построена на архитектуре Mixture-of-Experts: 64 эксперта, из которых для каждого токена активируются 8. Используются слои со скользящим окном и полным вниманием; контекст составляет 131 072 токена. По карточке модель получена из JetBrains/Mellum2-12B-A2.5B-Base с помощью дообучения на инструкциях и последующего обучения с подкреплением на задачах математики, программирования, использования инструментов, следования инструкциям, рассуждений и знаний. Указанный в метаданных размер — 1,9 млрд параметров; веса представлены в safetensors, библиотека — Transformers. Модель принимает текст и предназначена для генерации текстовых ответов. Карточка сообщает об английском языке. Для сложной отладки, планирования и многошаговых агентных сценариев разработчик рекомендует вариант Thinking. Лицензия — Apache-2.0.

Mungert/Youtu-LLM-2B-GGUF — GGUF-версия языковой модели Youtu-LLM-2B, разработанной Tencent. Это авторегрессионная causal language model для генерации текста; семейство включает базовую и instruct-версии. Данная сборка создана с использованием llama.cpp, однако конкретный уровень квантования в README не указан. Модель содержит 1,96 млрд параметров, 32 слоя и использует плотную архитектуру MLA с 16 attention heads для Q/K/V. Поддерживается контекст до 131 072 токенов, размер словаря — 128 256. Модель ориентирована на рассуждения, следование инструкциям, STEM-задачи, программирование, работу с длинным контекстом и агентские сценарии с инструментами; для instruct-версии заявлен режим reasoning. В представленных тестах она показывает особенно сильные результаты в генерации кода, математике, обработке длинного контекста и ряде end-to-end агентских задач, но результаты зависят от версии модели и настроек запуска. README не указывает поддерживаемые языки, точные требования к ресурсам и ограничения безопасности. Лицензия обозначена как other; условия следует уточнять по файлу лицензии Tencent.

Focus Red — перепакованная текстовая версия Qwen3.8-27B от Jaidchen. Из модели удалены компоненты обработки изображений и видео, а архитектура упрощена; заявленные автором преимущества — меньшие требования к памяти и хранилищу, более быстрая загрузка и инференс. Модель использует плотную архитектуру Qwen3_5ForCausalLM, содержит 22,3 млрд параметров и поддерживает контекст до 262 144 токенов. Модель предназначена для генерации текста в диалогах и сценариях с инструментами; метаданные также отмечают применение для программирования и агентных задач. Шаблон чата сохраняет настройки рассуждений Qwen и обработку вызовов инструментов. Изображения и видеокадры могут присутствовать в контексте, но модель не интерпретирует их. Генерация со случайной выборкой по умолчанию отключена, поэтому модель менее подходит для длинных творческих текстов и непринуждённого общения. Лицензия — Apache-2.0.

GLM-4.7-GGUF — это GGUF-версия языковой модели GLM-4.7, разработанная организацией Z.ai и опубликованная Unsloth. Модель предназначена прежде всего для генерации текста, программирования и агентских сценариев с использованием инструментов. Она ориентирована на multilingual coding, задачи в терминале, веб-навигацию, математическое и общее рассуждение, создание веб-интерфейсов и презентаций, а также на диалоги, творческое письмо и ролевые сценарии. В карточке указаны поддерживаемые языки English и Chinese, библиотека Transformers и базовая модель zai-org/GLM-4.7. Заявлены режимы thinking before acting, interleaved thinking и preserved thinking, однако сведения о размере модели, точной архитектуре, длине контекста и доступных модальностях отсутствуют. По приведённым результатам модель показывает сильные стороны в кодировании, использовании инструментов, математике и рассуждении; среди ограничений следует учитывать, что показатели зависят от конкретных бенчмарков и не гарантируют аналогичное качество в каждом прикладном сценарии. Модель распространяется по лицензии MIT. README не содержит подробностей о требованиях к оборудованию, конкретных квантизациях GGUF или полной процедуре локального запуска.

GLM-5 — большая языковая модель семейства GLM, разработанная zai-org для сложных задач разработки систем и длительных агентных сценариев. Модель предназначена для генерации текста, рассуждений, программирования и взаимодействия с инструментами в диалогах. В README заявлена версия на 744 млрд параметров, из которых 40 млрд активны; репозиторий Hugging Face содержит 30,4 млрд параметров. Эти данные расходятся, поэтому размер конкретной опубликованной сборки нельзя однозначно определить. Архитектура в метаданных обозначена как glm_moe_dsa, формат весов — safetensors, а нативная длина контекста составляет 202 752 токена. Поддерживаются английский и китайский языки. README сообщает об интеграции DeepSeek Sparse Attention для снижения стоимости развёртывания при сохранении длинного контекста, а также о сильных результатах в рассуждениях, программировании и агентных задачах. Модель можно запускать через Transformers и ряд других фреймворков; для использования инструментов описана настройка сервера vLLM. Лицензия — MIT. Указанные в карточке результаты бенчмарков являются заявлениями разработчика; фактическая производительность зависит от сценария и конфигурации.

MiniMax-M3 — мультимодальная модель компании MiniMax для диалогов, работы с изображениями и видео, программирования и агентных задач. Она принимает текст и визуальные данные, объединяя их обработку благодаря обучению на смешанных модальностях с самого начала. Модель содержит около 428 млрд параметров, из которых активируется около 23 млрд. Архитектура использует разреженное внимание MiniMax Sparse Attention (MSA) и поддерживает контекст до 1 млн токенов. Разработчик заявляет об ускорении обработки длинного контекста относительно M2 и о сильных результатах в длительных агентных задачах, включая программирование и совместную работу. Модель доступна через MiniMax Agent и API, а также для локального запуска на Transformers с весами safetensors. Лицензия указана как other; конкретные условия следует проверить в карточке модели. В README не перечислены поддерживаемые естественные языки и отдельные ограничения качества.

Pareto 26.10 Preview — мультимодальная составная модель компании Unbiased для исследовательских задач, программирования, агентных сценариев и задач общего назначения. По данным страницы модели в OpenRouter, она принимает текст и изображения и генерирует текст; поддерживает вызов инструментов и контекст до 1 048 576 токенов с выводом до 131 072 токенов. Это предварительная версия, поведение которой может измениться без предупреждения; для стабильного поведения разработчик рекомендует Pareto 26.9. Подробности об архитектуре, размере, поддерживаемых языках и лицензии в использованных источниках не подтверждены.

ggml-org/Qwen2.5-Coder-14B-Instruct-Q8_0-GGUF — это квантизированная версия модели Qwen2.5-Coder-14B-Instruct, преобразованная в формат GGUF командой ggml-org с использованием llama.cpp и проекта GGUF-my-repo. Базовая модель разработана командой Qwen; в предоставленных данных точное название разработчика базовой модели не уточняется. Модель предназначена для генерации текста и работы с исходным кодом, включая сценарии программирования и диалогового взаимодействия. Она ориентирована на запуск через llama.cpp в локальной среде, как в режиме командной строки, так и в виде сервера. Указана поддержка английского языка. Модель является текстовой, имеет 14 миллиардов параметров и использует квантование Q8_0. Архитектура, максимальная длина контекста и полный перечень поддерживаемых языков в README не указаны; пример запуска использует контекст 2048 токенов, но это не подтверждает максимальный размер контекста. К сильным сторонам относятся специализация на задачах программирования, совместимость с экосистемой llama.cpp и возможность локального развертывания в GGUF-формате. Ограничения связаны с необходимостью подходящего оборудования и программной среды для запуска, а также с отсутствием в предоставленных данных подробностей о качестве на бенчмарках, производительности и фактическом языковом охвате. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3.6-27B-GGUF — это квантизированное распространение открытой модели Qwen3.6-27B, разработанной командой Qwen и подготовленной Unsloth в формате GGUF. Модель предназначена для локального запуска и интеграции через совместимые инструменты инференса, а также для задач агентного программирования, работы с репозиториями, frontend-разработки, рассуждений и использования инструментов. Это причинная языковая модель с vision-энкодером, то есть мультимодальная модель, способная обрабатывать текст и изображения. Она содержит около 27 млрд параметров, 64 слоя и имеет нативный контекст 262 144 токена с возможностью расширения до 1 010 000 токенов. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; заявлена поддержка сохранения контекста рассуждений между сообщениями и улучшенный разбор вложенных объектов при вызове инструментов. Языки в README не указаны. К сильным сторонам относятся большой контекст, возможности работы с изображениями, улучшенная производительность в сценариях агентного кодирования и совместимость с экосистемой Transformers, vLLM, SGLang и KTransformers. Ограничения включают высокие требования к вычислительным ресурсам, особенно при длинном контексте, а конкретные характеристики квантизации и результаты бенчмарков для данного GGUF-варианта в README не приведены. Модель распространяется по лицензии Apache 2.0.

Solstice-AI/Qwen3.8-27B-TURBO-Fable-Cold-Fusion-NEO-CODER-GGUF — это набор моделей в формате GGUF на базе Qwen3.8-27B, первоначально разработанной Qwen / Alibaba Cloud. Некорректированные и оптимизированные для программирования веса предоставлены DavidAU, а сборка и упаковка выполнены Solstice-AI. Модель ориентирована на генерацию и анализ кода, агентные сценарии, сложное алгоритмическое проектирование, математические рассуждения и задачи, связанные с SWE-bench. Также заявлена поддержка обработки изображений через отдельный мультимодальный vision-проектор mmproj-BF16.gguf. Основная модель имеет размер 27B параметров и поставляется в вариантах квантования от Q4_K_M до Q8_0; рекомендуемый Q4_K_M занимает около 16,81 ГБ. Заявлены контекст до 131 072 токенов, языки English и Chinese, управление интенсивностью рассуждений через reasoning_effort, детерминированный XML-вызов инструментов и поддержка Multi-Token Prediction для speculative decoding. Для ускорения вывода доступны MTP-модели и DSpark drafter; README заявляет ускорение speculative decoding до 1,8 раза. Сильные стороны модели — специализация на программировании, поддержка многофайлового рефакторинга, инструментального взаимодействия, мультимодального ввода и нескольких уровней точности. Ограничения включают значительные требования к памяти, зависящие от выбранного квантования, а также необходимость совместимого программного обеспечения и отдельных компонентов для vision и speculative decoding. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-6bit-DWQ-lr3e-7 — это MLX-версия инструкционной модели для генерации текста и решения задач, связанных с программированием, из семейства Qwen3-Coder. Модель преобразована из Qwen/Qwen3-Coder-30B-A3B-Instruct в формат MLX с использованием mlx-lm 0.26.2 и предназначена для запуска через библиотеку mlx-lm, в том числе в сценариях диалогового взаимодействия и генерации ответов на текстовые запросы. Из доступных данных известны обозначения размера 30B, конфигурации A3B и 6-битного квантования DWQ. Модель работает в текстовой модальности; сведения о поддерживаемых языках, размере контекстного окна, архитектурных деталях, результатах тестирования и ограничениях качества в README не указаны. Использование разрешено по лицензии Apache 2.0.

COSMO-PRO-7B — созданная Aryyanthakrr объединением SLERP двух инструктивных языковых моделей Qwen2.5: Qwen2.5-7B-Instruct и Qwen2.5-Coder-7B-Instruct. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; в метаданных также указана поддержка интерфейса вызова инструментов. Модель подходит для ответов на вопросы, ведения диалогов и генерации кода в сценариях с контекстом до 32 768 токенов. Репозиторий использует формат safetensors, библиотеку Transformers. Данных о поддерживаемых естественных языках в карточке нет. Условия лицензии в предоставленных источниках не приведены.

unsloth/Devstral-Small-2507-unsloth-bnb-4bit — 4-битная версия Devstral Small 1.1, подготовленная Unsloth на основе моделей Mistral AI. Devstral разработана в сотрудничестве Mistral AI и All Hands AI как агентная языковая модель для задач программной инженерии, включая исследование кодовых баз, вызов инструментов, редактирование нескольких файлов и работу в составе coding-агентов. Модель содержит 24 миллиарда параметров, использует текстовую модальность и поддерживает контекст до 128 тысяч токенов. Она поддерживает формат function calling Mistral и особенно ориентирована на использование с OpenHands. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского и ряда других языков. Токенизатор Tekken имеет словарь размером 131 тысяча токенов. Сильными сторонами модели являются специализация на агентном программировании, большой контекст, поддержка инструментов и возможность локального запуска, в том числе на одной RTX 4090 или Mac с 32 ГБ оперативной памяти. В SWE-Bench Verified указано качество 53,6% при использовании OpenHands Scaffold. Ограничения включают текстовую природу модели без поддержки изображений и необходимость корректной настройки шаблона запросов и инструментального взаимодействия. Модель распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию.

Dolphin 2.9.2 Mixtral 8x22B — разговорная языковая модель, подготовленная Eric Hartford, Lucas Atkins, Fernando Fernandes и командой Cognitive Computations на базе mistral-community/Mixtral-8x22B-v0.1. Это дообученная модель с архитектурой Mixtral MoE и классом MixtralForCausalLM; в репозитории веса представлены в safetensors. Всего указано 22 млрд параметров, базовая модель поддерживает контекст до 65 536 токенов, а дообучение выполнялось с длиной последовательности 16 000 токенов. Модель предназначена для диалогов и следования инструкциям, генерации кода и начальных агентных сценариев; также заявлена поддержка вызова функций. Обучение включало SystemChat 2.0, созданный для следования системным инструкциям в продолжительных беседах, и другие наборы диалоговых, кодовых и математических данных. Для взаимодействия используется шаблон ChatML. В карточке указан английский язык. Авторы характеризуют модель как uncensored и отмечают высокую готовность выполнять запросы, в том числе неэтичные; перед предоставлением пользователям может потребоваться собственный слой ограничений. Веса выпущены по лицензии Apache-2.0, допускающей коммерческое использование при соблюдении её условий.

Карточка модели Scrappy-Doo/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

GLM-5.2-Demolition-q4a4-soul-MLX — локальная MLX-версия модели GLM-5.2 от zai-org, подготовленная Philip John Basile. Это экспериментальная разреженная и квантованная сборка Mixture-of-Experts: исходная модель имеет 744 млрд параметров при 39 млрд активных, а в данном варианте сохранено около 23% экспертов. Корневые веса занимают примерно 104,89 ГБ и используют 4-битное квантование; модель рассчитана на запуск на одном Apple M5 Max с 128 ГБ памяти через MLX. Основное назначение — генерация и анализ кода в Python, TypeScript, JavaScript, Rust, Go, HTML, CSS, SQL и Postgres без привязки к фреймворкам. Поддерживаются дополнительные LoRA-адаптеры («souls») для искусства, музыки, дизайна, парфюмерии, науки, безопасности, разработки игр, full-stack-разработки, математики, визуализации данных, прозы, архитектуры и исследований. Заявленный язык модели — английский; размер контекста в карточке не указан. Сильные стороны модели — специализированная работа с ванильным кодом, возможность подключать предметные адаптеры и относительно компактный для исходной архитектуры запуск на одном Apple Silicon-компьютере. На HumanEval-164 заявлен результат pass@1 69,5% (114 из 164) в однократном запуске с проверкой скрытыми тестами. Ограничения включают намеренное ухудшение способностей к общим знаниям и trivia из-за pruning, экспериментальный характер рецепта, отсутствие доказательств превосходства над полноразмерной моделью и скорость около 11–14 токенов в секунду. Лицензия — MIT.

IoannisKat1 выпустил эту модель Sentence Transformers как дообученную версию intfloat/multilingual-e5-large. Она преобразует предложения и абзацы в плотные векторы размерностью 1024 на основе XLM-RoBERTa-large; в архитектуру входят усреднение токенов и нормализация векторов. Модель предназначена для семантического поиска, сравнения текстов, поиска перефразирований, кластеризации и классификации. Для поиска и сравнения можно вычислять косинусное сходство; благодаря Matryoshka-обучению предусмотрено усечение векторов до меньших размерностей с соответствующими компромиссами точности.

Nemotron-3-Nano-30B-A3B от NVIDIA — языковая модель для диалогов, рассуждений и следования инструкциям. Эта версия Unsloth основана на NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; метаданные и карточка описывают её как дообученную модель. Она предназначена для разработчиков чат-ботов, RAG-систем и агентных приложений, включая сценарии с вызовом инструментов, а также для программирования и типовых задач по инструкциям. Модель использует гибридную архитектуру Mamba-2 и Transformer с Mixture-of-Experts: 30 млрд параметров всего и 3,5 млрд активных. Поддерживает английский, немецкий, испанский, французский, итальянский и японский языки. Карточка указывает контекст до 1 млн токенов, при стандартной конфигурации 256 тыс.; больший контекст требует больше видеопамяти. Модель генерирует текст и может работать с рассуждением или без него; режим рассуждений обычно повышает качество на сложных запросах. В карточке указана готовность к коммерческому использованию, однако метаданные обозначают лицензию как «other», поэтому конкретные условия следует сверить с лицензией репозитория. К практическим ограничениям относятся высокие требования к видеопамяти, особенно при длинном контексте, и отсутствие поддержки русского языка среди перечисленных языков.

Ornith-1.5-9B-MXFP4_Hybrid-Imatrix-GGUF — это квантизированная GGUF-сборка модели Ornith-1.5-9B, разработанной Ornith AI и опубликованной пользователем jashepp. Модель предназначена для генерации текста, диалоговых сценариев, агентного использования, работы с инструментами и особенно для программирования и редактирования кода. Она ориентирована на задачи, где важны следование инструкциям, планирование и пошаговое рассуждение; автор рекомендует сохранять режим reasoning/thinking включённым. Модель имеет размер 9B параметров и распространяется в нескольких вариантах смешанной точности с использованием MXFP4, Q8_0 и F16. В сборках применена importance matrix (imatrix), а точность распределена по слоям вручную: наиболее чувствительные компоненты и общие части модели сохраняются в более высокой точности, тогда как разреженные экспертные блоки сжимаются до MXFP4. Доступны файлы размером примерно от 4,77 до 11,4 ГБ. Заявлен английский язык; модель относится к текстовым генеративным моделям и основана на архитектуре и весах Ornith-1.5-9B. Сильными сторонами являются улучшенное следование инструкциям, рассуждение, агентные сценарии и сохранение качества при снижении требований к памяти благодаря гибридной квантизации. Ограничения включают компромисс между размером и качеством в разных вариантах, отсутствие в README сведений о длине контекста, поддерживаемых языках помимо английского и подробных количественных результатах. Модель распространяется по лицензии MIT.