II.11Кибербезопасность и приватность

DeepSeek-R1-Llama-8B-F32-GGUF — текстовая генеративная модель семейства Llama, основанная на DeepSeek-R1-Distill-Llama-8B. Она предназначена для решения задач, требующих пошаговых рассуждений, в том числе математических задач, программирования и ответов на сложные вопросы. В карточке описаны варианты весов GGUF в форматах BF16, F16 и F32; размер файла F32 составляет 32,1 ГБ. Модель генерирует текст и поддерживает рассуждения с самопроверкой и рефлексией. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. README называет её квантизированной версией, однако перечисленные файлы представлены в BF16, F16 и F32; конкретная степень квантизации не уточняется.

Dolphin 2.6 Mistral 7B GGUF — это квантизированная версия языковой модели Dolphin 2.6 Mistral, разработанной Cognitive Computations и преобразованной в формат GGUF компанией Second State Inc. Модель основана на cognitivecomputations/dolphin-2.6-mistral-7b и предназначена для локального запуска в приложениях и сервисах, поддерживающих GGUF, включая LlamaEdge. Модель относится к текстовым языковым моделям, работает на английском языке и поддерживает контекст до 4096 токенов. Для взаимодействия используется шаблон ChatML. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 3,08 до 7,7 ГБ. Вариант Q4_K_M заявлен как сбалансированный и рекомендуемый, а Q5_K_M и Q5_K_S обеспечивают меньшее снижение качества при большем размере. К сильным сторонам относятся возможность локального развертывания, широкий выбор уровней квантования и адаптация для диалоговых и инструкционных сценариев. Ограничения включают англоязычную специализацию, контекст в 4096 токенов и неизбежную потерю качества при более агрессивном квантовании; вариант Q2_K прямо не рекомендуется для большинства задач. Модель распространяется по лицензии Apache-2.0.

Карточка модели unsloth/GLM-4.7-REAP-218B-A32B на Hugging Face совпадает с карточкой cerebras/GLM-4.7-REAP-218B-A32B, поэтому описание составлено по ней. GLM-4.7-REAP-218B-A32B — сжатая разреженная языковая модель семейства GLM-4.7 от Cerebras. Она получена методом REAP, который удаляет из смеси экспертов менее значимые компоненты; после прунинга дообучение не проводилось. Модель содержит 218 млрд параметров, из которых 32 млрд активируются на токен, и поддерживает контекст до 202 752 токенов. Модель предназначена для генерации кода и текста, агентных рабочих процессов, понимания репозиториев и вызова функций. В карточке заявлено, что она сохраняет близкое к исходной GLM-4.7 качество при уменьшении объёма памяти примерно на 40%; для версии BF16 приведены характеристики, но результаты оценки не указаны. Модель можно развернуть с актуальным vLLM. Лицензия — MIT. README рекомендует вариант BF16 для последующей низкобитной квантизации.

Карточка модели ahmed-amedo-1/Kimi-K3 на Hugging Face совпадает с карточкой moonshotai/Kimi-K3, поэтому описание составлено по ней. Kimi K3 — модель с открытыми весами от Moonshot AI для диалогов, рассуждений и агентных задач. В README указаны 2,8 трлн параметров, архитектура Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), а также разреженная смесь экспертов Stable LatentMoE: активируются 16 из 896 экспертов. Метаданные Hugging Face определяют архитектуру как плотную; поэтому тип архитектуры в доступных источниках описан неоднозначно. Модель принимает текст, изображения и видео и рассчитана на контекст до 1 млн токенов. Среди сценариев применения — длительные сессии программирования и работы с большими репозиториями, исследовательская работа с материалами и мультимодальные задачи. В README заявлена поддержка инструментов для агентных сценариев; метаданные подтверждают возможность диалогового взаимодействия. Веса опубликованы по лицензии Kimi K3 License, обозначенной в метаданных как other. README не приводит текст лицензии, поэтому конкретные условия распространения и коммерческого использования по имеющимся данным уточнить нельзя. Заявления о возможностях и эффективности приведены разработчиком; независимые результаты оценки здесь не доступны.

Mellum2-12B-A2.5B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Mellum2, разработанной JetBrains и подготовленной квантизатором bartowski с использованием llama.cpp. Модель предназначена для генерации текста по инструкциям, включая задачи программирования, рассуждений, ответов на вопросы и вызова функций. В README заявлена поддержка английского языка и текстовая модальность. Модель основана на Mellum2-12B-A2.5B-Instruct; из идентификатора следует обозначение 12B-A2.5B, однако подробности архитектуры и контекстного окна не указаны. Доступны варианты от BF16 до различных уровней квантования GGUF, что позволяет выбирать между качеством и требованиями к памяти. Для запуска указаны llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Приведены результаты на наборах для программирования, математики, следования инструкциям, вызова функций и оценки безопасности, но они не верифицированы. Лицензия модели — Apache 2.0. Ограничениями являются отсутствие в предоставленных данных подробной информации об архитектуре, размере контекста, полном наборе языков, системных требованиях и качестве работы на языках, кроме английского; перед использованием также может потребоваться обновление программного обеспечения для поддержки модели.

MiMo-Negentropy-9B-AGSI — плотная модель семейства Qwen3.5 примерно на 9 млрд параметров, созданная слиянием MiMo-V2.6-Distill-Qwen-9B от Xiaomi MiMo и Negentropy-claude-opus-4.7-9B от Jackrong. В README слияние названо AGSI Pipelined Fusion и описано как адаптивная спектральная интерполяция весов с защитой от конфликтов параметров. Модель предназначена для диалоговых и агентных сценариев, включая программирование, рассуждения и работу с терминалом. Метаданные указывают поддержку английского и китайского языков; репозиторий содержит веса в формате safetensors. Лицензия — MIT. Это текстовая генеративная модель с возможностью чата. Карточка не приводит результатов сравнительной оценки и не подтверждает практические гарантии качества; мультимодальные возможности базовой модели не следует автоматически считать возможностями этой версии.

NANI-Nithin/MiniCPM5-2B-GGUF — набор GGUF-квантизованных версий MiniCPM5-2B, разработанного командой OpenBMB. Модель предназначена для локального запуска на устройствах с ограниченными ресурсами, создания ассистентов, coding agents, сценариев tool use, агентских workflows и задач рассуждения. Репозиторий содержит исходную BF16-версию и 29 вариантов квантования от Q8_0 до Q1_0. Базовая модель представляет собой плотный Transformer на 2,516,756,480 параметров с архитектурой LlamaForCausalLM, 42 слоями и GQA с 16 query heads и 2 KV heads. Она поддерживает контекст до 131 072 токенов, работает с английским и китайским языками и ориентирована на text generation. По данным разработчика, модель особенно сильна в рассуждениях при работе с кодом, математике, обработке длинного контекста, использовании инструментов и агентских задачах; заявленный средний результат в сравнении с другими открытыми моделями класса 2B составляет 53,9 балла. Основное преимущество набора — возможность выбрать баланс между качеством, размером и требованиями к памяти: Q4_K_M размером около 1,45 ГБ указан как вариант по умолчанию, Q8_0 около 2,50 ГБ — как близкий к исходному качеству, а IQ2_M около 0,90 ГБ — как минимальный практически пригодный вариант. Качество низкобитных и экспериментальных квантов снижается, особенно у версий Q2 и Q1. Файлы предназначены для llama.cpp, Ollama и LM Studio и не загружаются напрямую через vLLM, SGLang или transformers; для этих сред следует использовать исходный репозиторий модели. Модель распространяется по лицензии Apache-2.0, а её ответы могут содержать ошибки.

o1-pro — модель из серии o1 от OpenAI, обученной с применением обучения с подкреплением для решения задач, требующих рассуждений перед ответом. Вариант o1-pro использует больше вычислительных ресурсов для более глубокого обдумывания ответа. Модель предназначена для сложных задач рассуждения и подготовки ответов на запросы пользователя. Доступный фрагмент карточки не описывает архитектуру, размер, поддерживаемые языки и длину контекста, поэтому эти характеристики не приводятся. Лицензия в предоставленных данных не указана.

Ngixdev/OmniCoder-Qwen3.5-9B-Claude-4.6-Opus-Uncensored-v2-GGUF — это GGUF-модель на базе Qwen/Qwen3.5-9B, разработанной Alibaba Cloud. Она создана путём объединения модели Qwen3.5-9B-Uncensored-HauhauCS-Aggressive, Qwen3.5-9B-Claude-4.6-Opus-Reasoning-Distilled-v2 и OmniCoder-9B-GGUF; при слиянии изменялись только дообученные веса, подготовленные с помощью Unsloth, в формате float32. В карточке заявлены языки English, Chinese и Korean, а также поддержка сценариев image-text-to-text, хотя подробности о визуальной архитектуре не приведены. Модель ориентирована на рассуждения, решение математических и логических задач, работу с инструкциями, общими знаниями и программированием. Версия v2 обучалась более чем на 14 000 образцах рассуждений в стиле Claude 4.6 Opus и оптимизировалась для сокращения избыточной длины цепочек рассуждений при сохранении или повышении точности. В README приведены заявленные результаты HumanEval и HumanEval+, включая более высокую эффективность рассуждений по сравнению с официальной Qwen3.5-9B, однако независимое подтверждение этих результатов отсутствует. Ключевые ограничения — неизвестные размер контекста и точные характеристики модальностей, а также возможное некоторое ухудшение широких универсальных возможностей из-за преимущественно общего, а не специализированного набора данных. Модель позиционируется как uncensored и может иметь минимальное количество отказов, что требует осторожности при использовании в чувствительных сценариях. Для работы рекомендуются LM Studio и специальные параметры генерации, но они не являются обязательными. Лицензия — Apache-2.0.

Phi-4-reasoning — открытая по весам языковая модель Microsoft Research, дообученная на базе Phi-4 с помощью supervised fine-tuning на примерах цепочек рассуждений и обучения с подкреплением. Она предназначена для диалоговых генеративных приложений, где важны рассуждения и логика, а также ограничены вычислительные ресурсы или допустимая задержка. Основные области обучения и оценки — математика, наука и программирование; модель рассчитана прежде всего на английский язык. Модель использует плотный декодерный Transformer архитектуры Phi-3 с 14,1 млрд параметров и контекстом до 32 768 токенов. При инференсе рекомендуется ChatML-шаблон; для более сложных запросов авторы советуют выделять больше токенов на генерацию. Модель может ошибаться и не проходила оценку для всех прикладных сценариев, поэтому ответы следует проверять, особенно при использовании в задачах с высокими последствиями. Лицензия — MIT.

trohrbaugh/Qwen3.6-35B-A3B-heretic-v2 — модифицированная версия Qwen3.6-35B-A3B, созданная методом abliteration: параметры модели изменены для снижения частоты отказов. В приведённом сравнении модель отказала в 0 из 100 случаев против 99 из 100 у исходной версии; KL-дивергенция относительно оригинала составляет 0,1263. Репозиторий содержит веса в формате Safetensors, совместимые с Transformers и рядом движков инференса. Модель сочетает языковую часть на архитектуре MoE с визуальным энкодером. Всего в ней 35 млрд параметров, из которых активируются около 3 млрд; она принимает текст и изображения, поддерживает диалог и имеет контекст 262 144 токена с возможностью расширения до 1 010 000. README описывает применение исходного семейства для агентного программирования, работы с репозиториями, вызова инструментов и визуальных задач. Модель подходит для диалоговых и агентных сценариев, генерации и анализа кода, а также вопросов по изображениям. Снижение числа отказов не гарантирует корректность ответов и может увеличить вероятность выдачи нежелательного или небезопасного содержания. Лицензия — Apache-2.0.

Qwen3.8-27B-ASCII-Condensed — текстовая GGUF-модель, созданная bsaleh03 на основе Qwen/Qwen3.8-27B и квантованной сборки unsloth/Qwen3.8-27B-GGUF. Это не дообучение, дистилляция или повторное квантование: из квантованной модели удалены строки словаря для не-ASCII-токенов, а токенизатор адаптирован к сокращённому словарю. Модель предназначена для генерации текста и работы с длинным контекстом через llama.cpp, прежде всего на одной видеокарте с 16 ГБ памяти. Словарь уменьшен с 248 320 до 129 006 строк, при этом остальные 864 из 866 тензоров побитово идентичны базовой квантованной модели. На RTX 5070 Ti с 16 ГБ заявлена поддержка до 135 168 токенов контекста при использовании q4_0 для KV-кэша; максимальная длина зависит от типов KV-кэша и доступной видеопамяти. Модель сохраняет MTP-голову для спекулятивного декодирования, а на ASCII-тексте токенизация совпадает с базовой моделью. Основное преимущество — экономия видеопамяти и увеличение доступного контекста без изменения большинства весов. Ограничение — ASCII-ориентированный словарь: английский язык, код и ASCII-пунктуация обрабатываются без дополнительных затрат, но символы с диакритикой, кириллица, CJK и другие не-ASCII-тексты требуют больше токенов; для работы преимущественно на неанглийских языках сборка не рекомендуется. Модель поддерживает только текстовый режим, файл mmproj отсутствует, а смешанные типы KV-кэша требуют пропатченной версии llama.cpp. Распространяется по лицензии Apache 2.0, унаследованной от базовой модели.

Qwen3.8-Flash-Next-MLX-4bit — это сборка модели Qwen3.8-Flash-Next, адаптированная проектом PipeNetwork для запуска через MLX на компьютерах с Apple Silicon. Модель предназначена прежде всего для генерации текста и программного кода в локальном окружении с поддержкой mlx-lm. В состав репозитория входит собственный runtime для экспериментальной архитектуры qwen4_exp, поэтому для загрузки требуется trust_remote_code=True. Базовая модель имеет гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts на 125 млрд параметров, из которых около 6 млрд активируются для одного токена, а также использует 51 млрд параметров hashed n-gram embedding. В этой версии веса преобразованы в формат MLX и преимущественно квантизированы до 4 бит: размер сборки составляет 103,8 ГБ против 360 ГБ у исходной версии в bfloat16. Часть параметров, включая маршрутизатор MoE и отдельные управляющие компоненты, сохранена в bfloat16. Vision tower также присутствует в bfloat16, но данный runtime работает только с текстом. Мультитокеновая prediction head размером 4 млрд параметров исключена. Языки и точное максимальное окно контекста в README не указаны. Сильной стороной сборки является существенное уменьшение занимаемого объёма при сохранении работоспособной генерации; runtime содержит исправления, обеспечивающие соответствие эталонной реализации на тестовой конфигурации. Однако равномерное 4-битное квантование заметно ухудшает качество: на тесте wikitext-2 perplexity составила 5,3914 против 4,4708 у bfloat16. В README рекомендуется смешанная сборка с 4- и 8-битным квантованием, которая занимает 106,2 ГБ и показывает значительно меньшую потерю качества. Модель распространяется по Qwen Community License 1.0.

Star Supernova — англоязычная модель генерации текста monkiey/StarSupernova, созданная на базе Gemma-4 и дообученная с дистилляцией интеллектуальных и аналитических возможностей модели stepfun-ai/Step-3.7-Flash. Она предназначена для многошагового рассуждения, решения математических задач, академического и профессионального анализа, работы с вопросами из MMLU-Pro, программированием, системной инженерией и многоходовыми диалогами разработчика с инструментами. Модель использует разреженную архитектуру Mixture-of-Experts с 12 экспертами, Top-4-маршрутизацией для каждого токена и общей плотной MLP-сетью. Общий объём составляет около 13,47 млрд параметров, из них активно используется около 5,54 млрд на токен. Архитектура основана на Gemma-4 с 35 слоями и размерностью скрытого состояния 1536, контекст — до 131 072 токенов. Веса квантизованы до 4 бит, проекции маршрутизатора — до 8 бит; заявленный объём памяти составляет около 8,7 ГБ VRAM. Сильные стороны модели — высокая ёмкость при разреженной активации, специализированные навыки рассуждения, пошаговые математические выводы, устранение отвлекающих вариантов в тестах и эффективный запуск на компьютерах Apple Silicon через MLX и Metal GPU. Ограничение — модель обучалась только на английском языке и рассчитана прежде всего на англоязычные сценарии. Для работы требуется MLX/Apple Silicon; README указывает лицензию Apache-2.0.

Buddhi-128K-Chat — диалоговая языковая модель общего назначения от AI Planet, дообученная на базе Mistral-7B-Instruct-v0.2. Она предназначена для генерации ответов, работы с длинными документами и продолжительными диалогами: в частности, для суммаризации, генерации текста и ответов на вопросы по большому контексту. Модель использует плотную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстным окном до 131 072 токенов. Для расширения контекста применена техника YaRN; README также описывает Dynamic-YARN. Модель принимает текст и генерирует текст, поддерживает английский язык и использует шаблон инструкций Mistral с маркерами [INST] и [/INST]. Для запуска с контекстом 128K в карточке указано требование около 80 ГБ VRAM, а для 32K — около 40 ГБ; рекомендуется A100. Модель опубликована в формате safetensors под лицензией Apache-2.0. Приведённые в README результаты бенчмарков не являются независимой оценкой, а обработка максимального контекста требует значительных ресурсов.

DeepSeek V4 Flash — REAM144 (163B) DS4 Q2 — это чат-модель WaveCut в формате GGUF, созданная на основе DeepSeek-V4-Flash-0731-REAM144-163B. В сборке сохранено 144 из исходных 256 экспертов на слой; модель квантизована до 2 бит для экспертов и 8 бит для attention, с использованием матрицы важности. Файл весит 49,3 ГБ, а автор указывает запуск на Mac с 64 ГБ памяти и контекстом 8 тыс. токенов. Модель предназначена для многоязычного диалога, рассуждений, ответов на вопросы по коду и сценариев с инструментами. По карточке она уверенно справляется с многоязычным чатом, рассуждениями и длинными диалогами, включая русский и переключение между английским и русским. Для запуска нужен DS4 fork с поддержкой переменного числа экспертов; обычный llama.cpp этот файл не загрузит. Квантизация 2 бит может ухудшать качество агентных задач: тесты показали непостоянные сбои при вызове инструментов, рефакторинге кода и цепочках «вызов инструмента — код». Лицензия — MIT.

Kai 7B Beta — языковая модель для генерации текста, разработанная Keynote Technology. Данная версия распространяется в формате GGUF и представляет собой квантизированные файлы исходной модели Keynote-Technology/KAI-7B-beta; квантизацию выполнил TheBloke. Модель предназначена для задач текстовой генерации, включая сценарии, связанные с кодом, и может использоваться через llama.cpp и совместимые приложения и библиотеки для локального вывода на CPU и GPU. Из известных характеристик: модель относится к типу Mistral, содержит около 7 миллиардов параметров, поддерживает английский язык и работает только с текстом. Доступны варианты квантизации с разной разрядностью, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Контекстное окно в предоставленных данных не указано; специальный шаблон промпта отсутствует, используется формат {prompt}. Основные преимущества — наличие вариантов от 2 до 8 бит, поддержка широкого набора локальных инструментов и возможность запуска без облачной инфраструктуры. К ограничениям относятся возможные потери качества из-за квантизации, зависимость производительности от выбранного варианта и оборудования, а также отсутствие данных о целевых бенчмарках и размере контекстного окна. В метаданных указана лицензия Apache-2.0.

Spicyneuron/Kimi-K2.7-Code-MLX-3.6bit — квантованная версия модели Kimi-K2.7-Code, разработанной MoonshotAI. Модель предназначена для генерации текста и, судя по названию базовой модели, прежде всего для задач, связанных с программированием. Она оптимизирована для локального запуска на Mac Studio с чипом M3 Ultra через MLX и MLX-LM, в том числе в формате сервера, совместимого с API chat completions. Это разреженная MoE-модель с 3-битным базовым квантованием и повышенной точностью для чувствительных компонентов, включая маршрутизацию MoE, механизмы внимания и выходные эмбеддинги. Используется смешанная точность с показателем 3,578 бит на вес. Для работы требуется примерно 428 ГБ базовой памяти и до 460 ГБ в пиковом режиме, поэтому модель рассчитана на мощные устройства с большим объёмом объединённой памяти. В README не указаны точный размер модели, длина контекста, поддерживаемые языки и мультимодальные возможности. К сильным сторонам относятся баланс скорости, потребления памяти и качества, а также возможность оставить память для небольшой вспомогательной модели. Заявленная скорость составляет около 219 токенов в секунду при обработке prompt размером 1024 токена и около 21 токена в секунду при генерации последовательности длиной 512 токенов. Ограничения связаны с высокими требованиями к памяти, потерями качества, неизбежными для агрессивного квантования, и узкой оптимизацией под экосистему Apple MLX. Квантование выполнено с использованием форка MLX-LM от spicyneuron. Лицензия в README не указана.

TheBloke/Llama-2-70B-GGUF — это квантованные файлы большой языковой модели Llama 2 70B, разработанной Meta. Модель предназначена для генерации текста и может использоваться в локальных сценариях: чат-ботах, ассистентах, написании и преобразовании текста, а также других задачах, поддерживаемых text-generation. Указан английский язык; сведения о мультимодальности отсутствуют, поэтому модель следует считать текстовой. Модель основана на Llama 2 70B и распространяется в формате GGUF, разработанном командой llama.cpp. Формат поддерживает метаданные, специальные токены и улучшенную токенизацию. Репозиторий подготовлен TheBloke и содержит варианты квантования от 2 до 8 бит для инференса с использованием CPU и GPU; доступны методы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K с различным компромиссом между размером, скоростью и сохранением качества. Модель совместима с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. К сильным сторонам относятся возможность локального запуска, поддержка CPU и GPU, широкий выбор уровней квантования и совместимость с популярными инструментами. Ограничениями являются очень большой размер исходной модели, потенциальное снижение качества при агрессивном квантовании и отсутствие в предоставленных данных сведений о размере контекста, производительности, точных требованиях к памяти и специализированном дообучении. Лицензия указана как llama2; условия её применения следует проверять в документации Meta.

MistralLite — языковая модель Amazon, дообученная на базе Mistral-7B-v0.1 для работы с длинными контекстами. Это плотная авторегрессионная модель Mistral с 7,1 млрд параметров, принимающая текст и генерирующая текст; заявленная длина контекста — до 32 768 токенов. При дообучении использованы адаптация Rotary Embedding с rope_theta=1000000 и скользящее окно размером 16 384 токена. Модель предназначена для извлечения строк и тем из длинных текстов, суммаризации и ответов на вопросы по предоставленному контексту. По карточке, она лучше справляется с рядом задач извлечения и ответа по длинному контексту и может обслуживаться на одном экземпляре AWS g5.2xlarge, а также через TGI или vLLM. README сравнивает её с Mistral-7B-Instruct-v0.1, но указывает дообучение именно от Mistral-7B-v0.1. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов сравнительных тестов, а длина контекста в конкретном обслуживании зависит от настроек сервера; приведённые примеры задают пределы ниже заявленных 32 768 токенов.

Это GGUF-квантизованная версия языковой модели Llama-3_1-Nemotron-Ultra-253B-v1, разработанной NVIDIA и подготовленной квантизатором bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска в llama.cpp, LM Studio и других совместимых проектах на базе llama.cpp. Указан английский язык; поддерживается текстовая модальность. Размер исходной модели — 253 млрд параметров, однако точная архитектура и размер контекстного окна в README не указаны. Доступно множество вариантов квантизации GGUF — от Q8_0 до более компактных Q3 и IQ3/IQ4. Высокоточные варианты обеспечивают лучшее сохранение качества, а младшие квантизации снижают требования к памяти; рекомендуемыми названы, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS. Основное ограничение — чрезвычайно большой объём файлов: даже рекомендуемый Q4_K_M занимает около 150,94 ГБ, поэтому для запуска требуется мощное оборудование и значительный объём оперативной или видеопамяти. Лицензия — NVIDIA Open Model License; ссылка на условия приведена в карточке модели.

Orchestrator-8B GGUF — модель оркестрации инструментов и экспертных моделей, разработанная NVIDIA и University of Hong Kong. Эта версия распространяется пользователем Mungert в формате GGUF и создана с использованием llama.cpp. В основе лежит 8-миллиардная decoder-only Transformer-модель Qwen3-8B, обученная на GeneralThought-430K и ToolScale. Заявленный язык модели — английский; поддерживается генерация текста. Модель предназначена для сложных многошаговых и многоходовых агентских задач, в которых требуется координировать неоднородные инструменты, включая поиск, выполнение кода, а также специализированные и универсальные LLM. При обучении применялось многоцелевое обучение с подкреплением GRPO, оптимизирующее точность, задержку, стоимость и соответствие пользовательским предпочтениям. Разработчики заявляют об обобщении на ранее не встречавшиеся инструменты и конфигурации ценообразования. Согласно README, на Humanity’s Last Exam модель получила 37,1% и демонстрировала более высокую эффективность по сравнению с рядом крупных монолитных моделей, включая GPT-5, Claude Opus 4.1 и Qwen3-235B-A22B; также приводятся результаты на FRAMES и τ²-Bench. Конкретный размер контекста и характеристики модальностей не указаны. GGUF-файл подвергнут квантованию с выборочным повышением точности отдельных слоёв, что может улучшать качество при ограниченной разрядности ценой увеличения размера файла. Модель предназначена только для исследований и разработок и распространяется по лицензии Apache 2.0.

Phi-4-reasoning-plus — открытая языковая модель Microsoft Research для генерации ответов с развернутыми рассуждениями. Эта производная от microsoft/Phi-4-reasoning-plus модель содержит 14,1 млрд параметров и использует плотный декодерный Transformer семейства Phi-3. Она принимает текст и поддерживает контекст до 32 768 токенов. Модель предназначена прежде всего для англоязычных задач, где важны рассуждения и логика: решения задач по математике и науке, программирование, планирование и следование инструкциям. Её можно использовать как основу для генеративных функций в условиях ограниченных вычислительных ресурсов. Дообучение включало supervised fine-tuning на цепочках рассуждений и обучение с подкреплением; модель в среднем генерирует примерно на 50% больше токенов, что может повышать задержку. Карточка предупреждает, что модель проверялась прежде всего для математических рассуждений и не оценивалась специально для всех вариантов применения. Ответы требуют проверки, особенно в высокорисковых сценариях. Репозиторий распространяется по лицензии MIT.

Это текстовая сборка Qwen3.8-27B от Prism ML, созданная на основе Qwen/Qwen3.8-27B и упакованная для локального coding-агента chad на компьютерах Apple Silicon. Плотная гибридная архитектура включает 64 слоя: 48 GatedDeltaNet и 16 слоёв полного внимания. Веса проекций представлены в базисе Hadamard и квантованы до 2 бит; общий объём весов составляет 7,15 ГБ, а вместе с черновой моделью для ускорения декодирования — около 8 ГБ. Заявленная длина контекста — 262 тысячи токенов. Модель предназначена для диалогов и программирования в локальном агенте. В комплект входит квантованный DFlash2-драфтер на 1,9 млрд параметров, который предлагает блоки токенов для спекулятивного декодирования; по README, на M4 Pro это повышает скорость генерации с 21 до 64 токенов в секунду. Визуальная башня удалена, поэтому эта сборка принимает только текст. Для корректной загрузки требуется реализация, учитывающая Hadamard-преобразования; обычный загрузчик MLX может выдать некорректный результат. Модель распространяется по лицензии Apache-2.0; для вложенного драфтера README отдельно просит соблюдать лицензию и условия цитирования исходного релиза.

Qwen3.8-Flash-Next ROCmFP4-FAST imatrix GGUF — квантизированная GGUF-версия модели Qwen3.8-Flash-Next, разработанная и опубликованная Agention. Модель предназначена для генерации текста, агентских сценариев, работы с длинными контекстами и обработки изображений при подключении собственного vision-модуля. Языки в README не указаны. Модель содержит около 180 млрд параметров, использует квантизацию ROCmFP4 с эффективностью 4,23 bpw и занимает примерно 87,06 GiB. Поддерживается контекст до 262 144 токенов, а vision tower поставляется отдельно в формате F16. Также доступна speculative decoding через собственную MTP-голову; заявлена скорость генерации до 40 токенов в секунду на Strix Halo, хотя результат зависит от содержимого. Квантизация imatrix откалибрована на 1540 фрагментах данных, а заявленная потеря по perplexity относительно неквантизированной версии составляет около 2,48%. Ключевое преимущество — возможность полностью разместить веса, таблицу n-gram и вычисления на GPU с unified memory без CPU fallback, что особенно полезно для длинных запросов и повторного чтения большого контекста. Основные ограничения — очень высокие требования к памяти и специализированному оборудованию, а также необходимость использовать форк llama.cpp с поддержкой ROCmFPx и соответствующими оптимизациями. Для vision и speculative decoding требуются дополнительные файлы и настройки. Лицензия указана как qwen-community-1.0.

Карточка модели freedom-signal/Qwen3-Embedding-0.6B-f16 на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

Карточка модели fabianschmidt-cohere/Qwen3-Embedding-4.9M-init на Hugging Face совпадает с карточкой unsloth/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — текстовая модель эмбеддингов семейства Qwen3, представленная в репозитории Unsloth и основанная на Qwen/Qwen3-0.6B-Base. Это плотная архитектура с 507,6 млн параметров и контекстом до 32 768 токенов. Модель преобразует текст в векторы размерностью от 32 до 1024 и позволяет задавать инструкцию для конкретной задачи. Модель предназначена для семантического поиска и извлечения текстов, сравнения предложений, классификации и кластеризации текста, поиска по коду и межъязыкового сопоставления. Она поддерживает более 100 языков, включая языки программирования, и рассчитана на многоязычные и межъязыковые сценарии. Лицензия — Apache-2.0. Карточка описывает всю серию Qwen3 Embedding, поэтому приведённые в ней лидерские результаты относятся к модели 8B, а не подтверждают такие же результаты для версии 0.6B. Для работы с Transformers требуется версия 4.51.0 или новее: более ранние версии могут выдавать ошибку распознавания архитектуры Qwen3.

Карточка модели Yaldat/Yalda-Embedding4 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

Карточка модели Yaldat/Yalda-Embedding5 на Hugging Face совпадает с карточкой Qwen/Qwen3-Embedding-0.6B, поэтому описание составлено по ней. Qwen3-Embedding-0.6B — многоязычная модель эмбеддингов текста семейства Qwen3, разработанная командой Qwen. Это дообученная версия Qwen/Qwen3-0.6B-Base с плотной архитектурой Qwen3ForCausalLM и примерно 507,6 млн параметров. Модель предназначена для преобразования текста в векторы и поиска семантически близких текстов; её применяют для поиска и извлечения документов, поиска по коду, классификации, кластеризации и сопоставления параллельных текстов. Модель поддерживает более 100 естественных языков и языков программирования, обрабатывает контекст до 32 768 токенов и выдаёт эмбеддинги размерностью до 1024, включая пользовательские размерности от 32 до 1024. Она поддерживает инструкции, настраиваемые под задачу, язык или сценарий, что может улучшать качество поиска. README описывает серию как сильную в многоязычных задачах эмбеддингов, но приведённые в нём отдельные лидирующие результаты относятся к модели 8B, а не к версии 0.6B. Для использования требуется совместимая версия Transformers: в версиях ранее 4.51.0 возможно возникновение ошибки распознавания архитектуры. Лицензия — Apache-2.0.

RedHatAI/Qwen3.8-27B-NVFP4 — квантизированная версия модели Qwen3.8-27B, разработанной командой Qwen; базовая модель указана как Qwen/Qwen3.8-27B. Это плотная causal language model с vision encoder, предназначенная для генерации и анализа текста, программирования, профессиональных и исследовательских задач, многошагового планирования и агентских сценариев. Модель нативно поддерживает понимание изображений и видео, включая документы, STEM-диаграммы и длительные видеоматериалы. Модель содержит 27 млрд параметров, 64 слоя и поддерживает контекст длиной 262 144 токена с возможностью расширения до 1 000 000 токенов с применением RoPE scaling, например YaRN. Архитектура сочетает Gated DeltaNet, Gated Attention и FFN; предусмотрены режимы рассуждения с настраиваемой глубиной, отключением thinking mode и сохранением контекста рассуждений из предыдущих сообщений. Указанная сборка использует квантизацию NVFP4/FP4, при этом lm_head квантизирован в FP8. К сильным сторонам относятся компактность для модели такого класса, поддержка текста, изображений и видео, длинного контекста, программирования и автономного выполнения сложных задач. Ограничение данной сборки заключается в совместимости: согласно README, она работает только в vLLM и не поддерживается SGLang. Для запуска и качества генерации могут потребоваться специальные параметры семплирования и значительный лимит выходных токенов. Модель распространяется по лицензии Apache-2.0.