I.3Извлечение и структурирование данных

unsloth/Qwen3.5-2B-GGUF — GGUF-версия модели Qwen3.5-2B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с vision encoder, предназначенная для мультимодального понимания текста и изображений, рассуждений, программирования, агентских сценариев, прототипирования, исследовательских задач и дообучения под конкретные задачи. Модель совместима с экосистемой Hugging Face Transformers, vLLM, SGLang и KTransformers; для локального запуска и дообучения Unsloth предоставляет отдельные руководства. Модель содержит около 2 млрд параметров, 24 слоя и скрытую размерность 2048. В архитектуре сочетаются Gated Delta Networks и Gated Attention; заявлена гибридная структура с эффективной обработкой последовательностей. Нативная длина контекста составляет 262 144 токена. Модель поддерживает мультимодальные входы и заявленную языковую и диалектную представленность для 201 языкового варианта. GGUF-квантизация ориентирована на эффективный локальный запуск при ограниченных вычислительных ресурсах, однако конкретные характеристики скорости, памяти и точности зависят от варианта квантизации и используемого рантайма. К сильным сторонам относятся сочетание языкового и визуального понимания, длинный контекст, компактный размер и возможность локального применения. Ограничением является меньшая параметрическая ёмкость по сравнению с крупными моделями, поэтому модель может уступать им в сложных задачах и не предназначена как универсальная замена наиболее мощным системам. README также указывает, что модель ориентирована прежде всего на прототипирование, специализированное дообучение, исследования и разработку. Лицензия — Apache 2.0.

Qwen3.6-14B-A3B-FableVibes-GGUF — модель tvall43 на базе Qwen3.6-14B-A3B-FableVibes, представленная в формате GGUF для запуска на локальном оборудовании. Это обобщённая модель рассуждений, дообученная на трассах рассуждений Claude Fable 5 и дополненная данными Claude Opus, Qwen для tool calling и Evol-Instruct-Code. Модель предназначена для генерации текста, решения сложных задач с многошаговым рассуждением, программирования и сценариев, связанных с вызовом инструментов. Она использует архитектуру MoE с примерно 14B активных параметров после pruning исходной модели Qwen3.6-35B-A3B. Поддерживается мультимодальный режим через файлы mmproj, однако конкретные характеристики контекстного окна и полный перечень поддерживаемых языков не указаны. Модель ориентирована на англоязычные сценарии. К сильным сторонам относятся структурированное рассуждение, улучшенные способности к работе со сложными задачами и возможность запуска на потребительском оборудовании благодаря нескольким вариантам квантования: от F16 до Q2_K. Модель поддерживает llama.cpp и совместимые интерфейсы, включая LM Studio, Ollama и text-generation-webui. Ограничениями являются повышенная задержка до первого токена из-за режима thinking, значительный расход токенов на рассуждение и возможное снижение качества в сильно сжатых вариантах квантования. Распространяется по лицензии Apache-2.0.

AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-NVFP4-MIXED — мультимодальная instruction-модель семейства Qwen, разработанная AEON-7 на базе AEON-7/Qwen3.8-27B-AEON-ULTIMATE-UNCENSORED-BF16. Это смешанная версия для генерации текста, диалогов, программирования, рассуждений, агентских сценариев, function calling и обработки изображений и видео. Заявлена поддержка английского, китайского и других языков. Модель распространяется через Transformers и ориентирована на запуск с vLLM и OpenAI-совместимыми интерфейсами. Модель содержит около 27 млрд параметров и занимает примерно 23,8 ГБ в четырёх шардах. В основе используется гибридная архитектура с full attention и Gated DeltaNet (GDN), линейным вниманием, vision-компонентами и native MTP для speculative decoding. Основная часть MLP-слоёв 0–55 представлена в формате NVFP4 W4A4, слои 56–63 и отдельные чувствительные компоненты — в FP8, а vision tower, embeddings, lm_head, GDN-компоненты и MTP head сохранены в BF16. Заявлены long-context, reasoning, tool calling и поддержка аппаратуры Blackwell, включая DGX Spark на GB10, RTX 5090 и RTX PRO 6000. Сильные стороны модели — уменьшенный объём при сохранении мультимодальности и MTP, высокая производительность на целевом оборудовании, улучшенные результаты в программировании и агентских тестах, а также отсутствие исходных ограничений на ответы, описанное авторами как uncensored. При этом авторы отмечают, что общая интеллектуальная оценка уступает стандартной Qwen, а OpenClaw является слабым местом; приведённые результаты получены на локальном наборе AEON Suite и не гарантируют аналогичное качество в других условиях. Лицензия — Apache-2.0.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-FP8 — мультимодальная языковая модель, разработанная OptimizeLLM на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации и анализа текста, технических и диалоговых сценариев, работы с инструментами, а также обработки изображений и видео. Она ориентирована на использование через vLLM и поддерживает спекулятивное декодирование MTP. В основе лежит плотная модель размером 27,8 млрд параметров с 64 слоями и гибридной архитектурой, объединяющей линейное и полное внимание. Веса квантизированы в FP8 E4M3 с блочным масштабированием 128×128, при этом vision tower, MTP-головы, lm_head, embed_tokens и некоторые проекции сохранены в BF16. Размер модели составляет около 30 ГБ; используются официальный токенизатор Qwen3.8-27B и мультимодальные входы изображений и видео. Длина контекста в README не указана. Ключевая особенность — abliteration с помощью HERETIC, удаляющая склонность базовой модели отказывать в ответах. Поэтому модель подходит для сценариев, где требуется отвечать на технические вопросы, включая темы информационной безопасности, которые исходная модель могла бы отклонять. При этом abliteration не делает модель нейтральной: она может сохранять исходные мировоззренческие и политические склонности, а отсутствие отказов повышает требования к контролю применения. Для запуска рекомендуется GPU с достаточным объёмом памяти; заявлено размещение на одной карте 96 ГБ, а в vLLM требуется ограничить max-num-seqs до 32. Производительность измерялась на RTX PRO 6000 Blackwell и составляла около 122 токенов в секунду при MTP=4, но зависит от нагрузки. Модель распространяется по лицензии Apache-2.0. README не содержит полного перечня поддерживаемых языков и точного размера контекста.

Solstice-AI/Qwen3.8-27B-TTURBO-Cold-Fusion-709-L-Uncensored-UltraOptimised-VariableThinking-1M — это GGUF-релиз 27-миллиардной модели семейства Qwen3.8, созданный Solstice-AI на основе модели DavidAU Qwen3.8-27B-TWIN-TURBO-Fable-Cold-Fusion-709-L-Uncensored. DavidAU разработал исходную модель и слияние GAIN, а Solstice-AI выполнила квантование, интеграцию Multi-Token Prediction и настройку когнитивной архитектуры. Модель распространяется в формате GGUF и предназначена для запуска через llama.cpp, Ollama и совместимые приложения. Модель ориентирована на диалог, рассуждения, программирование и задачи, требующие управляемой глубины анализа. Заявлена поддержка мультимодального ввода изображений и видеокадров через отдельный проектор mmproj-BF16.gguf, а также английского и китайского языков. Доступны десять уровней режима рассуждений — от прямого ответа без мыслительных токенов до глубокого анализа; режим можно выбирать через специальные параметры шаблона чата или теги сообщений. Заявлен контекст размером до 1M токенов, однако README не приводит подробностей о фактических требованиях к памяти и совместимости всех реализаций. Главные особенности — Native Hardware Multi-Token Prediction для ускорения генерации, сохранение lm_head в 16-битной точности в MAX-MTP-сборках и несколько вариантов квантования. Q4_K_M рассчитан примерно на 16 ГБ VRAM, Q5_K_M — на 24 ГБ, Q6_K — на 24–32 ГБ, а Q8_0 — на 32 ГБ и более. Более низкая разрядность уменьшает требования к памяти, но может снижать точность; мультимодальная обработка требует дополнительного проектора и ресурсов. Модель позиционируется как uncensored/abliterated, поэтому может не применять стандартные ограничения безопасности. Лицензия — Apache 2.0.

Qwen3-VL-12B-Instruct-Brainstorm20x-NEO-MAX-GGUF — мультимодальная instruct-модель, разработанная DavidAU на базе Qwen3-VL-Instruct с адаптером Brainstorm 20x. Модель распространяется в формате GGUF с квантованием NEO Imatrix и выходным тензором MAX с точностью 16 бит. Она предназначена для диалогов, генерации и анализа кода, решения многошаговых задач, работы с изображениями и их описания, а также творческих сценариев. Поддерживаются текстовые и визуальные входы; в карточке также заявлена обработка видео. Указанный язык — английский. После добавления адаптера размер модели увеличен с 8B до 12B; заявлены 55 слоёв и 608 тензоров. Максимальный контекст составляет 256k токенов. Для полноценной мультимодальной работы требуется отдельный файл mmproj в формате GGUF, совместимый с основной квантованной моделью, а оба файла должны находиться в одной папке. Поддерживаются Jinja или CHATML-шаблон; модель проверялась в LM Studio и Koldboldcpp. Сильными сторонами заявлены улучшение генерации текста и описаний изображений за счёт Brainstorm 20x, хорошие результаты на ряде задач логического и commonsense-рассуждения, а также пригодность для сложного программирования и пошагового уточнения решений. Ограничением является склонность к зацикливанию; README рекомендует повышать temperature и использовать repetition или presence penalty. Для сложных задач предпочтительны варианты Q6 или Q8, однако конкретные требования к памяти и производительности не указаны. Лицензия — Apache-2.0.

Qwen-SEA-LION-v4.5-27B-IT — мультимодальная инструктивная модель AI Singapore для языков Юго-Восточной Азии, дообученная на основе Qwen3.6-27B. Это плотная модель на 27 млрд параметров с гибридной архитектурой Linear и Full Attention и визуальным энкодером; она принимает текст и изображения и генерирует текст. Контекстное окно составляет 262 тыс. токенов. Модель прошла постобучение с дистилляцией и слиянием моделей на наборе SEA-Instruct-2602. Модель предназначена для многоязычного диалога, ответов на вопросы, перевода, суммаризации, рассуждений и работы с изображениями. В карточке заявлена поддержка английского, бирманского, индонезийского, филиппинского, малайского, тамильского, тайского и вьетнамского языков; метаданные также указывают китайский. Доступны интерфейсы чата и вызова инструментов. Модель распространяется по лицензии MIT. Разработчик предупреждает, что модель может галлюцинировать, давать нерелевантные или непоследовательные ответы и не проверялась на устойчивость к состязательным запросам. Она не проходила выравнивание по безопасности, поэтому перед использованием следует самостоятельно оценить риски и при необходимости провести дополнительную настройку.

QwQ-MathOct-7B — дообученная PrithivMLmods языковая модель на базе Qwen/Qwen2.5-7B-Instruct. Это плотная причинная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Она ориентирована на математические задачи, рассуждения, помощь с кодом, следование инструкциям и создание структурированных ответов; поддерживает контекст до 32 768 токенов и работает через Transformers. Модель подходит для пошагового объяснения решений, генерации и разбора кода, подготовки учебных материалов, многоязычного общения и создания содержимого. В карточке заявлена поддержка более 29 языков, включая русский и английский. Возможные ограничения — ошибки в неоднозначных задачах, устаревшие знания, унаследованные от обучающих данных смещения и необходимость проверки ответов, особенно в чувствительных сценариях. Указана лицензия Apache-2.0.

bagel-7b-v0.1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и jondurbin/bagel-7b-v0.1 методом SLERP; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Контекст составляет до 32 768 токенов. В карточке указана лицензия Apache-2.0. Языки модели в предоставленных данных не перечислены.

Карточка модели jinreiyu/cloned-Ternary-Bonsai-27B-mlx-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Vontra/DeepSeek-V4-Flash-0731-MXFP4-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731 от DeepSeek, распространяемая Vontra. Модель предназначена для генерации текста и запуска локальных LLM-приложений на устройствах Apple с MLX, включая диалоги, программирование и работу с длинным контекстом. Исходная модель имеет 305 млрд параметров, из которых около 13 млрд активируются для одного токена, и использует архитектуру Mixture-of-Experts. В данной версии эксперты представлены в формате MXFP4, attention — в MXFP8, а выходная голова сохраняется в формате bfloat16. Поддерживается текстовая модальность; сведения о полном наборе языков и максимальной длине контекста в README не указаны, однако приведены измерения на контексте 23 тысячи токенов. Конверсия заявлена как побитово идентичная исходному checkpoint: значения весов после деквантизации совпадают с оригиналом, а размер составляет около 167,1 ГБ. Модель сохраняет DSpark MTP-головы, что позволяет использовать нативное speculative decoding в oMLX 0.5.4rc2 и повысить скорость генерации примерно до 41,7 токена в секунду на Mac Studio с M3 Ultra против 26,1 токена в секунду без спекуляции. Для работы требуется значительный объём памяти и совместимое окружение MLX/oMLX; заявленные показатели зависят от оборудования, настроек и кэширования промптов. Лицензия — MIT.

mlx-community/gemma-4-26B-A4B-it-qat-OptiQ-4bit — квантизированная MLX-версия модели Google Gemma 4, подготовленная сообществом mlx-community с помощью mlx-optiq. Модель основана на Google Gemma 4 26B A4B instruction-tuned QAT и предназначена для локального запуска на устройствах Apple Silicon без PyTorch и облачной инфраструктуры. Это разреженная MoE-модель с 26 млрд общих параметров, 128 маршрутизируемыми экспертами и примерно 4 млрд активных параметров на токен. Используется смешанная квантизация: преимущественно 4-битная, но чувствительные компоненты, включая часть экспертных тензоров, слои внимания и маршрутизатор, представлены в 8-битном формате. Достигнутая точность составляет 6,01 бит на вес, размер модели на диске — около 19 ГБ. Модель поддерживает генерацию текста, а также сценарии image-text-to-text через bf16 vision-модуль. Языки и размер контекстного окна в README не указаны. Модель ориентирована на рассуждения, следование инструкциям, генерацию кода, работу с инструментами и агентские сценарии. По сравнению с равномерной 4-битной квантизацией той же QAT-базы она немного улучшает средний Capability Score и результаты MMLU, GSM8K и IFEval, однако уступает в BFCL и HumanEval, поэтому характеристики зависят от задачи. Для использования требуются mlx-optiq и версия mlx-lm из основной ветки; запуск рассчитан прежде всего на Apple Silicon и требует значительного объёма памяти. Лицензия указана как Apache 2.0; также применяются условия лицензии Gemma от Google.

mlx-community/gemma-4-e2b-it-qat-OptiQ-4bit — квантованная версия модели Gemma 4 E2B, разработанной Google и адаптированной сообществом mlx-community с использованием MLX-native инструментария mlx-optiq. В основе лежит quantization-aware-trained модель google/gemma-4-E2B-it-qat-q4_0-unquantized. Модель предназначена для локальной генерации текста на устройствах Apple Silicon, включая задачи общего понимания и генерации текста, рассуждений, программирования, следования инструкциям, вызова инструментов и работы с агентными сценариями. Также поддерживается мультимодальный режим image-text-to-text через vision-компонент в формате bf16; текстовый режим загружается через mlx-lm, а обработка изображений — через mlx-optiq. Используется смешанная разрядность: большинство компонентов имеют точность 4-bit, чувствительные слои — 8-bit. Всего квантовано 276 компонентов, достигнуто 5,24 bits per weight, размер модели на диске составляет около 4,9 ГБ. Квантование выполнено с группой 64 и распределением битов на основе чувствительности слоёв. По заявленным тестам модель превосходит равномерную 4-bit-квантизацию той же базы по среднему Capability Score: 57,23 против 55,14; особенно заметен выигрыш в HumanEval и тесте длинного контекста HashHop. При этом в IFEval результат немного ниже, чем у равномерной 4-bit-версии. Контекстное окно и полный перечень поддерживаемых языков в README не указаны. Модель ориентирована на локальное использование без PyTorch и облачных сервисов, преимущественно на Apple Silicon. Доступна по условиям Gemma Terms of Use; применимые условия также зависят от лицензии базовой модели Google Gemma.

unsloth/GLM-4.7-Flash-NVFP4 — это версия модели GLM-4.7-Flash, подготовленная Unsloth в формате квантования NVFP4. Исходную модель разработала команда GLM компании Z.ai. Она предназначена для генерации текста, диалоговых приложений, программирования, решения задач рассуждения и агентских сценариев, где важны сочетание производительности и эффективности локального развертывания. Модель имеет MoE-архитектуру с заявленным размером 30B-A3B: 30 миллиардов параметров при активации примерно 3 миллиардов на отдельный запрос. В карточке указаны английский и китайский языки, поддержка библиотеки Transformers и запуск через vLLM или SGLang. Длина контекста и другие архитектурные характеристики не указаны. Мультимодальные возможности для этой версии не заявлены; в карточке она описана как text-generation модель. К сильным сторонам относятся компактная вычислительная нагрузка для класса 30B, возможность эффективного инференса на совместимом оборудовании и высокие результаты, заявленные для ряда тестов, включая AIME 25, GPQA, SWE-bench Verified и τ²-Bench. Ограничения связаны с использованием NVFP4-квантизации, требованиями к актуальным версиям программного обеспечения и поддержке соответствующих ядер; для запуска рекомендуются современные версии vLLM и специализированные компоненты NVIDIA. Карточка также предупреждает, что backend Marlin работает примерно вдвое медленнее. Лицензия модели указана как MIT. В карточке не приведены данные о длине контекста, требованиях к видеопамяти, качестве на русском языке и влиянии NVFP4-квантизации на точность, поэтому эти характеристики нельзя оценить по имеющейся информации.

QuantTrio/GLM-5.2-Int4-Int8Mix — квантизированная версия языковой модели GLM-5.2, разработанной командой zai-org. Репозиторий содержит data-free квантизацию без использования калибровочного набора данных и подготовлен прежде всего для инференса через vLLM с форматом compressed-tensors. Модель предназначена для генерации текста, диалоговых приложений, программирования и выполнения сложных долгосрочных задач. Базовая GLM-5.2 поддерживает контекст до 1 млн токенов и использует архитектурные улучшения IndexShare, разреженное внимание и MTP для спекулятивного декодирования. В данной версии применено смешанное weight-only-квантизирование: обычные линейные веса преимущественно W8A16, веса MoE-экспертов W4A16, с group size 128; отдельные компоненты сохранены в BF16, FP32 или квантизированы поканально. Размер файлов модели составляет около 378 GiB. Основное преимущество версии — снижение требований к памяти по сравнению с полноразмерными весами при сохранении высокой производительности. В приведённом ориентировочном тесте AIME25 результат составил 92,92% при reasoning_effort=max и 86,46% при medium-high, однако это не является полноценным формальным бенчмарком. Ограничение — заявлена совместимость прежде всего с vLLM и compressed-tensors; совместимость с SGLang и другими runtime не гарантируется. Проверка проводилась на конфигурации из 8 GPU H200 с vLLM 0.23.0 и Transformers 5.12.1. Модель распространяется по лицензии MIT.

Saxo (Джи Юнсон), специалист по данным компании Linkbricks Horizon-AI, дообучил эту плотную языковую модель семейства Llama на базе Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V3-70B. Модель с 69,5 млрд параметров прошла японское SFT и DPO; заявленное окно контекста — 128 тыс. токенов. Для обучения использовались японские новости и Википедия, а также данные для задач на японском, корейском, китайском и английском языках. Модель предназначена для генерации текста, письма и программирования, математических и логических рассуждений, анализа отзывов и публикаций в социальных сетях. В карточке заявлена поддержка вызова функций и инструментов. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0. Описание не приводит результатов независимой оценки качества или подробностей о безопасном применении модели.

Карточка модели TracNetwork/mayhem-catalog-prism-ml-Ternary-Bonsai-27B-MLX-2bit на Hugging Face совпадает с карточкой prism-ml/Ternary-Bonsai-27B-mlx-2bit, поэтому описание составлено по ней. Ternary Bonsai 27B — модель Prism ML, созданная на базе Qwen3.6-27B для локальной генерации текста, рассуждений и диалогового применения. Это плотная гибридная трансформерная архитектура с линейным и полным вниманием; языковые веса представлены значениями −1, 0 и +1 с групповым масштабированием и занимают около 1,71 бита на параметр. Модель содержит примерно 27,3 млрд языковых параметров и отдельную башню зрения примерно на 0,46 млрд параметров, однако в карточке для неё заявлена задача text-generation. Модель рассчитана на запуск на ноутбуках и одной видеокарте, в том числе локально и без подключения к сети. Заявлены контекст до 262 тысяч токенов, поддержка диалога и сохранение значительной части качества исходной модели при уменьшенном размере; для Apple MLX и CUDA предоставлены специализированные низкоразрядные ядра. Авторы сообщают о результатах на тестах рассуждений, математики, программирования и использования инструментов, но длительные агентные сценарии программирования пока не являются сильной стороной этой версии. Репозиторий распространяется по лицензии Apache-2.0. Указанный объём развёрнутой модели — около 7,2 ГБ, поэтому она не помещается в заявленный бюджет памяти приложения на iPhone; README также отмечает компромисс качества и размера относительно полноточной модели и использование 4-битного KV-кэша.

Abiray/MiniCPM5-2B-GGUF — набор квантованных весов модели MiniCPM5-2B, разработанной OpenBMB и входящей в серию MiniCPM5. Это плотная Transformer-модель примерно на 2 млрд параметров, представленная в формате GGUF для локального запуска через llama.cpp, Ollama и LM Studio, включая сценарии on-device и edge AI. Модель ориентирована на генерацию текста и поддерживает английский и китайский языки. Модель предназначена для генерации кода и текста, решения математических задач, работы с длинным контекстом до 128 тысяч токенов, вызова инструментов и многошаговых агентских сценариев. Доступны варианты квантования от Q3_K_M до Q8_0 размером примерно от 1,29 до 2,68 ГБ; Q4_K_M указан как рекомендуемый баланс скорости, качества и занимаемой памяти, а Q8_0 — как вариант с минимальными потерями относительно исходных весов. Квантование уменьшает требования к памяти, но может влиять на точность, особенно в компактных вариантах. Модель распространяется по лицензии Apache-2.0.

Kaoeiri выпустил объединённую модель для генерации текста на основе Mistral-Small-Instruct-2409 и mistral-small-springdragon-qlora. Слияние выполнено методом task arithmetic с помощью mergekit; архитектура — плотная Mistral, модель содержит 22 млрд параметров и работает с контекстом до 131 072 токенов. Репозиторий содержит веса в формате safetensors, для работы указана библиотека Transformers. Модель предназначена для диалогов и генерации текста; метаданные также отмечают интерфейс вызова функций. Она поддерживает текстовый ввод и выдаёт текст. Лицензия в предоставленных данных не указана.

Карточка модели lactroiii/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой LimitlessMindd/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель NVIDIA для чата, рассуждений и генерации текста. Это эталонные веса BF16 модели с гибридной архитектурой Mixture-of-Experts: слои Mamba-2 чередуются со слоями MoE и отдельными слоями Attention. Всего модель содержит 30 млрд параметров, из которых активно задействуются 3 млрд; также используются слои Multi-Token Prediction. Модель предназначена прежде всего для дообучения, адаптации к предметным областям и задачам, оценки и создания производных квантованных вариантов. Её можно применять как основу для чат-ботов, систем RAG и агентных приложений; карточка рекомендует для прямого развёртывания оптимизированный релиз NVFP4. В карточке заявлен контекст до 1 млн токенов, при этом на одной H100 80 ГБ BF16 проверен до 256 тыс. токенов из-за ограничений памяти. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский, японский и китайский. В метаданных указано 1,9 млрд параметров, что расходится с README, где заявлены 30 млрд всего и 3 млрд активных. Метаданные указывают лицензию other, а README сообщает о готовности к коммерческому использованию; конкретные условия лицензии следует сверять с файлами репозитория.

Карточка модели AzrilFahmiardi/persona-fit-embedding на Hugging Face совпадает с карточкой sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2, поэтому описание составлено по ней. paraphrase-multilingual-MiniLM-L12-v2 — модель Sentence-Transformers, обученная командой sentence-transformers. Она преобразует предложения и абзацы в плотные векторы размерности 384, предназначенные для сравнения смысловой близости. Модель построена на архитектуре BERT с 12 слоями MiniLM; объём составляет 124,3 млн параметров, а максимальная длина контекста — 512 токенов. Модель подходит для семантического поиска, поиска похожих формулировок и кластеризации текстов. Она поддерживает много языков, включая русский, и может сопоставлять предложения на разных языках. Доступны форматы PyTorch, Safetensors, TensorFlow, ONNX и OpenVINO. Модель распространяется по лицензии Apache-2.0. Векторы фиксированной размерности и лимит в 512 токенов ограничивают представление длинных документов; для абзацев и документов обычно требуется разбиение на фрагменты.

bartowski/Phi-3.1-mini-4k-instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Phi-3.1-mini-4k-instruct, основанной на модели Microsoft Phi-3-mini-4k-instruct. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых сценариев, ответов на вопросы и задач, связанных с обработкой естественного языка и программного кода. Модель работает в текстовой модальности и ориентирована на английский язык. Из идентификатора и описания следует контекстное окно 4K токенов, однако точные сведения об архитектуре и количестве параметров в README не приведены. Доступны варианты от F32 до низкоразрядных Q2 и IQ-квантизаций с размером файлов примерно от 1,3 до 15,3 ГБ. Старшие варианты сохраняют более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают в качестве и могут быть непредсказуемее. Модель подходит для локального запуска через llama.cpp и совместимые приложения, включая LM Studio. README рекомендует варианты Q4–Q6 как компромисс между качеством и требованиями к ресурсам; конкретный выбор зависит от доступной памяти и допустимой потери качества. Это текстовая модель без заявленной поддержки изображений или других модальностей, а ограниченное окно контекста не рассчитано на обработку очень длинных документов. Указана лицензия MIT.

Карточка модели Taewhoo/qwen3.5-9b-proteomics-rl-step25 на Hugging Face совпадает с карточкой Qwen/Qwen3.5-9B, поэтому описание составлено по ней. Qwen3.5-9B — мультимодальная модель Qwen, разработанная командой Qwen и представленная в формате Hugging Face Transformers. Это дообученная версия Qwen/Qwen3.5-9B-Base: причинная языковая модель с визуальным энкодером, 9 млрд параметров и гибридной архитектурой с Gated Delta Networks и разреженными Mixture-of-Experts. Модель принимает текст и изображения и генерирует текст; поддерживает чат и вызов инструментов. Модель предназначена для диалога, рассуждений, программирования, визуального понимания и агентных сценариев с использованием инструментов. Нативная длина контекста — 262 144 токена, с расширением до 1 010 000; в режиме по умолчанию перед ответом генерируется содержимое рассуждений. В карточке заявлена поддержка 201 языка и диалекта, но список языков в предоставленных данных опущен. В README заявлены высокая эффективность гибридной архитектуры и улучшенные результаты на задачах рассуждения, кода и визуального понимания; независимых оценок в предоставленном тексте недостаточно для проверки этих утверждений. Для длинного контекста могут потребоваться значительные ресурсы, а совместимость и пропускная способность зависят от версии и конфигурации сервера. Лицензия — Apache-2.0.

Qwen3.5-9B-Theseus-GGUF — это GGUF-квантизация модели Qwen3.5-9B-Theseus, выполненная mradermacher; исходная модель разработана nightmedia. Модель основана на архитектуре Qwen3.5 с примерно 9 млрд параметров и распространяется в форматах GGUF с различными уровнями квантизации, включая Q2_K–Q8_0, IQ4_XS и f16. Для некоторых конфигураций доступны мультимодальные дополнения mmproj, поэтому модель может использоваться в мультимодальных сценариях при наличии соответствующего файла. Модель предназначена для генерации текста, диалогов, программирования, математических и STEM-задач, рассуждений, творческого и художественного письма, сторителлинга и ролевых сценариев. В README заявлена поддержка английского, китайского, японского и испанского языков, а также контекст до 256k или 1M токенов, однако точные возможности зависят от исходной модели и используемой конфигурации. К сильным сторонам относятся широкий выбор квантизаций, возможность запуска в ресурсоограниченных средах и наличие вариантов, ориентированных на скорость или качество; при этом более сильная квантизация может снижать качество, а мультимодальность требует отдельного mmproj-файла. Модель имеет экспериментальные характеристики, поэтому её качество и совместимость следует проверять для конкретных задач. Лицензия — Apache-2.0.

mradermacher/Qwen3.6-27B-Miraculix-i1-GGUF — набор квантизированных GGUF-версий модели Qwen3.6-27B-Miraculix, разработанной nightmedia и преобразованной и опубликованной mradermacher. Модель имеет размер 27B параметров, предназначена для запуска в совместимых локальных средах, поддерживает instruction-tuned и conversational-сценарии, а также заявлена как vision-модель при наличии соответствующих mmproj-файлов в статическом репозитории. Модель ориентирована на генерацию текста, программирование, математические и STEM-задачи, исследовательские сценарии, рассуждения, многоязычное общение и творческое письмо, включая создание сюжетов, сцен и ролевые взаимодействия. В метаданных указаны английский, китайский, японский и испанский языки. Также заявлена поддержка длинного контекста до 256K и 1M токенов, однако точные характеристики контекстного окна в README не подтверждены отдельно. Репозиторий предоставляет варианты квантизации от i1-Q2_K до i1-Q6_K размером примерно от 11 до 22,5 ГБ. Квантизации IQ могут обеспечивать лучшее качество при сопоставимом размере, а i1-Q4_K_M отмечена как быстрая и рекомендуемая; Q4_0 описана как быстрая, но с низким качеством. Конкретные требования к памяти, производительность, результаты тестирования и ограничения качества не приведены. Лицензия — Apache-2.0.

AtomicChat/Qwen3.6-27B-MLX-4bit — это 4-битная MLX-квантизация базовой модели Qwen/Qwen3.6-27B, выполненная командой Atomic Chat из оригинальных весов Qwen. Модель предназначена для генерации текста, программирования, агентных сценариев и работы с большими контекстами; заявлена поддержка текстовых и визуальных данных, а также офлайн-запуск на устройствах Apple Silicon через MLX и mlx-lm. Модель содержит 27,8 млрд параметров и 64 слоя, использует плотную decoder-архитектуру Qwen3_5ForConditionalGeneration с 24 attention heads и 4 KV heads. Максимальная длина контекста составляет 262 144 токена, размер словаря — 248 320 токенов. Квантизация откалибрована с помощью importance matrix, что должно помогать сохранять свойства исходной полноточной модели при уменьшенной разрядности. README не содержит точного перечня поддерживаемых языков и результатов сравнительных тестов, поэтому качество в конкретных задачах оценить нельзя. К сильным сторонам относятся большой контекст, поддержка изображений, возможности программирования и repository-level reasoning, а также локальная работа без подключения к сети. Ограничения связаны с 4-битной квантизацией и требованием совместимой MLX-инфраструктуры; практические требования к памяти и производительности в README не указаны. Модель распространяется по лицензии Apache 2.0; квантизацию выполнила Atomic Chat.

Minachist/Qwen3.6-35B-A3B-INT8-AutoRound — неофициальная INT8-квантизированная версия модели Qwen3.6-35B-A3B, разработанная Minachist на основе Qwen от команды Qwen. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, однако в README конкретные поддерживаемые языки и полный перечень задач не указаны. Она рассчитана на запуск через Transformers и vLLM, включая использование в качестве языковой модели, генерацию кода, рассуждения и вызовы инструментов при соответствующей настройке vLLM. Модель использует схему W8A16 и квантизацию AutoRound от Intel. Доступны варианты с group size 128 и 32, а основная ветка использует конфигурацию, требующую примерно на 3,2 ГБ меньше VRAM, чем вариант gs32, при почти идентичном качестве. Часть компонентов, включая visual, mtp, linear_attn, mlp.gate, shared_expert, embed_tokens и lm_head, не квантизирована; в отдельных вариантах также сохраняется self_attn. Размер базовой модели обозначен как 35B-A3B, но сведения о контекстном окне и точных модальностях базовой модели отсутствуют. Сильными сторонами являются существенное снижение требований к памяти при сохранении качества, близкого к BF16: для MMLU-Redux указано 93,28% против 93,3% в официальной оценке BF16. Ограничения включают зависимость от совместимых версий vLLM и CUDA, необходимость подходящей GPU-конфигурации, а также известные проблемы с vLLM v0.20.1. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored-W4A16-AutoRound — это 40-миллиардная языковая модель для генерации текста, кода, рассуждений и творческих ответов. Она основана на модели DavidAU Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored и квантизирована с помощью Intel AutoRound. Заявлены языки английский, китайский, русский, украинский, греческий и иврит; модель поддерживает текстовую генерацию и визуальную башню, однако подробности мультимодального применения в README не описаны. Используется схема W4A16: 4-битные веса и 16-битные активации, размер группы 64, симметричная квантизация. Размер модели составляет около 38 ГБ против примерно 80 ГБ в BF16. Архитектура гибридная: 72 слоя линейного внимания Gated DeltaNet с Mamba SSM и 24 слоя полного внимания; сохранены MTP-компоненты для многотокенного предсказания и speculative decoding. Для запуска рекомендуются vLLM или SGLang, при этом в примерах указан контекст до 32768 токенов. Для квантизации использовалась длина последовательности 2048. По данным README, модель ориентирована на программирование, математические и логические задачи, рассуждения, длинные ответы и творческое письмо, включая русскоязычные тексты. Заявлены скорость около 35–47 токенов в секунду, рабочий MTP=3 в vLLM и возможность запуска на нескольких GPU, например двух ускорителях по 24 ГБ. Ограничения включают высокие требования к памяти, необходимость много-GPU конфигурации для комфортной работы, зависимость производительности от контекста и принятия MTP-токенов, а также обязательный batch size 1 при квантизации из-за особенностей гибридного внимания. Для SGLang MTP не работает при pipeline parallelism с PP=3. Лицензия модели наследуется от базовой модели; для AutoRound в README указана Apache-2.0. Отдельная лицензия базовой модели явно не приведена, поэтому условия коммерческого и иного использования следует уточнять в её репозитории.

Reflection Llama-3.1 70B — языковая модель, созданная Matt Shumer на основе Meta Llama 3.1 70B Instruct с применением метода Reflection-Tuning. Она предназначена для диалогов и генерации текста, в том числе для задач, требующих пошагового рассуждения и исправления ошибок. Модель имеет плотную архитектуру LlamaForCausalLM, содержит около 69,5 млрд параметров и поддерживает контекст до 131 072 токенов. Во время генерации модель разделяет ход рассуждения и итоговый ответ специальными токенами; для диалогов используется шаблон Llama 3.1. Карточка описывает обучение на синтетических данных Glaive и рекомендует системный запрос, задающий формат рассуждений и ответа. Доступны веса в формате safetensors; лицензия — Llama 3.1 Community License. Метаданные указывают интерфейс вызова инструментов, но README не приводит оценок его качества. Модель унаследовала языковые возможности базовой модели; конкретный набор языков в предоставленных данных не перечислен.

Spark-X2.5-1.7B-GGUF — компактная языковая модель в формате GGUF, разработанная XHToken на базе XHToken/Spark-X2.5-1.7B. Она предназначена для общего назначения: диалогов, написания и перевода текстов, рассуждений, программирования, использования инструментов и агентских сценариев. Модель имеет гибридную архитектуру внимания и поддерживает нативный контекст длиной до 1 миллиона токенов. Заявлена поддержка более 200 языков; в карточке модели отдельно указаны английский и китайский. Размер базовой модели — 1,7 млрд параметров. Формат GGUF ориентирован на локальный запуск с помощью llama.cpp, Ollama, LM Studio и Unsloth, однако для нативной поддержки архитектуры требуются совместимые версии этих инструментов. К сильным сторонам относятся компактный размер, широкий набор задач, многоязычность, очень длинный контекст и возможность локального развертывания. README не содержит результатов тестирования, подробностей обучения, сведений о конкретных вариантах квантования или детального описания ограничений качества, поэтому производительность в отдельных задачах по этим данным оценить нельзя. Модель распространяется по лицензии Apache License 2.0.