I.1Поиск и навигация по информации

unsloth/inkling-GGUF — это GGUF-версия открытой мультимодальной модели Inkling, разработанной Thinking Machines и опубликованной в формате GGUF командой Unsloth. Модель предназначена для локального запуска, исследований, дообучения и интеграции в сторонние продукты. Inkling принимает текст, изображения и аудио, а генерирует текст. Она рассчитана на разработку AI-приложений, включая агентные и инструментальные системы, ассистентов программиста, чат-ботов, retrieval-augmented generation, следование инструкциям и универсальное мультимодальное общение. Поддерживаются английский язык, другие языки в многоязычном режиме, а также несколько языков программирования. Архитектура представляет собой авторегрессионный decoder-only Transformer из 66 слоёв с разреженной Mixture-of-Experts: всего 975B параметров, из которых активно 41B; для каждого токена выбираются 6 из 256 экспертов и используются 2 общих эксперта. Внимание сочетает локальные и глобальные слои. Изображения и видео обрабатываются иерархическим patch-энкодером, аудио — дискретными токенами, после чего модальности проецируются в общее скрытое пространство. Поддерживаются BF16 и NVFP4. Для оптимальной работы рекомендуются изображения размером от 40 до 4096 пикселей по каждой стороне и WAV-аудио с частотой 16 кГц длительностью менее 20 минут. Сильные стороны модели — сочетание текстовых, визуальных и аудиовходов, масштабная MoE-архитектура и пригодность для локального развертывания через совместимые инструменты. Ограничения включают исключительно текстовый вывод, очень большой общий размер и высокие требования к вычислительным ресурсам; точное окно контекста в README не указано. Модель распространяется по лицензии Apache 2.0; также указано наличие отдельной политики допустимого использования.

duyntnet/internlm2_5-7b-chat-1m-imatrix-GGUF — это GGUF-квантизации чат-модели InternLM2.5-7B-Chat-1M, разработанной командой InternLM. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы, следование инструкциям, математическое рассуждение, работу с длинными документами и использование инструментов. Модель содержит около 7 миллиардов параметров и работает с текстовой модальностью. Заявлено контекстное окно до 1 миллиона токенов, а также улучшенные способности к рассуждению, выбору инструментов, следованию инструкциям и рефлексии. Для длинного контекста рекомендуется LMDeploy; заявленная конфигурация на 1 миллион токенов требует 4 GPU A100 с 80 ГБ памяти. Для обычного запуска доступны llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. К сильным сторонам относятся большой контекст, математическое рассуждение и поддержка сценариев с инструментами. Ограничения включают высокие вычислительные требования при использовании максимального контекста, а также зависимость от совместимого ПО и параметров квантизации. В метаданных указаны английский язык и лицензия «other»; точные условия лицензии README не уточняет.

Saxo/Linkbricks-Horizon-AI-Avengers-V2-32B — многоязычная языковая модель Linkbricks, дообученная на базе Saxo/Linkbricks-Horizon-AI-Avengers-V1-32B методами SFT и предпочтительной оптимизации. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров и контекстом до 32 768 токенов; веса доступны в формате Safetensors, библиотека — Transformers. Модель предназначена для диалога и генерации текста, перевода между корейским, японским, китайским и английским языками, суммаризации, анализа отзывов и публикаций в соцсетях, написания текстов и кода, а также решения математических и логических задач. В карточке заявлена поддержка вызова функций и инструментов. Обучение включало многоязычные новостные и вики-корпуса, а также данные по задачам; токенизатор оставлен от базовой модели. Модель ориентирована прежде всего на корейский и другие восточноазиатские языки вместе с английским. Качество может различаться между языками и типами задач; описание не приводит количественных результатов оценки. Лицензия — Apache-2.0.

RedHatAI/Meta-Llama-3.1-8B-quantized.w8a8 — квантизированная версия языковой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, а также для коммерческого и исследовательского использования в многоязычных сценариях. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель использует архитектуру Meta-Llama-3 и работает только с текстовыми входами и выходами. Веса и активации линейных операторов в трансформерных блоках квантизированы в INT8 по схеме W8A8 с применением GPTQ. Используются статическая поканальная квантизация весов и динамическая потокенная квантизация активаций. Заявленная максимальная длина контекста при развертывании составляет 8192 токена. Модель оптимизирована для работы с vLLM и совместимого с OpenAI API сервинга. Ключевые преимущества — примерно двукратное снижение требований к памяти GPU и увеличение пропускной способности матричных умножений примерно в два раза, а также сокращение размера модели на диске примерно на 50%. При этом качество близко к исходной модели: средний результат на OpenLLM Leaderboard составляет 62,71 против 63,03 у неквантизированной версии. Ограничения включают возможное небольшое снижение точности из-за квантизации, текстовую модальность и зависимость от совместимого окружения развертывания. Модель распространяется по лицензии Llama 3.1.

MiMo-V2-Flash — большая языковая модель Xiaomi для генерации текста, диалогов, рассуждений и агентных сценариев, включая работу с инструментами. В README она описана как MoE-модель с гибридным вниманием, многотокенным предсказанием и 309 млрд параметров, из которых активно используются 15 млрд. Метаданные Hugging Face указывают архитектуру MiMoV2FlashForCausalLM, 12 млрд параметров и файлы Safetensors в формате FP8; это расходится с характеристиками размера в README. Модель принимает текст и рассчитана на контекст до 262 144 токенов. Модель предназначена для быстрых ответов, сложных рассуждений и агентных рабочих процессов; карточка также сообщает о результатах на SWE-Bench и других тестах. Для развёртывания README рекомендует SGLang и описывает вариант запуска с выгрузкой MoE-экспертов на CPU через KTransformers. Языки в предоставленных данных не перечислены. Лицензия — MIT. Реальное качество зависит от задачи и конфигурации развёртывания; заявленные в README результаты бенчмарков являются оценками разработчика.

Карточка модели Arsh9210/MiniMax-M3-NVFP4 на Hugging Face совпадает с карточкой nvidia/MiniMax-M3-NVFP4, поэтому описание составлено по ней. NVIDIA MiniMax-M3-NVFP4 — квантизированная версия мультимодальной модели MiniMax-M3, подготовленная с помощью NVIDIA Model Optimizer. Это модель архитектуры Transformer с Mixture-of-Experts: всего 428 млрд параметров, из которых активно около 23 млрд на токен. Она принимает текст, изображения и видео, а также выдаёт текст; контекстное окно составляет до 1 млн токенов, видео — до 30 минут. Модель предназначена для понимания изображений и длинных видео, программирования на продолжительных задачах, диалогов с инструментами и агентных сценариев. Режим рассуждения можно переключать между углублённым и менее затратным по задержке. Квантизация NVFP4 уменьшает объём весов и требования к памяти примерно вдвое относительно 8-битной версии; в приведённых тестах показатели близки к FP8-базе. Для запуска README указывает vLLM и NVIDIA Blackwell; поддержка MiniMax-M3 NVFP4 доступна в nightly-сборке vLLM. Веса самой модели разработаны не NVIDIA, а сторонней организацией. Лицензия обозначена как other, модель разрешена для некоммерческого использования. Ответы могут быть неточными, неполными или избыточными; модель может воспроизводить токсичность и предвзятость из обучающих данных.

Mixtral-8x22B-Instruct-v0.1 — инструктивная языковая модель от команды Mistral AI на архитектуре Mixtral с причинным декодированием и смесью экспертов (MoE). Это дообученная версия Mixtral-8x22B-v0.1; в метаданных указан размер 22B параметров и контекст до 65 536 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, объяснений и взаимодействия с инструментами через предусмотренный формат function calling. Метаданные указывают поддержку английского, испанского, итальянского, немецкого и французского языков. Для запуска README описывает токенизацию и инференс через mistral-common и mistral-inference; в метаданных также указана библиотека vLLM. Модель распространяется по лицензии Apache-2.0. README отмечает, что для function calling нужно корректно применять специальные токены и формат токенизатора SentencePieceTokenizerV3; результаты вызова инструментов зависят от совместимой обработки этого формата.

ehristoforu/moremerge — объединённая языковая модель, созданная с помощью mergekit методом TIES на основе Qwen/Qwen2.5-7B-Instruct и ещё девяти моделей семейства Qwen2.5. В состав объединения входят инструктивные и разговорные модели, варианты для кода и математики, а также DeepSeek-R1-Distill-Qwen-7B. Модель имеет архитектуру Qwen2ForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов; её компоненты ориентированы также на ответы по инструкциям, код и математические рассуждения. Метаданные отмечают интерфейс вызова инструментов. Доступна в формате safetensors для Transformers. Сведения о лицензии в предоставленных данных отсутствуют.

MyNewModel-ReleaseRepo — выпуск MyNewModel от небольшой команды разработчиков. Это плотная авторегрессионная языковая модель семейства Llama для генерации текста; в README описаны улучшения после более длительного этапа постобучения и изменения состава данных. Модель предназначена для диалогового помощника, многошаговых рассуждений, решения математических задач, ответов на вопросы и работы с инструментами через формат function calling. Авторы сообщают об улучшении результатов на задачах рассуждения и программирования, а также о снижении ошибок в коротких фактологических ответах. Для сложных задач модель использует больше токенов рассуждения; README приводит пример роста доли решённых олимпиадных задач по алгебре с 61% до 79%. В метаданных указаны библиотека Transformers, формат PyTorch и лицензия Apache-2.0. Размер модели, контекстное окно и поддерживаемые естественные языки в предоставленных данных не описаны.

Qwen1.5-7B-Chat-GGUF — диалоговая версия языковой модели серии Qwen, разработанная командой Qwen. Это авторегрессионная decoder-only модель на архитектуре Transformer с обучением на больших массивах данных и последующей настройкой с помощью supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста и ведения диалогов, включая ответы на вопросы, ассистирование и другие сценарии обработки естественного языка. Она содержит около 7 миллиардов параметров, поддерживает многоязычную работу и контекст длиной до 32 тысяч токенов. Репозиторий распространяет модель в формате GGUF с вариантами квантования от q2_k до q8_0, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Предполагается запуск через llama.cpp. К сильным сторонам относятся улучшенная по сравнению с предыдущим поколением поддержка диалогов, многоязычность, большой контекст и наличие нескольких уровней квантования для локального использования. Ограничения включают возможные потери качества при более агрессивном квантовании, а также отсутствие в предоставленных данных подробных оценок по прикладным задачам и точного перечня поддерживаемых языков. Лицензия указана как other с названием tongyi-qianwen; перед использованием следует изучить условия по ссылке на лицензию.

Qwen2.5-VL-32B-Instruct — мультимодальная инструктивно настроенная модель семейства Qwen, опубликованная в репозитории Unsloth и основанная на Qwen/Qwen2.5-VL-32B-Instruct. Это плотная модель на 32 млрд параметров с архитектурой Qwen2_5_VLForConditionalGeneration, предназначенная для диалога по изображениям и видео и генерации текстовых ответов. Контекст модели по метаданным составляет до 128 000 токенов; в README описаны обработка изображений с динамическим разрешением и видео с выборкой кадров по времени. Модель распознаёт объекты и текст на изображениях, анализирует диаграммы и макеты, локализует объекты с помощью координат, отвечает на вопросы о содержимом изображений и видео и формирует структурированные данные, например из счетов и форм. Также README отмечает улучшенные математические рассуждения и поддержку сценариев визуального агента с использованием инструментов. В README указано, что для длинных текстов свыше 32 768 токенов применяется YaRN; это следует учитывать при настройке обработки контекста, поскольку конфигурация README задаёт именно эту длину до экстраполяции. Для видео описана поддержка локальных файлов, а совместимость URL зависит от версии сторонней библиотеки. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-VL-7B-Instruct-GGUF — мультимодальная instruction-tuned модель семейства Qwen, разработанная командой Qwen. Репозиторий основан на Qwen/Qwen2.5-VL-7B-Instruct и содержит 7B-версию модели в формате GGUF. Указана лицензия Apache-2.0; заявленный язык — английский, задача — преобразование изображений и текста в текст. Модель предназначена для анализа изображений, документов, диаграмм, таблиц, графики и макетов, распознавания текста, визуального вопросно-ответного взаимодействия, структурированного извлечения данных из счетов и форм, визуальной локализации объектов с помощью координат или точек, а также анализа видео. Она может обрабатывать длинные видео длительностью более часа и выделять релевантные моменты. Также заявлены сценарии визуального агента, включая взаимодействие с компьютером и мобильными устройствами. Архитектура включает языковую модель Qwen2.5, vision encoder ViT с window attention, SwiGLU и RMSNorm, динамическое разрешение изображений и динамическую частоту выборки кадров видео. Для временного измерения используется mRoPE с идентификаторами и абсолютным выравниванием времени. Ключевые сильные стороны — распознавание документов и текста, понимание диаграмм и видео, генерация структурированных результатов и визуальная локализация. Ограничения: README не содержит точных требований к ресурсам, максимального контекста, полного списка поддерживаемых языков и подробностей качества GGUF-квантизации; приведённые результаты зависят от конкретных бенчмарков и настроек.

qwen27B-Agent-R2-abliterated-preview — языковая модель с 27 млрд параметров, разработанная hotdogs на основе hotdogs/qwen27b-abliterated-Fable-MTP и huihui-ai/Huihui-Qwen3.6-27B-abliterated. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, системных задач и агентских сценариев с вызовом инструментов и функций. Заявлена поддержка английского и тайского языков. Модель использует архитектуру семейства Qwen3.6 и поддерживает Fable-style reasoning с пошаговым рассуждением, Hermes/Qwen-формат function calling и Multi-Token Prediction (MTP) для speculative decoding. В llama.cpp заявлена возможность чернового предсказания до двух токенов за шаг и прироста скорости декодирования до 85% на одной GPU, однако фактический результат зависит от оборудования и настроек. Для визуальных задач модель можно сочетать с мультимодальным проектором mmproj от Qwen/Qwen3.6-27B, но собственная поддержка изображений в карточке отдельно не специфицирована. Это preview-версия v0.1, поэтому возможны нестабильность и ограничения качества. Модель помечена как abliterated: механизмы отказа и защитные ограничения удалены, что расширяет свободу использования, но повышает риски небезопасных или некорректных ответов. Указана лицензия AGPL-3.0.

unsloth/Qwen3.6-35B-A3B-GGUF — GGUF-версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с визуальным энкодером, предназначенная для программирования, агентных сценариев, работы с репозиториями, фронтенд-разработки, рассуждений и вызова инструментов. Модель ориентирована на более стабильную и продуктивную интерактивную разработку, поддерживает сохранение контекста рассуждений из предыдущих сообщений и улучшенный разбор вложенных объектов при tool calling. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, из которых для каждого запроса выбираются 8 маршрутизируемых и 1 общий эксперт; также используются Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки и точные визуальные возможности не перечислены, но заявлена поддержка обработки текста и изображений. Сильные стороны модели — большой контекст, экономичная активация параметров благодаря MoE, ориентация на агентное программирование, repository-level reasoning и работу с инструментами. Ограничения включают отсутствие в представленных данных подробностей о поддерживаемых языках, конкретном формате квантования GGUF, требованиях к ресурсам и полном наборе результатов тестирования; качество также может зависеть от выбранного квантования. Модель распространяется по лицензии Apache 2.0.

Qwen3.6-35B-A3B Uncensored Heretic MLX 4bit — мультимодальная конверсия модели Qwen3.6, подготовленная froggeric на базе uncensored-варианта от llmfan46. Исходная модель разработана Alibaba Cloud. Версия предназначена для локального запуска на Apple Silicon через MLX и поддерживает работу с текстом, изображениями и видео, рассуждения, диалоги и вызов инструментов. Заявлены английский, китайский и другие языки. Модель использует гибридную архитектуру с линейными блоками внимания DeltaNet-типа и традиционным softmax-вниманием в соотношении 3:1. Веса представлены в 4-битной квантизации. Для модели исправлены параметры vision tower, а также шаблон чата: добавлена совместимость с ролями developer и инструментами, переключение режима рассуждений и обработка проблемных тегов. Указано, что архитектурно-ориентированное uncensoring с помощью Heretic и MPOA снизило частоту отказов при незначительной потере возможностей, однако конкретные результаты могут зависеть от задачи и не заменяют самостоятельное тестирование. Модель подходит для локальных чат-ассистентов, программирования, анализа изображений и мультимодальных сценариев, включая приложения с вызовом инструментов. Для работы рекомендуются mlx-lm версии 0.31.2 или выше и mlx-vlm версии 0.4.4 или выше. В README не указаны размер контекста и требования к объёму памяти. Лицензия — Apache-2.0; из-за uncensored-настройки модель может слабее применять стандартные ограничения безопасности, поэтому ответственность за фильтрацию и применение результатов лежит на пользователе.

OptimizeLLM/Qwen3.8-27B-heretic-MTP-BF16 — плотная мультимодальная модель, созданная на основе Qwen/Qwen3.8-27B с помощью направленной абляции HERETIC, уменьшающей склонность модели отказываться от ответов. Это исходный чекпойнт в формате BF16; сохранены MTP-головы и полная башня обработки изображений. Базовая архитектура содержит 27,8 млрд параметров и 64 слоя, сочетает линейное внимание с полным и поддерживает изображения и видео. Модель предназначена для диалогов, анализа изображений и видео, программирования и многошаговых задач; в репозитории также заявлен интерфейс вызова инструментов. По описанию автора, на тестовом наборе из 100 запросов о вредоносных действиях модель отказала один раз, но снижение числа отказов не означает нейтральности: она может сохранять склонности базовой модели. Для этой версии указана лицензия Apache-2.0. Чекпойнт опубликован для дальнейшей квантизации в нужный формат.

Joestar79/Qwen3.8-27B-OBLITERATED-NVFP4 — производный мультимодальный чекпойнт на базе Qwen/Qwen3.8-27B, прошедший V3 abliteration авторами OBLITERATUS и квантование NVIDIA ModelOpt 0.45.0. Модель предназначена для текстовой генерации, работы с изображениями, рассуждений и вызова инструментов через vLLM. Поведение отказов удалено, поэтому модель выполняет запросы, которые исходная версия могла отклонять; ответственность за законность использования и настройку защитных ограничений лежит на операторе. Модель использует квантование NVFP4 W4A16: размер на диске составляет около 21,5 ГБ вместо 55,6 ГБ у исходной BF16-версии. Весовая часть упакована в FP4, а vision tower, MTP head, lm_head, embeddings и отдельные внутренние компоненты линейного внимания сохранены в BF16. MTP head подключён для speculative decoding, поддерживается контекст до 126 976 токенов, а шаблон чата включает диалект вызова инструментов qwen3_coder. В README не указаны полный список языков и точное число параметров сверх обозначения 27B. Чекпойнт рассчитан прежде всего на запуск на одной NVIDIA RTX 5090 с 32 ГБ памяти и совместим с другими картами Blackwell и FP4-совместимыми серверными GPU. На RTX 5090 заявлена пропускная способность около 40 токенов в секунду для одного потока и до 317 токенов в секунду суммарно для восьми потоков. Ограничения включают известную проблему с зацикливанием генерации при некоторых условиях, возможное снижение эффективности speculative decoding из-за несовпадения MTP head с abliteration-весами и отсутствие калибровки квантования под конкретные задачи. Модель не рекомендуется для публичного неаутентифицированного развёртывания; перед критически важным применением её следует сравнить с BF16-версией. Лицензия — Apache-2.0. Производная модель наследует знания, предубеждения и потенциальные ошибки базовой модели, а удаление отказов повышает риск небезопасных или нежелательных ответов.

Qwen3-VL-8B-Instruct-GGUF — мультимодальная vision-language модель семейства Qwen3-VL, разработанная командой Qwen; данный репозиторий содержит её веса в формате GGUF и включает исправления chat template от Unsloth. Модель предназначена для диалогов и генерации текста по текстовым и визуальным входам, включая анализ изображений и видео, OCR, визуальное рассуждение, понимание пространственных отношений, обработку документов, визуальное программирование и взаимодействие с графическими интерфейсами через инструменты. Модель имеет плотную архитектуру и размер 8B параметров. Заявлены нативный контекст 256K токенов с возможностью расширения до 1M, поддержка видео с временной привязкой событий и OCR на 32 языках; полный список языков текстового общения в README не указан. Среди архитектурных компонентов упомянуты Interleaved-MRoPE, DeepStack и выравнивание текста с временными метками. К сильным сторонам относятся объединённое понимание текста и изображений, распознавание деталей и документов, пространственный и мультимодальный анализ, а также сценарии визуального агента. Ограничения, точные требования к ресурсам и характеристики конкретной GGUF-квантизации в README не приведены. Модель распространяется по лицензии Apache-2.0.

Qwythos-27B-v1-GGUF — это набор GGUF-квантизаций модели Qwythos-27B-v1, разработанной компанией Empero. Модель предназначена для локального запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Это плотная гибридная модель семейства Qwen3.5 с 27 миллиардами параметров, прошедшая SFT, DPO и ESFT; представленная версия является предварительной RL-оптимизации v1. Модель поддерживает текстовые задачи и обработку изображений при использовании отдельного vision-проектора mmproj-Qwythos-27B-F16.gguf. Заявлены встроенные MTP-возможности для ускорения генерации, мультимодальность и контекстное окно до 1 048 576 токенов. Доступны варианты от Q4_K_M до BF16 с различным соотношением размера, качества и требований к памяти; Q4_K_M указан как рекомендуемый вариант по умолчанию. На практике полноценное использование длинного контекста требует значительных ресурсов для KV-кэша, а более точные варианты могут потребовать 48–80 ГБ видеопамяти, нескольких GPU или выгрузки части вычислений на CPU. Модель подходит для локальных диалоговых и аналитических сценариев, рассуждений, агентных задач, работы с длинным контекстом и анализа изображений. Сильными сторонами являются сохранённые vision tower и MTP head, большой контекст и широкий выбор квантизаций. Ограничения связаны с высокими требованиями к памяти, зависимостью MTP от свежей версии llama.cpp и необходимостью отдельного vision-проектора для изображений. Модель и её квантизации распространяются по лицензии Apache-2.0.

Qwythos-9B-v2-GGUF — набор GGUF-квантизаций модели Qwythos-9B-v2, разработанной Empero AI, предназначенный для запуска через llama.cpp, Ollama, LM Studio, jan, KoboldCpp и другие совместимые среды. Модель ориентирована на рассуждения, генерацию текста, вызов функций и мультимодальные сценарии с анализом изображений. Это 9-миллиардная гибридная модель с сочетанием блоков Gated-DeltaNet линейного внимания и полноформатного внимания в соотношении 3:1. Доступны варианты от Q4_K_M до BF16, включая версии с восстановленной MTP-головой для speculative decoding. Заявлены английский язык, контекст до 1 млн токенов с YaRN и поддержка изображений через отдельный vision projector, совместимый с Qwen3.5-9B. Версия v2 устраняет зацикливание при жадном и низкотемпературном декодировании, сохраняя показатели знаний и рассуждений на уровне базовой модели или выше; модель при этом намеренно uncensored. Для работы с изображениями требуется файл mmproj, а для MTP-ускорения — свежая сборка llama.cpp с поддержкой draft-mtp. Q4_K_M рекомендуется как начальный вариант благодаря балансу размера и качества, однако квантизация может снижать точность по сравнению с BF16. Модель распространяется по лицензии Apache-2.0.

Citaman/command-r-10-layer — языковая модель генерации текста, созданная с помощью mergekit из двух перекрывающихся срезов слоёв модели Citaman/command-r-11-layer, объединённых методом SLERP. Она предназначена для диалогов и генерации текста; в метаданных также отмечен интерфейс вызова инструментов. Модель построена на плотной архитектуре CohereForCausalLM и содержит 10,3 млрд параметров. Модель принимает текст и выдаёт текст. Указанная длина контекста — 8192 токена. Веса опубликованы в формате safetensors и типе bfloat16. Метаданные не называют поддерживаемые естественные языки. Лицензия в предоставленных данных не указана.

DeepSeek-7B-1M — объединённая языковая модель автора yasserrmd, созданная линейным слиянием весов Qwen/Qwen2.5-7B-Instruct-1M и deepseek-ai/DeepSeek-R1-Distill-Qwen-7B с равными весами через LazyMergekit. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров, предназначенная для диалогов и генерации текста. Заявленная длина контекста составляет около 1,01 млн токенов; доступны веса в формате Safetensors. Модель можно применять для ответов на вопросы и ведения диалога, а также для задач, требующих работы с длинными текстами. Базовые модели дают ей сочетание инструктивного поведения Qwen2.5 и возможностей дистиллированной DeepSeek-R1 для многошаговых рассуждений, в том числе в математике и программировании. Карточка не указывает лицензию, поэтому условия использования по имеющимся данным описать нельзя.

Карточка модели Ishowbackup/Hy3 на Hugging Face совпадает с карточкой tencent/Hy3, поэтому описание составлено по ней. Hy3 — разговорная модель с открытыми весами, разработанная командой Tencent Hy. Это MoE-модель для генерации текста; карточка Hugging Face описывает вариант репозитория как модель на 16,6 млрд параметров, а README — семейство Hy3 как модель на 295 млрд параметров с 21 млрд активных параметров и 3,8 млрд параметров MTP-слоя. Модель предназначена для рассуждений, работы с длинным контекстом, вызова инструментов и задач продуктивности, включая программирование, офисную работу, финансовое моделирование, фронтенд-разработку и создание игр. В метаданных указан контекст 262 144 токена, поддержка чата и формат Safetensors. Разработчик сообщает об улучшениях надёжности вызова инструментов, следования форматам, удержания контекста и снижения галлюцинаций по внутренним оценкам. README рекомендует серверный запуск через vLLM или SGLang и отмечает значительные требования к памяти: для полного варианта предлагается конфигурация из восьми GPU H20-3e или устройств с сопоставимой памятью. Лицензия — Apache-2.0. Языки в источниках не установлены.

Ling-3.0-tiny — компактная гибридная языковая модель семейства Ling, разработанная inclusionAI. Она предназначена для диалогов, многошаговых рассуждений и агентных сценариев с умеренными затратами на инференс, включая локальное развертывание на ограниченных ресурсах. Модель принимает текст и генерирует текст; заявлены задачи программирования, математики, научных рассуждений, понимания длинного контекста и следования инструкциям. В README указаны архитектура MoE с чередованием слоёв KDA и MLA, 128 маршрутизируемых экспертов, 7,9 млрд параметров всего и 1,3 млрд активируемых на токен. Метаданные Hugging Face указывают 977,5 млн параметров и контекст 131072 токена, что расходится с README по числу параметров; число параметров здесь поэтому не следует считать однозначно установленным. Для режимов рассуждения можно включать или выключать thinking mode. Доступны веса BF16, FP8 и INT4; заявлена проверка на NVIDIA DGX Spark и компьютерах Apple Silicon. Модель подходит для локального ассистента, программирования, решения математических задач и агентных рабочих процессов. README приводит результаты внутренних оценок и скорости для конкретных конфигураций оборудования, которые не гарантируют такую же производительность в других условиях. Лицензия — MIT.

Saxo (Джи Юнсон), специалист по данным и руководитель Linkbricks Horizon-AI, дообучил эту плотную языковую модель на основе Qwen2.5-32B-Instruct. Модель содержит 32 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов; для работы с ней используется библиотека Transformers. В обучении применялись этапы CPT, SFT, DPO и ORPO, а также данные из многоязычных новостных и wiki-корпусов и наборы для отдельных задач. Модель предназначена для диалога и генерации текста, в том числе для анализа отзывов и публикаций в социальных сетях, написания текстов и кода, математических и логических задач, а также вызова функций и инструментов. В README заявлена работа с корейским, английским, японским и китайским языками; датасеты также включают перевод и суммаризацию. Репозиторий содержит веса в формате safetensors. Лицензия Apache 2.0.

mlx-community/Llama-3.3-70B-Instruct-4bit — 4-битная версия инструкционной модели Llama 3.3 70B, разработанной Meta и адаптированной сообществом mlx-community для экосистемы MLX. Модель предназначена для генерации и понимания текста, диалоговых систем, следования инструкциям, ответов на вопросы, суммирования и других задач обработки естественного языка. Модель имеет около 70 миллиардов параметров и работает в 4-битном квантованном формате, что снижает требования к памяти по сравнению с полной версией, но может влиять на точность и качество ответов. Поддерживаются английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Модальность — текстовая; сведения о размере контекстного окна и точной архитектуре в README не указаны. Сильной стороной модели является сочетание большого размера, инструкционного обучения, многоязычности и более эффективного размещения благодаря 4-битному представлению. Ограничения включают возможные потери качества из-за квантования, высокие требования к ресурсам по сравнению с небольшими моделями и отсутствие заявленной поддержки других модальностей. Модель распространяется по Llama 3.3 Community License от Meta. При распространении материалов или производных продуктов требуется включать текст лицензии, указывать «Built with Llama» и соблюдать Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

cortecs/Llama-3.3-70B-Instruct-FP8-Dynamic — динамически квантованная версия Meta Llama 3.3 70B Instruct, разработанная на базе модели meta-llama/Llama-3.3-70B-Instruct. Это большая языковая модель с 70 миллиардами параметров, предварительно обученная и дообученная по инструкциям для генерации текста и многоязычного диалога. Модель предназначена для чат-ботов, ассистентов и других приложений, связанных с обработкой и генерацией текста. Она поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский языки. Указанный показатель восстановления точности составляет 99,67%; приведённые оценки показывают небольшое снижение результатов относительно исходной Llama-3.3-70B-Instruct, при этом в отдельных тестах показатели практически совпадают. Ключевая особенность модели — формат FP8 Dynamic, который предназначен для более эффективного размещения и выполнения крупной модели при сохранении близкого к исходному качества. Данные о размере контекста, поддерживаемых модальностях помимо текста и конкретных аппаратных требованиях в README не указаны. Модель распространяется по лицензии Meta Llama 3, ссылка на условия приведена в карточке.

QuantFactory/Llama-3-8B-Instruct-Gradient-1048k-GGUF — это квантизированная версия Gradient Llama-3-8B-Instruct-Gradient-1048k в формате GGUF, созданная с использованием llama.cpp. Базовая модель разработана Gradient на основе Meta Llama 3 8B Instruct; исходное семейство Llama 3 разработано Meta. Модель предназначена для генерации текста и кода, диалоговых сценариев, создания ассистентов и обработки очень больших текстовых документов. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention, содержит около 8 млрд параметров и работает только с текстом на входе и выходе. Заявленное контекстное окно расширено с 8 тысяч до более чем 1,04 млн токенов. Расширение выполнено с помощью оптимизации RoPE theta, NTK-aware interpolation и последовательного обучения на контекстах длиной 65K, 262K, 524K и 1048K токенов. В README указан английский язык, а для обучения длинного контекста использовались данные на основе SlimPajama. Ключевое преимущество модели — сочетание относительно компактного размера, формата GGUF для использования в экосистеме llama.cpp и поддержки сверхдлинного контекста, что может быть полезно при анализе крупных документов и длинных последовательностей. Ограничения включают текстовую модальность, отсутствие подробных результатов оценки качества и конкретных характеристик квантизации в представленном README, а также возможное снижение точности по сравнению с полной или менее квантизированной версией. В качестве лицензии указана llama3.

bartowski/Meta-Llama-3.1-70B-Instruct-GGUF — это квантованная версия инструкционной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текстов и другие задачи обработки естественного языка. Из доступных данных известно, что модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров согласно идентификатору базовой модели и работает с текстом. Заявлены языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF обычно ориентирован на локальный инференс, однако конкретный уровень квантования, требования к памяти, размер контекста и точные характеристики производительности в README не указаны. Сильными сторонами модели являются большой размер, инструкционная настройка, поддержка нескольких языков и совместимость с экосистемой GGUF. Ограничениями могут быть высокие требования к вычислительным ресурсам, а также возможная потеря качества по сравнению с полной точностью из-за квантования; степень этого влияния зависит от конкретной версии квантования и не указана. Модель распространяется на условиях Llama 3.1 Community License от Meta. Лицензия предусматривает требования к атрибуции, маркировке продуктов, соблюдению Acceptable Use Policy и особые коммерческие условия для организаций с более чем 700 миллионами ежемесячных активных пользователей.

Muse Glimmer 30B NVFP4 — квантизированная версия мультимодальной vision-language модели Muse Glimmer 30B с базовой моделью meta-models/Muse-Glimmer-30B. Конверсия выполнена в формат NVIDIA ModelOpt NVFP4 W4A4; публикация содержит модель примерно на 29,8 млрд параметров. Модель предназначена для задач, объединяющих обработку текста и изображений, включая диалоговые, агентские, программные, математические и мультимодальные сценарии. В 52 слоях квантизированы 416 линейных проекций декодера: компоненты attention и MLP. Веса и активации представлены 4-битными значениями с блочной обработкой по 16 элементов, тогда как vision tower, адаптеры и проекции зрения, эмбеддинги, нормализации и LM head сохранены в BF16. KV-кэш не квантизирован. Размер файлов safetensors составляет около 23,38 ГБ без учёта токенизатора и конфигурации. В калибровке использовались данные для программирования, агентских задач, рассуждений, математики, мультиязычных и мультимодальных запросов, однако точный список поддерживаемых языков README не указывает. По заявленным проверкам, на сопоставимом тесте MMLU-Pro квантизированная версия показала тот же результат, что и BF16, а рост perplexity на WikiText-2 составил 4,25%; средняя дивергенция распределений следующего токена — 0,091815 ната. Это указывает на высокую близость к исходной модели, но возможна некоторая потеря качества. Работоспособность квалифицирована на одной NVIDIA RTX PRO 6000 Blackwell с native vLLM, специальным NVFP4-ядром FlashInfer, CUDA graphs и speculative decoding через Muse Glimmer DFlash; совместимость с другими конфигурациями не гарантируется. Модель распространяется по лицензии Apache-2.0.