I.11Классификация, ранжирование и сопоставление

KRONOS-8B-V2 — объединённая языковая модель, созданная T145 методом TIES с помощью mergekit на базе unsloth/Meta-Llama-3.1-8B и включающая KRONOS-8B-V1-P1, KRONOS-8B-V1-P2, KRONOS-8B-V1-P3 и unsloth/Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговое использование; метаданные также отмечают интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов. README приводит результаты оценки на IFEval и BBH, но не описывает специализацию по предметной области или подтверждённый набор языков. Модель подходит для диалоговых приложений, генерации и продолжения текста, а также сценариев с длинным контекстом. В README указана лицензия модели Llama 3.1. Представленные результаты бенчмарков ограничены частью таблицы, поэтому по ним нельзя судить о качестве во всех задачах; сведения о языковом покрытии и ограничениях применения в карточке не приведены.

LeoScorpius-GreenNode-Platypus-7B-v1-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и ignos/LeoScorpius-GreenNode-Platypus-7B-v1 методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в ответ на инструкции и диалоговые запросы; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не приводит оценки качества или подробных ограничений, поэтому пригодность для конкретных сценариев следует проверять на собственных данных.

unsloth/LFM2-1.2B — компактная версия семейства LFM2, разработанного Liquid AI и опубликованная Unsloth. Это плотная гибридная языковая модель примерно с 1,2 млрд параметров: 10 блоков коротких свёрток LIV и 6 блоков внимания GQA. Она рассчитана на запуск на периферийных устройствах и подходит для приложений на смартфонах, ноутбуках и других устройствах с CPU, GPU или NPU. Контекст — до 32 768 токенов. Модель предназначена для диалогов, вызова инструментов, извлечения данных, RAG, творческого письма и других узких сценариев; авторы рекомендуют дообучать её под конкретную задачу. В README заявлены ускоренные обучение и генерация, а также результаты сравнительных тестов для моделей сопоставимого размера. Модель поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки. Для знаний, требующих глубокой предметной подготовки, и задач программирования авторы её не рекомендуют. Репозиторий содержит веса safetensors и основан на LiquidAI/LFM2-1.2B; лицензия указана как other, поэтому её условия следует проверить на странице модели.

Unsloth/Liquid AI LFM2-350M — компактная плотная гибридная языковая модель для генерации текста и диалогов, рассчитанная на запуск на периферийных устройствах. В этой карточке представлены веса постобученной модели LiquidAI/LFM2-350M в формате safetensors; архитектура сочетает 10 блоков коротких LIV-свёрток и 6 блоков группового внимания. Размер по метаданным — 444,6 млн параметров, контекст — до 32 768 токенов. Модель предназначена для локальных приложений с ограниченными ресурсами, включая многошаговые диалоги, извлечение данных, RAG, творческое письмо и агентные сценарии с вызовом инструментов. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского и испанского языков. Разработчик отмечает скорость и эффективность на CPU, GPU и NPU, а также рекомендует дообучать модель для узких задач. Она не рекомендуется для задач, требующих обширных знаний или навыков программирования. В README указаны дистилляция от LFM1-7B, масштабное дообучение с учителем, DPO и итеративное объединение моделей в ходе подготовки семейства LFM2; однако метаданные этой конкретной карточки обозначают её как finetune от LiquidAI/LFM2-350M. Лицензия указана как other, поэтому условия использования следует сверить с лицензией в репозитории перед внедрением.

LFM2-8B-A1B от Liquid AI — гибридная языковая MoE-модель для локального запуска на телефонах, планшетах и ноутбуках. Вариант unsloth/LFM2-8B-A1B дообучен на основе LiquidAI/LFM2-8B-A1B; архитектура включает 18 блоков коротких свёрток и 6 блоков внимания GQA. В README указаны 8,3 млрд параметров всего и 1,5 млрд активных; метаданные Hugging Face сообщают 1,4 млрд параметров. Контекст — до 128 000 токенов. Модель предназначена для диалогов, следования инструкциям, вызова инструментов, извлечения данных, RAG, творческого письма и агентных сценариев. Она поддерживает английский, арабский, китайский, французский, немецкий, японский, корейский и испанский языки; карточка рекомендует использовать её для узких задач после дополнительной настройки. Лицензия обозначена как other. По карточке, модель не рекомендуется для задач, требующих обширных знаний или программирования; сведения о конкретных условиях лицензии в предоставленных данных отсутствуют.

llama-3.1-70B-lumitron — объединённая авторами модели nonetrix языковая модель на основе архитектуры Llama 3.1. Она создана методом task arithmetic с помощью mergekit: в объединение вошли nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и NeverSleep/Lumimaid-v0.2-70B. Модель содержит 69,5 млрд параметров, использует формат safetensors и доступна через библиотеку Transformers; заявленная длина контекста — 131072 токена. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и инструкции. Метаданные также отмечают интерфейс вызова инструментов. Карточка не приводит результатов оценки качества или отдельных гарантий работы этих возможностей. Лицензия в предоставленных данных не указана.

nreHieW/Llama-3.1-8B-Instruct — копия Meta Llama 3.1 8B Instruct от Meta, опубликованная пользователем nreHieW. Это плотная авторегрессионная языковая модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; заявленная длина контекста составляет 131 072 токена. Модель принимает текст и генерирует текст. README отсылает к репозиторию Meta для условий лицензии и рекомендует получить одобрение перед использованием; дополнительные сведения о языках и специализированных областях применения в предоставленных данных отсутствуют.

Llama-3.1-8B-Instruct-EI1-2ep-sft-warmupbs — дообученная модель семейства Llama, созданная на основе meta-llama/Llama-3.1-8B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям; метаданные также отмечают интерфейс вызова инструментов. Модель имеет плотную архитектуру LlamaForCausalLM и 7,5 млрд параметров. Контекст — до 131 072 токенов. В README указан результат оценки: loss 0,6092. Датасет обучения не раскрыт, поэтому нельзя оценить специализацию модели или переносимость результата на другие задачи. Модель распространяется в формате safetensors по лицензии Llama 3.1; условия лицензии следует учитывать при использовании.

Llama-3-8B-Instruct-GGUF — квантизированная GGUF-версия языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия с использованием шаблона запросов llama-3-chat, а также для локального запуска через llama.cpp и LlamaEdge. Модель относится к архитектуре Llama и содержит 8 миллиардов параметров. Это текстовая модель с поддержкой английского языка и контекстом до 8192 токенов. Доступны варианты квантизации от 2 до 8 бит, а также версия f16; размеры файлов составляют примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M позиционируется как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Основные преимущества модели — относительно компактный размер, возможность локального развертывания и выбор между несколькими уровнями квантизации. Существенным ограничением является потеря качества у низкобитных вариантов, особенно Q2 и Q3; README также не содержит результатов бенчмарков или подробных сведений о безопасности и ограничениях применения. Указана лицензия Llama 3 с обозначением llama3; условия использования следует уточнять в лицензии Meta.

unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF-UD — это GGUF-версия инструкционно дообученной модели Llama 4 Maverick, разработанной Meta и опубликованной Unsloth. Модель предназначена для генерации текста и выполнения пользовательских инструкций в общих сценариях работы с языком, включая диалоговые приложения и задачи обработки текста. В идентификаторе указаны конфигурация с 17B параметров и 128E экспертов, а также вариант Instruct; дополнительные сведения об архитектуре и методе квантования в предоставленных данных отсутствуют. Заявлены следующие языки: арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский. Модальность, размер контекстного окна, конкретные уровни квантования, требования к оборудованию, результаты тестирования и известные ограничения не указаны, поэтому оценить производительность в отдельных задачах по этим данным невозможно. Использование модели регулируется Llama 4 Community License от Meta, действующей с 5 апреля 2025 года. Лицензия допускает использование, воспроизведение, распространение, создание производных работ и модификацию на указанных условиях, включая сохранение лицензионного уведомления, предоставление копии соглашения и отображение обозначения «Built with Llama» при распространении материалов или продуктов. Для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено требование запросить отдельную лицензию у Meta.

SanctumAI/Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная версия текстовой instruction-tuned модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и опубликованной командой meta-llama. Квантизацию в формате GGUF выполнила SanctumAI. Модель предназначена для генерации текста и многоязычных диалоговых сценариев, включая использование в локальных приложениях и системах, совместимых с GGUF. Модель содержит 8 млрд параметров, работает по схеме «текст на входе — текст на выходе» и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Доступны варианты квантизации от Q2_K до Q8_0, а также версия f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, а оценочная потребность в RAM или VRAM — от 7,20 до 19,21 ГБ. Квантизация позволяет выбирать компромисс между требованиями к памяти и качеством работы, но более низкая точность может снижать качество по сравнению с исходной моделью. Контекст модели в README не указан. Модель распространяется по лицензии Llama 3.1; дополнительные условия следует уточнять в прилагаемом файле LICENSE. Она подходит для чат-ботов, локальных ассистентов и других задач генерации текста, однако README не содержит подробностей о результатах на конкретных бенчмарках, ограничениях безопасности или гарантиях точности.

Tess-4-27B-GGUF — это квантизированная версия модели Tess-4-27B, разработанной migtissera. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. По данным карточки, модель ориентирована на мультимодальные сценарии image-text-to-text, агентные задачи, рассуждения, работу с длинным контекстом и использование инструментов. Указана архитектурная принадлежность к семейству Qwen3, однако точный размер контекста, поддерживаемые языки и подробные характеристики модальностей в README не приведены. Доступны варианты от BF16 до низкоразрядных Q2–Q8-квантизаций; размеры файлов составляют примерно от 13 до 55 ГБ. Варианты Q5–Q6 обозначены как высококачественные, а Q4_K_M — как типичный вариант для большинства сценариев. Сильной стороной являются различные уровни квантизации, позволяющие выбирать между качеством, скоростью и требованиями к памяти, а также поддержка экосистемы llama.cpp. Более низкоразрядные варианты экономят память, но могут заметно уступать по качеству; некоторые форматы являются устаревшими или не рекомендуются. Модель и её квантизированные варианты распространяются по лицензии Apache-2.0.

Minitron-4B-Base — базовая большая языковая модель NVIDIA для генерации текста. Она создана из Nemotron-4 15B: разработчики сократили размер эмбеддингов, число голов внимания и промежуточный размер MLP, а затем продолжили обучение с дистилляцией на 94 млрд токенов. Модель насчитывает 4,3 млрд параметров; её архитектура — авторегрессионный Transformer-декодер Nemotron с Grouped-Query Attention и Rotary Position Embeddings. Контекст составляет 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для исследований и разработки, включая генерацию и продолжение текста, ответы на вопросы, математические задачи и генерацию кода. В обучающих данных были английский и мультиязычный текст, а также код; корпус включал материалы из разных областей, в том числе право, математику, науку и финансы. Карточка приводит результаты оценок на MMLU, HellaSwag, Winogrande, GSM8K, ARC-C, XLSum и HumanEval. Модель может выдавать неточные, неполные или избыточные ответы, а также воспроизводить токсичный язык и предубеждения из обучающих данных. Данные предварительного обучения имеют срез по июнь 2023 года. Лицензия указана как other; перед использованием следует ознакомиться с условиями NVIDIA. Модель отмечена разработчиком как предназначенная для исследований и разработки.

Miss.Z-V0.1 — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit методом SLERP из HuggingFaceH4/zephyr-7b-beta и mistralai/Mistral-7B-Instruct-v0.3. Репозиторий содержит веса в формате Safetensors; модель насчитывает 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогов, а её интерфейс также поддерживает вызов инструментов. Она принимает текст и выдаёт текст. Данные о конкретных языках применения и специализированных предметных областях не приведены. Модель опубликована 9 сентября 2024 года. Условия лицензии в предоставленных данных не указаны.

Mistral-Large-Instruct-2407-GGUF — это набор квантизированных версий инструкционной языковой модели Mistral-Large-Instruct-2407, разработанной Mistral AI и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через совместимые приложения, например LM Studio. Рекомендуемый формат промптов: <s> [INST] запрос [/INST]. Модель поддерживает английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский языки. Доступны варианты квантизации от Q8_0 до IQ1_M с размером файлов примерно от 130,28 до 32,43 ГБ для перечисленных вариантов; более качественными считаются Q8_0, Q6_K, Q5_K_M и Q4_K_M, тогда как варианты с меньшей разрядностью экономят память за счёт снижения качества. Некоторые файлы оптимизированы для CPU и ARM, а часть вариантов поставляется с разделением на несколько файлов. Сильная сторона набора — возможность подобрать баланс между качеством, размером и требованиями к памяти для локального запуска. Ограничения включают значительные аппаратные требования даже у компактных вариантов, а также неизбежное ухудшение качества при агрессивной квантизации. В README не указаны архитектурные параметры, число параметров, размер контекста и мультимодальные возможности. Модель распространяется по лицензии MRL-0.1 от Mistral AI.

Mobiusv0.5 — объединённая языковая модель на архитектуре Mistral, созданная mashleburneded методом SLERP с помощью mergekit на основе Mistral-Small-Instruct-2409 и Codestral-22B-v0.1. Модель содержит 15,8 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и диалоговых запросов; интерфейс модели также предусматривает вызов инструментов. В состав объединения входит Codestral, ориентированная на генерацию кода модель, однако README не описывает отдельные возможности или качество Mobiusv0.5 в программировании. Модель опубликована в формате safetensors и доступна через Transformers. Лицензия в предоставленных данных не указана.

NVIDIA Nemotron Parse 2.0 — разработанная NVIDIA мультимодальная модель для преобразования изображений документов в структурированное представление. Это модель типа vision encoder–decoder: визуальный энкодер ViT-H на основе NVIDIA C-RADIO передаёт признаки через адаптер на декодер mBART из 10 блоков. На вход подаются RGB-изображение документа и текстовый запрос; на выходе — текстовая строка с распознанным содержимым, классами элементов, координатами рамок и порядком чтения. Модель предназначена для OCR и анализа сканов или отрисованных PDF, слайдов, форм, отчётов, таблиц и смешанных страниц. Она поддерживает многоязычное распознавание, включая китайские, японские и корейские тексты, а также индийские письменности; улучшена работа с рукописным текстом, таблицами и преобразованием диаграмм в структурированный текст. Результаты можно использовать для поиска по документам, извлечения данных, аналитики, подготовки обучающих данных и проверки человеком. В репозитории доступны варианты постобработки таблиц в LaTeX, HTML, Markdown, JSON и CSV. Модель можно запускать через Transformers или vLLM; она оптимизирована для систем с GPU NVIDIA. Лицензия модели — OpenMDW-1.1; README заявляет возможность коммерческого и некоммерческого использования. Лицензия токенизатора — CC-BY-4.0. В карточке не приведены число параметров и длина контекста, поэтому они здесь не указаны.

bunsenfeng/parti_19_full — языковая модель для генерации текста и диалогового взаимодействия, опубликованная на Hugging Face. По метаданным она относится к семейству Qwen2, содержит около 7,1 млрд параметров и предназначена для использования через библиотеку Transformers с форматом safetensors. Модель подходит для чат-ботов, генерации ответов, продолжения текста и других сценариев, где требуется autoregressive text generation. Она поддерживает контекст до 32 768 токенов, что позволяет обрабатывать относительно длинные запросы и фрагменты переписки. README не содержит сведений о разработчике, языках, обучающих данных, результатах оценки, лицензии и рекомендуемых ограничениях использования. Поэтому модель следует предварительно проверять на качество, безопасность, устойчивость к галлюцинациям и соответствие требованиям конкретного применения.

Penguin-VL-2B — компактная vision-language-модель Tencent, построенная на языковой основе Qwen3-1.7B. В модели объединены визуальный энкодер, созданный на основе Qwen3-0.6B, лёгкий MLP-проектор и языковой бэкенд Qwen3. Энкодер использует двунаправленное внимание и 2D-RoPE для обработки пространственной информации; для видео применяется сжатие токенов с учётом временной избыточности кадров. Модель предназначена для диалоговых задач с изображениями и видео: ответов на визуальные вопросы, OCR, понимания документов и диаграмм, а также рассуждений по содержимому кадров. Заявленная длина контекста — 40 960 токенов, размер языковой основы — 1,7 млрд параметров. В карточке приведены результаты на тестах для изображений, документов, OCR, математики и видео. Метаданные указывают английский язык; других языков карточка не подтверждает. Модель дообучена на Qwen/Qwen3-1.7B, распространяется в формате Safetensors по лицензии Apache-2.0. Качество может зависеть от разрешения и сложности визуального входа; опубликованные результаты бенчмарков не гарантируют точность на конкретных данных. Описание не уточняет ограничения по длительности видео или точную процедуру запуска.

SAIFIINDUSTRIES/Qwen2.5-14B-Instruct-1M — чат-модель для генерации текста на основе Qwen2.5-14B, опубликованная под лицензией Apache-2.0. Это плотная причинная языковая модель семейства Qwen2 с 14 млрд параметров; архитектура использует RoPE, SwiGLU, RMSNorm и групповое внимание с 40 головами Q и 8 головами KV. Модель предназначена для диалога, ответов на вопросы, использования инструментов и работы с очень длинными текстами. Контекст достигает 1 010 000 токенов, а максимальная длина генерации составляет 8192 токена. Для эффективного инференса на контексте такого размера README рекомендует специальную версию vLLM и указывает потребность не менее чем в 320 ГБ видеопамяти суммарно. Поддерживаются также короткие запросы; для контекстов свыше 262 144 токенов на обычном фреймворке возможна потеря точности. Метаданные указывают английский язык; других языков источники не подтверждают.

Qwen2.5-14B-Instruct-GGUF — это квантизированная GGUF-версия инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой llama.cpp и LM Studio. В README указана поддержка английского языка и текстовая модальность. Модель содержит 14 миллиардов параметров в исходной версии; доступно множество вариантов квантизации от F16 до Q2_K_L, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размеры файлов составляют примерно от 6,53 до 29,55 ГБ. Для диалогов используется шаблон с ролями system, user и assistant. Точная длина контекста в README не указана, сообщается лишь об обновлении настроек контекста и токенизатора. Сильная сторона модели — возможность локального запуска при сохранении нескольких вариантов качества, включая рекомендуемые Q4_K_M, Q5_K_M и Q6_K. Более агрессивная квантизация уменьшает требования к памяти, но может заметно снижать качество ответов; варианты Q2 и Q3 описаны как низкокачественные или предназначенные для ограниченного объёма памяти. Модель распространяется по лицензии Apache 2.0.

Qwen-2.5-7B-Deep-Stock-v2 — слитая разговорная языковая модель от bunnycore, созданная методом Model Stock с помощью mergekit. В качестве основы использована fblgit/cybertron-v4-qw7B-UNAMGS; в слияние также вошли FuseChat-Qwen-2.5-7B-Instruct, Intelligence-R1-Distill-7B, DeepSeek-R1-Distill-Qwen-MFANN-Slerp-7b и предыдущая версия модели. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров, работает через Transformers и принимает текст для генерации текста в диалоговом формате. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. Подходит для диалогов и генерации ответов; слияние с моделями для инструкций и дистиллятами DeepSeek-R1 предполагает ориентацию на следование инструкциям и рассуждения, однако README не приводит оценок качества или подробных результатов тестирования. Лицензия в предоставленных данных не указана. Как и у других слитых моделей, качество и стабильность ответов могут зависеть от запроса; фактические пределы контекста и поддержка вызова инструментов зависят от используемого окружения.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено Dhptl с использованием quant-kit в формате GGUF, предназначенном для локального запуска через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Модель относится к классу текстовых instruction-following и conversational-моделей и предназначена для диалогов, генерации текста, ответов на вопросы и других сценариев работы с текстом. Заявленный размер базовой модели — 4 млрд параметров. В карточке указано поддерживаемое язык — английский; сведения о контекстном окне, точной архитектуре и мультимодальности отсутствуют. Доступны варианты квантования от Q2_K до Q8_0 размером примерно от 1,55 до 3,99 ГБ. Версия Q4_K_M рекомендована как баланс размера и качества, Q3_K_M — для систем с ограниченной памятью, а Q8_0 — для максимально близкого к исходной модели качества. Квантование уменьшает требования к памяти и позволяет запускать модель на потребительском оборудовании, но варианты с более сильным сжатием могут заметно терять в качестве. Приведённые показатели сохранения качества около 97–99% заявлены без фактических результатов тестов в этой карточке, поэтому их следует воспринимать ориентировочно. Модель распространяется по лицензии Apache-2.0. Для практического использования необходимо выбрать конкретный GGUF-файл с учётом доступной оперативной памяти и допустимого компромисса между скоростью, размером и качеством.

Qwen3-4B-Instruct-2507-MLX-6bit — это 6-битно квантованная версия инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и ориентировано на запуск на устройствах с Apple Silicon. Модель предназначена для генерации текста и выполнения инструкций в локальных приложениях и сценариях, поддерживающих MLX. Ключевая характеристика модели — 6-битное квантование, снижающее требования к памяти по сравнению с полноразмерной версией и делающее модель более подходящей для локального использования на совместимых компьютерах Apple. В README не указаны архитектура, точный объём контекста, поддерживаемые языки и мультимодальные возможности, поэтому эти свойства нельзя достоверно описать. К ограничениям относятся возможные ошибки, неточности и генерация неподходящего или вредного содержания, характерные для языковых моделей. Модель распространяется по лицензии Apache-2.0.

RobinsonLabs/Qwen3.5-122B-A10B-abliterated-GGUF — набор квантизированных моделей в формате GGUF на базе Qwen/Qwen3.5-122B-A10B. Модель разработана Robinson Labs методом abliteration и предназначена для генерации и обработки текста в совместимых локальных runtime. Базовая архитектура — MoE qwen35moe с 122 млрд параметров и бюджетом около 10 млрд активных параметров на токен. В сборке сохранён Multi-Token Prediction (MTP/NextN), поэтому совместимые runtime могут использовать спекулятивное декодирование. Доступны варианты с разными уровнями квантизации и размером файлов. Это текстовая модель: vision tower из исходного чекпойнта в GGUF не включена, поэтому обработка изображений не поддерживается. Языки и размер контекстного окна в README не указаны. Ключевая особенность версии — снижение склонности к отказам в запросах для взрослого и творческого контента при заявленном сохранении возможностей модели. При этом защитные механизмы для запросов, связанных с самоповреждением, и другие ограничения безопасности, по данным автора, сохранены. Ограничениями являются высокая требовательность к вычислительным ресурсам из-за полного размера модели, отсутствие мультимодальности и зависимость от поддержки GGUF и MTP конкретным runtime. Модель помечена как не предназначенная для всех аудиторий, а ответственность за использование возложена на пользователя. Лицензия наследуется от базовой модели и указана как Apache-2.0.

mradermacher/Qwen3.5-9B-Brainwaves-GGUF — это набор квантованных GGUF-версий модели nightmedia/Qwen3.5-9B-Brainwaves, подготовленный пользователем mradermacher. Модель относится к семейству Qwen и предназначена для запуска через совместимые инструменты, поддерживающие формат GGUF. В описании заявлены диалоговые сценарии, генерация текста, программирование, математические и STEM-задачи, исследовательская работа, рассуждения, творческое и художественное письмо, а также ролевые сценарии. Размер базовой модели составляет около 9 млрд параметров. Указаны поддерживаемые языки English, Chinese, Japanese и Spanish. Доступны дополнительные файлы mmproj для мультимодального использования, однако конкретные поддерживаемые типы входных данных и возможности мультимодальной обработки в README не раскрыты. Также в тегах заявлен контекст до 256k или 1M токенов, но точное значение для данной сборки не уточняется. Главное преимущество репозитория — широкий выбор вариантов квантования с размером примерно от 4 до 18,5 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Для быстрого запуска рекомендованы Q4_K_S и Q4_K_M, а Q8_0 описан как вариант с лучшим качеством среди быстрых. Ограничения включают возможное снижение качества у низкобитных квантований и отсутствие в README результатов бенчмарков, детального описания архитектуры и подтверждённых характеристик мультимодальности. Лицензия модели — Apache 2.0.

AEON-7/Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4 — мультимодальная языковая модель от AEON-7, основанная на AEON-7/Qwen3.6-27B-AEON-Ultimate. Она предназначена для генерации и обработки текста, а также анализа изображений в сценариях, поддерживаемых исходной моделью. В карточке заявлена поддержка английского, китайского и других языков. Модель содержит 27 млрд параметров и использует гибридную архитектуру с полноформатными слоями внимания и 48 слоями линейного внимания GatedDeltaNet. Это аппаратно-квантизированная версия NVFP4: размер на диске уменьшен примерно с 51 до 26 ГБ. Vision tower, слои linear attention, нормализации, эмбеддинги и lm_head сохранены в BF16, поэтому заявлена сохранность мультимодальности и устойчивости гибридной архитектуры. Для развёртывания указан контекст до 256 000 токенов в рекомендованной конфигурации vLLM. К сильным сторонам относятся существенное снижение требований к хранению и возможность использовать native FP4-ускорение на DGX Spark с GB10, B100/B200 и некоторых видеокартах Blackwell, а также сохранение обработки изображений. Ограничения связаны с необходимостью совместимого программного стека и оборудования; заявленные характеристики качества, включая близость к BF16 и отсутствие отказов, требуют независимой проверки после развёртывания. Модель помечена как superseded и рекомендована автором к замене более новой версией Qwen3.8. Лицензия — Apache-2.0.

Uluka Studio Mercury 2 BF16 Merged — мультимодальный чат-чекпойнт на базе Qwen3.6-35B-A3B, подготовленный UlukaDev. Это объединённая BF16-версия дообучения с адаптером LoRA UlukaDev/qwen3p6-35b-a3b-uluka-mercury-2-lora; веса представлены в формате safetensors и используют архитектуру Qwen3.5 MoE. Модель предназначена для диалогов и анализа изображений; метаданные также указывают интерфейс вызова инструментов. Она принимает текст и изображения и выдаёт текст. Лицензия указана как other, поэтому условия использования следует сверить с карточкой и лицензией базовой модели.

greghavens/Qwen3.8-27B-bnb-4bit — это 4-битная NF4-квантизованная версия мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для обработки текста и изображений, включая задачи visual question answering, генерацию текста по изображениям и работу с агентами и инструментами. Указан английский язык. Размер модели — около 18,60 ГБ в шести сегментах, что позволяет запускать её на одной видеокарте с 24 ГБ памяти при использовании bitsandbytes и совместимого ускорителя. Квантизация применяется к 496 языковым линейным слоям, тогда как vision tower, lm_head, входные эмбеддинги и нормализующие слои сохранены в bfloat16. В комплекте также присутствует MTP head в bfloat16 для speculative decoding в vLLM и SGLang, хотя Transformers его не использует. Модель совместима с Transformers и поддерживает QLoRA-файнтюнинг через PEFT. Контекст модели в README не указан. По заявленным измерениям, квантизация почти не меняет результаты IFEval и NoveltyBench, а ухудшение perplexity на Wikitext-2 составляет около 1,14%. При этом показатель BFCL для вызова инструментов снижается с 0,8218 до 0,8113, а на нерелевантные запросы модель чаще ошибочно генерирует вызов инструмента. Для Blackwell и сценариев, ориентированных только на инференс, README рекомендует более быстрые варианты NVFP4 или FP8. Модель распространяется по лицензии Apache-2.0.

Max73333/Qwen3.8-27B-GPTQ-Int4-V100 — это 4-битная GPTQ-квантизированная версия базовой модели Qwen/Qwen3.8-27B, подготовленная для текстовой генерации и запуска на видеокартах NVIDIA Tesla V100 с compute capability 7.0 (sm_70). Веса используют 4-битное представление, group size 128, симметричное квантование и параметры desc_act=false. Модель предназначена прежде всего для инференса через Transformers или совместимую сборку vLLM; мультимодальные возможности для этой версии не заявлены и не проверялись. Языки и точный размер контекста в README не указаны, однако конфигурация тестировалась с максимальной длиной контекста 4096 токенов. Архитектура текстового режима внутри vLLM связана с классами семейства Qwen3.5. Главное преимущество сборки — возможность практического запуска крупной модели на Volta, где некоторые AWQ и compressed-tensors ядра требуют более новой архитектуры GPU. На одной NVIDIA Tesla V100-SXM2 32 ГБ в протестированной конфигурации заявлена установившаяся скорость около 37–40 токенов в секунду после прогрева. При этом первый запуск контейнера и первый запрос могут занимать значительно больше времени, а производительность зависит от версий CUDA, PyTorch, Triton и vLLM. Для vLLM использовалась пропатченная сборка из исходников с поддержкой sm_70; совместимость со стандартными релизами не гарантируется. Более длинный контекст, конкурентная генерация и режимы 8192–32768 токенов требуют отдельной проверки из-за ограничений памяти KV-кэша. Лицензия модели — Apache-2.0.