I.11Классификация, ранжирование и сопоставление

Карточка модели SillyTilly/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

MetaMath-Tulpar-7b-v2-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/MetaMath-Tulpar-7b-v2-Slerp. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст; метаданные указывают на диалоговые возможности. Лицензия — Apache-2.0. В карточке не приведены оценки качества или отдельные ограничения, поэтому пригодность для конкретных сценариев стоит проверять на собственных примерах.

cloudyu выпустил плотную текстовую модель cloudyu/mistral_28B_instruct_v0.1 на архитектуре Mistral с 28 млрд параметров. Согласно README, модель дообучена методом SFT на наборе vicgalle/alpaca-gpt4 и использует формат инструкций с полями instruction, inputs и output. Метаданные также отмечают поддержку чата и контекст до 32 768 токенов. Модель предназначена для генерации ответов на инструкции и диалоговых сценариев. Репозиторий содержит веса в формате safetensors; лицензия — CC BY 4.0. README заявляет 128 слоёв, но не описывает оценку качества или специализированную область применения.

cloudyu/mistral_28B_instruct_v0.2 — плотная языковая модель на архитектуре Mistral с 28 млрд параметров и контекстом до 32 768 токенов. В README указано, что модель имеет 128 слоёв и была обучена методом DPO на наборе Intel/orca_dpo_pairs; заявленный шаблон использует инструкцию, входные данные и ответ. Модель предназначена для диалоговой генерации текста и выполнения инструкций в текстовом формате. Её можно применять для ответов на вопросы, составления текстов и интерактивных чат-сценариев. Карточка не указывает поддерживаемые естественные языки и конкретные предметные области. Репозиторий содержит веса в формате safetensors. Лицензия — CC BY 4.0. README не приводит оценок качества или подробных сведений о рекомендуемых аппаратных требованиях; указанное число слоёв не подтверждено метаданными.

MaziyarPanahi/Mistral-7B-Instruct-v0.2 — инструктивно дообученная версия языковой модели Mistral-7B-v0.2, опубликованная Maziyar Panahi на основе модели Mistral AI. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, рассчитанная на диалог и выполнение инструкций. Она принимает текстовые запросы в формате Mistral Instruct и генерирует текстовые ответы; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы, создания и редактирования текстов и других сценариев генерации текста. В README говорится, что версия Instruct служит демонстрацией возможностей дообучения базовой модели. Карточка предупреждает, что у модели нет встроенных механизмов модерации, поэтому сгенерированные ответы могут требовать дополнительной проверки. Модель распространяется под лицензией Apache-2.0.

Это сборка Mistral 7B Instruct v0.2 от Mistral AI, подготовленная Mozilla AI в формате llamafile. В её основе — плотная диалоговая модель Mistral, дообученная для генерации текста по инструкциям; базовая версия содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий включает варианты квантования разной разрядности, в том числе с заметной потерей качества на самых компактных настройках. Модель подходит для локального чат-общения, ответов на вопросы и выполнения текстовых инструкций через llama.cpp и совместимые интерфейсы. Формат llamafile упрощает запуск на обычных системах с ARM64 и AMD64; конкретные требования к памяти и качество зависят от выбранного файла. Модель не имеет встроенных механизмов модерации. Лицензия — Apache-2.0.

Devstral-Small-2-24B-Instruct-2512-GGUF — это GGUF-квантизированная версия инструкционной модели Devstral-Small-2-24B-Instruct-2512, разработанной Mistral AI и преобразованной в набор квантованных файлов пользователем bartowski с использованием llama.cpp и imatrix-калибровки. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет 24 млрд параметров; в README не указаны её точная архитектура, поддерживаемые языки, модальности и размер контекстного окна. Доступны варианты от BF16 размером 47,15 ГБ до компактных квантований Q3 и Q4, а также Q5, Q6 и Q8. Более высокие уровни квантования обычно обеспечивают лучшее сохранение качества, тогда как младшие варианты снижают требования к оперативной памяти. Для большинства сценариев в README рекомендован Q4_K_M, а для максимального качества — Q6_K_L или Q6_K. Сильная сторона этой версии — возможность локального использования большой инструкционной модели в различных компромиссах между качеством и потреблением памяти. Поддержка tool calling заявлена как частично работоспособная: одиночные вызовы в тестах выполнялись, но цепочки вызовов могли ломаться, поэтому совместимость с mistral-vibe не гарантируется. Модель распространяется по лицензии Apache-2.0.

mistral-orpo-beta-NeuralBeagle14-7B-dare-ties — объединённая модель на архитектуре Mistral, созданная с помощью LazyMergekit из kaist-ai/mistral-orpo-beta и mlabonne/NeuralBeagle14-7B методом dare_ties. Она предназначена для диалоговой генерации текста и может использоваться для ответов на вопросы, следования инструкциям, рассуждений и творческого письма. Модель содержит 7,1 млрд параметров, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Карточка приводит конфигурацию с весами слияния 0,6 и 0,4 и точностью bfloat16. Лицензия — Apache-2.0. Языки и отдельные ограничения качества в карточке не описаны.

Sakalti/model-3 — языковая модель Qwen2, созданная слиянием моделей через mergekit методом TIES. В слиянии использованы Qwen/Qwen2.5-7B и Qwen/Qwen2.5-7B-Instruct; итоговая модель имеет около 7,1 млрд параметров, архитектуру Qwen2ForCausalLM и веса в формате Safetensors с точностью bfloat16. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и формирует текстовые ответы; заявленная длина контекста — 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Данные README содержат результаты оценки на IFEval и BBH, но не описывают специальные предметные области или подтверждённые преимущества модели. Лицензия в предоставленных данных не указана.

OpenHermes-2.5-Mistral-7B-AWQ — это 4-битная AWQ-квантизованная версия языковой модели OpenHermes 2.5 Mistral 7B. Исходную модель разработала Teknium, а квантизацию выполнил TheBloke. Модель основана на архитектуре Mistral и предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на английском языке. Модель содержит около 7 млрд параметров, использует формат взаимодействия ChatML и рассчитана на контекст длиной до 4096 токенов. Доступная сборка имеет групповой размер AWQ 128, обучающий набор для калибровки wikitext и размер около 4,15 ГБ. Квантизация снижает требования к памяти и предназначена прежде всего для быстрого GPU-инференса через AutoAWQ, vLLM, Text Generation Inference или text-generation-webui. К сильным сторонам относятся компактный размер, высокая скорость инференса и возможность запуска на совместимом пользовательском оборудовании. Ограничения включают поддержку только английского языка в заявленных метаданных, зависимость от совместимого AWQ-инструментария и потенциальные потери качества по сравнению с исходной моделью в формате FP16, характерные для квантизованных моделей. Модель распространяется по лицензии Apache-2.0.

Карточка модели roskosmos19/Orca-4B-Instruct-flash на Hugging Face совпадает с карточкой roskosmos19/Orca-4B-Instruct, поэтому описание составлено по ней. Orca-4B-Instruct — компактная инструктивная языковая модель, опубликованная roskosmos19. По карточке она основана на архитектуре Qwen3 и предназначена для диалогов и выполнения текстовых инструкций. Модель содержит около 3,7 млрд параметров, использует архитектуру Qwen3ForCausalLM и принимает контекст до 16 384 токенов. Модель рассчитана на генерацию ответов, следование инструкциям и разговорные сценарии; в метаданных также заявлен интерфейс вызова инструментов. Карточка описывает оптимизацию для экономичного запуска: сокращённый контекст и удалённые мультимодальные специальные токены уменьшают требования к памяти, сохраняя фокус на текстовых ответах. Доступны веса в формате safetensors. Модель подходит для локальных чат-ботов, помощников и других приложений, где важны умеренный размер и стоимость инференса. Ограничение контекста до 16 384 токенов исключает обработку очень длинных запросов; сведения о поддерживаемых естественных языках в карточке не приведены. Лицензия — Apache-2.0.

duyntnet/Phi-3.5-mini-instruct-imatrix-GGUF — набор квантованных версий модели Phi-3.5-mini-instruct, разработанной Microsoft и опубликованной пользователем duyntnet в формате GGUF с использованием imatrix. Модель относится к семейству Phi-3 и предназначена для генерации текста и выполнения инструкций в диалоговом формате; для работы подходят llama.cpp, JanAI, KoboldCPP, text-generation-webui, Ollama и GPT4All. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-материалах с акцентом на качественные данные для рассуждений. Она поддерживает контекст до 128 000 токенов, словарь размером до 32 064 токенов и, согласно карточке, ориентирована на английский язык. Обучение включало supervised fine-tuning, proximal policy optimization и direct preference optimization, что направлено на соблюдение инструкций и повышение безопасности ответов. К преимуществам относятся компактность исходной модели, длинный контекст, поддержка локального запуска и наличие нескольких уровней квантования, потенциально снижающих требования к ресурсам. Ограничения связаны с тем, что квантование может влиять на качество по сравнению с исходной моделью, а сведения о конкретных размерах файлов, параметрах и характеристиках отдельных вариантов в карточке не приведены. Лицензия указана как other, без подробного описания условий использования.

Qwen2-VL-7B-Instruct-GGUF — мультимодальная instruction-модель семейства Qwen, разработанная командой Qwen и представленная в GGUF-квантизации bartowski на основе llama.cpp. Модель основана на Qwen2-VL-7B-Instruct и предназначена для работы с текстом и изображениями. Модель подходит для анализа изображений различного разрешения и соотношения сторон, визуального вопросно-ответного взаимодействия, мультимодального рассуждения и сценариев агентской автоматизации, где требуется интерпретация визуальной информации. Заявлена поддержка нескольких языков и контекста до 32K токенов. Размер базовой модели — 7B параметров; точные характеристики конкретного уровня квантизации в README не указаны. К сильным сторонам относятся сочетание языкового и визуального понимания, способность обрабатывать изображения разных форматов и поддержка длинного контекста. Ограничения включают возможные неточности, неподходящие или вредоносные ответы, характерные для генеративных моделей; конкретные ограничения качества и производительности для выбранной квантизации не описаны. Модель распространяется по лицензии Apache-2.0.

DavidAU/Qwen3-30B-A6B-16-Extreme — дообученная версия многоэкспертной языковой модели Qwen3, в которой для обработки каждого запроса активируются 16 экспертов вместо стандартных 8. По описанию автора, модель использует около 6 млрд активных параметров из 30 млрд и рассчитана на более сложные запросы, где могут быть полезны дополнительные нюансы и глубина ответа. Модель предназначена для генерации текста и диалогов, включая сценарии с интерфейсом вызова инструментов. Она принимает текстовые запросы и выдаёт текст; автор указывает контекст около 32 тыс. токенов плюс до 8 тыс. токенов на ответ. Репозиторий содержит полноточные веса в safetensors и может использоваться через Transformers или служить источником для создания квантованных вариантов. Увеличенное число активных экспертов снижает скорость генерации примерно вдвое относительно версии с 8 экспертами; фактическая скорость зависит от оборудования и настроек. Модель создана DavidAU на базе Qwen/Qwen3-30B-A3B-Base. В карточке указана лицензия Apache-2.0 для базовой модели; отдельные условия лицензирования этой производной в предоставленных данных не приведены.

Qwen3-4B-Instruct-2507-MLX-8bit — 8-битная квантованная версия языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX — фреймворка Apple Machine Learning Research, ориентированного на эффективное выполнение моделей на устройствах Apple Silicon. Модель предназначена для генерации текста в инструкционном формате и локального использования на совместимых компьютерах Apple Silicon. Она подходит для диалоговых приложений, обработки инструкций и других задач текстовой генерации. Модель имеет размер 4B параметров, относится к текстовым моделям и доступна в 8-битном формате MLX. Другие характеристики, включая поддерживаемые языки, длину контекста и точные параметры архитектуры, в README не указаны. Ключевое преимущество модели — сочетание компактного размера, 8-битной квантования и оптимизации под Apple Silicon, что делает её более подходящей для локального запуска с ограниченными ресурсами. Ограничения включают возможное снижение точности по сравнению с исходной моделью и типичные для языковых моделей риски генерации неточной, вредной или неподходящей информации. Модель распространяется по лицензии Apache-2.0.

litert-community/Qwen3.5-4B — это конвертированная версия текстовой части модели Qwen3.5-4B, разработанной Alibaba, в формат LiteRT-LM для локального вывода на устройствах через runtime Google LiteRT. Модель предназначена для генерации текста, диалогов и других сценариев on-device inference на мобильных и периферийных устройствах. В поставляемый пакет не входят vision tower и MTP-головы, поэтому данная версия работает только с текстом; функции tool calling и обработки изображений не включены. Архитектура гибридная: 24 слоя GatedDeltaNet с линейным вниманием и 8 слоёв полного внимания. Линейные слои используют постоянное по размеру свёрточное и рекуррентное состояние, благодаря чему потребление памяти слабо растёт с длиной контекста; KV-кэш сохраняется только для слоёв полного внимания, с бюджетом 4096 токенов. Доступны варианты int8 размером 4,10 ГБ и Mixed INT4 размером 2,57 ГБ. INT4 рассчитан на устройства с ограниченной оперативной памятью, но немного уступает int8 на математических задачах GSM8K. Модель демонстрирует проверенную совместимость с PyTorch-оригиналом, корректную работу на CPU и GPU, включая Metal, а также поддержку многоходовых диалогов. Для использования требуется LiteRT-LM версии не ниже 0.15.0. Поставляемый пакет использует упрощённый ChatML-шаблон без визуальных и инструментальных секций, поэтому совместимость со стандартным шаблоном Qwen3.5 ограничена. Модель распространяется по лицензии Apache-2.0.

Qwen3.6-11B-A3B-Niwaki-4bit-GGUF — это GGUF-сборка модели Qwen3.6, разработанной командой Qwen и адаптированной проектом Niwaki. Модель предназначена для локального запуска через llama.cpp и совместимые инструменты, включая генерацию текста, диалог, рассуждения, краткие творческие задачи и программирование. В README указаны архитектура mixture-of-experts с 40 слоями, 256 маршрутизируемыми экспертами и выбором top-8 экспертов; общий размер модели составляет 11B параметров, активными являются примерно 3,05B. Размер промежуточного слоя экспертов уменьшен с 512 до 128, а контекстное окно соответствует базовой модели, но его точный размер не указан. Требуется актуальная версия llama.cpp с поддержкой Qwen3.6 и hybrid linear attention. Рекомендуемая сборка UD-Q3K занимает около 5,9 ГБ и использует структурно-ориентированное 4-битное квантование: постоянно активные компоненты хранятся с более высокой точностью, а маршрутизируемые эксперты — в компактном формате с калибровкой по матрицам важности. Также доступна сборка Q4_K_M размером около 7,0 ГБ. Модель показывает функциональные результаты в чат-сценариях, рассуждениях и кратком написании, однако её слабая сторона — продолжительная генерация кода: на длинных программных файлах возможны ранняя остановка и потеря связности. Для интенсивной работы с кодом README рекомендует более крупную 19B-модель. Лицензия — Apache 2.0; pruning, distillation и GGUF-сборки выполнены проектом Niwaki.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-Fable-mxfp8-mlx — экспериментальная объединённая модель, разработанная NightmediaAI на основе Qwen3.8-27B-Cold-Fusion-GAIN-V1.1 от DavidAU и Qwen3.8-27B-Fable-Distill от armand0e. Модель предназначена для генерации текста, диалогов, рассуждений, программирования, математических и STEM-задач, исследовательских сценариев, творческого письма, создания художественных историй и ролевого взаимодействия. Указана поддержка английского, китайского, японского и испанского языков. Модель содержит 27B параметров и представлена в формате mxfp8 для MLX; в карточке также упоминается вариант mxfp4. Заявлены контекстные окна до 256K и 1M токенов, однако подробности реализации не приведены. В качестве сильных сторон указаны улучшенные результаты по сравнению с базовой Qwen3.8-27B на приведённых тестах, а также высокая скорость генерации: около 180 токенов в секунду при mxfp8. Ограничения включают экспериментальный статус, отсутствие подробных инструкций по применению и неполные сведения о фактической поддержке мультимодального ввода, несмотря на тег image-text-to-text. Лицензия указана как Apache-2.0. Модель предназначена для исследовательского и общего использования, но заявленные характеристики и результаты следует проверять самостоятельно, поскольку они основаны на данных из карточки модели.

Qwen3.8-27B-OBLITERATED-FP8 — это FP8-квантизированная версия мультимодальной модели OBLITERATUS/Qwen3.8-27B-OBLITERATED, подготовленная MrPewpy. Модель предназначена для генерации текста, диалоговых сценариев, работы с изображениями и текстом, а также использования через vLLM и Transformers. Лицензия — Apache-2.0. Модель содержит около 27 млрд параметров и использует гибридную архитектуру с линейным вниманием Gated-DeltaNet и полным attention. Заявлена поддержка мультимодальных задач image-text-to-text, английского языка и контекста до 262 144 токенов. Квантизация выполнена в формате FP8_DYNAMIC: веса представлены в FP8, активации квантизуются динамически, а чувствительные проекции линейного внимания сохраняются в BF16. Размер модели сокращён примерно до 28 ГБ по сравнению с 51,6 ГБ у базовой BF16-версии. Сильными сторонами являются уменьшенный объём хранения, нативная поддержка vLLM, возможность запуска на GPU NVIDIA Ampere, Hopper и Blackwell, а также заявленная оптимизация базовой модели для снижения отказов. В README приведены непроверенные результаты на MMLU, ARC-Challenge, HellaSwag, WinoGrande, GSM8K и TruthfulQA; они не гарантируют аналогичную производительность в прикладных задачах. Для запуска рекомендуется vLLM, а аппаратные требования и качество могут зависеть от используемого движка, настроек и поддержки мультимодальных функций.

Vontra/Qwen3.8-Flash-Next-MLX-6bit-MTP — это 6-битная MLX-конверсия мультимодальной модели Qwen3.8-Flash-Next, подготовленная Vontra на основе официального BF16-чекпойнта Qwen. Модель предназначена для Apple Silicon и реализована в архитектуре qwen4_exp: vision-language модель с разреженной Mixture-of-Experts архитектурой, поддерживающая работу с текстом и изображениями. Общий размер языковой части составляет 125 млрд параметров, из которых активно используется около 6 млрд; дополнительно указаны 51 млрд параметров hashed bigram/trigram embeddings и 4 млрд параметров native MTP-блока. Модель использует Gated DeltaNet, Qwen Sparse Attention, sparse MoE-слои, vision encoder и контекст до 262 144 токенов. Квантование выполнено методом uniform 6-bit affine с group size 32; мультимодальные модули и маршрутизаторы MoE сохранены в BF16. Встроенный native MTP с одним draft-блоком предназначен для speculative decoding и может ускорять генерацию. Сильными сторонами являются большой контекст, поддержка изображений, высокая вычислительная эффективность за счёт MoE и native MTP, а также проверенная совместимость с MLX-VLM, MLX и oMLX. В тестах на Apple M3 Studio включение MTP увеличило скорость генерации с 20,65 до 25,94 токена в секунду. Ограничения включают значительный размер весов — около 158,08 ГБ, необходимость совместимого runtime с явной поддержкой qwen4_exp и native MTP, а также зависимость поддержки изображений от версий MLX-VLM и oMLX. Языки и точные мультимодальные возможности в предоставленных данных не указаны. Модель распространяется по Qwen Community License 1.0. Токенизатор, chat template, vision processor, конфигурации генерации и native MTP унаследованы от исходной модели.

Qwen3.8-Flash-Next-MLX-8bit — это 8-битная сборка модели Qwen3.8-Flash-Next, разработанная PipeNetwork для работы через MLX на компьютерах с Apple Silicon. Модель предназначена прежде всего для генерации текста, включая программирование, ответы на запросы и другие сценарии текстового вывода. В текущем runtime поддерживается только текстовый режим, хотя в составе checkpoint присутствует vision tower. Модель использует гибридную архитектуру Gated-DeltaNet и sparse attention с разреженной Mixture-of-Experts-структурой: всего около 125 млрд параметров, из которых примерно 6 млрд активируются на токен (125B-A6B). Также используется hashed n-gram embedding объёмом около 51 млрд параметров. Контекст и поддерживаемые языки в README не указаны. Модель преобразована в формат MLX и занимает около 192,2 ГБ на диске; большая часть весов квантована в 8 бит, отдельные управляющие компоненты и vision tower сохранены в bfloat16. 4B multi-token-prediction head не включён. По данным README, 8-битная версия сохраняет качество, статистически неотличимое от исходной bfloat16-модели на тесте wikitext-2, при существенно меньшем размере. Ограничения включают очень высокие требования к памяти, необходимость собственного runtime с поддержкой удалённого кода и привязку к экосистеме Apple Silicon и MLX. Лицензия — Qwen Community License 1.0.

Qwen3.8-Flash-Next-NVFP4-SSD-Stream — подготовленная для инференса версия RadixArk/Qwen3.8-Flash-Next-NVFP4, созданная garnermccloud для работы с SGLang и расширением sglang-ssd-stream. Модель предназначена для мультимодальных задач image-text-to-text, включая обработку изображений, reasoning, retrieval, работу с инструментами и генерацию текста или кода. Подготовка не включает дообучение, тонкую настройку или повторную квантизацию: изменена только организация хранения данных для обслуживания модели. В основе используется архитектура Qwen/Qwen3.8-Flash-Next. Routed experts применяют ModelOpt NVFP4 W4A4, а attention, shared experts, embeddings, LM head, vision-компоненты и MTP-веса сохранены в BF16; predictive lookup table хранится в FP8. 48-гигабайтная таблица вынесена из оперативной памяти в локальный read-only SSD sidecar объёмом около 51,2 GB, что снижает требования к RAM при загрузке. Заявленный контекст по умолчанию составляет 131 072 токена; в исторических измерениях использовался пул на 262 144 токена. Подготовленный набор данных занимает около 140 GiB. Главное преимущество — возможность запускать модель с существенно меньшим потреблением системной памяти, загружая необходимые данные с SSD во время работы GPU. Производительность зависит от оборудования, профиля и типа нагрузки: измерения на RTX PRO 6000 Blackwell показывают смешанные результаты, поэтому заявленные ускорения нельзя считать универсальными; качество модели отдельно не оценивалось. Решение ориентировано на SGLang и требует совместимого runtime, локального SSD sidecar и соответствующей GPU-конфигурации. Лицензия указана как other; дополнительных условий использования в README не приведено.

Это GGUF-квантизация модели Qwen3.8-Flash-Next, разработанной командой Qwen и дополнительно подготовленной пользователем pugant для AMD Strix Halo с унифицированной памятью. Модель предназначена для генерации текста и запуска локальных LLM-сценариев на системах с Radeon 8060S и архитектурой gfx1151; при использовании совместимого runtime также заявлена поддержка vision через отдельный mmproj-модуль. Модель использует архитектуру qwen4exp и имеет около 180 млрд параметров в общей структуре: 125 млрд базовой части, около 6 млрд активных параметров, 51 млрд параметров PLE n-gram table и 4 млрд параметров MTP. Репозиторий содержит две сборки: ROCmFP4 STRIX_LEAN для систем с 128 ГБ памяти и смешанную ROCmFP2 STRIX_LEAN с 2-битными, FP4 и Q3-компонентами для систем с 64 ГБ. Поддерживаются английский и другие языки; заявлен контекст до 131 тыс. токенов. Сильные стороны модели — высокая эффективность по памяти для крупной MoE-подобной конфигурации, оптимизация под AMD Strix Halo, поддержка внешнего speculative-драфтера и возможность дискового размещения PLE-таблицы. Сборка ROCmFP4 обеспечивает более высокое качество, тогда как ROCmFP2 позволяет уложиться примерно в 56 ГБ оперативной памяти, но имеет заметный компромисс по качеству на отдельных тестах и больший дисковый объём. Для работы требуются специализированные форки ROCmFPX и совместимый runtime; стандартный llama.cpp эту квантизацию не загружает. Лицензия указана как qwen-community-1.0.

Qwen3-Next-80B-A3B-Instruct-MLX-4bit — это 4-битно квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной командой Qwen. Квантование в формате MLX подготовлено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon. Модель предназначена для генерации текста и работы в инструкционных сценариях, включая диалоговое взаимодействие и выполнение текстовых запросов. В README указаны размер исходной модели 80B и обозначение A3B, однако подробности архитектуры, контекстного окна, поддерживаемых языков и модальностей не приведены. Формат MLX и 4-битное квантование ориентированы на более эффективное локальное выполнение при ограниченных ресурсах по сравнению с полноразмерной версией. К сильным сторонам относятся локальный запуск на Apple Silicon и сниженные требования к памяти благодаря квантованию. Ограничения включают возможную потерю качества по сравнению с исходной моделью и отсутствие в предоставленных данных подробных сведений о производительности, языковой поддержке и безопасных сценариях применения. Модель распространяется по лицензии Apache-2.0.

RedHatAI/Qwen3-VL-32B-Instruct-NVFP4 — квантизированная мультимодальная instruction-модель, разработанная Red Hat на основе Qwen/Qwen3-VL-32B-Instruct. Она принимает текст и изображения, а генерирует текст, поэтому предназначена для визуально-языковых сценариев: анализа и описания изображений, ответов на вопросы по визуальному содержимому, работы с диаграммами и общего текстового общения. Модель можно развернуть через vLLM и использовать через OpenAI-совместимый API. Архитектура модели — Qwen3VLForConditionalGeneration, размер базовой модели — 32B параметров. Для весов и активаций применяется NVFP4-квантизация с групповой квантизацией весов и динамической групповой квантизацией активаций; визуальные компоненты и некоторые отдельные слои не квантизируются. По данным README, это сокращает размер на диске и требования к GPU-памяти примерно на 75% по сравнению с представлением с 16 битами на параметр, что является главным преимуществом версии. При этом README не содержит сведений о поддерживаемых языках, точном контекстном окне и количественных результатах оценки, хотя модель проверялась на задачах ChartQA и MMLU. Лицензия — Apache-2.0. Для запуска в примере рекомендуется vLLM с tensor parallelism на двух GPU; фактические требования зависят от конфигурации оборудования и используемого программного окружения. Квантизация может снижать точность по сравнению с исходной моделью, однако конкретные потери качества в README не указаны.

Qwen3-235B-A22B-Instruct-2507-GGUF — это квантизированная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты. Модель имеет архитектуру и размер исходной версии Qwen3-235B-A22B-Instruct-2507; в названии указаны 235 млрд параметров и конфигурация A22B. Представлены варианты GGUF с разными уровнями квантизации — от Q2 до Q8_0 — размером примерно от 93 до 250 ГБ для указанных файлов. Более высокие уровни обычно обеспечивают лучшее качество, но требуют больше оперативной или видеопамяти. README не содержит сведений о поддерживаемых языках, длине контекста и мультимодальности. Сильной стороной являются разнообразие вариантов квантизации и возможность локального запуска, включая рекомендации Q6_K, Q5_K_M, Q5_K_S и Q4_K_M для разных компромиссов между качеством и требованиями к памяти. Ограничениями выступают очень крупный размер модели и высокие аппаратные требования; при низких уровнях квантизации качество снижается. Лицензия в предоставленных данных не указана.

Qwen3-4B-Instruct-2507-GGUF — набор квантованных версий инструкционной языковой модели Qwen3-4B-Instruct-2507, разработанной командой Qwen. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модели распространяются в формате GGUF и предназначены для локального запуска. Модель относится к задачам генерации текста и диалогового взаимодействия. Она может использоваться через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В README указаны варианты от BF16 до 2-битных квантований, объёмом примерно от 1,8 до 8,05 ГБ. Для работы используется форматирование промптов с ролями system, user и assistant. Данные о точной архитектуре, поддерживаемых языках и размере контекста в README не приведены. Сильная сторона набора — широкий выбор квантований с разным компромиссом между качеством, требованиями к памяти и скоростью работы. В README рекомендуются, в частности, варианты Q4_K_M, Q5, Q6 и IQ4_XS; более компактные варианты экономят память, но могут заметно терять в качестве. Некоторые форматы отмечены как legacy и могут иметь особенности при запуске на отдельных архитектурах. Лицензия в предоставленном README не указана; условия использования следует уточнять в документации исходной модели Qwen/Qwen3-4B-Instruct-2507.

bartowski/Qwen_Qwen3.5-9B-GGUF — это GGUF-квантизированная версия модели Qwen3.5-9B, разработанной Qwen и подготовленной bartowski. Модель предназначена для задач image-text-to-text, то есть обработки текстовых и визуальных входных данных с генерацией текста. Она подходит для локального запуска через llama.cpp и совместимые инструменты, включая LM Studio, KoboldCpp, Jan AI и Text Generation Web UI. В репозитории представлены варианты от BF16 до более компактных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, объёмом примерно от 4,9 до 18,4 ГБ. Квантизация выполнена с использованием imatrix и llama.cpp; для некоторых конфигураций поддерживаются MTP-слои и режим draft-mtp. Более компактные варианты снижают требования к оперативной памяти, но могут уступать по качеству более высокоточным версиям. Архитектура, языки и размер контекстного окна в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic-GGUF — GGUF-квантизации модели Qwythos-9B-Claude-Mythos-5-1M, разработанные независимым автором LLMfan46 на базе модели llmfan46/Qwythos-9B-Claude-Mythos-5-1M-uncensored-heretic. Модель предназначена для генерации текста, задач рассуждения, работы с длинным контекстом, function calling и tool use, а также агентских, кибербезопасностных и биомедицинских сценариев. Заявлена поддержка английского языка и контекста до 1M токенов; библиотека — Transformers. Архитектура и точные параметры квантизации в README не указаны, однако размер базовой модели составляет 9B параметров. Это декензурированная версия, полученная с помощью Heretic v1.2.0 и варианта метода Magnitude-Preserving Orthogonal Ablation (MPOA), применённого к компонентам attn.o_proj, attn.out_proj и mlp.down_proj. По приведённым данным, частота отказов снизилась до 11 из 100 против 73 из 100 у исходной модели, при KL divergence 0,0123; при этом заявлено сохранение качества. В тесте MMLU исходная модель показала точность 77,03%, но отдельные результаты именно этой версии не приведены. Сниженная склонность к отказам может быть полезна для исследовательских и специализированных сценариев, но также повышает риски небезопасной генерации, поэтому необходимы контроль применения и проверка результатов. Модель распространяется по лицензии Apache-2.0.

Shisa V2 405B — универсальная чат-модель Shisa.AI, дообученная на основе Meta Llama 3.1 405B Instruct. Это плотная авторегрессионная языковая модель на 403,7 млрд параметров с контекстом до 131 072 токенов; она принимает текст и генерирует текст, поддерживает чат и интерфейс вызова инструментов. Основной упор сделан на японский язык при сохранении сильных возможностей на английском; в обучающие данные также включены примеры на корейском и традиционном китайском. Модель предназначена для диалога, выполнения инструкций, генерации текста и перевода, в том числе для японских задач. Разработчик сообщает об улучшении японских результатов относительно базовой модели и приводит сравнительные оценки на нескольких бенчмарках; результаты зависят от методики оценки. Для запуска проверены vLLM и SGLang, а веса опубликованы в формате Safetensors. Модель распространяется по лицензии Llama 3.1. Она требует значительных вычислительных ресурсов из-за размера в 405 млрд параметров; заявленные результаты бенчмарков не гарантируют качество на конкретных задачах, а основной акцент обучения сделан на японском и английском языках.