I.11Классификация, ранжирование и сопоставление

Nona-Qwen2.5-v0.1 — объединённая языковая модель, созданная win10 с помощью mergekit и метода TIES. В основе объединения лежат FreedomIntelligence/Apollo2-7B и win10/Urdandi-Qwen2.5-7B. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и принимает текст для генерации текста в диалоговом формате. Заявленная длина контекста — 131 072 токена. Модель подходит для диалоговой генерации текста и задач, поддерживаемых её объединёнными компонентами. В метаданных указан тег text-generation и возможность чата. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Сведения о лицензии и конкретных ограничениях качества в предоставленных источниках отсутствуют.

Norobara-ZLoss-8x7B-GGUF — квантизированная версия языковой модели Norobara ZLoss 8X7B, разработанной Doctor Shotgun и подготовленной в формате GGUF пользователем TheBloke. Модель основана на архитектуре Mixtral и предназначена для генерации текста по инструкциям, диалоговых сценариев и локального запуска через совместимые приложения и библиотеки. Модель обучалась на наборах данных LDJnr/Capybara, unalignment/toxic-dpo-v0.1, LDJnr/Verified-Camel, HuggingFaceH4/no_robots и связанных наборах Doctor Shotgun. В метаданных указан английский язык. Доступны варианты квантования от 2 до 8 бит, что позволяет выбирать компромисс между потреблением памяти, скоростью и качеством. Исходное обозначение 8x7B указывает на конфигурацию модели, однако точное число активных параметров и размер контекстного окна в README не указаны. GGUF-версии совместимы с llama.cpp и рядом локальных интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. Сильной стороной является возможность запуска на CPU и GPU с разными уровнями квантования; ограничениями могут быть потери качества при использовании наиболее агрессивных вариантов квантования, а также отсутствие заявленной поддержки мультимодальных входов. Лицензия в README не указана, поэтому условия использования следует уточнять в репозитории исходной модели и у автора.

OpenBuddy-zero-14b-v22.3-32k — многоязычная диалоговая языковая модель семейства Llama, разработанная OpenBuddy. Она предназначена для чат-общения и генерации текста в ответ на запросы; модель содержит 13,8 млрд параметров и поддерживает контекст до 32 768 токенов. Модель дополнительно обучена на многоязычном наборе данных с токенизатором на основе Yi-1.5-9B-32K. В README также указано, что веса включают части Yi-1.5-9B-32K и DeepSeek-VL-7B-chat. Карточка перечисляет китайский, английский, французский, немецкий, японский, корейский, итальянский и финский языки. Репозиторий содержит веса в формате safetensors и поддерживает чатовый сценарий. Модель может выдавать ошибочные, вредоносные или нежелательные ответы; авторы не рекомендуют применять её в критических ситуациях, включая медицину и важные финансовые или юридические решения. В метаданных лицензия обозначена как other; README сообщает об использовании компонентов под Apache 2.0 и DeepSeek License, поэтому перед использованием следует проверить условия обеих лицензий.

PureLLama3-8B — диалоговая языковая модель семейства Llama, созданная bunnycore путём объединения нескольких моделей с помощью mergekit и метода model_stock. В состав слияния входят ajibawa-2023/Uncensored-Frank-Llama-3-8B, bunnycore/LLama3-8B-FunStock и bunnycore/FunLLama3-8B. Модель предназначена для генерации текста и ответов в диалоге. Она содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст, формируя текстовые ответы; заявленная длина контекста — 8192 токена. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0.

sayhan/Qwen1.5-72B-Chat-LLaMAfied — версия Qwen1.5-72B-Chat от Alibaba Cloud, преобразованная в формат архитектуры LLaMA с помощью скрипта Minami-su. Это плотная языковая модель примерно на 71 млрд параметров для генерации текста в диалогах и других сценариях работы с текстом. Она принимает текст и генерирует текст; заявленная длина контекста составляет 32 768 токенов. В карточке указаны английский и китайский языки, а формат файлов — PyTorch. Модель размещена под лицензией other; конкретные условия следует сверить с исходной лицензией Qwen1.5 и карточкой репозитория.

MaziyarPanahi/Qwen2.5-7B-Instruct-abliterated-v2-GGUF — это набор файлов модели в формате GGUF для базовой модели huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2, разработанной huihui-ai и квантованной MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, где требуется локальный запуск совместимого языкового генератора. Указано, что модель имеет размер 7B и доступна в вариантах квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Формат GGUF поддерживается llama.cpp и рядом совместимых инструментов, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp и другие. README не содержит сведений о поддерживаемых языках, размере контекста, архитектуре, модальностях, результатах оценки или конкретных ограничениях качества. Главные преимущества — выбор уровней квантования и возможность запуска в широком наборе локальных приложений и библиотек, в том числе с GPU-ускорением. Лицензия в README не указана, поэтому условия использования необходимо уточнять отдельно у разработчика исходной модели и владельца репозитория квантованных файлов.

jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

Sayankotor/qwen35-122b-a10b-k4e2 — это квантованный чекпойнт модели Qwen/Qwen3.5-122B-A10B, опубликованный пользователем Sayankotor. Он предназначен для генерации текста и диалогов. Модель построена на архитектуре MoE с гибридными DeltaNet и полным вниманием; в README указаны 256 маршрутизируемых экспертов на слой. Основная часть весов и общие экспертные MLP квантованы до 4 бит, маршрутизируемые эксперты — до 2 бит, а ряд компонентов, включая зрительную башню, сохранён в исходной точности. Размер уменьшен примерно с 234 до 34 ГБ. Чекпойнт рассчитан на запуск в условиях ограниченной видеопамяти, когда приемлема существенно более низкая скорость: README сообщает примерно о 18-кратном замедлении относительно bf16 на описанном тесте. Приведены результаты perplexity на WikiText-2 и C4 при контексте 4096 токенов; это не устанавливает максимальную длину контекста. Для загрузки требуются поставляемый в репозитории пользовательский код модели и дополнительные зависимости. Метаданные указывают лицензию «other», поэтому конкретные условия использования следует сверять с карточкой и файлами лицензии базовой модели.

DavidAU/Qwen3.5-21B-GLM-4.7-Flash-Deckard-Heretic-Uncensored-Thinking — плотная мультимодальная модель на 21 млрд параметров семейства Qwen3.5, дообученная на базе DavidAU/Qwen3.5-27B-Deckard-PKD-Heretic-Uncensored-Thinking. По README, модель сначала получила набор Deckard/PDK для характера и глубины ответов, затем была уменьшена с 27B до 21B и дополнительно обучена на данных рассуждений GLM-4.7-Flash. Использует архитектуру Qwen3_5ForConditionalGeneration и библиотеку Transformers; заявленное окно контекста — 256 тыс. токенов. Модель предназначена для диалогов, творческого письма, ролевых сценариев, генерации кода и рассуждений. Поддерживает переменную длину рассуждений и обработку изображений; автор также заявляет более высокую скорость по сравнению с исходной версией на 27B. В карточке указаны английский и китайский языки. Модель описана как uncensored и может выдавать откровенный, грубый или графичный контент. Распространяется под лицензией Apache-2.0 в формате safetensors. README предупреждает о возможных зацикливаниях при низких квантизациях или недостаточно содержательных запросах; результаты могут зависеть от квантизации и параметров генерации. HF pipeline tag классифицирует её как image-text-to-text.

Модель singulared/Qwen3.8-27B-ROCmFP4-MTP-GGUF представляет собой квантизированную сборку Qwen3.8-27B, опубликованную пользователем или организацией singulared на базе исходной модели Qwen/Qwen3.8-27B и GGUF-версии от ggml-org. Она предназначена для генерации текста и запуска через llama.cpp с поддержкой ROCmFPX, прежде всего на AMD-оборудовании с архитектурой RDNA 3.5, включая Radeon 8060S и платформы Strix Halo. Лицензия — Apache-2.0. В комплект входят несколько вариантов основной модели в формате GGUF с представлением ROCmFP4, а также отдельные MTP-драфтеры разных разрядностей для speculative decoding. Доступны пресеты STRIX, FAST и COHERENT; их размер составляет примерно 13,33–14,41 GiB, а размер драфтеров — около 1,48–2,86 GiB. Архитектура, число параметров 27B и исходные языковые характеристики унаследованы от Qwen3.8-27B, но подробные сведения о поддерживаемых языках, модальностях и максимальном контексте в карточке не указаны. Основное преимущество сборки — сниженное потребление памяти: для FP4 заявлено около 15,6 GiB резидентной памяти против 17,3 GiB у Q4_K_M при сопоставимом декодировании. MTP может ускорять генерацию, однако результат сильно зависит от предсказуемости задачи, глубины draft и версии ROCm; для типичных измерений указана скорость около 27–28 токенов в секунду, а в благоприятных условиях — до примерно 39 токенов в секунду. FP4 ориентирован прежде всего на уменьшение занимаемой памяти, а не на максимальную скорость. Требуется специальная сборка ROCmFPX, поскольку стандартный llama.cpp не поддерживает используемые типы тензоров. FP2-драфтер не рекомендуется из-за резкого падения принятия черновых токенов, а сочетание параметров -ctk q8_0 и -ctv turbo4 может повреждать результаты при длинном контексте.

Это пакет слоёв GGUF модели Qwen3.8-27B-UD-Q8_K_XL, подготовленный Studio Maveric на основе unsloth/Qwen3.8-27B-GGUF для распределённого запуска через Mesh LLM. Пакет сохраняет исходную модель в формате GGUF, разбитую на артефакты по слоям; вариант Q8_K_XL предназначен для локального вывода на оборудовании пользователя и распределения вычислений между несколькими машинами. Модель подходит для диалоговых сценариев и генерации текста через локальный API Mesh LLM, совместимый с OpenAI Chat Completions. Распределённый запуск помогает использовать модель, когда ресурсов одного узла недостаточно. Архитектура относится к семейству Qwen3; размер и контекст модели в предоставленных сведениях не приведены. Пакет распространяется по лицензии Apache-2.0. Подробности архитектуры, языков и ограничений следует сверять с карточкой исходной модели.

boxrunner/Qwen3.8-Flash-Next-mixC-GGUF — это смешанно-точностная GGUF-квантизация модели Qwen3.8-Flash-Next, опубликованная пользователем boxrunner на базе модели Qwen. Она предназначена для генерации текста и диалоговых сценариев с использованием совместимых движков, включая llama.cpp. Модель поставляется в двух частях, а дополнительно доступен F16-проектор изображений для соответствующей мультимодальной конфигурации. Модель использует архитектуру mixture-of-experts qwen4exp с 512 экспертами, из которых 10 выбираются для каждого токена, и одним общим экспертом. Файл содержит 176 943 899 520 параметров, контекст до 262 144 токенов, GPT-2 BPE-токенизатор с 248 320 токенами и встроенный chat template. Средний размер — около 3,455 бит на вес; применена смешанная квантизация с типами IQ2_XXS, IQ4_NL, Q5_K, Q6_K, Q8_0, F16 и F32. Главное преимущество данной упаковки — возможность загрузки полного пула экспертов на Apple Silicon с 64 ГБ памяти без вынесения экспертов на SSD; это повышает практическую пригодность модели для локального запуска на совместимом оборудовании. Приведённые в README показатели производительности получены только на одной конфигурации и не являются универсальным бенчмарком. Для работы необходимо скачать обе части GGUF, а для обработки изображений — также проектор. Модель распространяется по лицензии Qwen Community License 1.0.

Replete-LLM-V2.5-Qwen-14b-GGUF — набор GGUF-квантизаций языковой модели Rombos-LLM-V2.5-Qwen-14b. Квантизации подготовлены пользователем bartowski с использованием llama.cpp версии b3825 и метода imatrix. Исходная модель разработана rombodawg. Модель предназначена для генерации текста и может запускаться локально, в том числе через llama.cpp и LM Studio, с указанным форматом prompt на основе ChatML-тегов. В набор входят варианты от исходных весов F16 размером около 29,55 ГБ до компактных конфигураций с более низкой точностью, включая Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-семейство. Версии различаются размером файла, требованиями к памяти и качеством генерации: старшие варианты обеспечивают качество, близкое к исходному, а младшие позволяют работать при ограниченном объёме RAM ценой заметной потери качества. Отдельные варианты оптимизированы для ARM-процессоров и требуют поддержки sve или i8mm. Это текстовая авторегрессионная модель примерно на 14 млрд параметров; сведения о поддерживаемых языках, длине контекста, точной архитектуре и мультимодальности в карточке не указаны. Основные сильные стороны набора — локальный запуск, широкий выбор степени квантизации и совместимость с llama.cpp и LM Studio. Ограничения связаны с требованиями к вычислительным ресурсам, компромиссом между размером и качеством, а также отсутствием подробных данных о возможностях базовой модели. Лицензия — Apache-2.0.

nisten/shqiponja-90 — языковая модель для генерации текста, созданная с помощью mergekit на основе моделей семейства Qwen. В карточке указано, что в объединении использован метод passthrough и модели Smaug-72B-v0.1, Qwen1.5-72B и smallsmaug-fine2; метаданные связывают репозиторий с Qwen/Qwen1.5-72B. Архитектура — плотная Qwen2ForCausalLM, размер — 88,5 млрд параметров, формат весов — safetensors, библиотека — Transformers, контекст — до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для ответов на запросы, составления текстов и ведения беседы. README не сообщает о специализированной предметной области или языковом охвате. Лицензия — MIT.

Spaetzle-v65-7b — текстовая диалоговая модель на архитектуре Mistral с 7,1 млрд параметров, созданная cstr как слияние моделей методом DARE-TIES с помощью LazyMergekit. В конфигурации указаны Spaetzle-v62-7b и yleo/EmertonMonarch-7B; метаданные каталога связывают модель с yleo/EmertonMonarch-7B, поэтому точный состав слияния в источниках описан неодинаково. Модель предназначена для генерации текста в диалоге и ответов на запросы. Она принимает текст и выдаёт текст, использует формат чата и имеет контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель опубликована по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование. Качество и конкретные сильные стороны в карточке не оценены; как модель-генератор она может выдавать неточные или нежелательные ответы.

T3qm7xNeuralsirkrishna_CalmeInex12 — объединённая модель на архитектуре Mistral, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/CalmeInex12-7B. Она предназначена для генерации текста и диалоговых сценариев. Модель содержит 7,1 млрд параметров, принимает контекст длиной до 32 768 токенов и распространяется в формате Safetensors. Лицензия — Apache-2.0. README и метаданные не сообщают о специализации по языкам или предметным областям.

T5Gemma-B-B-PrefixLM-IT — англоязычная текстовая модель Google из семейства T5Gemma, дообученная по инструкциям на базе google/t5gemma-b-b-prefixlm. Это encoder-decoder архитектура, адаптирующая предварительно обученные модели Gemma к формату кодировщика и декодировщика; вариант использует конфигурацию B для обеих частей и PrefixLM. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и предназначена для ответов на вопросы, суммаризации, рассуждений и других задач генерации текста. Модель подходит для создания черновиков, краткого пересказа документов и NLP-экспериментов. Английский указан как поддерживаемый язык семейства. По карточке модели, сравнительно компактные варианты T5Gemma рассчитаны в том числе на развёртывание на локальных компьютерах и в облачной инфраструктуре, однако для этого конкретного репозитория размер и требования к ресурсам не приведены. Ограничения включают возможные фактические ошибки, влияние пробелов и смещений обучающих данных, трудности с неоднозначностью и сложными открытыми задачами. Лицензия Gemma; применение должно учитывать политику допустимого использования Gemma.

Карточка модели taide/TAIDE-LX-7B на Hugging Face совпадает с карточкой taide/TAIDE-LX-7B-Chat, поэтому описание составлено по ней. TAIDE-LX-7B-Chat — диалоговая языковая модель проекта TAIDE, разработанная для тайваньского языка и культурного контекста. Она основана на TAIDE-LX-7B, которая, в свою очередь, использует LLaMA 2 7B и предварительно обучена на традиционных китайских текстах; версия Chat дополнительно прошла настройку по инструкциям для офисных задач и многоходового диалога. В репозитории указаны 7 млрд параметров и контекст до 4K токенов. Модель предназначена для диалоговых ответов и помощи с повседневными офисными задачами: составления и редактирования текстов, писем и статей, автоматического суммирования, перевода между китайским и английским. Она усилена для традиционного китайского языка, включая тайваньскую лексику, культуру и местные реалии. Основной язык — традиционный китайский; в примерах также показаны ответы на английском и перевод между английским и китайским. Модель принимает текст и генерирует текст. Для загрузки токенизатора README рекомендует медленный режим (`use_fast=False`) и приводит шаблоны запросов для одиночного и многоходового диалога. Метаданные указывают формат safetensors и возможность чата. Лицензия обозначена как `other`; конкретные условия в предоставленных данных не раскрыты. Как и другие генеративные языковые модели, она может выдавать неточные ответы; README не приводит количественной оценки качества.

TigerBot-7B-SFT-v2 — языковая модель семейства BLOOM, опубликованная TigerResearch. Карточка представляет её как основу для создания собственных больших языковых моделей; метаданные указывают архитектуру BloomForCausalLM и размер 9,1 млрд параметров. Модель предназначена для генерации текста и может служить основой для приложений на базе LLM. Репозиторий содержит веса PyTorch. Модель распространяется по лицензии Apache-2.0.

Mungert/Tongyi-DeepResearch-30B-A3B-GGUF — это GGUF-версия Tongyi DeepResearch, разработанной командой Tongyi Lab. Исходная модель представляет собой агентную большую языковую модель с архитектурой Mixture of Experts: 30 млрд общих параметров, из которых 3 млрд активируются для каждого токена. Данная сборка создана с помощью llama.cpp и предназначена для локального запуска и генерации текста; в метаданных указаны библиотека Transformers, задача text-generation и английский язык. Модель ориентирована на длительные многошаговые задачи поиска и анализа информации, включая агентные сценарии, работу с веб-источниками и глубокое исследование. Она совместима с парадигмами ReAct и IterResearch Heavy, причем последняя использует масштабирование вычислений на этапе вывода для повышения качества. В исходной карточке заявлены высокие результаты на ряде агентных поисковых бенчмарков, включая Humanity’s Last Exam, BrowserComp, GAIA и FRAMES. Ключевое преимущество этой версии — возможность запуска в формате GGUF через llama.cpp, а также примененная автором сборки настройка квантования с повышением точности отдельных важных слоев. Это может улучшать точность при ограниченной разрядности, особенно для MoE-моделей, но увеличивает размер файла. Ограничениями являются возможные потери качества из-за квантования, зависимость производительности от аппаратного обеспечения и отсутствие в README сведений о размере контекста, конкретных вариантах квантования и мультимодальных возможностях. Модель распространяется по лицензии Apache 2.0.

arsis-dev/ukisai-Swift-Qwen3.8-27b-MTPLX — это квантованная runtime-конверсия модели ukisai/Swift-Qwen3.8-27b, разработанной UkisAI, для быстрого локального запуска на компьютерах Apple Silicon. Конверсия выполнена с помощью MTPLX Forge 2.11.2 и не является новой дообученной моделью. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений: зрительные веса исходного чекпойнта сохранены. Она работает через MTPLX/MLX, использует 4-битное affine-квантование тела модели с размером группы 64, а native MTP head оставлен в формате BF16 для self-speculative decoding с глубиной до D3. Размер опубликованного артефакта составляет около 16,9 ГБ. README не указывает точное окно контекста и полный список поддерживаемых языков. На Apple M5 Max с 128 ГБ unified memory измеренная скорость декодирования достигла 65,2 токена/с в режиме MTP D3 против 29,4 токена/с для авторегрессионного режима, что соответствует ускорению 2,22 раза. Эти результаты относятся к пропускной способности декодирования данной конверсии и могут отличаться в зависимости от длины контекста, параметров генерации, оборудования, температуры и нагрузки. Мультимодальное качество и скорость обработки изображений отдельно не оценивались; оптимальная глубина MTP может различаться на других Mac. Конверсия распространяется по условиям Swift Open License v1.0 и наследует лицензионные требования исходной модели. Перед использованием, распространением или загрузкой необходимо ознакомиться с разделом License and access исходного чекпойнта.

Это набор GGUF-квантизованных файлов модели varox34/Llama-3-Mistral-v0.2-Instruct-slerp, подготовленный организацией featherless-ai-quants. Модель предназначена для генерации текста и инструкционного взаимодействия, включая запуск локально или в совместимых средах инференса, поддерживающих формат GGUF. README не содержит сведений о точной архитектуре, числе параметров, языках, размере контекста или мультимодальности. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 2,6 до 7,35 ГБ. Разные варианты позволяют выбирать компромисс между размером файла, требованиями к ресурсам и потенциальным качеством генерации, однако конкретные характеристики производительности в README не приведены. Сильная сторона набора — широкий выбор степеней квантизации и совместимость с экосистемой GGUF. Ограничения и условия лицензирования исходной модели или квантизованных файлов в README не указаны, поэтому перед использованием необходимо проверить лицензию базовой модели отдельно.

Vicuna 13B v1.1 — авторегрессионная языковая модель семейства LLaMA на архитектуре Transformer, разработанная командой Vicuna с участием исследователей из UC Berkeley, CMU, Stanford и UC San Diego. Модель содержит 12,9 млрд параметров и рассчитана на контекст до 2048 токенов. Это версия merge delta v1.1; в README указано, что Vicuna получена дообучением LLaMA на диалогах пользователей ShareGPT, а в v1.1 исправлены вычисление функции потерь при supervised fine-tuning и разделитель токенов. Модель предназначена для генерации текста в формате чат-бота, ответов на вопросы и исследований больших языковых моделей. Она обучалась на 70 тысячах диалогов ShareGPT. Карточка указывает лицензию Apache 2.0; базовая модель LLaMA имеет отдельные условия использования, которые следует учитывать при распространении и применении производной модели.

WizardLM-13B-V1.0 — диалоговая языковая модель команды WizardLM, представленная в этом репозитории в виде diff-весов. Это плотная авторегрессионная модель семейства LLaMA с архитектурой LlamaForCausalLM и примерно 12,9 млрд параметров. Для общения используется шаблон промпта с ролями USER и ASSISTANT. Модель предназначена для генерации подробных ответов на вопросы и ведения диалога. Она принимает текст и выдаёт текст; заявленная длина контекста — 2048 токенов. В карточке приведены результаты WizardLM разных версий в таблице, поэтому их нельзя однозначно считать оценками именно V1.0. Репозиторий содержит diff-веса, и для восстановления полной модели нужны соответствующие базовые веса; точная базовая модель здесь не названа. В таблице указана лицензия Llama 2 License для WizardLM-70B-V1.0, но условия лицензии именно этой версии из доступных сведений установить нельзя.

MaziyarPanahi/YamshadowStrangemerges_32_Multi_verse_modelExperiment28 — объединённая методом слияния модель семейства Mistral с плотной архитектурой и 7,1 млрд параметров. Она создана для генерации текста и принимает контекст длиной до 32 768 токенов. Модель объединяет automerger/YamshadowStrangemerges_32-7B и automerger/Multi_verse_modelExperiment28-7B. Репозиторий содержит веса в формате safetensors. Языковая специализация и отдельные прикладные области в карточке не описаны. Лицензия — Apache-2.0. Карточка не сообщает о специальных ограничениях применения или известных слабых сторонах; качество и поведение могут зависеть от запроса и сценария использования.

Это вариант Zephyr-7B-Beta, опубликованный arnavgrg: модель MistralForCausalLM с плотной архитектурой и примерно 7,1 млрд параметров. Это разговорная модель для генерации текста, которую можно загружать через Transformers в формате fp16; заявленная длина контекста — 32 768 токенов. Модель создана из HuggingFaceH4/zephyr-7b-beta: исходные веса линейных слоёв были квантованы до NF4 с помощью bitsandbytes, после чего слои Linear4bit были преобразованы обратно в fp16. Такой вариант рассчитан на инференс без затрат на квантование и обратное преобразование при каждом проходе. Квантование с потерями ухудшает качество относительно официальной базовой модели. Репозиторий распространяется по лицензии Apache-2.0.

MaziyarPanahi/zephyr-7b-beta-nf4-fp16-upscaled-GGUF — это версия модели arnavgrg/zephyr-7b-beta-nf4-fp16-upscaled в формате GGUF. Исходную модель разработал arnavgrg, а преобразование и квантование выполнил MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных приложениях и интерфейсах, совместимых с GGUF, включая llama.cpp, text-generation-webui, LM Studio, GPT4All и llama-cpp-python. Модель относится к семейству Zephyr и имеет заявленный размер 7B параметров. Репозиторий содержит варианты квантования с разной разрядностью, включая 2-, 3-, 4-, 5-, 6- и 8-битные конфигурации; также упоминается вариант NF4 с восстановлением до FP16 в исходной модели. GGUF удобен для локального запуска и позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. Поддерживаемые модальности, языки и размер контекстного окна в README не указаны. Сильные стороны модели — широкий выбор квантованных вариантов и совместимость с популярными инструментами локального инференса, включая запуск с GPU. Ограничения связаны с потенциальной потерей качества при низкоразрядном квантовании, а также с отсутствием в предоставленных данных подробных сведений о качестве, бенчмарках, языковой специализации и контекстном окне. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-72B-Instruct-AWQ — большая инструкционная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых ассистентов, генерации и анализа текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель поддерживает более 29 языков, среди которых английский, китайский, русский, французский, испанский, немецкий, японский, корейский и арабский. Это causal language model с архитектурой на базе transformers, RoPE, SwiGLU, RMSNorm и смещениями в QKV-внимании. Модель содержит 72,7 млрд параметров, 70 млрд параметров без учёта эмбеддингов, 80 слоёв и использует Grouped-Query Attention с 64 головами для Q и 8 для KV. Репозиторий содержит 4-битную AWQ-квантизированную версию instruction-tuned модели. Заявлена поддержка контекста до 131 072 токенов и генерации до 8192 токенов; для входов длиннее 32 768 токенов требуется настройка YaRN, а статическое масштабирование может ухудшать качество или производительность на коротких текстах. Сильные стороны модели — улучшенные знания, способности в программировании и математике, следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также устойчивость к разнообразным системным промптам. Ограничения включают высокие требования к вычислительным ресурсам, возможное снижение производительности на коротких запросах при включённом YaRN и потенциальные потери качества, связанные с 4-битной квантизацией. Модель распространяется по лицензии Qwen; точные условия следует уточнять в файле лицензии репозитория.

Mistral-Large-Instruct-2407-GGUF — квантизированная версия Mistral Large 2, разработанная Mistral AI и подготовленная в формате GGUF сообществом LM Studio; квантизацию выполнил bartowski на основе llama.cpp. Модель предназначена для генерации текста, диалогов, выполнения инструкций, рассуждений, работы с многоязычными запросами, извлечения данных и интеграции в бизнес-приложения через вызов функций. Модель поддерживает контекст до 128 000 токенов, десятки языков, включая английский, французский, немецкий, испанский, итальянский, португальский, русский, китайский, японский, корейский, арабский и хинди, а также более 80 языков программирования, среди которых Python, Java, C, C++, JavaScript и Bash. Ключевые сильные стороны — улучшенное следование инструкциям, диалоговые возможности, retrieval-навыки и поддержка последовательных и параллельных вызовов функций. При этом, как и другие генеративные модели, она может ошибаться или создавать недостоверный контент; конкретные характеристики производительности зависят от выбранного уровня квантизации. Модель распространяется по лицензии MRL-0.1; условия следует проверять в тексте лицензии Mistral.

Qwen2.5-14B-Instruct-GGUF — инструкционная языковая модель из серии Qwen2.5, разработанная командой Qwen. Она предназначена для диалоговых приложений, генерации и обработки текста, следования инструкциям, программирования, математических задач, работы со структурированными данными и формирования структурированных ответов, включая JSON. Модель подходит для локального запуска в формате GGUF, в том числе с использованием llama.cpp. Модель представляет собой causal language model на архитектуре transformers с RoPE, SwiGLU, RMSNorm и смещениями в QKV-проекциях внимания. Она содержит 14,7 млрд параметров, включая 13,1 млрд параметров без учёта embedding, 48 слоёв и механизм GQA с 40 головами для Q и 8 для KV. Поддерживаются квантизации q2_K, q3_K_M, q4_0, q4_K_M, q5_0, q5_K_M, q6_K и q8_0. Полная длина контекста GGUF-версии составляет 32 768 токенов, а максимальная длина генерации — 8192 токена. Серия поддерживает более 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский и корейский. Сильные стороны модели — улучшенные способности к программированию и математике, следование инструкциям, генерация длинных текстов, обработка таблиц и других структурированных данных, а также устойчивость к разнообразным системным промптам. Для GGUF-версии заявлена поддержка контекста до 131 072 токенов только при использовании YARN в vLLM; для этого сценария рекомендуется обращаться к не-GGUF моделям. Модель распространяется по лицензии Apache-2.0.