I.11Классификация, ранжирование и сопоставление

InternVL2-Llama3-76B — мультимодальная инструкция-модель OpenGVLab из семейства InternVL 2.0, объединяющая визуальный энкодер InternViT-6B-448px-V1-5, MLP-проектор и языковую модель Hermes-2-Theta-Llama-3-70B. Модель содержит 76 млрд параметров, использует архитектуру InternVLChatModel и доступна в формате Safetensors для Transformers. Модель принимает изображения вместе с текстовыми запросами и генерирует текстовые ответы. Она предназначена для понимания документов, диаграмм, инфографики и сцен с текстом, OCR, визуальных вопросов и ответов, научных и математических задач, а также анализа нескольких изображений и видео. В README указано контекстное окно 8 тысяч токенов; обучение включало длинные тексты, несколько изображений и видео. Карточка обозначает модель как мультиязычную, но не перечисляет конкретные поддерживаемые языки. Модель подходит для визуального анализа и диалоговых сценариев, однако для видео в описанных оценках использовались 16 кадров, уменьшенных до 448×448 пикселей. Для больших запросов с несколькими изображениями расходуется больше токенов. Лицензия — Llama 3; перед использованием следует учитывать её условия.

JiRackUltra_14b-i1-GGUF — GGUF-квантизированная версия модели CMSManhattan/JiRackUltra_14b, подготовленная mradermacher. Это текстовая генеративная модель с заявленным размером 14 млрд параметров, связанная с архитектурами Qwen2.5 и DeepSeek и ориентированная на эффективный запуск на CPU и устройствах с ограниченной памятью. В описании также указаны технологии ternary и BitNet 1.58bit. Модель предназначена для генерации текста, работы через web-интерфейсы, маршрутизации запросов, tool calling и робототехнических сценариев. Заявлена поддержка английского, китайского, японского, корейского, французского, испанского, португальского, немецкого, итальянского, русского, арабского, вьетнамского и тайского языков. Поддержка изображений или других модальностей, а также размер контекстного окна в README не указаны. Репозиторий содержит варианты квантизации IQ и Q разных размеров: примерно от 3,7 до 12,2 ГБ. Это позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством, причём для ряда вариантов автор рекомендует IQ-квантизации или i1-Q4_K_M. Ограничениями являются возможное снижение качества у низкобитных вариантов и отсутствие в README результатов бенчмарков, подробного описания обучения и точных характеристик контекста. Указанная лицензия — MIT.

JuliusCesar-72B-BeyonderV.0 — объединённая модель для генерации текста, созданная с помощью mergekit методом SLERP на основе migtissera/Tess-72B-v1.5b и davidkim205/Rhea-72b-v0.5. В репозитории указана архитектура LlamaForCausalLM и формат safetensors; число параметров по метаданным — 36,1 млрд, контекст — до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы. Базовая модель описана как обученная следовать инструкциям и отвечать на разнообразные запросы на английском языке. Лицензия — Apache-2.0.

SteelStorage/L3.1-Meta-In-15B — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit методом passthrough на основе NousResearch/Meta-Llama-3.1-8B-Instruct. Репозиторий содержит веса в формате safetensors; размер модели — 14,5 млрд параметров, контекстное окно — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции и запросы в чат-сценариях. В метаданных заявлена поддержка text-generation и возможности chat; базовая модель описана как многоязычная инструктивная модель Llama 3.1. Карточка не приводит результатов оценки качества, поэтому фактические сильные стороны сверх характеристик базовой модели подтвердить нельзя. Лицензия в предоставленных данных не указана.

LFM2-2.6B — компактная языковая модель Liquid AI для запуска ИИ на устройствах и периферийном оборудовании. Это плотная гибридная авторегрессионная модель семейства LFM2 с 2,4 млрд параметров по метаданным и 30 слоями: 22 блока коротких свёрток и 8 блоков внимания GQA. Модель принимает текст и генерирует текст; поддерживает контекст до 128 000 токенов по метаданным. Карточка также указывает, что эта версия использует динамический гибридный режим рассуждений для сложных и многоязычных запросов. Модель предназначена для диалогов, извлечения данных, RAG, творческого письма и агентных сценариев, в том числе на смартфонах, ноутбуках и в автомобилях. В карточке заявлены высокая скорость обучения и вывода, а также работа на CPU, GPU и NPU. Для узких задач разработчик рекомендует дополнительную настройку. Модель не рекомендуется для задач, требующих обширных знаний или программирования. Поддерживаемые языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский; основного языка среди них не выделено. Лицензия указана как other, поэтому конкретные условия следует проверять на странице репозитория Hugging Face.

LFM2.5-2.6B — компактная текстовая модель Liquid AI для локального запуска и агентных сценариев на устройствах с ограниченными ресурсами. Это дообученная на базе LiquidAI/LFM2.5-2.6B-Base модель семейства LFM2: плотная архитектура Lfm2ForCausalLM с 2,6 млрд параметров, 30 слоями, включая блоки коротких свёрток и GQA. Модель поддерживает контекст до 131 072 токенов и работает с Transformers, vLLM и SGLang; для репозитория указан формат safetensors. Модель предназначена для диалогов, вызова инструментов, многошаговых агентных задач, извлечения данных, RAG и работы с длинным контекстом. В README заявлена многоязычная поддержка 17 языков, включая русский, а также постобучение с обучением с подкреплением в популярных агентных средах. README приводит высокую скорость инференса на отдельных устройствах, но эти показатели зависят от оборудования и условий запуска. Модель не рекомендуется для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, поэтому условия использования следует проверять в карточке модели и документах Liquid AI.

LFM2.5-8B-A1B-Q4_K_M-dequant-bf16 — вариант модели LFM2.5-8B-A1B от Liquid AI, основанный на LiquidAI/LFM2.5-8B-A1B-Base. Это текстовая MoE-модель для генерации ответов и работы в роли локального помощника. Карточка указывает 8,3 млрд параметров всего и около 1,5 млрд активных; метаданные репозитория указывают 1,6 млрд параметров. Модель использует гибридную архитектуру с 24 слоями и поддерживает контекст до 128 000 токенов. Модель предназначена для следования сложным инструкциям, агентных сценариев, вызова инструментов, структурированных ответов и многоязычных помощников, в том числе на устройствах с локальным инференсом. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский, португальский и итальянский. Карточка не рекомендует её для интенсивного программирования и фактологических ответов без поиска по источникам. Указана лицензия other; конкретные условия следует проверять в файлах репозитория. Имя модели указывает на вариант Q4_K_M, деквантизированный в bf16, но метаданные форматов перечисляют safetensors.

EXAONE-4.0-32B-GGUF — это набор GGUF-квантизаций языковой модели EXAONE-4.0-32B, разработанной LGAI-EXAONE. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b5934 и imatrix на основе исходной модели LGAI-EXAONE/EXAONE-4.0-32B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером около 64 ГБ до компактных IQ3 и Q3 размером примерно 13–17 ГБ, а также более качественные Q4–Q8. Рекомендуемым вариантом по умолчанию указан Q4_K_M; варианты Q5 и Q6 обеспечивают более высокое качество при значительных требованиях к памяти, а низкобитные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Из README известно, что модель содержит 32 миллиарда параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки, размер контекстного окна и точные характеристики исходной модели здесь не указаны. Шаблон чата также не задан: в README приведён предполагаемый формат, который может быть некорректным и требует проверки по карточке оригинальной модели. Лицензия в предоставленных данных не указана.

LLaMa-3.1-Zeroed-30-70-13B — объединённая языковая модель семейства Llama, созданная сообществом mergekit-community методом линейного слияния двух моделей: LLaMa-3.1-Zeroed-13B с весом 0,3 и LLaMa-3.1-Instruct-Zeroed-13B с весом 0,7. Модель содержит 12,5 млрд параметров, использует архитектуру LlamaForCausalLM и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогов по инструкциям; в метаданных также указана поддержка интерфейса вызова инструментов. Контекст составляет до 131 072 токенов. README не приводит дополнительных сведений о языках, качестве на конкретных задачах или условиях лицензии, поэтому их нельзя уточнить по предоставленным данным.

Карточка модели rombodawg/Meta-Llama-3.1-8B-reuploaded на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

RedHatAI/Meta-Llama-3-70B-Instruct-FP8 — квантизированная версия Meta-Llama-3-70B-Instruct, разработанная Neural Magic. Это текстовая авторегрессионная модель с архитектурой Meta-Llama-3 и примерно 70 млрд параметров, предназначенная для диалоговых сценариев и работы в формате ассистента. Модель ориентирована на коммерческое и исследовательское использование на английском языке. Весовые параметры и активации линейных операторов в трансформерных блоках квантизированы в FP8. Это сокращает число битов на параметр с 16 до 8, а размер на диске и требования к памяти GPU примерно на 50%. Используется симметричная поэлементно-тензорная квантизация; модель подготовлена для инференса с vLLM версии 0.5.0 и новее. В описанной конфигурации максимальная длина контекста составляла 4096 токенов. К сильным сторонам относятся снижение требований к памяти и близкие к исходной модели результаты: средний балл OpenLLM составляет 79,16 против 79,51 у неквантизированной версии. Ограничения включают специализацию на английском языке и возможное небольшое снижение точности из-за квантизации. Модель не предназначена для использования на языках, кроме английского, а также для сценариев, нарушающих применимое законодательство. Распространяется по лицензии Llama3.

MiniCPM5-2B-CoreAI — это конверсия модели openbmb/MiniCPM5-2B, разработанной OpenBMB, в формат Apple Core AI (.aimodel) для локального запуска на устройствах Apple. Модель предназначена для генерации текста, диалоговых приложений, суммаризации, работы с агентами и вызова инструментов полностью на устройстве, включая iPhone и Mac на Apple Silicon, без обязательной передачи данных в облако. Модель относится к классу 2B и поддерживает гибридные режимы рассуждения Think и No-Think, нативный вызов инструментов и контекст до 128K токенов. В README указаны варианты квантования для разных сценариев: int8 с block-32 и 6-битная k-means-палетизация с group 8 для Neural Engine. Для iPhone 17 Pro заявлена скорость декодирования около 38,5 токена в секунду в ANE-варианте, однако первая загрузка может занимать около 23 минут из-за построения программ Neural Engine, а размер модели составляет примерно 2,7 ГБ. Сильными сторонами модели являются небольшой размер, работа полностью на устройстве, поддержка длинного контекста, инструментов и режимов рассуждения, а также оптимизация под GPU и Neural Engine Apple. Ограничения включают значительные требования к памяти, длительную первоначальную компиляцию на iPhone и возможные расхождения квантованных вариантов с исходной моделью. Модель распространяется по лицензии Apache-2.0.

miscii-14b-1225 — диалоговая языковая модель серии miscii, созданная sthenno-com как слияние моделей с помощью mergekit. В основе указаны Qwen/Qwen2.5-14B-Instruct и sthenno-com/miscii-14b-1028. Модель с архитектурой Qwen2 и 14 млрд параметров предназначена для генерации текста и диалогов; заявленный контекст составляет 131 072 токена. Карточка приводит результаты оценок Open LLM Leaderboard: средний балл 40,08 в исходной таблице и 42,35 в таблице, обновлённой 15 февраля 2025 года. Указаны языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0. За подробностями об использовании карточка отсылает к miscii-14b-1028.

TheBloke/Mistral-7B-Instruct-v0.2-AWQ — это 4-битная AWQ-квантизированная версия Mistral 7B Instruct v0.2, разработанной Mistral AI и подготовленной для публикации TheBloke. Модель предназначена для генерации текста и диалоговых сценариев с инструкциями, включая локальный запуск через text-generation-webui, vLLM, Transformers, TGI и AutoAWQ. Для работы используется шаблон запросов Mistral: <s>[INST] {prompt} [/INST]. Модель относится к семейству Mistral, содержит около 7 млрд параметров и поддерживает контекст длиной 4096 токенов. Указана только текстовая модальность; сведения о языках в README отсутствуют. AWQ-квантизация снижает требования к памяти и обеспечивает быстрый инференс на совместимых NVIDIA GPU, при этом заявляется сопоставимое или лучшее качество по сравнению с распространёнными настройками GPTQ. Размер опубликованной сборки составляет около 4,15 ГБ. Основные ограничения связаны с аппаратной и программной совместимостью: AWQ-версия рассчитана на Linux и Windows с NVIDIA GPU, а для macOS рекомендуется использовать формат GGUF. В README также указана лицензия Apache-2.0. Поддержка и качество конкретных задач зависят от исходной модели, настроек инференса и используемого программного окружения.

unsloth/mistral-7b-instruct-v0.3 — версия Mistral 7B Instruct, опубликованная Unsloth. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров для генерации текста и диалогов по инструкциям; в метаданных указаны библиотека Transformers и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский язык и интерфейс вызова инструментов. Модель подходит для диалоговых помощников и генерации ответов по запросу. README описывает её как основу для дообучения в разговорном формате ShareGPT/ChatML или Vicuna, а также для задач продолжения текста и DPO. Репозиторий содержит веса Safetensors; указана лицензия Apache 2.0. Это instruct-модель общего назначения, поэтому её ответы могут содержать ошибки и требуют проверки в критичных сценариях. README посвящён примерам и инструментам дообучения Unsloth и не приводит оценки качества самой модели.

Mistral-Nemo-Instruct-2407-FP8 — квантованная версия текстовой instruction-модели Mistral-Nemo-Instruct-2407, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования в англоязычных сценариях, прежде всего для диалоговых ассистентов и чат-приложений. Весовые коэффициенты и активации линейных операторов в трансформерных блоках переведены в формат FP8 с использованием симметричной по-тензорной квантизации. Оптимизация сокращает число битов на параметр с 16 до 8, примерно вдвое уменьшает размер на диске и требования к GPU-памяти. Модель рассчитана на эффективный инференс с vLLM версии 0.5.0 и выше; в README для развертывания указан контекст до 4096 токенов. По данным OpenLLM Leaderboard v1, средний результат составляет 71,28 против 71,61 у неквантованной версии, что указывает на небольшую потерю качества при существенном снижении требований к ресурсам. К ограничениям относятся ориентация на английский язык и запрет использования в языках, отличных от английского, а также необходимость учитывать ограничения применимого законодательства. Модель распространяется по лицензии Apache 2.0. Дата выпуска — 18 июля 2024 года, версия 1.0.

MaziyarPanahi/Mixtral-8x22B-v0.1-GGUF — это квантованная версия базовой языковой модели Mixtral-8x22B-v0.1, разработанной Mistral AI и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель предназначена для генерации текста и может использоваться в локальных сценариях инференса, включая работу через llama.cpp. Базовая модель допускает дообучение. Модель использует разреженную архитектуру Mixture of Experts (MoE): заявлено 176 млрд параметров, из которых около 35 млрд активны при обработке токена; в другом описании также указано 141 млрд параметров MoE. Заявленная длина контекста составляет до 65 тысяч токенов. Доступны варианты квантования от 2 до 8 бит, а также 16-битный вариант, что позволяет выбирать между требованиями к памяти и качеством. Указана поддержка английского, французского, испанского, итальянского и немецкого языков. Сильной стороной модели являются большой контекст, высокая емкость MoE-архитектуры и возможность локального запуска в квантованных вариантах: для FP16 требуется около 260 ГБ видеопамяти, для INT4 — около 73 ГБ. Ограничения включают значительные аппаратные требования даже при квантовании, а также отсутствие в README подробных результатов оценки качества и гарантии одинаковых характеристик для всех вариантов квантования. Модель распространяется по лицензии Apache 2.0.

Это конвертированная в формат MLX версия мультимодальной модели NVIDIA Nemotron-3-Nano-Omni-30B-A3B-Reasoning-BF16; конверсию выполнил mlx-community с помощью mlx-vlm 0.4.5. Модель предназначена для диалогового анализа изображений и текста, а описание базовой модели также указывает на работу с аудио и видео, включая транскрибацию, OCR, суммаризацию и обработку документов. В репозитории указаны архитектура NemotronH_Nano_Omni_Reasoning_V3, формат safetensors и библиотека MLX. Метаданные связывают эту версию с базовой моделью NVIDIA и датасетом Nemotron-Image-Training-v3. Лицензия обозначена как other; подробные условия следует сверять с карточкой базовой модели. Размер параметров и длина контекста в предоставленных данных не указаны.

Nemotron-Flash-3B Base — базовая языковая модель NVIDIA для генерации текста. Это плотная причинная трансформерная модель семейства Nemotron Flash с архитектурой NemotronFlashForCausalLM и 1,3 млрд параметров. Семейство спроектировано с учётом задержки на реальных сценариях: в нём используются гибридные операторы, найденные эволюционным поиском, оптимальное соотношение глубины и ширины и нормализация весов на этапе обучения. Модель предназначена для генерации продолжений текста и может применяться в задачах математических рассуждений, программирования и здравого смысла. В README заявлены результаты на уровне лучших моделей своего размера, а также низкая задержка при небольших пакетах и высокая пропускная способность при больших. Для запуска описана интеграция с Transformers и ускорение CUDA Graph; контекст составляет 29 000 токенов. Это базовая, а не Instruct-версия, поэтому карточка не заявляет, что она настроена для диалога по инструкциям. Модель распространяется под лицензией с типом «other»; конкретные условия следует проверять в файлах лицензии репозитория. Для загрузки указаны Transformers и формат safetensors.

Kukedlc/Neural-4-QA-7b-v0.2 — объединённая языковая модель, созданная разработчиком с помощью mergekit методом SLERP из Kukedlc/Neural-4-QA-7b и allknowingroger/NeuralCeptrix-7B-slerp. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на вопросы. Она принимает текст и выдаёт текст; контекстное окно составляет до 32 768 токенов. Модель подходит для диалоговых сценариев, где нужно формировать текстовые ответы по запросу и работать с длинным контекстом. В репозитории представлены веса в формате safetensors. Лицензия в предоставленных данных не указана.

neural-chat-11b-v3-2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная MaziyarPanahi слиянием моделей mistralai/Mistral-7B-Instruct-v0.2 и NurtureAI/neural-chat-11b-v3-2 методом SLERP. Это плотная модель архитектуры Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов в формате чата; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. Её можно использовать для диалога с пользователем, ответов на инструкции и генерации текста. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

MaziyarPanahi/neural-chat-7b-v3-Mistral-7B-Instruct-v0.1 — объединённая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и Intel/neural-chat-7b-v3. Она предназначена для генерации текста в ответ на инструкции и для диалогового общения. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. В метаданных указан английский язык, а репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/NeuralHermes-2.5-Mistral-7B-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием mistralai/Mistral-7B-Instruct-v0.1 и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP; веса представлены в формате safetensors. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. Она поддерживает контекст до 32 768 токенов и обучена работать с форматом диалогов ChatML. Карточка указывает английский язык и возможности чата и следования инструкциям. Модель распространяется по лицензии Apache-2.0. Как и другие модели этого размера, качество её ответов может зависеть от формулировки запроса; README не приводит результатов сравнительных оценок.

NousResearch_Hermes-4-70B-GGUF — это набор квантизированных версий языковой модели Hermes-4-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp версии b6258 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В набор входят варианты в формате GGUF с разными уровнями квантизации: от Q8_0 размером около 75 ГБ до IQ2_S размером около 22 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K; Q3 и Q2-варианты предназначены для систем с ограниченными ресурсами и имеют более низкое качество. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, точных задачах исходной модели или лицензии. Формат prompt также не указан, поэтому его следует уточнять на странице оригинальной модели NousResearch/Hermes-4-70B.

MaziyarPanahi/openchat-3.5-0106-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста в ответ на инструкции и диалоговые запросы. Она создана слиянием моделей mistralai/Mistral-7B-Instruct-v0.1 и openchat/openchat-3.5-0106 методом SLERP; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель рассчитана на диалоговое использование и генерацию ответов на текстовые запросы. Заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Язык обучения или преимущественные языки в предоставленных данных не обозначены.

giraffe176 выпустил объединённую модель Open_Hermes_Orca_Mistral-7B — языковую модель Mistral с плотной архитектурой MistralForCausalLM и примерно 7,1 млрд параметров. Она создана методом task arithmetic с помощью mergekit: объединяет teknium/OpenHermes-2.5-Mistral-7B и Open-Orca/Mistral-7B-OpenOrca. Модель предназначена для генерации текста и диалогового общения; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса safetensors; в README указана точность float16. Лицензия — Apache-2.0. README приводит результаты оценки на нескольких тестах, но не описывает отдельные гарантии качества или ограничения применения.

PocketDoc_Dans-PersonalityEngine-V1.2.0-24b-GGUF — квантизированная GGUF-версия модели Dans-PersonalityEngine-V1.2.0-24b, разработанной PocketDoc и подготовленной пользователем bartowski с использованием llama.cpp. Модель предназначена для генерации текста общего назначения, ролевого общения, написания историй, программирования, математических и логических задач, работы с инструментами, а также обсуждения тем химии, биологии и климата. Указан английский язык. Модель содержит 24 млрд параметров в исходной версии; опубликованы варианты квантизации Q4, Q5, Q6 и Q8 с размером файлов примерно от 14,83 до 25,05 ГБ. Поддерживается запуск через llama.cpp, LM Studio и другие совместимые проекты. В README не указаны точная архитектура исходной модели, размер контекстного окна и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильными сторонами являются широкий набор задач, ориентация на диалоги, ролевые сценарии, художественное письмо, код и рассуждения, а также наличие вариантов с разным компромиссом между качеством и требованиями к памяти. Ограничения включают зависимость характеристик от выбранной квантизации и значительные требования к дисковому пространству и памяти. Модель распространяется по лицензии Apache-2.0.

Qwen1.5-110B-Chat-GGUF — это квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen при Alibaba Cloud; конкретные файлы квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск совместимых чат-приложений и сценарии, где требуется крупная языковая модель с различным балансом между качеством и потреблением памяти. Модель содержит 110 млрд параметров и работает в текстовой модальности. В метаданных указано английское языковое направление, однако сведения о полном наборе поддерживаемых языков, архитектуре, максимальном контексте и результатах специализированных тестов в README отсутствуют. Доступны варианты квантизации от Q8_0 до IQ1_S с размером файлов примерно от 118,17 до 23,63 ГБ: более высокие разрядности обычно обеспечивают лучшее качество, а низкие позволяют запускать модель при меньшем объёме RAM или VRAM, но заметно снижают качество. Сильной стороной является выбор из множества вариантов квантизации, включая рекомендуемые Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S, IQ4_NL и IQ4_XS, что позволяет адаптировать модель к доступному оборудованию. Ограничения связаны с очень большим размером даже у компактных вариантов и с неизбежной потерей качества при агрессивной квантизации; варианты IQ1 и некоторые Q2/Q3 имеют низкое или крайне низкое качество. Для работы следует использовать формат GGUF и соответствующий шаблон чата с маркерами system, user и assistant. Лицензия указана как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

unsloth/Qwen2.5-7B-bnb-4bit — 4-битная версия базовой языковой модели Qwen2.5-7B, разработанной командой Qwen. Модель предназначена для генерации и продолжения текста, а также для последующего дообучения методами SFT, RLHF или continued pretraining. Для диалоговых сценариев базовую модель использовать не рекомендуется без дополнительного постобучения. Модель относится к классу causal language models и содержит 7,61 млрд параметров, из которых 6,53 млрд не являются параметрами эмбеддингов. Архитектура включает 28 слоёв, RoPE, SwiGLU, RMSNorm и attention с GQA: 28 голов для Q и 4 для KV. Контекстное окно — до 131 072 токенов. Поддерживаются более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Ключевое преимущество версии — 4-битное представление, снижающее требования к памяти; конкретные показатели качества и производительности для этой сборки в README не приведены. Модель распространяется под лицензией Apache-2.0 и предназначена для использования с библиотекой Transformers.

mlx-community/Qwen3-235B-A22B-Instruct-2507-8bit — это 8-битная версия модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.0. Модель предназначена для генерации текста и работы в диалоговом формате через chat template, если он доступен в токенизаторе. Модель ориентирована на задачи инструкционного следования и текстовой генерации, включая ответы на пользовательские запросы и другие сценарии, поддерживаемые исходной моделью Qwen3. Из доступных данных известны размерная маркировка 235B-A22B и 8-битное представление, однако сведения об архитектуре, фактически активируемом числе параметров, языках, максимальном контексте, производительности и системных требованиях не приведены. Лицензия — Apache 2.0. README не содержит результатов тестирования и подробностей об ограничениях или рекомендуемых сценариях эксплуатации.