I.1Поиск и навигация по информации

Baichuan2-13B-Chat-4bits — версия чат-модели Baichuan 2 от Baichuan Intelligence, представленная в 4-битном квантованном варианте. Это плотная авторегрессионная модель на 13,3 млрд параметров для генерации текста и диалогового взаимодействия. Семейство Baichuan 2 обучено на 2,6 трлн токенов; версия Chat v2, согласно карточке, улучшает математические и логические рассуждения и следование сложным инструкциям. Модель ориентирована прежде всего на китайский и английский языки. Модель подходит для диалоговых помощников, ответов на вопросы, выполнения текстовых инструкций, а также задач общего характера в областях права, медицины, математики, программирования и многоязычного перевода. Карточка сообщает о 4-битном варианте для снижения требований к памяти. Для работы указан PyTorch 2.0 или новее. Для использования требуется соблюдать Apache 2.0 и лицензионное соглашение сообщества Baichuan 2. Коммерческое применение требует предварительного обращения за официальной лицензией и зависит от условий, изложенных в карточке. Модель может ошибаться; перед использованием в чувствительных сценариях её ответы следует проверять.

Карточка модели Oscilla/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Карточка модели Vladimirval/Bonsai-27B-mlx-1bit на Hugging Face совпадает с карточкой prism-ml/Bonsai-27B-mlx-1bit, поэтому описание составлено по ней. Bonsai-27B-mlx-1bit — 27-миллиардная модель для генерации текста и диалогов, представленная Prism ML. Это производная от Qwen/Qwen3.6-27B модель с гибридной архитектурой внимания: около 75% линейного и 25% полноразмерного внимания. Языковые веса представлены в бинарном формате с эффективной точностью 1,125 бита на параметр; башня зрения использует 4-битное HQQ-представление. Модель рассчитана на локальный запуск на устройствах Apple через MLX, а также поддерживает CUDA. Модель предназначена для рассуждений, работы с кодом, агентных сценариев, длинных диалогов и анализа документов. Заявлены контекст до 262 тысяч токенов и footprint около 3,9 ГБ; авторы сообщают о скорости около 11 токенов/с на iPhone 17 Pro Max и сохранении примерно 90% качества FP16-версии по выбранным бенчмаркам. Компактное представление позволяет запускать модель локально, включая смартфоны, ноутбуки и потребительские GPU. Основной компромисс — снижение качества относительно полной точности, особенно в наиболее сложных категориях; авторы также отмечают, что длительные агентные задачи программирования пока не являются сильной стороной этой версии. Производительность на телефоне зависит от теплового режима. Модель распространяется по лицензии Apache-2.0.

Citaman/command-r-37-layer — объединённая с помощью mergekit модель на архитектуре Cohere для генерации текста и диалогового взаимодействия. В README описано слияние методом SLERP двух срезов модели Citaman/command-r-38-layer; метаданные классифицируют результат как дообучение этой базовой модели. Модель содержит 32,5 млрд параметров, использует формат safetensors и рассчитана на контекст до 8192 токенов. Она предназначена для текстовых запросов, чата и сценариев с интерфейсом вызова инструментов. Лицензия в предоставленных данных не указана.

MLX-версия модели DeepSeek-V4-Flash, преобразованная сообществом mlx-community из оригинальной модели deepseek-ai/DeepSeek-V4-Flash. Модель предназначена для генерации текста и может использоваться в сценариях, требующих локального запуска через библиотеку MLX и пакет mlx-lm. Это Mixture-of-Experts модель с 284 млрд общих параметров и 13 млрд активируемых параметров. Она поддерживает контекст длиной до 1 млн токенов. Данная версия представлена в 8-битном формате MLX; README не содержит сведений о поддерживаемых языках, модальностях, конкретных задачах, производительности и ограничениях. Модель распространяется по лицензии MIT. Для использования требуется MLX-совместимая среда и библиотека mlx-lm.

Это форк FLAN-T5 XXL, опубликованный philschmid на Hugging Face. Модель представляет собой плотную encoder-decoder архитектуру T5ForConditionalGeneration с 5,8 млрд параметров и предназначена для генерации текста по текстовому запросу. В карточке приведён пример развёртывания на Inference Endpoints и пользовательского обработчика для запуска на одном NVIDIA A10G; файлы модели представлены в формате PyTorch. FLAN-T5 прошла инструкционное дообучение на более чем тысяче дополнительных задач и рассчитана на широкий круг сценариев: ответы на вопросы, суммаризацию, перевод и другие задачи преобразования текста. README заявляет поддержку английского, русского и множества других языков. Лицензия — Apache 2.0. Указание README на «квантизированную» версию расходится с метаданными, где формат обозначен как PyTorch; подтверждения конкретного формата квантизации в метаданных нет.

unsloth/gemma-3-12b-pt — вариант Gemma 3 от Unsloth, основанный на дообучении предобученной модели Google google/gemma-3-12b-pt. Это плотная мультимодальная модель с архитектурой Gemma3ForConditionalGeneration и 12 млрд параметров. Она принимает текст и изображения и генерирует текст; семейство Gemma 3 поддерживает контекст до 128 тыс. токенов и более 140 языков. Модель подходит для ответов на вопросы по изображениям, извлечения и пересказа визуальной информации, суммаризации и генерации текста, включая диалог, черновики писем и код. Карточка Unsloth ориентирована на использование модели как основы для дальнейшего дообучения и описывает экспорт дообученных вариантов в GGUF, Ollama, llama.cpp и формат Hugging Face. Возможности и качество ответов зависят от обучающих данных и формулировки запроса: модель может ошибаться в фактах, упускать языковые нюансы и отражать предвзятости данных. Лицензия — Gemma; условия использования следует сверять с лицензией Google Gemma.

Gemma 3 27B IT GGUF — квантизированная версия инструкционной модели Gemma 3 27B IT, разработанной Google. Модель подготовлена сообществом LM Studio, а GGUF-квантизацию выполнил bartowski на основе llama.cpp. Она предназначена для локального запуска и генерации текста, включая ответы на вопросы, суммаризацию и задачи рассуждения. Модель поддерживает мультимодальный ввод с изображениями, нормализованными до разрешения 896 × 896, а также текстовые сценарии. Заявленная длина контекста составляет до 128 000 токенов, максимальная длина вывода — 8 192 токена. В README не указаны полный перечень поддерживаемых языков, конкретный метод и уровень квантизации, а также требования к аппаратным ресурсам. К сильным сторонам относятся большой контекст, поддержка понимания изображений и пригодность для локального использования через формат GGUF. Ограничения связаны с зависимостью от совместимого llama.cpp runtime версии 1.19.0 или новее, причём актуальная версия runtime на момент публикации обозначена как beta. Как квантизированная сборка, модель может отличаться по качеству и потреблению ресурсов от оригинальной версии. Доступ и использование регулируются лицензией Gemma от Google.

Gemma 4 12B IT INT4 — MLP-only, AutoRound — это квантизированный вариант модели google/gemma-4-12B-it, опубликованный aleksandard. Модель предназначена для диалоговых и генеративных задач, включая работу с текстом, изображениями и аудио, поскольку базовая модель имеет unified-мультимодальную архитектуру и pipeline image-text-to-text. Она подходит для локального запуска через vLLM или Transformers при наличии совместимой аппаратной и программной инфраструктуры. В основе лежит плотная модель примерно на 11,95 млрд параметров. Квантизация выполнена методом intel/auto-round в режиме RTN по схеме W4A16 с размером группы 128 и симметричным представлением, с экспортом в GPTQ-совместимый формат. До 4 бит уменьшены только линейные слои MLP: gate_proj, up_proj и down_proj. Проекции внимания q/k/v/o, эмбеддинги, lm_head, а также vision- и audio-эмбеддеры сохранены в BF16 или полной точности. Размер чекпойнта составляет около 11 ГБ вместо примерно 24 ГБ для BF16, что снижает требования к памяти. Сильная сторона сборки — компромисс между уменьшением объёма модели и сохранением качества внимания: чувствительные квантизации компоненты оставлены в BF16. Ограничения связаны с наследованием всех ограничений и смещений базовой Gemma 4, а также с возможным дополнительным снижением качества из-за 4-битной RTN-квантизации без калибровки. Для vLLM требуется nightly-сборка с поддержкой Gemma 4; на Blackwell необходимо отключать FlashInfer sampler. В README указана лицензия Apache 2.0, унаследованная от базовой модели.

GPT-6.1 Sol — модель OpenAI из серии GPT-6, представленная как обновление GPT-6 Sol и расположенная ниже флагманской GPT-6 Astra. Она предназначена для агентного программирования, управления компьютером и работы с документами в профессиональных сценариях. Метаданные каталога классифицируют её как image-text-to-text, что указывает на обработку изображений и выдачу текста. Доступные сведения не позволяют определить размер, архитектуру, языки, контекст или лицензию модели. README обрывается на описании назначения, поэтому её характеристики и условия использования нельзя уточнить.

Hermes-2-Pro-Llama-3-8B-GGUF — квантизированная GGUF-версия языковой модели Hermes-2-Pro-Llama-3-8B, разработанной NousResearch и преобразованной в GGUF компанией Second State Inc. Это текстовая модель для генерации ответов в диалогах и использования инструментов, совместимая с форматом ChatML и запуском через LlamaEdge. В README указан английский язык. Модель относится к семейству Llama и содержит 8 млрд параметров. Доступны варианты квантизации от 2 до 8 бит, а также версия f16 размером 16,1 ГБ. Рекомендуемые варианты Q4_K_M, Q5_K_M и Q5_K_S обеспечивают компромисс между размером и сохранением качества; наиболее компактные варианты требуют меньшего объёма памяти, но сопровождаются более заметной потерей качества. Указанный размер контекста — 4096 токенов. Для работы требуется LlamaEdge версии 0.11.3 или новее и соответствующий шаблон prompt: chatml для диалогов или chatml-tool для использования инструментов. README не содержит сведений о лицензии исходной модели или этой сборки, поэтому условия распространения и коммерческого использования по представленным данным определить нельзя.

ClaudioItaly/Inside-7B — объединённая плотная языковая модель семейства Qwen2, созданная автором репозитория с помощью mergekit и метода TIES на базе happzy2633/qwen2.5-7b-ins-v3. В объединение вошли AIDC-AI/Marco-o1 и prithivMLmods/QwQ-LCoT-7B-Instruct; модель содержит 7,1 млрд параметров и рассчитана на генерацию текста в диалоговом формате. Модель подходит для диалога, следования инструкциям и многошагового решения задач; максимальный контекст составляет 32 768 токенов. Модель опубликована в формате safetensors и доступна через библиотеку Transformers. Лицензия в предоставленных данных не указана.

unsloth/Llama-4-Maverick-17B-128E-Instruct-GGUF — модель в формате GGUF, подготовленная Unsloth на основе Meta Llama 4 Maverick 17B-128E-Instruct. Она предназначена для работы в режиме instruct: диалогов, следования инструкциям и решения широкого спектра текстовых задач. В README указана поддержка арабского, немецкого, английского, испанского, французского, хинди, индонезийского, итальянского, португальского, тайского, тагальского и вьетнамского языков. Из доступных данных известны обозначенные в названии характеристики: 17B и 128E, а также формат GGUF, обычно ориентированный на локальный инференс в совместимом программном обеспечении. Сведения о длине контекста, точной архитектуре, модальностях, вариантах квантования, требованиях к оборудованию, результатах тестирования и ограничениях качества в README не приведены, поэтому их нельзя оценить по имеющимся данным. Модель распространяется в соответствии с Llama 4 Community License от Meta. Лицензия предоставляет ограниченные безвозмездные права на использование, копирование, распространение и создание производных работ при соблюдении условий, включая передачу текста лицензии, указание «Built with Llama» при распространении материалов или продуктов, сохранение обязательного уведомления об атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено дополнительное лицензионное условие Meta.

llm-jp-4.1-8b-thinking — языковая модель, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Это плотная трансформерная модель семейства Llama с 7,8 млрд параметров по метаданным и контекстом до 65 536 токенов. Репозиторий содержит веса в формате safetensors; для диалогов предусмотрен шаблон, совместимый с форматом ответов OpenAI Harmony, но для токенизации требуется прилагаемый токенизатор модели. Модель предназначена для генерации ответов и рассуждений в диалоге, а также для задач математики, естественных наук, вопросов и ответов, программирования, следования инструкциям и перевода между японским и английским. Она обучалась на японском и английском; после предварительного обучения прошла дообучение с учителем и выравнивание методом DPO, без обучения с подкреплением. Контекст и наличие диалогового режима делают её пригодной для многошаговых запросов и работы с длинными текстами. Разработчики оценивают модель на общих задачах, безопасности и вызове инструментов. Карточка предупреждает, что ответы могут быть неточными, неподходящими или нежелательными, поэтому результаты следует проверять. Разработчики не предназначают модель для непосредственного применения в производственных сервисах. Лицензия — Apache-2.0.

Это квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI и подготовленной сообществом Hugging Quants. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая работу через Transformers, AutoGPTQ и Text Generation Inference. Она подходит для чат-ботов, ассистентов и других сценариев текстового взаимодействия. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Исходная модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В данном варианте веса преобразованы из FP16 в INT4 с использованием GPTQ, zero-point quantization и group size 128, что снижает требования к памяти: для загрузки контрольной точки требуется около 4 ГиБ VRAM без учёта KV-кэша и CUDA-графов. К преимуществам относятся уменьшенное потребление видеопамяти и возможность локального запуска с поддержкой распространённых инструментов инференса. Ограничения связаны с потерями, возможными при 4-битном квантовании, отсутствием мультимодальных возможностей и необходимостью дополнительной памяти для KV-кэша и генерации. Модель распространяется по лицензии Llama 3.1; условия исходной лицензии Meta необходимо учитывать при использовании.

cloudyu/Meta-Llama-3-70B-Instruct-DPO — чат-модель на архитектуре Llama, созданная на основе meta-llama/Meta-Llama-3-70B-Instruct с применением DPO-дообучения по jondurbin/truthy-dpo-v0.1. Она предназначена для генерации ответов в диалоге и других текстовых сценариев с инструкциями. Модель содержит 69,5 млрд параметров, принимает текст и имеет контекст длиной до 8192 токенов. Веса доступны в формате safetensors. Лицензия — Apache-2.0.

Meta-Llama-3-8B-Instruct-GGUF — квантизированная версия 8-миллиардной инструкционно дообученной языковой модели Meta Llama 3, разработанной Meta. Квантизацию выполнила SanctumAI. Модель предназначена прежде всего для диалоговых сценариев, генерации текста и выполнения инструкций; поддерживает работу через формат GGUF и различные варианты квантизации, рассчитанные на запуск с уменьшенными требованиями к памяти. Модель является текстовой и, согласно карточке, поддерживает английский язык. Исходная модель относится к семейству Llama 3 с размерами 8B и 70B, однако для данной версии указан размер 8B. Доступны варианты от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, оценочное потребление памяти — от 7,20 до 19,21 ГБ в зависимости от варианта. Карточка не указывает размер контекстного окна и конкретную архитектуру. Сильные стороны модели — оптимизация для диалогов, заявленная высокая эффективность на распространённых отраслевых бенчмарках среди открытых чат-моделей, а также возможность выбрать баланс качества и требований к памяти с помощью квантизации. Ограничения включают возможные неточные, вредные, оскорбительные или вводящие в заблуждение ответы; результаты требуют проверки. Модель распространяется по лицензии Llama 3; точные условия следует уточнять в файле LICENSE.

bigscience/mt0-xxl — многоязычная модель семейства mT0, разработанная BigScience. Это дообученная версия mT5-XXL, обученная следовать инструкциям на смеси кросс-языковых задач xP3; архитектура — encoder-decoder MT5ForConditionalGeneration, размер — 6,7 млрд параметров. Модель предназначена для выполнения задач, сформулированных на естественном языке, в том числе перевода, ответов на вопросы, классификации тональности и создания текстов. Она поддерживает генерацию с нуля и переносит навыки на ранее не встречавшиеся задачи и языки; среди языков карточки указаны английский, французский, испанский, арабский, японский, корейский и другие. Качество ответов зависит от формулировки запроса: полезно явно обозначать границы входного текста, задачу и желаемый язык ответа, а также предоставлять контекст. Модель выпущена под лицензией Apache-2.0. Для запуска используются Transformers и веса PyTorch/Safetensors.

Nanbeige4-3B-Thinking-2511-GGUF — квантизированная GGUF-версия языковой модели Nanbeige4-3B-Thinking-2511, разработанной командой Nanbeige и созданной на базе Nanbeige4-3B-Base. Модель предназначена для генерации текста, диалогов, решения сложных задач с рассуждением, агентских сценариев и вызова функций. Указана поддержка английского и китайского языков; модель относится к текстовым causal language models и запускается с использованием llama.cpp или совместимых инструментов. Точный размер контекста и число параметров в README не указаны, однако из названия следует размер порядка 3 млрд параметров. Модель улучшена по сравнению с Nanbeige4-3B-Thinking-2510 с помощью дистилляции знаний и целевой оптимизации методом reinforcement learning. Заявлены сильные результаты в рассуждении, function calling, эмоциональном интеллекте и творческом письме, включая высокие позиции на Berkeley Function Calling Leaderboard, EQBench3 и WritingBench. В репозитории также описан метод повышения точности отдельных важных слоёв при квантизации, увеличивающий размер файлов, но улучшающий качество на заданном уровне битности. Ограничения включают риск неожиданных, вредных, предвзятых или дискриминационных ответов; модель не гарантирует полную безопасность и требует проверки результатов. Конкретный формат GGUF и степень квантизации следует выбирать с учётом доступных ресурсов и требований к качеству. Лицензия — Apache-2.0.

NeoHorse-1-9B-GGUF — текстовая причинно-следственная языковая модель примерно на 9 млрд параметров, разработанная TokenRhythm и дообученная на базе Qwen3.5-9B. Модель позиционируется как прототип в направлении рекурсивного самоулучшения и ориентирована на агентные сценарии, использование инструментов, программирование, рассуждения и следование инструкциям. Репозиторий содержит веса в формате GGUF для локального запуска с llama.cpp, Ollama и LM Studio. Доступны варианты BF16, а также 8-, 5- и 4-битные квантизации, позволяющие уменьшить требования к дисковому пространству и оперативной памяти. Модель работает только с текстом; сведения о поддерживаемых языках и размере контекстного окна в предоставленных данных не указаны. Сильными сторонами заявлены улучшения по сравнению с базовой Qwen3.5-9B на наборе из десяти бенчмарков, а также специализация на агентных рабочих процессах и tool use. При этом NeoHorse описана как первоначальный прототип, поэтому заявленные возможности рекурсивного самоулучшения относятся к исследовательскому framework и не означают полностью автономное самообучение модели. Модель распространяется по лицензии Apache-2.0.

NexoNimbus-7B — объединённая модель разработчика abideen на базе Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и применения в качестве языковой модели общего назначения. Модель получена слиянием abideen/DareVox-7B и udkai/Garrulus методом SLERP; в конфигурации указан контекст до 32 768 токенов, а веса опубликованы в формате safetensors. Карточка приводит результаты оценки на Open LLM Leaderboard и TruthfulQA, но они не гарантируют качество для конкретного приложения. Модель принимает текст и генерирует текст; язык карточки — английский. Репозиторий распространяется по лицензии Apache-2.0.

Nous-Hermes-2-DPO_into_Dolphin_Mistral_2.8_v02 — объединённая диалоговая модель, созданная с помощью LazyMergekit из cognitivecomputations/dolphin-2.8-mistral-7b-v02 и NousResearch/Nous-Hermes-2-Mistral-7B-DPO методом slerp. Это плотная авторегрессионная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров. Модель предназначена для генерации текста по запросам и ведения диалога; контекст — до 32 768 токенов. В репозитории указаны веса в формате safetensors. Лицензия в предоставленных данных не указана.

Olmo Hybrid 7B — открытая авторегрессионная языковая модель семейства OLMo, разработанная Allen Institute for AI (Ai2). Модель содержит около 6,3 млрд параметров и использует гибридную архитектуру: 75% слоёв основаны на gated DeltaNet, остальные — на многоголовом внимании. Она рассчитана на генерацию текста и поддерживает контекст до 65 536 токенов. Модель предназначена для продолжения текста, ответов на вопросы, рассуждений и генерации кода. По заявлению разработчиков, она эффективнее использует данные при предобучении, показывает улучшения на длинном контексте и снижает затраты памяти и повышает пропускную способность при инференсе на длинных последовательностях. Основной язык — английский. Модель предобучена на Dolma 3 и относится к базовым моделям OLMo Hybrid; карточка также описывает отдельные версии Think и Instruct, но этот репозиторий обозначен как Olmo Hybrid 7B. Веса доступны в формате safetensors и поддерживаются Transformers версии 5.3.0 или выше. Лицензия — Apache 2.0; разработчики рекомендуют учитывать правила ответственного использования Ai2. Модель может выдавать фактические ошибки и предвзятые или вредоносные ответы, поэтому результаты следует проверять.

Ornith-1.5-35B-A3B-MXFP4_MOE_Hybrid-Imatrix-GGUF — это набор оптимизированных квантованных весов в формате GGUF для модели Ornith-1.5-35B-A3B, разработанной Ornith AI. Данные сборки подготовлены jashepp на основе базовой модели и предназначены для запуска в совместимой инфраструктуре GGUF, включая сценарии генерации текста, диалогов, агентной работы, программирования, использования инструментов и задач, требующих планирования и рассуждений. Модель использует архитектуру Mixture of Experts с заявленным размером 35B и конфигурацией A3B. Репозиторий содержит варианты с многоуровневой точностью MXFP4, Q8_0 и F16, а также importance matrix, созданной на основе исходной imatrix и дополнительных данных из промптов, результатов, аудитов, навыков и документации. Доступны файлы размером примерно от 18,5 до 20,7 ГБ. Указанный язык — английский; модель относится к текстовым генеративным моделям. Размер контекста в README не указан. К сильным сторонам относятся улучшенное следование инструкциям и рассуждениям по сравнению с Ornith-1.0, ориентация на агентное программирование и возможность уменьшить требования к памяти за счёт квантования экспертных слоёв при сохранении более высокой точности в критических компонентах. Ограничения включают потенциальные потери качества из-за квантования, зависимость от совместимого загрузчика GGUF и отсутствие в README подробных сведений о фактических требованиях к оборудованию, контекстном окне и результатах независимого тестирования. Распространение указано по лицензии MIT.

QevaCoT-7B-Stock — объединённая языковая модель на базе семейства Qwen2.5, созданная методом Model Stock с помощью mergekit. В слияние вошли Qwen2.5-7B и несколько моделей на его основе, включая инструктивные и ориентированные на рассуждения варианты. Модель содержит 7,1 млрд параметров, использует архитектуру Qwen2ForCausalLM и работает через библиотеку Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы и задачи, где полезны пошаговые рассуждения. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

Карточка модели News666520/Qwen2.5-1.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen-2.5-7B-Deep-Stock-v4 — объединённая языковая модель, созданная сообществом bunnycore с помощью mergekit и метода Model Stock. В качестве основы использована Qwen/Qwen2.5-7B-Instruct; в объединение также вошли FuseQwQen-7B, Qwen-2.5-7B-R1-Stock и Qwen-2.5-7B-Deep-Stock-v1. Модель построена на архитектуре Qwen2 с плотной причинной языковой сетью на 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов, а также поддерживает интерфейс вызова инструментов. Её контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценок IFEval и BBH, но они не дают полной картины качества для всех задач. Сведения о лицензии в доступных данных отсутствуют.

bartowski/Qwen2-72B-Instruct-GGUF — набор квантизированных вариантов языковой модели Qwen2-72B-Instruct, разработанной командой Qwen (Tongyi Qianwen) и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в чат-интерфейсах и локальный запуск через llama.cpp. Поддерживается специальный шаблон промпта с ролями system, user и assistant. Модель имеет 72 миллиарда параметров, работает с текстом и ориентирована как минимум на английский язык. Доступны варианты GGUF с разными уровнями квантизации: от Q8_0 размером около 77,26 ГБ до IQ1_M размером около 23,74 ГБ. Наиболее рекомендуются Q5_K_M, Q4_K_M и IQ4_XS как компромисс между качеством и требованиями к памяти; варианты с более низкой точностью занимают меньше места, но заметно теряют в качестве. Квантизация выполнена с использованием imatrix и llama.cpp. Сильная сторона набора — возможность выбрать подходящий баланс качества, скорости и потребления RAM или VRAM для локального запуска. Для работы на GPU рекомендуется, чтобы файл помещался в доступную видеопамять; также возможно комбинировать системную RAM и VRAM. Для CUDA указано ограничение: offloading может работать некорректно без включения flash attention. I-quant варианты не совместимы с Vulkan, а на CPU и Apple Metal могут работать медленнее K-quant вариантов. Модель распространяется по лицензии tongyi-qianwen; README также содержит ссылку на лицензию исходной модели Qwen2-72B-Instruct.

Qwen2-7B — базовая предобученная языковая модель из семейства Qwen2, разработанного командой Qwen. Это плотная авторегрессионная модель на архитектуре Transformer с 7,1 млрд параметров; в README указаны SwiGLU, смещение в проекциях QKV и групповое внимание. Модель принимает текст и предназначена для дообучения, например с помощью SFT, RLHF или продолжения предобучения, перед использованием в прикладной генерации текста. Модель оценивается на задачах понимания и генерации текста, вопросах и ответах, программировании, математике, рассуждениях и многоязычных тестах. Токенизатор адаптирован к нескольким естественным языкам и языкам программирования. Метаданные указывают контекст до 131 072 токенов и формат весов safetensors; карточка описывает базовую, а не instruction-tuned версию. Модель распространяется по лицензии Apache-2.0. Разработчики не рекомендуют использовать базовую версию для непосредственной генерации текста; качество на конкретных прикладных задачах может потребовать постобучения и отдельной проверки.

RedHatAI/Qwen3-30B-A3B-NVFP4 — квантизированная версия языковой модели Qwen/Qwen3-30B-A3B, разработанная RedHatAI. Модель принимает и генерирует текст и предназначена для задач генерации текста, включая диалоговые сценарии и развёртывание через vLLM с OpenAI-совместимым сервером. Модель использует архитектуру Qwen3-30B-A3B, однако в представленном README не указаны подробности о числе параметров активной части, размере контекста и точном наборе поддерживаемых языков. Веса и активации линейных операторов в трансформерных блоках квантизированы в формат FP4; квантизация выполнена с помощью LLM Compressor, а модель подготовлена для инференса в vLLM версии 0.9.1 и выше. Переход с 16 до 4 бит на параметр уменьшает размер модели на диске и требования к памяти GPU примерно на 75%, что является её основным преимуществом. К ограничениям относятся возможная потеря качества по сравнению с неквантизированной моделью и зависимость от совместимого программного стека и аппаратной поддержки. README отдельно ограничивает использование сценариями, соответствующими применимым законам и требованиям экспортного контроля, а также указывает использование на английском языке вне заявленной области применения. Модель распространяется по лицензии Apache-2.0.