II.6Документация и сопровождение разработки

Prodigy_7B — объединённая языковая модель семейства Mistral, созданная автором ChaoticNeutrals с помощью mergekit. В слиянии методом SLERP использованы ChaoticNeutrals/This_is_fine_7B и macadeliccc/WestLake-7B-v2-laser-truthy-dpo. Модель содержит 7,1 млрд параметров, построена на архитектуре MistralForCausalLM и рассчитана на генерацию текста; заявленная длина контекста — 32 768 токенов. Модель подходит для диалоговой генерации, ответов на запросы и других задач продолжения текста. В README приведены результаты оценивания на бенчмарках AI2 Reasoning Challenge и HellaSwag. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия указана как other, поэтому конкретные условия использования следует уточнять в карточке модели и у правообладателей базовых моделей. Карточка не уточняет поддерживаемые естественные языки и специальные ограничения поведения модели. Как и другие языковые модели, она может выдавать неточные или вымышленные сведения; результаты бенчмарков сами по себе не гарантируют качество в прикладных сценариях.

Progenitor-V2.2-LLaMa-70B — объединённая автором модель генерации текста на архитектуре LLaMA, созданная с помощью mergekit методом Linear DELLA. В основу слияния легла nbeerbower/Llama-3.1-Nemotron-lorablated-70B; также в него вошли модели Anubis, EVA-LLaMA, Cirrus, Negative_LLAMA и Hanami. Автор сообщает, что изменил токенизатор и выполнял слияние в float32 с последующим переводом весов в bfloat16. Модель предназначена для генерации текста и диалогового взаимодействия. Она содержит 69,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В метаданных указаны возможности чата и интерфейса вызова инструментов; README не приводит оценок качества и конкретных тестов.

Python-Code-33B — дообученная Ajibawa-2023 языковая модель для генерации кода на Python с подробными пояснениями. В карточке указано, что модель обучена на более чем 23 тысячах наборов кода и диалогов в формате Vicuna/ShareGPT, созданных с помощью GPT-3.5 и GPT-4. Архитектура — плотная Llama с 32,3 млрд параметров; модель использует PyTorch и имеет контекст 2048 токенов. Модель предназначена для генерации фрагментов Python-кода и объяснения их работы в формате диалога с помощником. Автор сообщает о полном дообучении на базе Llama; в README названы и Llama-2, и Llama-1, поэтому точную базовую версию установить нельзя. Лицензия CC-BY-NC-ND-4.0 запрещает коммерческое использование и распространение производных материалов на иных условиях.

djuna/Q2.5-Partron-7B — слитая с помощью mergekit языковая модель семейства Qwen2.5, созданная методом della. В качестве основы использована djuna/Q2.5-Fuppavy-7B; в объединение также вошли Locutusque/StockQwen-2.5-7B, fblgit/cybertron-v4-qw7B-MGS и happzy2633/qwen2.5-7b-ins-v3. Модель содержит 7,1 млрд параметров, построена на архитектуре Qwen2ForCausalLM и рассчитана на генерацию текста и диалоговое взаимодействие. Заявленная длина контекста — 131 072 токена. Доступна в формате safetensors для Transformers. README приводит результаты оценки на IFEval и BBH, но не описывает специализацию по языкам или прикладным областям. Лицензия в предоставленных данных не указана. Поскольку модель объединяет несколько чекпойнтов, перед использованием следует сверить условия лицензирования каждого исходного репозитория. README отмечает, что это слияние предварительно обученных языковых моделей.

Карточка модели vilm/Quyen-SE-v0.1 на Hugging Face совпадает с карточкой vilm/Quyen-Pro-v0.1, поэтому описание составлено по ней. Quyen-Pro-v0.1 — чат-языковая модель серии Quyen, разработанной vilm на основе семейства Qwen. Версия Pro обучена с применением supervised fine-tuning (SFT) и direct preference optimization (DPO); в карточке указаны обучающие наборы OpenHermes-2.5, Capybara, Orca DPO и частные данные. Модель использует архитектуру Qwen2ForCausalLM с плотными весами, содержит 13,4 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста по запросу; для форматирования диалога используется ChatML. Карточка не приводит результатов бенчмарков, поэтому качество для конкретных задач по ней оценить нельзя. Модель опубликована в формате safetensors для Transformers. Лицензия обозначена как other, конкретные условия использования в предоставленных данных не раскрыты.

Карточка модели vilm/Quyen-v0.1 на Hugging Face совпадает с карточкой vilm/Quyen-Pro-v0.1, поэтому описание составлено по ней. Quyen-Pro-v0.1 — чат-языковая модель серии Quyen, разработанной vilm на основе семейства Qwen. Версия Pro обучена с применением supervised fine-tuning (SFT) и direct preference optimization (DPO); в карточке указаны обучающие наборы OpenHermes-2.5, Capybara, Orca DPO и частные данные. Модель использует архитектуру Qwen2ForCausalLM с плотными весами, содержит 13,4 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста по запросу; для форматирования диалога используется ChatML. Карточка не приводит результатов бенчмарков, поэтому качество для конкретных задач по ней оценить нельзя. Модель опубликована в формате safetensors для Transformers. Лицензия обозначена как other, конкретные условия использования в предоставленных данных не раскрыты.

Qwen-14B-Chat-LLaMAfied — версия Qwen-14B-Chat от Alibaba Cloud, преобразованная под архитектуру LLaMA. Это плотная авторегрессионная модель с 13,4 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Она поддерживает китайский и английский языки и контекст до 8192 токенов. Модель можно использовать для чат-ответов и дообучения на последующих задачах; для тонкой настройки разработчики рекомендуют toolkit LLaMA-Factory. Репозиторий содержит веса в формате safetensors и предназначен для работы с библиотекой Transformers. В README указана лицензия Tongyi Qianwen License; перед использованием следует учитывать её условия.

bartowski/Qwen1.5-7B-Chat-GGUF — это набор квантизированных GGUF-версий диалоговой модели Qwen1.5-7B-Chat, разработанной командой Qwen. Квантизация выполнена bartowski с использованием llama.cpp, релиз b2440. Модель предназначена для генерации текста и чат-сценариев, включая локальный запуск через совместимое программное обеспечение на базе llama.cpp. Доступны варианты квантизации от Q8_0 до Q2_K размером примерно от 8,21 до 3,10 ГБ. Q6_K отмечен как рекомендуемый вариант с качеством, близким к исходному; Q5_K_M и Q5_K_S предлагают высокое качество при меньшем размере, а варианты Q3 и Q2 требуют меньше памяти, но заметно уступают по качеству. В метаданных указан английский язык; сведения о других языках, модальностях и размере контекста отсутствуют. Лицензия обозначена как tongyi-qianwen; подробные условия доступны по ссылке на лицензию исходной модели.

NIEWEN/qwen15b-code-merged-v2 — компактная языковая модель для генерации текста, опубликованная на Hugging Face. По метаданным она связана с семейством Qwen2 и предназначена для использования через библиотеку Transformers. Модель содержит 1,5 млрд параметров и поддерживает контекст длиной до 32 768 токенов. Тег conversational указывает на возможность применения в диалоговых сценариях, а pipeline text-generation — на генерацию текстовых продолжений и ответов. Карточка модели не содержит сведений о разработчике, языках, лицензии, данных обучения, результатах оценки или специализированных ограничениях. Поэтому условия использования и пригодность для конкретных прикладных задач необходимо дополнительно проверять перед применением.

KingNish/qwen-1b-continued — языковая модель семейства Qwen2 с плотной архитектурой и примерно 1 млрд параметров, разработанная KingNish как дообученная версия KingNish/depth20-qwen-1b. Она предназначена для генерации текста и диалогового взаимодействия. Модель обучалась с использованием Unsloth и библиотеки TRL; для работы с весами доступны форматы PyTorch и Safetensors. Модель принимает текст и выдаёт текст, поддерживает английский язык и имеет контекстное окно до 131 072 токенов. Репозиторий распространяется по лицензии Apache-2.0. Метаданные также отмечают интерфейс вызова инструментов, однако подробности его реализации в карточке не описаны.

QWEN-2-1.5B-Synthia-I — языковая модель, дообученная artificialguybr на Qwen/Qwen2-1.5B с использованием набора Synthia v1.5-I, содержащего более 20,7 тыс. примеров следования инструкциям. Это плотная авторегрессионная модель класса Qwen2ForCausalLM с 1,5 млрд параметров; файлы доступны в форматах PyTorch и Safetensors, а для работы указан Transformers. Модель предназначена для выполнения инструкций, генерации и продолжения текста, а также для разговорных приложений. Контекстное окно составляет до 131 072 токенов. В метаданных указан английский язык; карточка отмечает многоязычные возможности базовой Qwen2, но не уточняет языковой охват дообученной версии. Модель наследует возможности базовой Qwen2-1.5B и специально настроена на следование инструкциям. Лицензия — Apache-2.0. Карточка не приводит результатов оценивания качества или более подробных ограничений.

Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

QuantFactory/Qwen2.5-0.5B-Instruct-GGUF — квантованная версия Qwen2.5-0.5B-Instruct, подготовленная QuantFactory с использованием llama.cpp на основе модели Qwen Team, разработанной Alibaba Cloud. Модель предназначена для генерации текста, чат-ботов, следования инструкциям, работы со структурированными данными и вывода в формате JSON, а также для задач программирования и математики. Это каузальная языковая модель на архитектуре transformers с RoPE, SwiGLU, RMSNorm, смещениями в attention QKV и связанными эмбеддингами слов. Она содержит около 0,49 млрд параметров, включая 0,36 млрд параметров без учёта эмбеддингов, 24 слоя и Grouped-Query Attention с 14 головами Q и 2 головами KV. Поддерживаются контекст до 32 768 токенов и генерация до 8 192 токенов. Модель мультиязычная и заявлена для более чем 29 языков, включая английский, китайский, русский, французский, испанский, немецкий, итальянский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся небольшой размер, улучшенное следование инструкциям, обработка длинных текстов, структурированных данных, программирования и математики. К ограничениям относятся меньшая ёмкость по сравнению с крупными моделями и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Apache-2.0.

Mungert/Qwen2.5-14B-Instruct-GGUF — набор GGUF-версий инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen и опубликованной в формате GGUF пользователем Mungert. Модель предназначена для генерации текста, диалоговых сценариев и чат-приложений, включая локальный запуск через llama.cpp и системы с ограниченными ресурсами. Модель содержит 14 миллиардов параметров и работает с текстом; в карточке указана поддержка английского языка. Доступны варианты BF16 и F16, а также квантизованные версии Q4_K, Q4_K_S, Q6_K и Q8_0. Более точные варианты требуют больше памяти, тогда как Q4_K и Q4_K_S подходят для CPU и устройств с небольшим объёмом памяти, но могут уступать по точности. Указанный размер контекста и дополнительные модальности не приведены. Основные преимущества — широкий выбор форматов для разных аппаратных конфигураций и возможность локального инференса с уменьшенным потреблением памяти. Ограничения включают компромисс между качеством и требованиями к памяти при квантизации, а также отсутствие в README подробных данных о производительности, бенчмарках и поддерживаемых языках помимо английского. Модель распространяется по лицензии Apache-2.0.

bamec66557/Qwen-2.5-14B-MINUS — объединённая методом SLERP модель на архитектуре Qwen2, созданная с помощью mergekit из sometimesanotion/Qwen2.5-14B-Vimarckoso-v3 и djuna/Q2.5-Veltha-14B. Это плотная языковая модель с 14 млрд параметров для диалоговой генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации ответов в диалоге и других задач генерации текста. Заявленная длина контекста — 131 072 токена. Сведения о поддерживаемых естественных языках и специализированных областях в предоставленных данных отсутствуют. Условия лицензии в карточке не приведены.

RedHatAI/Qwen2.5-1.5B-quantized.w8a8 — квантизированная версия языковой модели Qwen2.5-1.5B, разработанная Neural Magic. Модель предназначена для генерации текста и ассистентских диалогов, включая коммерческое и исследовательское применение на нескольких языках. На вход принимает текст и возвращает текст; заявленный язык — английский. Архитектура — Qwen2, размер — 1,5 млрд параметров. Модель использует INT8-квантизацию весов и активаций, что примерно на 50% снижает требования к видеопамяти и размер диска, а также может примерно вдвое увеличить производительность матричных умножений. Квантизуются линейные операторы в трансформерных блоках: веса — статически по каналам, активации — динамически для каждого токена. Для эффективного развертывания рекомендуется vLLM; в README указан контекст до 8192 токенов. По среднему результату OpenLLM Leaderboard модель набрала 58,34 против 58,48 у неквантизированной версии, сохранив 99,8% исходного результата. Ограничениями являются снижение точности по отдельным задачам и отсутствие в предоставленных данных подробной информации о поддерживаемых языках, безопасности, специализированных доменах и качестве за пределами указанных бенчмарков. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимое законодательство и нормативные требования.

MaziyarPanahi/Qwen2.5-32B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-32B-Instruct, разработанной командой Qwen. Квантованную версию подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, поддерживающих исходную instruct-модель. Модель имеет размер 32B параметров и относится к текстовым моделям. В репозитории представлены варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между качеством, потреблением памяти и скоростью работы. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другими совместимыми инструментами, включая варианты с GPU-ускорением и OpenAI-совместимыми API. Сильными сторонами являются широкий выбор уровней квантования и совместимость с популярной экосистемой локального инференса. README не содержит сведений о поддерживаемых языках, размере контекста, точной архитектуре, результатах оценки или ограничениях исходной модели. Лицензия в предоставленных данных не указана, поэтому условия использования необходимо уточнять в документации Qwen2.5-32B-Instruct и данного репозитория.

Qwen2.5-72B-0.6x-Instruct-GGUF — набор GGUF-квантизированных версий инструкционной языковой модели Qwen2.5-72B-0.6x-Instruct. Квантизацию выполнил bartowski с использованием llama.cpp b4058 и метода imatrix. Модель предназначена для текстовой генерации и диалоговых сценариев, включая работу в LM Studio; README указывает английский язык и формат чата с системными и пользовательскими сообщениями. Доступны варианты квантизации от Q8_0 размером 77,26 ГБ до IQ1_M размером 25,49 ГБ. Версии Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендованные благодаря хорошему соотношению качества и размера, при этом более сильная квантизация уменьшает требования к памяти, но может снижать качество ответов. Q3 и Q2-варианты рассчитаны на системы с ограниченным объёмом RAM и характеризуются более низким качеством. Некоторые форматы оптимизированы для ARM и AVX, а Q4_0_8_8 требует поддержки SVE на ARM и не рекомендуется для Mac. Модель использует лицензию Qwen; ссылка на текст лицензии ведёт к лицензии исходной модели Qwen2.5-72B-Instruct. В README не указаны архитектурные детали, размер контекстного окна, полный список поддерживаемых языков, мультимодальные возможности и результаты бенчмарков, поэтому эти характеристики нельзя надёжно определить по предоставленным данным.

BenevolenceMessiah/Qwen2.5-72B-Instruct-abliterated-2x-TIES-v1.0 — объединённая модель на базе семейства Qwen2.5, созданная с помощью mergekit методом TIES. В качестве базовой использована huihui-ai/Qwen2.5-72B-Instruct-abliterated; в объединение также вошли Rombos-LLM-V2.5-Qwen-72b и Dracarys2-72B-Instruct. Модель предназначена для диалогов и генерации текста. Это плотная причинно-языковая архитектура Qwen2 с 71,5 млрд параметров и контекстом до 32 768 токенов; работает через Transformers и распространяется в формате safetensors. Метаданные указывают интерфейс вызова инструментов, однако README не описывает его поведение и надёжность. Изменённое поведение отказов унаследовано от базовой abliterated-модели согласно описанию каталога. README не сообщает результатов оценки качества или конкретных ограничений. Лицензия в предоставленных данных не указана.

Карточка модели jeffmeloy/Qwen2.5-7B-olm-v1.1 на Hugging Face совпадает с карточкой jeffmeloy/Qwen2.5-7B-olm-v1.0, поэтому описание составлено по ней. jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

Карточка модели jeffmeloy/Qwen2.5-7B-olm-v1.4 на Hugging Face совпадает с карточкой jeffmeloy/Qwen2.5-7B-olm-v1.0, поэтому описание составлено по ней. jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

Qwen2.5-7B-Stair_FS4 — полноразмерно дообученная SardineLab модель на базе Qwen/Qwen2.5-7B-Instruct для многоязычного перевода частей документов с учётом контекста предыдущих частей. Она использует плотную архитектуру Qwen2 и принимает контекст отдельными блоками: для каждой позиции в четырёхчастном документе доступны от нуля до трёх предшествующих частей. При обучении документы сегментировали в диапазоне 256–512 токенов и объединяли в группы по четыре части; максимальная длина последовательности — 32 768 токенов, размер модели — 7,1 млрд параметров. Модель предназначена для перевода между английским и немецким, испанским, французским, итальянским, корейским, нидерландским, португальским, русским и китайским языками, в обоих направлениях. Контекстная схема ориентирована на сохранение согласованности перевода на уровне документа. Для воспроизведения обработки и настроек оценки авторы отсылают к коду и статье Doc2FRC; рекомендуется соблюдать предложенный формат из четырёх частей и передавать контекстные блоки в хронологическом порядке. Модель опубликована в формате PyTorch и распространяется по лицензии Apache-2.0.

Это экспериментальный чекпойнт компактной языковой модели Qwen2.5-1.5B-Instruct, дообученный командой huggingFacing методом дистилляции знаний из Qwen2.5-7B-Instruct. Он относится к абляционной серии для метода LiftKD: вариант использует разрывный gate и статические веса влияния Head и Top на уровне эпохи. Модель предназначена для генерации текста и диалоговых ответов; её можно применять для инструктивного общения и создания структурированных ответов. Архитектура — плотная Qwen2ForCausalLM с 1,5 млрд параметров, контекстное окно — до 32 768 токенов; репозиторий содержит веса SafeTensors для Transformers. Дообучение выполнено на 96 000 примерах и отдельном контроллерном наборе из 2 000 примеров, с 1 500 шагами оптимизации.

Qwen2.5-95B-Instruct — плотная языковая модель для генерации текста и диалогов, созданная ssmits как self-merge модели Qwen/Qwen2.5-72B-Instruct с помощью MergeKit. Веса собраны методом passthrough из диапазонов слоёв исходной модели; модель содержит 93,4 млрд параметров и опубликована в формате safetensors. Метаданные указывают контекст 32 768 токенов и интерфейс чата с поддержкой вызова инструментов. Модель предназначена для диалогов, генерации текстов, творческого письма, математических и пространственных рассуждений. Автор README сообщает об улучшениях на отдельных задачах относительно Qwen2.5-72B-Instruct, но также отмечает, что исходная модель превосходит её во многих общих языковых и рассуждательных сценариях. Оценка модели пока ограничена, поэтому результаты на конкретной задаче следует проверять отдельно. Карточка указывает лицензию other, без уточнения её условий. README описывает шаблон чата Qwen и заявляет окно контекста 128K, тогда как метаданные Hugging Face указывают native context 32 768 токенов; фактическое поддерживаемое окно следует сверять с конфигурацией и используемым ПО.

Qwen2.5-Coder-0.5B-Instruct-Gensyn-Swarm-gregarious_mottled_gorilla — компактная инструкционная языковая модель для генерации текста и кода, опубликованная в формате, совместимом с библиотекой Transformers. По идентификатору модель относится к семейству Qwen2.5-Coder и имеет около 494 млн параметров; в метаданных она отмечена как text-generation и связана с проектами Gensyn, RL Swarm, GenRL Swarm и методом GRPO. Модель предназначена для генерации ответов на текстовые запросы, включая создание и дополнение программного кода, объяснение кода и другие сценарии, поддерживаемые инструкционным режимом. Заявленное нативное контекстное окно составляет 32 768 токенов, что позволяет обрабатывать достаточно длинные запросы и фрагменты исходного кода. README не содержит подтверждённых сведений о разработчике, языках, обучающих данных, результатах оценки, архитектурных деталях и лицензии. Поэтому возможности модели, качество генерации, фактическая языковая поддержка и условия распространения следует проверять отдельно перед использованием в продуктивных системах.

Qwen2.5-Coder-1.5B-Instruct-GGUF — это квантизированный формат GGUF модели Qwen2.5-Coder-1.5B-Instruct, разработанной Qwen и подготовленной пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации и анализа программного кода, чат-взаимодействия и других задач текстовой генерации, связанных с разработкой программного обеспечения. Указан английский язык, а исходная модель доступна через библиотеку Transformers. Модель содержит 1,5 млрд параметров и распространяется в нескольких вариантах точности, включая F16, Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-квантизации. Размер файлов составляет примерно от 0,78 до 3,09 ГБ, поэтому доступны варианты для систем с разным объёмом оперативной памяти. В README не указаны архитектурные детали, размер контекста и дополнительные модальности; по описанию это текстовая модель без заявленной поддержки изображений или других типов входных данных. Основное преимущество набора — локальный запуск через llama.cpp и совместимость с LM Studio при существенно сниженном потреблении памяти. Варианты с более высокой точностью обеспечивают лучшее качество, а низкоразрядные квантизации экономят ресурсы, но могут заметно снижать качество генерации; устаревший формат Q4_0 не рекомендуется по сравнению с альтернативами сопоставимого размера. Для общения следует использовать указанный в README шаблон сообщений ChatML. Лицензия — Apache-2.0.

stefancosma/Qwen3-14B-Instruct-Q4_K_M-GGUF — это квантованная версия языковой модели OpenPipe/Qwen3-14B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и проекта GGUF-my-repo. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp в режиме командной строки или серверном режиме. Модель содержит около 14 миллиардов параметров и использует квантование Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерными весами, но может сопровождаться некоторой потерей точности. Это текстовая модель без заявленной поддержки изображений или других модальностей. В README не указаны поддерживаемые языки, максимальная длина контекста, результаты оценивания или специализированные сценарии применения. Для работы требуется совместимое окружение llama.cpp; поддерживаются запуск через CLI и сервер, а также аппаратные варианты сборки, включая CUDA для GPU Nvidia. Модель распространяется по лицензии Apache 2.0. Подробные характеристики и ограничения исходной модели следует уточнять в карточке OpenPipe/Qwen3-14B-Instruct.

mlx-community/Qwen3-235B-A22B-Instruct-2507-8bit — это 8-битная версия модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen и преобразованной сообществом mlx-community в формат MLX с использованием mlx-lm 0.26.0. Модель предназначена для генерации текста и работы в диалоговом формате через chat template, если он доступен в токенизаторе. Модель ориентирована на задачи инструкционного следования и текстовой генерации, включая ответы на пользовательские запросы и другие сценарии, поддерживаемые исходной моделью Qwen3. Из доступных данных известны размерная маркировка 235B-A22B и 8-битное представление, однако сведения об архитектуре, фактически активируемом числе параметров, языках, максимальном контексте, производительности и системных требованиях не приведены. Лицензия — Apache 2.0. README не содержит результатов тестирования и подробностей об ограничениях или рекомендуемых сценариях эксплуатации.

Qwen3-235B-A22B-Instruct-2507-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование в формате MLX выполнила команда LM Studio с использованием mlx_lm; модель оптимизирована для запуска на компьютерах Apple Silicon. Модель предназначена для генерации текста и выполнения задач по инструкциям. README не содержит подробностей о поддерживаемых языках, размере контекста, точной архитектуре, мультимодальности или специализированных сценариях применения. Известно, что квантование снижает требования к памяти по сравнению с исходной моделью, а формат MLX ориентирован на эффективное выполнение на Apple Silicon. К ограничениям относятся возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей, а также зависимость производительности от оборудования Apple Silicon. Модель распространяется по лицензии Apache-2.0. LM Studio не является создателем исходной модели и не гарантирует её точность, безопасность или соответствие конкретным требованиям.

Qwen3-30B-A3B-Instruct-2507-FP8 — это инструктивная авторегрессионная текстовая модель семейства Qwen3, представленная в репозитории furiosa-ai и предназначенная для запуска на аппаратной платформе FuriosaAI RNGD с использованием Furiosa-LLM. В основе лежит архитектура Mixture-of-Experts (MoE): модель содержит около 30,5 млрд параметров, из которых примерно 3,3 млрд активируются для каждого токена. Модель работает только в режиме non-thinking, поддерживает ввод и вывод текста, а также выпущена под лицензией Apache 2.0. Модель предназначена для следования инструкциям, рассуждений над текстом, многоязычных задач и использования инструментов через function calling. Она поддерживает вызовы инструментов с parser hermes, применяемым в серии Qwen3, и может обслуживаться через OpenAI-совместимый API Furiosa-LLM. Указанный вариант рассчитан на работу с четырьмя картами FuriosaAI RNGD, использующими tensor parallelism с размером 32 processing elements. Веса статически квантизированы в FP8, активации динамически квантизируются в FP8 во время выполнения, а KV-кэш сохраняется в 16-битной точности. Это может снизить требования к памяти и повысить эффективность инференса, но README не содержит данных о размере контекстного окна, поддерживаемых языках, точных показателях качества и производительности, поэтому эти характеристики оценить нельзя. Основное ограничение — привязка описанной конфигурации к Furiosa-LLM и оборудованию FuriosaAI RNGD; для других фреймворков следует обращаться к карточке исходной модели Qwen.