II.6Документация и сопровождение разработки

Phi-4-Super-1 — слитая языковая модель семейства Phi-4, опубликованная пользователем prithivMLmods. Она объединяет базовую unsloth/phi-4 с несколькими моделями Phi-4, включая варианты для рассуждений, математики, диалогов и вызова функций. Слияние выполнено методом Model Stock с помощью mergekit; модель имеет плотную архитектуру LlamaForCausalLM, около 14,1 млрд параметров и контекст до 16 384 токенов. Модель предназначена для генерации текста и диалогов, в том числе для решения математических задач и пошаговых рассуждений. README также описывает акцент на полезных и безопасных ответах и упоминает обучение SFT и DPO, однако конкретные возможности и качество на задачах не подтверждены оценками. Указана лицензия исходного компонента в предоставленных данных отсутствует.

PhillNet Mini Omni Max — дообученная модель ayjays132 на базе Qwen/Qwen3.5-0.8B, предназначенная для генерации текста и диалогов. Карточка заявляет режимы рассуждения с разной глубиной, генерацию кода, суммаризацию и защиту от атак через внедрение инструкций в недоверенные данные. В метаданных указаны архитектура DendroForCausalLM семейства Dendro Omni с MoE, 375,9 млн параметров, контекст до 1 048 576 токенов и формат safetensors; для работы заявлена библиотека Transformers. README также описывает встроенную генерацию изображений на основе SDXL и создание видеоключевых кадров, однако метаданные подтверждают только задачу text-generation, поэтому эти возможности следует считать заявлениями карточки. В README приведены результаты внутренних тестов защиты и рассуждений, но они не подтверждены независимой оценкой. Модель поддерживает английский язык. Лицензия — Apache-2.0.

Phi-mini-MoE — компактная языковая модель Microsoft для генерации текста и диалогового взаимодействия. Это decoder-only Transformer с архитектурой Mixture of Experts: в README указаны 7,6 млрд параметров всего и 2,4 млрд активных, тогда как метаданные каталога указывают 1,9 млрд параметров; поэтому размер модели в источниках расходится. Модель сжата и дистиллирована из общей базовой модели Phi-3.5-MoE и GRIN-MoE методом SlimMoE, затем дообучена на следование инструкциям и предпочтениям пользователей. Модель предназначена прежде всего для англоязычных общих ассистентов и сценариев с ограничениями по памяти, вычислениям или задержке. Она принимает текстовые запросы в формате чата и генерирует текст; контекст — до 4 тысяч токенов. Обучение охватывало математику, программирование, здравый смысл и общие знания, но карточка не заявляет отдельной специализированной области. Основной язык — английский; другие языки поддерживаются хуже. Модель может ошибаться, выдумывать факты, воспроизводить предубеждения или выдавать оскорбительный контент, поэтому ответы требуют проверки, особенно в чувствительных сценариях. Данные публичных источников имеют срез по октябрь 2023 года. Лицензия — MIT.

PiVoT-0.1-early-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием Mistral-7B-Instruct-v0.2 и PiVoT-0.1-early методом SLERP. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров, предназначенная для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов. Модель может применяться для ведения диалога и генерации ответов на текстовые запросы. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка описывает конфигурацию слияния, но не приводит отдельные оценки качества или подробные ограничения для получившейся модели.

google/pix2struct-base — предварительно обученная модель Pix2Struct, разработанная Google и представленная в экосистеме Hugging Face. Это архитектура «визуальный энкодер — текстовый декодер», обученная преобразовывать изображения в текст; веса предназначены для дообучения под конкретные задачи. Модель рассчитана на визуальное понимание содержимого изображений, включая подписи к изображениям и ответы на вопросы по ним. Предобучение нацелено на разбор замаскированных снимков веб-страниц в упрощённый HTML; подход охватывает сигналы, связанные с OCR и описанием изображений. Вход может иметь переменное разрешение, а языковые подсказки и вопросы могут быть представлены на изображении. Карточка перечисляет документы, иллюстрации, пользовательские интерфейсы и обычные фотографии как области последующего применения. Модель не заявлена как готовая универсальная система: для прикладного сценария требуется дообучение. Репозиторий распространяется по лицензии Apache-2.0.

PLBART-base — базовая предварительно обученная модель UCLA NLP для совместного понимания и генерации кода и связанного с ним естественного языка. Это encoder-decoder Transformer семейства BART, обученный восстанавливать исходные последовательности после внесения шума; метаданные репозитория указывают 95 млн параметров и контекст до 1024 токенов. В исследовательской статье описано обучение на Java, Python и английских текстах из Stack Overflow; модель рассчитана на последующую настройку для задач разработки ПО, включая создание кратких описаний кода, генерацию и перевод кода, исправление программ и классификацию. Для применения к конкретной задаче обычно требуется дообучение: репозиторий представляет базовый чекпойнт, а не готовую специализированную систему. Архитектура принимает и генерирует текстовые последовательности, включая код. Карточка Hugging Face не содержит подтверждённых сведений о лицензии, поэтому условия использования по доступным источникам установить нельзя. В статье отмечено, что для обнаружения уязвимостей графовые модели в проведённых сравнениях показывали лучшие результаты.

Карточка модели sworge/poc-custom-arch на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

PolyLM-Multialpaca — диалоговая модель DAMO-NLP-MT, дообученная на PolyLM-13b на наборах данных PolyLM и Multialpaca. Она предназначена для генерации ответов в многоязычном диалоге и выполнения пользовательских инструкций. Модель использует архитектуру GPT-2 и формат PyTorch; размер контекста — 2048 токенов. Модель унаследовала типичные ограничения языковых моделей: может выдавать галлюцинации и токсичный текст. Перед применением в конкретной системе следует оценить риски безопасности и справедливости. Лицензия — Apache-2.0.

wandb/pruned_mistral — уменьшенная версия языковой модели Mistral, созданная с помощью отбора слоёв исходной модели. Разработчик сообщает, что модель повторно выровнена по рецепту Zephyr и обучена в два этапа: SFT и DPO. В метаданных указаны архитектура MistralForCausalLM, плотная архитектура, 2,7 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового общения. В качестве обучающих данных указаны HuggingFaceH4/ultrachat_200k и HuggingFaceH4/ultrafeedback_binarized. Модель распространяется в формате safetensors через библиотеку Transformers по лицензии Apache-2.0. Карточка не приводит результатов оценивания качества или подробных рекомендаций по использованию; качество ответов и поведение на конкретных задачах следует проверять самостоятельно.

Карточка модели LIF1014/ptdbench-verl-coding-tasks-function-call на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Quyen-Pro-v0.1 — чат-языковая модель серии Quyen, разработанной vilm на основе семейства Qwen. Версия Pro обучена с применением supervised fine-tuning (SFT) и direct preference optimization (DPO); в карточке указаны обучающие наборы OpenHermes-2.5, Capybara, Orca DPO и частные данные. Модель использует архитектуру Qwen2ForCausalLM с плотными весами, содержит 13,4 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста по запросу; для форматирования диалога используется ChatML. Карточка не приводит результатов бенчмарков, поэтому качество для конкретных задач по ней оценить нельзя. Модель опубликована в формате safetensors для Transformers. Лицензия обозначена как other, конкретные условия использования в предоставленных данных не раскрыты.

Qwark-4B — языковая модель на архитектуре Qwen2, опубликованная пользователем qingy2024 и основанная на дообучении Qwen/Qwen2.5-3B. Она предназначена для генерации текста и диалогового взаимодействия; интерфейс модели также поддерживает вызов инструментов. Модель содержит 4,5 млрд параметров и рассчитана на контекст до 32 768 токенов. В метаданных перечислена поддержка китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского языков. Модель размещена в формате safetensors и использует библиотеку Transformers. README не приводит сведений о специальных целевых областях или результатах оценки качества. Условия лицензии в предоставленных данных не указаны.

Карточка модели ArchiveStudio/Qwen2.5-0.5B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen2.5-0.5B-Instruct, поэтому описание составлено по ней. Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

bartowski/Qwen2.5-14B-Instruct-1M-GGUF — это набор GGUF-квантизированных версий языковой модели Qwen2.5-14B-Instruct-1M, разработанной командой Qwen и подготовленной bartowski с использованием llama.cpp и imatrix-квантизации. Модель предназначена для диалоговой генерации текста и других задач text-generation, включая локальное использование через llama.cpp и LM Studio. В README явно указан английский язык; формат взаимодействия предусматривает системные, пользовательские и ассистентские сообщения. Модель содержит 14B параметров и поддерживает контекст размером до 1M токенов согласно идентификатору и названию базовой модели. Доступны варианты от F32 и F16 до Q8_0, Q6, Q5, Q4, Q3 и Q2 с размерами файлов примерно от 6,5 до 59 ГБ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но заметно уступают по качеству; некоторые варианты используют legacy-форматы или оптимизации для CPU и Apple Silicon. Конкретные требования к оборудованию и производительность в README не указаны. Распространение выполняется по лицензии Apache 2.0. Для использования необходимо учитывать значительный объём модели и выбрать подходящий уровень квантизации в зависимости от доступной памяти и требований к качеству.

Qwen2.5-14B-Instruct-IMat-GGUF — это GGUF-квантизированная версия текстовой instruction-модели Qwen2.5-14B-Instruct, первоначально разработанной командой Qwen. Квантизацию выполнил legraphista с использованием llama.cpp и IMatrix-калибровки. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях, совместимых с llama.cpp и форматом GGUF. В метаданных указан английский язык; модальность — текстовая. Модель основана на варианте размером 14B параметров с исходным типом данных BF16. Доступны версии от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K, включая варианты с IMatrix для ряда низкобитных квантизаций. Это позволяет выбирать между качеством, размером файла и требованиями к памяти: размер доступных файлов составляет примерно от 5,77 до 29,55 ГБ. Размер контекста, архитектурные детали и результаты тестирования в README не указаны. К сильным сторонам относятся широкий выбор уровней квантизации, поддержка локального запуска и применение IMatrix в низкобитных вариантах, что может помочь сохранить качество при уменьшении размера модели. Ограничения включают возможную потерю качества из-за квантизации, особенно в наиболее компактных вариантах, а также отсутствие в предоставленных данных подробных бенчмарков и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

CultriX/Qwen2.5-14B-Wernicke-DPO — дообученная компанией CultriX разговорная модель семейства Qwen2 на 14 млрд параметров. Она предназначена для генерации текста в диалоге; при обучении использовались Unsloth и библиотека TRL. Модель принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов и интерфейс вызова инструментов. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка указывает базовую модель CultriX/Qwen2.5-14B-Wernicke и сообщает о дообучении с помощью DPO, однако не приводит результатов оценки качества или подробностей о данных обучения.

Qwen2.5-1.5B-DeepSeek-R1-Instruct — компактная языковая модель на 1,5 млрд параметров, собранная автором prithivMLmods методом TIES с помощью MergeKit. В качестве основы использована Qwen/Qwen2.5-1.5B-Instruct; в слияние также вошли Qwen/Qwen2.5-1.5B и DeepSeek-R1-Distill-Qwen-1.5B. Модель использует архитектуру Qwen2 и доступна в формате Safetensors для библиотеки Transformers. Модель предназначена для диалогов и генерации текста по инструкциям, в том числе для получения структурированных ответов. Контекст составляет до 32 768 токенов. Карточка не описывает отдельную специализацию по предметной области или конкретный набор поддерживаемых языков. Карточка не приводит оценок качества и подробных ограничений, поэтому пригодность модели для конкретных задач следует проверять отдельно. Лицензия в предоставленных данных не указана.

Карточка модели tayaee/Qwen2.5-1.5B-Instruct-ko-Reasoning-alpha-smoke на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

TheRains/Qwen2.5-32B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-32B-Instruct, разработанной командой Qwen. Модель преобразована в формат GGUF с использованием llama.cpp и предназначена для локального запуска через llama.cpp в задачах генерации текста и диалогового взаимодействия. Модель имеет 32 миллиарда параметров в варианте квантизации Q4_K_M. В карточке указана поддержка английского языка и текстовая модальность; сведения о размере контекстного окна и других языках отсутствуют. Модель можно использовать через llama-cli или llama-server, в том числе на совместимом CPU и GPU-оборудовании при соответствующей сборке llama.cpp. Основные преимущества — локальное выполнение, совместимость с экосистемой llama.cpp и уменьшенные требования к памяти по сравнению с полноразмерной версией. Ограничения связаны с квантизацией, а также с отсутствием в карточке подробных данных о качестве, производительности и поддерживаемых сценариях. Лицензия — Apache-2.0.

bunnycore/Qwen-2.5-3b-RP — чат-модель на архитектуре Qwen2, созданная автором репозитория слиянием весов через mergekit методом DARE TIES. В слияние вошли Replete-AI/Replete-LLM-V2.5-Qwen-3b, unsloth/Qwen2.5-3B-Instruct и bunnycore/qwen-2.5-3b-lora_model; в README базовой моделью назван Replete-AI/Replete-LLM-V2.5-Qwen-3b. Модель содержит 3,1 млрд параметров, использует формат safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговой генерации текста и ответов на запросы; метаданные также указывают интерфейс вызова инструментов. Карточка не описывает отдельную специализацию, языковое покрытие или оценку качества. Лицензия в предоставленных данных не указана.

Danleon56/qwen2.5-7b-chioma-sft-merged — разговорная модель генерации текста, разработанная Danleon56 путём дообучения unsloth/Qwen2.5-7B-Instruct-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Модель построена на плотной архитектуре Qwen2 с 7,1 млрд параметров и рассчитана на диалоговое взаимодействие и генерацию текста; метаданные также указывают интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов, основной указанный язык — английский. Модель подходит для чат-ботов и генерации ответов на текстовые запросы. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Карточка не описывает специальную предметную область или ограничения качества, поэтому пригодность для конкретных задач следует оценивать на собственных примерах.

bunnycore создала эту объединённую модель на основе нескольких предварительно обученных языковых моделей с помощью метода Model Stock и инструмента mergekit. В состав вошли Bespoke-Stratos-7B, модели семейств Qwen и DeepSeek, а также другие модели на 7B; архитектура — плотная Qwen2ForCausalLM, размер — 7,1 млрд параметров. Модель доступна в формате safetensors для Transformers и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов. Включённые модели указывают на ориентацию среди прочего на рассуждения, но README не описывает отдельные специализации или гарантии качества; приведённые результаты Open LLM Leaderboard ограничены несколькими метриками. Лицензия в предоставленных данных не указана.

PollardWeights/Qwen2.5-7B-Instruct-Pollard — это квантизированная версия Qwen/Qwen2.5-7B-Instruct, подготовленная PollardWeights с использованием метода Pollard Weights. Модель предназначена для генерации текста и диалоговых сценариев; поддерживает текстовый ввод и использует шаблон ChatML, встроенный в метаданные GGUF. В README указан английский язык. Модель построена на архитектуре qwen2 и содержит примерно 7,6 млрд параметров. Доступны варианты GGUF с разным размером и уровнем сжатия: от Q6_K размером около 6,25 ГБ до IQ1_KT размером около 2,04 ГБ. Квантизация использует измеренное распределение битов по чувствительности слоёв и calibration imatrix. Вариант Q6_K обеспечивает качество, близкое к f16, а IQ4_XS обозначен как рекомендуемый вариант по соотношению размера и качества. Основное преимущество модели — значительное уменьшение требований к памяти при сохранении пригодного качества, что упрощает локальный запуск в llama.cpp, Ollama и LM Studio. При этом более агрессивные варианты квантизации заметнее снижают качество: для IQ1_KT в тесте WikiText-2 perplexity была на 56,7% выше эталона f16. IQ1_KT требует ik_llama.cpp, тогда как Q6_K, IQ4_XS и IQ3_S работают в стандартных сборках llama.cpp. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-Instruct-YS-V2 — дообученная yusikyang инструктивная языковая модель на архитектуре Qwen2, основанная на unsloth/Qwen2.5-7B-Instruct. В репозитории указано, что обучение проводилось с Unsloth и библиотекой Hugging Face TRL; модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, составления текстов и кода, а также выдачи структурированных ответов. Метаданные указывают на интерфейс диалога и tool calling, но карточка не описывает специализированные сценарии или качество этих возможностей. Указанный язык карточки — английский. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или подробностей о данных и целях дообучения, поэтому её преимущества относительно базовой модели не установлены.

Карточка модели jeffmeloy/Qwen2.5-7B-olm-v1.2 на Hugging Face совпадает с карточкой jeffmeloy/Qwen2.5-7B-olm-v1.0, поэтому описание составлено по ней. jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

Карточка модели jeffmeloy/Qwen2.5-7B-olm-v1.3 на Hugging Face совпадает с карточкой jeffmeloy/Qwen2.5-7B-olm-v1.0, поэтому описание составлено по ней. jeffmeloy/Qwen2.5-7B-olm-v1.0 — текстовая модель на архитектуре Qwen2 с 7,1 млрд параметров, основанная на Qwen/Qwen2.5-7B и представленная как результат оптимизированного объединения слоёв. Подход Optimized Layer Merging (OLM) подбирает слои из нескольких языковых моделей, последовательно оценивая варианты на заданных наборах данных по метрикам, включая perplexity и exact match. Модель предназначена для генерации текста и диалогового взаимодействия; заявленный контекст составляет 131 072 токена. Метаданные указывают интерфейс вызова инструментов. В карточке описан метод сборки гибридной модели, но не приведены результаты оценки качества этой конкретной версии или подробности о наборах данных. Распространяется в формате Safetensors по лицензии Apache-2.0.

MaziyarPanahi/Qwen2-7B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2-7B-Instruct, разработанной командой Qwen. Квантизацию и публикацию файлов выполнил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и других сценариях, где требуется инструкционно настроенная языковая модель. Модель основана на Qwen2-7B-Instruct и содержит около 7 миллиардов параметров. Доступны варианты квантизации с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp и рядом совместимых приложений и библиотек, включая llama-cpp-python, LM Studio, text-generation-webui и другие инструменты для локального запуска с возможным ускорением на GPU. Сильными сторонами являются широкий выбор уровней квантизации и совместимость с экосистемой GGUF для локального вывода. Ограничения включают потенциальную потерю качества в более агрессивно квантованных вариантах, а также отсутствие в README сведений о языках, размере контекста, точной архитектуре, исходных данных и результатах тестирования. Лицензия в предоставленных материалах не указана.

Qwen2idae-16x14B-v1.0 — разговорная языковая модель от авторов проекта Parameter-Efficient Sparsity Crafting. Она преобразует плотные модели в разреженную архитектуру Mixture-of-Experts с помощью эффективного дообучения, включая QLoRA и адаптеры. По карточке модели, версия выпущена в марте 2024 года. Модель предназначена для диалогов и инструкций, особенно для задач математики и программирования. В метаданных указаны 13,4 млрд параметров, архитектура Qwen2ForCausalLM типа MoE, контекст до 32 768 токенов и библиотека Transformers; в README заявлено 15 млрд активируемых параметров. Для работы доступны веса Safetensors. Модель поддерживает английский язык. Лицензия — Apache-2.0. README приводит оценки на бенчмарках для серии Camelidae, но не содержит результатов Qwen2idae-16x14B-v1.0, поэтому качество именно этой версии по этим данным оценить нельзя.

RedHatAI/Qwen3-0.6B-quantized.w4a16 — квантизированная версия языковой модели Qwen3-0.6B, разработанная RedHat совместно с Neural Magic. Это авторегрессионная модель архитектуры Qwen3ForCausalLM для генерации текста по текстовому вводу. Модель предназначена для рассуждений, function calling, многоязычного следования инструкциям, перевода и создания специализированных предметных экспертов посредством дообучения. Указанный размер базовой модели — 0,6 млрд параметров. Веса линейных слоёв трансформера сжаты до INT4 с использованием GPTQ, асимметричной поканальной групповой схемы с размером группы 64; параметры сохраняются в формате w4a16. Это примерно на 75% снижает размер на диске и требования к памяти GPU по сравнению с 16-битным представлением весов. В README приведены сценарии оценки с длиной контекста до 40960 токенов, однако точное максимальное контекстное окно модели отдельно не указано. Модель поддерживает только текстовые входы и выходы. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание, в частности через vLLM с OpenAI-совместимым сервером. К ограничениям относятся возможные потери качества из-за INT4-квантизации, а также отсутствие в предоставленных данных подробных результатов оценки, перечня поддерживаемых языков и гарантий качества для конкретных прикладных задач. Модель распространяется по лицензии Apache-2.0; использование не должно нарушать применимые законы и нормативные требования.

MLX-версия модели Qwen3-14B, разработанной командой Qwen и преобразованной сообществом mlx-community из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может применяться в сценариях диалогового взаимодействия и других задачах, требующих текстовой генерации, включая локальный запуск через библиотеку MLX. Модель имеет размер 14 миллиардов параметров и представлена в 8-битном формате квантования. Она работает с текстовой модальностью; поддержка конкретных языков и размер контекстного окна в предоставленных данных не указаны. Для использования предусмотрена библиотека mlx-lm и чат-шаблон токенизатора, если он доступен. К сильным сторонам относятся адаптация к экосистеме MLX и уменьшенный объём хранения и требования к памяти благодаря 8-битному представлению. Ограничения включают зависимость от MLX и отсутствие в README подробных данных о результатах оценки, языковых возможностях и контексте. Модель распространяется по лицензии Apache-2.0.