I.12Рекомендации и персонализация

PlumChat — объединённая языковая модель от sequelbox на архитектуре Llama 3.1, созданная методом DARE/DELLA с помощью mergekit на основе meta-llama/Llama-3.1-8B-Instruct и моделей ValiantLabs/Llama3.1-8B-ShiningValiant2 и sequelbox/Llama3.1-8B-MOTH. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для диалогов, следования инструкциям и генерации текста. Её можно использовать для ответов на вопросы, ведения переписки и подготовки текстовых черновиков. Доступны веса в формате safetensors для библиотеки Transformers. Карточка приводит результаты Open LLM Leaderboard, включая среднее значение 13,13 и IFEval 42,43; оценки не гарантируют качество на конкретных задачах. Модель принимает текст и генерирует текст; данных о специально поддерживаемых языках в карточке нет. Унаследованные от Llama 3.1 ограничения и условия распространяются на эту производную модель; лицензия — llama3.1.

tjake/Llama-3.2-1B-Instruct-JQ4 — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Она предназначена для диалогов в формате помощника и агентных сценариев, включая поиск знаний, суммаризацию, помощь при написании текстов и переформулирование запросов. Модель использует авторегрессионную архитектуру Transformer с 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README указано, что модель прошла supervised fine-tuning и обучение с обратной связью от людей; репозиторий содержит веса в формате safetensors. Указанная лицензия — Llama 3.2 Community License, специальное лицензионное соглашение, допускающее коммерческое и исследовательское использование при соблюдении его условий и Acceptable Use Policy. Компактный размер рассчитан, в частности, на запуск в ограниченных средах, включая мобильные устройства. По сравнению с более крупными моделями у неё могут быть слабее качество ответов и профиль безопасности; разработчикам следует проверять пригодность и защитные меры для своего сценария. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года.

kldzj публикует инструкционно настроенную текстовую модель Llama 3.3 Heretic на 69,5 млрд параметров, основанную на meta-llama/Llama-3.1-70B и представленную в формате safetensors для Transformers. Это авторегрессионная плотная модель семейства Llama с архитектурой оптимизированного трансформера; метаданные указывают контекст до 131 072 токенов и режим диалога. Модель принимает и генерирует текст, а семейство предназначено для многоязычных диалогов и генерации текста. Модель подходит для чат-ассистентов, ответов на вопросы, написания и преобразования текста, а также генерации синтетических данных. Карточка семейства перечисляет английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; русский среди поддерживаемых языков не указан. Тег heretic и пометки uncensored/decensored/abliterated указывают на вариант с ослабленными ограничениями отказа, но README не описывает точную процедуру его получения. Лицензия указана как llama3.3 — пользовательская лицензия Meta Llama 3.3 Community License Agreement; перед использованием необходимо соблюдать её условия и Acceptable Use Policy. Как и у других языковых моделей, ответы могут содержать ошибки, а качество и безопасность на языках вне заявленного списка могут быть ниже; интеграция с внешними инструментами требует отдельной настройки.

Карточка модели WariHima/llm-jp-4-33b-thinking на Hugging Face совпадает с карточкой llm-jp/llm-jp-4-33b-thinking, поэтому описание составлено по ней. LLM-jp-4-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов, генерации ответов и решения задач с рассуждением на японском и английском языках; поддерживает интерфейс вызова инструментов. Модель содержит 32,2 млрд параметров, имеет 64 слоя и контекст до 65 536 токенов. Она обучалась на этапах предварительного и промежуточного обучения на 11,7 трлн токенов, затем прошла SFT и выравнивание DPO без обучения с подкреплением. Доступна в формате Safetensors для Transformers, лицензия — Apache-2.0. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Для корректной работы следует использовать приложенный токенизатор: он отличается от предположений библиотеки openai-harmony, несмотря на совместимость шаблона диалога с Harmony.

Matter-0.2-32B — разговорная языковая модель, созданная 0-hero как дообучение Qwen 32B на наборе Matter 0.2. Набор сформирован из более чем 35 датасетов и включает свыше 6 млрд токенов. Модель использует архитектуру Qwen2 с плотной causal language model, содержит 31,7 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалоговых ответов и генерации текста. Она использует формат запросов ChatML и поддерживает интерфейс вызова функций, что позволяет подключать её к инструментам и прикладным системам. В метаданных указан английский язык. Модель распространяется под лицензией Apache-2.0. Карточка рекомендует системную инструкцию «You are a helpful assistant»; качество и безопасность ответов зависят от запроса и приложения, поэтому результаты следует проверять при использовании в критически важных сценариях.

Merlinite-7B-Lab — диалоговая языковая модель IBM Research на архитектуре Mistral, дообученная методом LAB на синтетических данных, созданных с помощью Mixtral-8x7B-Instruct. Модель насчитывает 7,1 млрд параметров, принимает текст и генерирует текст; её контекстное окно — 32 768 токенов. Основной язык — английский. Модель предназначена для диалогов и выполнения разнообразных инструкций: ответов на вопросы, рассуждений, творческого письма и задач на знания и навыки. Метод LAB использует таксономию примеров для генерации обучающих данных и поэтапное обучение с буферами повторного воспроизведения, чтобы добавлять знания и навыки к базовой модели. Модель распространяется по лицензии Apache 2.0. В README отмечено, что модель не проходила выравнивание по человеческим предпочтениям и может выдавать проблемные или вымышленные ответы. Рекомендуется использовать системный промпт, применённый при обучении; модель не следует считать единственным источником для важных решений.

Карточка модели SillyTilly/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

MetaMath-Tulpar-7b-v2-Slerp-Mistral-7B-Instruct-v0.2-slerp — объединённая диалоговая модель на архитектуре Mistral, созданная методом SLERP из mistralai/Mistral-7B-Instruct-v0.2 и Weyaxi/MetaMath-Tulpar-7b-v2-Slerp. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и ответов на инструкции в диалоговом формате. Контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст; метаданные указывают на диалоговые возможности. Лицензия — Apache-2.0. В карточке не приведены оценки качества или отдельные ограничения, поэтому пригодность для конкретных сценариев стоит проверять на собственных примерах.

Mini_synatra_7b_03-Mistral-7B-Instruct-v0.1 — чат-модель MaziyarPanahi, созданная слиянием SLERP модели Mistral-7B-Instruct-v0.1 и Minirecord/Mini_synatra_7b_03. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и ответов на диалоговые запросы. В метаданных указан контекст длиной до 32 768 токенов. Модель подходит для интерактивного чата и генерации ответов по текстовым инструкциям. Репозиторий содержит веса в формате safetensors. Язык модели отдельно не указан. Лицензия — Apache-2.0.

MaziyarPanahi/Mistral-7B-Instruct-v0.2 — инструктивно дообученная версия языковой модели Mistral-7B-v0.2, опубликованная Maziyar Panahi на основе модели Mistral AI. Это плотная авторегрессионная модель архитектуры Mistral с 7,1 млрд параметров, рассчитанная на диалог и выполнение инструкций. Она принимает текстовые запросы в формате Mistral Instruct и генерирует текстовые ответы; поддерживает контекст до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы, создания и редактирования текстов и других сценариев генерации текста. В README говорится, что версия Instruct служит демонстрацией возможностей дообучения базовой модели. Карточка предупреждает, что у модели нет встроенных механизмов модерации, поэтому сгенерированные ответы могут требовать дополнительной проверки. Модель распространяется под лицензией Apache-2.0.

Kaoeiri/Mistral-magnum-v4_X_Cydonia-VXXX_Mixture-D — объединённая автором модель для диалогов и генерации текста. Она создана с помощью mergekit методом SLERP из Kaoeiri/Mistral-magnum-v4_X_Cydonia-VXXX_Mixture-C и nbeerbower/Mistral-Small-Drummer-22B. Архитектура — плотная MistralForCausalLM, размер — 22 млрд параметров; модель работает с текстом и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогового общения и генерации текста. Метаданные указывают на интерфейс вызова инструментов, однако подробности его использования в карточке не описаны. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Это BF16-версия модели Kimi-K2-Thinking, подготовленная автором DevQuasar-2 из исходной INT4-модели moonshotai/Kimi-K2-Thinking с помощью собственного скрипта деквантизации, вдохновлённого скриптом для DeepSeek V3. В метаданных архитектура обозначена как dense, с классом DeepseekV3ForCausalLM; заявлено 37,9 млрд параметров и контекст до 262 144 токенов. Модель предназначена для диалоговой генерации текста.

TeichAI/Nemotron-Cascade-14B-Thinking-Claude-4.5-Opus-High-Reasoning-Distill — дообученная TeichAI языковая модель на архитектуре Qwen3, основанная на nvidia/Nemotron-Cascade-14B-Thinking. Модель содержит 14 млрд параметров, принимает текст и предназначена для генерации текста и диалогов, включая задачи рассуждения. Обучение выполнено с использованием Unsloth и библиотеки Hugging Face TRL; веса доступны в формате safetensors. Модель поддерживает английский язык и контекст до 32 768 токенов. В метаданных также указаны интерфейс вызова инструментов и обучающий набор TeichAI/claude-4.5-opus-high-reasoning-250x. Лицензия — Apache-2.0. Подробные оценки качества и конкретные ограничения в карточке не описаны.

Это GGUF-квантизированная версия языковой модели NVIDIA Nemotron-3-Super-120B-A12B, разработанной NVIDIA и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Доступны варианты квантования Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и Q3_K с размером файлов примерно от 64,65 до 128,47 ГБ; более высокие уровни квантования обычно обеспечивают лучшее качество, но требуют больше памяти. Для запуска может потребоваться актуальная версия используемого программного обеспечения с поддержкой модели. В основе лежит NVIDIA-Nemotron-3-Super-120B-A12B-BF16; по метаданным модель использует архитектурные подходы Latent MoE и MTP, однако точные параметры архитектуры и размер контекста в README не указаны. Заявлены английский, французский, испанский, итальянский, немецкий, японский и китайский языки. Сильной стороной является возможность локального инференса в различных форматах GGUF и выбора компромисса между качеством и требованиями к памяти; ограничениями остаются очень большой объём файлов, высокие требования к оперативной или видеопамяти и возможное снижение качества на низких уровнях квантования. Лицензия указана как NVIDIA Open Model License; условия следует уточнять по официальной лицензии NVIDIA.

Это GGUF-квантизированная версия языковой модели OpenReasoning-Nemotron-14B, разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет размер 14 миллиардов параметров; README не сообщает точную архитектуру, поддерживаемые языки и размер контекстного окна. Доступны варианты от полноточного BF16 до более компактных форматов Q8, Q6, Q5, Q4, Q3 и IQ. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но сильнее теряют в качестве. Для большинства сценариев рекомендуются варианты Q4_K_M, Q5_K_M, Q6_K и Q6_K_L; Q4_1 и Q4_0 используют устаревший формат, но могут быть полезны на некоторых CPU и Apple silicon. Сильная сторона этой версии — широкий выбор квантизаций для локального запуска на оборудовании с разным объёмом памяти. Ограничения связаны с неизбежной потерей качества при низких уровнях квантизации, а также с отсутствием в README подробностей о возможностях исходной модели, языках и контекстном окне. Лицензия в предоставленных данных не указана.

openbuddy-mistral-7b-v13-base-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral, созданная слиянием Mistral-7B-Instruct-v0.1 и OpenBuddy/openbuddy-mistral-7b-v13-base методом SLERP. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы. В метаданных перечислены китайский, английский, французский, немецкий, японский, корейский, итальянский и русский языки. Лицензия — Apache-2.0. Карточка не приводит оценок качества или подробностей об ограничениях; фактическое качество может зависеть от языка и сценария использования.

pankajmathur выпустил Orca Mini v8.0 — дообученную диалоговую модель на архитектуре Llama 3.3 с 69,5 млрд параметров. Она предназначена для генерации текста и ответов в формате беседы; карточка показывает пример системного промпта для AI-ассистента. Модель работает через Transformers, веса представлены в формате Safetensors, а максимальный контекст составляет 131 072 токена. Модель подходит для создания диалоговых ассистентов, ответов на вопросы и других сценариев генерации текста. Базовая Llama 3.3 поддерживает английский, французский, немецкий, хинди, итальянский, португальский, испанский и тайский; качество дообученной версии отдельно не описано. Как и другие большие языковые модели, она может выдавать неточные, предвзятые или нежелательные ответы, поэтому перед применением требуется проверка безопасности для конкретного сценария. Лицензия — Llama 3.3.

Panoramix-7B-Instruct-v0.2 — текстовая инструктивная модель на архитектуре Mistral, созданная zelus82 с помощью mergekit. Это слияние mlabonne/NeuralHermes-2.5-Mistral-7B и zelus82/Falbala-B7 методом passthrough; репозиторий содержит веса Safetensors. Модель предназначена для генерации текста по инструкциям и диалоговых сценариев. Размер составляет 8,9 млрд параметров, длина контекста — 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0. Карточка не сообщает о специальных предметных областях или подтверждённых ограничениях качества.

pastiche-crown-clown-7B-dare — объединённая модель семейства Mistral, созданная с помощью mergekit из четырёх моделей: bardsai/jaskier-7b-dpo-v5.6, mlabonne/AlphaMonarch-7B, mlabonne/NeuralMonarch-7B и macadeliccc/MBX-7B-v3-DPO. Для слияния использован метод DARE TIES; итоговые веса сохранены в формате safetensors и имеют тип bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста, в том числе диалогов, ответов на инструкции и рассуждений, унаследованных от базовых моделей. Она может применяться в чат-ботах и для генерации текста по запросу. Репозиторий распространяется по лицензии Apache-2.0. README не приводит сравнительных оценок качества или специализированных ограничений; результаты могут зависеть от запроса и сценария использования.

Porpoise-6b-instruct — языковая модель NewstaR, дообученная на базе DeciLM-6b-instruct на наборе Dolphin GPT4 Dataset. Это плотная модель семейства LLaMA с архитектурой DeciLMForCausalLM и 6,6 млрд параметров; она предназначена для генерации текста и выполнения инструкций в диалоговых и других текстовых сценариях. Для запуска через Transformers в карточке указана настройка naive_attention_prefill=true. Модель принимает текст и генерирует текст. Контекст составляет 4096 токенов. В метаданных также перечислены OpenOrca, SlimPajama-627B и ehartford/dolphin. Карточка не сообщает о специализированной предметной области или известных ограничениях качества. Лицензия в предоставленных данных не указана.

prototype-128x03 — языковая модель, созданная разработчиком shamwowzer слиянием предварительно обученных моделей при помощи mergekit. В слиянии использованы /workspace/modeler/Behemoth и /workspace/mistral-text-only; последняя указана базовой моделью. Применён метод Multi-SLERP, итоговые веса сохранены в формате safetensors с точностью bfloat16. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 123,4 млрд параметров. Она предназначена для генерации текста и диалогового общения; максимальный контекст составляет 262 144 токена. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

QandoraExp-7B — языковая модель для генерации текста, созданная bunnycore с помощью слияния нескольких предварительно обученных моделей методом Della через mergekit. В качестве базовой использована Qwen/Qwen2.5-7B; в слияние также вошли Etherll/Qwen2.5-7B-della-test, jeffmeloy/Qwen2.5-7B-nerd-uncensored-v1.0 и fblgit/cybertron-v4-qw7B-MGS. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и имеет контекстное окно до 131 072 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Модель предназначена для диалоговой генерации текста и предоставляет интерфейс для вызова инструментов. В README приведены результаты оценок Open LLM Leaderboard: среднее значение 28,51, IFEval — 75,09 и BBH — 35,92. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя. Результаты приведённых оценок не гарантируют качество на конкретных задачах; также карточка не описывает отдельные ограничения модели.

Quyen-Plus-v0.1 — диалоговая языковая модель серии Quyen, разработанной авторами модели на основе семейства Qwen1.5. Это плотная авторегрессионная модель архитектуры Qwen2ForCausalLM примерно с 7,1 млрд параметров и контекстом до 32 768 токенов. Она принимает текст и генерирует текст, используя шаблон диалога ChatML. Модель предназначена для диалоговых ответов и помощи с текстовыми запросами. Серия Quyen обучалась с использованием SFT и DPO на наборах OpenHermes-2.5, Capybara, Orca DPO и distilabel-capybara-dpo, а также на закрытых данных. В карточке приведены отдельные результаты тестов, но полный набор результатов и бенчмарков не представлен. В метаданных указана лицензия other, поэтому конкретные условия использования следует сверить с лицензией и файлами репозитория. Модель опубликована в формате Safetensors и доступна через Transformers.

Qwable-v1-Qwen3.6-35B-A3B-abliterated — мультимодальная производная модель, опубликованная пользователем eggdog100 на основе lordx64/Qwable-v1. Она предназначена для генерации текста и обработки изображений с текстовыми инструкциями, включая сценарии, где требуется сниженное количество отказов. Модель относится к семейству Qwen3.6-35B-A3B и использует архитектуру Mixture-of-Experts: 35 млрд параметров всего, около 3 млрд активных на токен, 256 экспертов и 40 слоёв. В архитектуре применяются гибридное линейное внимание Gated-DeltaNet и отдельная vision tower, сохранённая без изменений. Точный размер контекста и перечень поддерживаемых языков в карточке не указаны. Это версия v2, полностью пересобранная после проблем с предыдущей версией, которая страдала от повторов и бессвязной генерации. Для подавления отказов изменялись выходные проекции внимания attn.o_proj; маршрутизатор MoE, эксперты, слои Gated-DeltaNet и vision tower не редактировались. В заявленных тестах модель показала 1 отказ из 100 adversarial-запросов без reasoning и 1 из 94 при включённом reasoning, при этом зафиксировано ноль случаев коллапса генерации. На MMLU-Pro результат составил 78,9, на GSM8K — около 95, однако показатели зависят от настроек и оборудования, а часть бенчмарков не проводилась. К сильным сторонам относятся мультимодальность, сохранённая визуальная часть, разреженная MoE-архитектура с низким числом активных параметров и существенно сниженная склонность к отказам. Ограничения включают потенциально ослабленные защитные механизмы, отсутствие подробных данных о контексте и языковой поддержке, а также неполные результаты оценки. Модель распространяется по лицензии AGPL-3.0.

mlx-community/Qwen2.5-14B-Instruct-1M-bf16 — преобразованная в формат MLX версия модели Qwen/Qwen2.5-14B-Instruct-1M, подготовленная сообществом mlx-community с помощью mlx-lm 0.21.1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 14 млрд параметров, предназначенная для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Контекст модели достигает 1 010 000 токенов, что позволяет работать с очень длинными текстами. Модель поддерживает английский язык; данные карточки не подтверждают поддержку других языков. Репозиторий содержит веса в формате safetensors и предназначен для использования с MLX. Лицензия Apache-2.0 допускает коммерческое использование при соблюдении её условий. Это преобразование базовой модели в другой формат, а не отдельное дообучение; фактическая производительность зависит от оборудования и используемой конфигурации MLX.

EasierAI/Qwen-2.5-32B — это GGUF-квантизированная версия Qwen2.5-32B-Instruct, предназначенная для генерации текста и диалогового взаимодействия. Исходная модель разработана командой Qwen, а представленные квантизации подготовлены bartowski с использованием llama.cpp и imatrix. Модель ориентирована на чат, локальный запуск и другие сценарии текстовой генерации, включая использование в LM Studio. В README указано, что модель поддерживает китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский языки. Размер исходной модели составляет 32B параметров; доступны варианты от F16 до IQ3 и Q3-квантизаций с объёмом файлов примерно от 13,71 до 65,54 ГБ. Более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. Точная архитектура и максимальная длина контекста в README не указаны; отмечено лишь обновление настроек контекста и токенизатора. Сильными сторонами являются многоязычность, широкий выбор квантизаций и возможность локального инференса, включая варианты, оптимизированные для ARM. Ограничения связаны с компромиссом между качеством и требованиями к памяти при использовании низкоразрядных вариантов, а также с отсутствием в описании результатов тестирования и точных характеристик производительности. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Qwen2.5-7B-Instruct-GGUF — это набор файлов модели в формате GGUF для Qwen2.5-7B-Instruct, разработанной командой Qwen. Квантованные версии опубликованы пользователем MaziyarPanahi и предназначены для локального запуска задач генерации текста, включая диалоговое взаимодействие и другие сценарии применения instruction-tuned модели. Модель содержит варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти и качеством генерации. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, Faraday.dev, candle и ctransformers. В README не указаны архитектурные детали, объём контекста, поддерживаемые языки, модальности, результаты оценивания или конкретные ограничения качества. Лицензия в предоставленных данных не указана. Для использования необходимо учитывать условия лицензии исходной модели Qwen2.5-7B-Instruct и правила распространения опубликованных квантованных файлов.

Theros/Qwen2.5-ColdBrew-R1-test5 — объединённая языковая модель, созданная с помощью mergekit методом SLERP из Theros/Qwen2.5-ColdBrew-R1-test3 и bunnycore/Qwen-2.5-7B-Stock-Deep-Bespoke-v2. Модель разработана для диалогов и генерации текста; её архитектура — плотная Qwen2, размер — 7,1 млрд параметров, а родной контекст составляет 131 072 токена. Репозиторий содержит веса в формате safetensors и предназначен для использования с библиотекой Transformers. Модель подходит для ведения диалогов и генерации текста с длинным контекстом. В карточке не приведены сведения о языках, лицензии и специальных прикладных областях, поэтому их нельзя уточнить. Качество и поведение объединённой модели зависят от исходных моделей; отдельные ограничения в карточке не описаны.

Qwen3-235B-A22B-Instruct-2507-MLX-6bit — это 6-битная квантованная версия текстовой instruct-модели Qwen3-235B-A22B-Instruct-2507, разработанной командой Qwen. Квантование выполнено командой LM Studio с использованием MLX и предназначено для оптимизированного запуска на компьютерах с Apple Silicon. Модель распространяется как community-модель LM Studio и основана на оригинальной модели Qwen/Qwen3-235B-A22B-Instruct-2507. Модель предназначена для генерации текста и выполнения инструкций, однако README не содержит подробностей о поддерживаемых языках, размере контекста, архитектуре, модальностях и конкретных сценариях применения. Квантование снижает требования к памяти по сравнению с полноразмерной версией, но может влиять на точность и качество ответов; кроме того, вариант ориентирован прежде всего на экосистему Apple Silicon. Модель предоставляется по лицензии Apache-2.0. Как и другие генеративные модели, она может создавать неточные, вредные или вводящие в заблуждение материалы, поэтому результаты требуют проверки.

Qwen3.6-35B-A3B-VQ-3.8bpw — векторно-квантизированная сборка базовой модели Qwen/Qwen3.6-35B-A3B, опубликованная TheDrainFlorist для Apple Silicon. Модель предназначена для генерации текста и мультимодальных сценариев с изображениями; поддерживает запуск через MLX, mlx-lm и mlx-vlm. В README указан английский язык. Архитектура включает MoE с 35 млрд параметров и активной частью около 3 млрд параметров, а также vision tower; точный размер контекста не указан. Модель занимает около 15,7 GiB и использует равномерное vector quantization экспертных слоёв с геометрией d=4, K=8192, 13-битными индексами и fp16 codebook, тогда как неэкспертные тензоры имеют 8-битное представление. По сравнению с bf16-версией она заметно компактнее и демонстрирует меньшее расхождение с эталонным распределением, чем распространённая 4-битная сборка, однако уступает 8-битной по совпадению наиболее вероятных токенов. Скорость именно этого артефакта не измерялась; модель комфортно работает на машинах с 24 ГБ памяти и может запускаться на 16 ГБ при коротком контексте. Для изображений требуется mlx-vlm версии 0.6.16 или новее, а загрузчик должен поддерживать ключ model_file. Лицензия — Apache-2.0.