II.4Отладка, тестирование и качество ПО

Arch-Function-Chat-7B-GGUF — квантизированная GGUF-версия модели Arch-Function-Chat-7B, разработанной katanemo и подготовленной квантизатором bartowski. Модель предназначена для генерации текста и чат-сценариев, включая задачи, связанные с function calling, и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты. Это языковая модель размером 7B параметров с поддержкой английского языка. В репозитории представлены варианты от исходных BF16-весов до квантизаций Q8_0, Q6, Q5, Q4, Q3 и Q2, объёмом примерно от 3,55 до 15,24 ГБ. Для работы следует использовать указанный формат prompt с ролями system, user и assistant. Более качественные варианты требуют больше оперативной памяти, тогда как низкобитные версии экономичнее, но заметно уступают в качестве. Модель ориентирована на локальный запуск и предоставляет широкий выбор компромиссов между качеством, размером и скоростью инференса; в README рекомендуются варианты Q6_K_L, Q6_K, Q5 и Q4_K_M. Архитектура, размер контекстного окна, мультимодальность и дополнительные языки не указаны. Распространение осуществляется по лицензии katanemo-research; подробные условия приведены в LICENSE исходной модели.

Llama-3.1-8B-Magpie-Align-SFT-v0.1 — языковая модель, созданная проектом Magpie-Align путём дообучения Meta Llama 3.1 8B. Для обучения использованы наборы Magpie-Pro-MT-300K-v0.1 и Magpie-Reasoning-150K; модель предназначена для диалогов и выполнения инструкций, включая задачи рассуждения. Она основана на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и имеет контекст длиной до 131 072 токенов. Модель работает с текстом и рассчитана прежде всего на английский язык. Авторы сообщают о результатах, сопоставимых с Llama-3.1-8B-Instruct при обучении только методом SFT; среди приведённых оценок — 24,79 LC и 25,05 WR на Alpaca Eval 2, а также 21,0 на Arena Hard. Для лучшего качества рекомендуется официальный шаблон чата Llama 3. Ограничения включают унаследованные от базовой модели возможные ошибки и ненадёжность ответов; результаты зависят от формулировки запроса. Лицензия — Meta Llama 3.1 Community License для модели; README также указывает на условия Meta Llama 3 Community License для данных.

Это GGUF-сборка модели Llama 3.1 Nemotron 70B Instruct, опубликованная MarsupialAI. Она основана на Meta Llama 3.1 70B Instruct и предназначена для диалоговой генерации текста. В метаданных указана связь с датасетом NVIDIA HelpSteer2; README сообщает, что сборка использует iMatrix, созданную с помощью groups_merged.txt от Kalomaze. Модель можно применять для диалоговых ассистентов, ответов на вопросы и генерации текста на английском и других поддерживаемых языках базовой модели. Репозиторий содержит формат GGUF, подходящий для запуска совместимыми средствами инференса. Размер базовой модели — 70 млрд параметров. Используется лицензия Llama 3.1; перед применением необходимо соблюдать её условия.

amd/Llama-3.2-1B-Instruct-FP8-KV — это FP8-квантизованная версия инструкционной языковой модели Meta Llama-3.2-1B-Instruct, подготовленная Advanced Micro Devices (AMD) с использованием инструмента Quark и калибровочных образцов из датасета Pile. Модель предназначена для выполнения текстовых инструкций и генерации текста; README не содержит сведений о поддерживаемых языках, модальностях и размере контекстного окна. Квантизации подвергнуты все линейные слои, кроме lm_head. Веса, активации и KV-кэш представлены в формате FP8 с симметричным масштабированием на тензор, что ориентировано на эффективное развертывание и инференс. Экспорт выполняется в собственном формате Quark, совместимом с backend vLLM. По данным оценки на Wikitext-2, perplexity составляет 13,4320 против 13,1657 у исходной модели; результаты получены в режиме псевдоквантизации и могут отличаться от показателей при фактическом квантизованном инференсе. Лицензия указана как llama3.2; изменения принадлежат Advanced Micro Devices, Inc. за 2024 год.

MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2 — диалоговая языковая модель, созданная MaziyarPanahi методом DPO дообучения Meta Llama 3 8B Instruct. Модель использует архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Она принимает текстовые сообщения в шаблоне ChatML и генерирует текстовые ответы.

MaziyarPanahi/Llama-3-8B-Instruct-v0.8 — инструктивная разговорная модель семейства Llama 3, разработанная MaziyarPanahi на основе MaziyarPanahi/Llama-3-8B-Instruct-v0.4. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и 7,5 млрд параметров, предназначенная для генерации текста и диалогов. Она принимает текстовые запросы в формате ChatML и рассчитана на контекст до 8192 токенов. Модель подходит для чат-ботов, ответов на вопросы, следования инструкциям и других задач генерации текста. В README приведены результаты оценивания на Open LLM Leaderboard, но они не гарантируют качество на конкретных пользовательских задачах. В метаданных указан английский язык. Модель доступна в формате safetensors; README также ссылается на отдельную сборку GGUF. Лицензия обозначена как other, поэтому условия использования следует уточнить по карточке модели и связанным лицензионным материалам.

Magpie-Align/Llama-3-8B-Magpie-Air-MT-SFT-v0.1 — плотная авторегрессионная языковая модель семейства Llama 3, дообученная на наборе Magpie-Air-MT-300K-v0.1. Модель содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Для диалога рекомендуется использовать официальный шаблон чата Llama 3. Модель предназначена для генерации ответов на инструкции и ведения диалога. Авторы сообщают о результатах, сопоставимых с Llama-3-8B-Instruct на некоторых задачах, и приводят оценки Alpaca Eval 2 и Arena Hard. Модель опубликована в форматах PyTorch и Safetensors и распространяется по лицензии Meta Llama 3 Community License. Она унаследует ограничения базовой Llama 3 и качество данных дообучения; приведённые оценки не гарантируют одинаковую производительность на всех запросах.

Llama-3-Groq-8B-Tool-Use-GGUF — набор GGUF-квантизированных версий модели Llama-3-Groq-8B-Tool-Use, разработанной Groq на базе Llama 3. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста на английском языке, включая сценарии tool use и function calling, где требуется взаимодействие с внешними инструментами или API. Это текстовая модель без заявленной поддержки изображений или других модальностей. Модель содержит около 8 млрд параметров и распространяется в вариантах от F32 до Q2_K и IQ2_M с размером файлов примерно от 2,95 до 32,13 ГБ. Доступны различные уровни квантизации, включая рекомендуемые Q4, Q5 и Q6, позволяющие выбирать баланс между качеством и требованиями к оперативной памяти. Для запуска предлагается использовать llama.cpp или LM Studio; README также указывает специальный формат промпта с ролями system, user и assistant и служебными токенами Llama 3. Размер контекста в предоставленных данных не указан. Сильными сторонами являются специализация на использовании инструментов, широкий выбор квантизированных вариантов и возможность локального запуска. Более агрессивная квантизация уменьшает требования к памяти, но может снижать качество ответов; варианты с низким битрейтом прямо характеризуются как низкокачественные или не рекомендуемые. Лицензия указана как llama3.

QuantFactory/Llama-3-Instruct-8B-SPPO-Iter3-GGUF — квантизированная версия языковой модели UCLA-AGI/Llama-3-Instruct-8B-SPPO-Iter3, созданная с использованием llama.cpp. Модель разработана на основе архитектуры Meta Llama 3 8B Instruct и обучена методом Self-Play Preference Optimization на синтетических ответах с использованием наборов запросов из UltraFeedback. Третья итерация обучения применяет данные, разделённые для последовательного проведения трёх итераций оптимизации. Модель предназначена для генерации текста и выполнения общих инструкций, включая диалоговые и вопросно-ответные сценарии. Это GPT-подобная текстовая модель примерно на 8 млрд параметров, ориентированная прежде всего на английский язык. Информация о поддерживаемой длине контекста и дополнительных модальностях в README не указана; модель является текстовой и не предназначена для обработки изображений или других мультимедийных данных. К сильным сторонам относятся улучшенные результаты третьей итерации по сравнению с предыдущими версиями в оценках AlpacaEval и Open LLM Leaderboard: заявлены LC Win Rate 38,77, средний результат набора Open LLM Leaderboard 70,29 и высокие показатели на HellaSwag, Winogrande и ARC-Challenge. Ограничениями являются преимущественная ориентация на английский язык, зависимость качества от выбранного формата квантизации и отсутствие в README подробностей о конкретном варианте квантизации и размере файла. Модель распространяется по лицензии Apache-2.0.

Magistral-Small-2506-GGUF — это GGUF-квантизированная версия языковой модели Magistral Small, разработанной Mistral AI. Файл подготовлен пользователем lmmy на основе llama.cpp, а распространением модели в рамках Community Model Program занимается сообщество LM Studio. Модель предназначена для генерации текста и задач, связанных с рассуждением, включая диалоговые сценарии, ответы на вопросы и обработку текстовых запросов. Модель поддерживает контекст длиной до 49 152 токенов и работает в формате GGUF, совместимом с llama.cpp и приложениями, использующими этот формат, включая LM Studio. В README не указаны точный размер модели, конкретная конфигурация архитектуры, поддерживаемые языки и модальности, а также параметры используемой квантизации. К сильным сторонам относятся большой контекст и возможность локального запуска через совместимое программное обеспечение. К ограничениям относятся потенциальное снижение качества из-за квантизации и отсутствие подробных данных о производительности, языковой поддержке и требованиях к оборудованию. Модель распространяется по лицензии Apache-2.0; при использовании следует учитывать, что она может генерировать неточные, вредные или неподходящие результаты.

Marcoroni-7b-DPO-Merge — языковая модель на 7,1 млрд параметров, опубликованная nfaheem. Это плотная авторегрессионная модель семейства Mistral, объединённая методом TIES с помощью mergekit на основе madatnlp/marcoroni-7b-v3-safetensor, fblgit/UNA-TheBeagle-7b-v1 и udkai/Turdus; веса сохранены в формате safetensors с точностью float16. Модель предназначена для генерации текста и общих языковых задач, включая ответы на вопросы, рассуждения и решение задач. В README приведены результаты на ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K, а также заявлено первое место в рейтинге Hugging Face среди моделей около 13 млрд параметров по состоянию на 15 января 2024 года. Нативное контекстное окно составляет 32 768 токенов. README и метаданные не указывают поддерживаемые естественные языки. Модель распространяется по лицензии Apache-2.0; рейтинги из README относятся к указанным оценкам и не гарантируют качество на любых пользовательских задачах.

MeliodasPercival_01_Experiment26Neuralarjuna — объединённая языковая модель семейства Mistral, созданная из automerger/MeliodasPercival_01-7B и automerger/Experiment26Neuralarjuna-7B. Она предназначена для генерации текста и диалогов по текстовым запросам. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0. Карточка не уточняет языки обучения и конкретные специализации модели.

MeliodasPercival_01_NeuralsirkrishnaM7 — объединённая модель на базе двух моделей Mistral: automerger/MeliodasPercival_01-7B и automerger/NeuralsirkrishnaM7-7B. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и принимает контекст длиной до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Она принимает текстовые запросы и выдаёт текст; поддерживаемый язык в предоставленных данных не указан. Файлы весов опубликованы в формате safetensors. Лицензия — Apache-2.0.

NaniDAO выпустила экспериментальную абляционную версию Meta-Llama-3.1-8B-Instruct с контекстом до 128K токенов. Модель предназначена для диалогов и генерации текста; по заявлению разработчика, она реже отказывает в допустимых запросах, чем предыдущая версия v0. Модель использует плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и распространяется в формате safetensors через библиотеку Transformers. Метаданные указывают интерфейс для чата и вызова инструментов. Карточка не сообщает о специальной предметной области или поддерживаемых языках. Лицензия в предоставленных данных не указана. Разработчик рекомендует использовать модель ответственно; заявленное снижение отказов само по себе не подтверждает качество или безопасность ответов.

Mistral-7b-FFT-Test3-Mistral-7B-Instruct-v0.2-slerp — текстовая диалоговая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Dans-DiscountModels/Mistral-7b-FFT-Test3; в конфигурации указан тип данных bfloat16. Модель предназначена для генерации текста и выполнения инструкций в диалоге, а контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. В карточке указана лицензия Apache-2.0. Данных о специальных предметных областях или языках, на которые модель рассчитана в первую очередь, нет.

MN-SlushoMix — разговорная языковая модель семейства Mistral, представленная автором как смесь MN-Slush и NemoMix Unleashed. По метаданным, это плотная модель с архитектурой MistralForCausalLM объёмом 12,1 млрд параметров, предназначенная для генерации текста и диалогов. Указаны интерфейс вызова инструментов и контекстное окно до 1 024 000 токенов. Модель основана на mistralai/Mistral-Nemo-Instruct-240; карточка упоминает смесь моделей, а метаданные классифицируют её как дообучение. Данные не уточняют поддерживаемые естественные языки или сравнительное качество. Репозиторий содержит веса safetensors; README также упоминает GGUF. Лицензия в предоставленных сведениях не указана.

Neutrino-8B — диалоговая языковая модель на 8,19 млрд параметров, разработанная FermionResearch на основе Qwen/Qwen3-8B. Она предназначена для общения с пользователем, генерации текста, следования инструкциям, создания структурированного JSON и вызова инструментов; режим рассуждений отключён. Модель использует плотную архитектуру TrtcV4ForCausalLM с 36 слоями и шириной скрытого представления 4096. Линейные слои упакованы в пятизначное представление с разрядностью менее двух бит на вес, а таблицы эмбеддингов хранятся в int8. Репозиторий содержит GGUF-сборку; модель также запускается через Transformers, CPU, MLX и llama.cpp на поддерживаемых платформах. Модель унаследовала многоязычную токенизацию Qwen3-8B, но в карточке не перечислены конкретные поддерживаемые естественные языки. Контекстное окно в предоставленной информации не описано. Разработчик приводит результаты MMLU-Redux и IFEval и рекомендует параметры генерации отдельно для диалога, структурированного вывода и длинных текстов. Для корректной остановки нативного C-бинарника требуется задать EOS-токен; при генерации JSON рекомендуется отключать штраф за повторения. Лицензия — Apache-2.0.

Newq-0.5B-Instruct — компактная инструктивная языковая модель примерно с 494 млн параметров, созданная на базе Qwen/Qwen2.5-0.5B-Instruct. Она предназначена для диалогов и генерации текста общего назначения. Модель использует архитектуру Qwen2 с 24 слоями и групповым запросным вниманием (14 голов Q и 2 головы KV), поддерживает контекст до 32 768 токенов и представлена в формате safetensors для библиотеки Transformers. Компактный размер позволяет запускать её на CPU или видеокарте умеренной мощности, а длинный контекст подходит для работы с объёмными текстовыми запросами. В метаданных указана поддержка английского языка и интерфейса вызова инструментов. Модель распространяется по лицензии Apache-2.0.

Brunobkr/OFFFELLIA_f16_IBM_Granite-4.2-3b.gguf — сборка IBM Granite 4.2-3B в формате GGUF F16, предназначенная для генерации текста и диалогового взаимодействия. Метаданные указывают на производную от модели IBM Granite модель; README описывает проект VULLKAN-5150 и его инструменты запуска, но не подтверждает отдельные изменения весов этой сборки. Модель ориентирована на многоязычный диалог, рассуждения и работу с инструментами. В метаданных перечислены английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. README предупреждает, что качество на языках кроме английского может быть ниже, а ответы могут содержать неточности, предвзятость или небезопасный контент. Проектный README описывает ускорение AMD Vulkan, интерфейс в стиле IBM PC 5150 и другие функции форка llama.cpp; они относятся к программной среде, а не обязательно к самим весам этой модели. Лицензия — Apache 2.0.

OLMo 2 32B Instruct — англоязычная диалоговая языковая модель AllenAI, опубликованная в марте 2025 года. Репозиторий unsloth содержит версию, дообученную на базе allenai/OLMo-2-0325-32B-Instruct: исходная модель прошла supervised fine-tuning, обучение DPO и RLVR на варианте набора Tülu 3. Архитектура — плотная авторегрессионная OLMo 2 с 31,7 млрд параметров; контекст — 4096 токенов. Модель предназначена для диалогов и выполнения инструкций, а также для решения математических задач и следования заданному формату. README упоминает оценки на MATH, GSM8K и IFEval. Она ориентирована прежде всего на английский язык. Модель распространяется по лицензии Apache 2.0. В README отмечено, что обучение безопасности ограничено: модель может выдавать проблематичные ответы, особенно в ответ на соответствующие запросы. Для практического использования могут потребоваться собственные фильтры вывода.

Карточка модели Salahuddin1234/OmniDoctor-Reranker-8B на Hugging Face совпадает с карточкой Qwen/Qwen3-Reranker-8B, поэтому описание составлено по ней. Qwen3-Reranker-8B — текстовая модель для переранжирования, разработанная командой Qwen. Она оценивает релевантность пар «запрос — документ» и помогает упорядочить найденные кандидаты так, чтобы наиболее подходящие фрагменты оказались выше. Модель предназначена для поиска по текстам и коду, включая многоязычный и межъязыковой поиск, например как этап извлечения контекста в RAG-системах. Модель основана на плотной авторегрессионной архитектуре Qwen3 и дообучена на базе Qwen/Qwen3-8B-Base. В ней около 7,6 млрд параметров; метаданные указывают контекст до 40 960 токенов, а README — 32 тыс. токенов. Заявлена поддержка более 100 языков. Модель поддерживает инструкции, настраиваемые под задачу; в README отмечено, что их применение может улучшать результаты поиска. Для получения оценки релевантности модель принимает текстовую пару и выдаёт оценку, пригодную для ранжирования. В README указано, что по умолчанию это разность логитов; при необходимости её можно преобразовать в вероятность. Для работы с моделью заявлена библиотека Transformers, также описано использование Sentence Transformers. Лицензия — Apache-2.0.

mychen76/openmixtral-6x7b-v2 — текстовая генеративная модель семейства Mixtral с архитектурой MoE, представленная в формате safetensors. Согласно карточке, это квантизированная версия openmixtral-6x7b-merged_v2, созданной слиянием шести моделей размером 7B. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и может применяться для ответов на вопросы, рассуждений и продолжения текстовых запросов. В карточке приведены результаты Open LLM Leaderboard, включая оценки AI2 Reasoning Challenge и HellaSwag. Язык модели отдельно не указан. Репозиторий распространяется по лицензии Apache-2.0.

el4/Ornith-1.5-35B-A3B-ONYX-GGUF — это квантизированная GGUF-версия модели Ornith-1.5-35B-A3B от ornith-ai, подготовленная в рамках проекта ONYX. Модель предназначена для генерации текста и, судя по заявленным меткам, ориентирована на задачи рассуждений и локальный запуск через llama.cpp или Ollama. Архитектура исходной модели относится к классу Mixture-of-Experts (MoE), однако точные сведения о числе экспертов, активных параметрах, поддерживаемых языках, контекстном окне и мультимодальности в README не указаны. Ключевая особенность сборки — адаптивная квантизация ONYX, учитывающая чувствительность отдельных слоёв, вероятности маршрутизации MoE и масштабы активаций. Это позволяет сильнее сжимать менее востребованные эксперты и лучше сохранять параметры критически важных компонентов. Доступны варианты quality, balanced, compact и mini с ориентировочными размерами от 12 до 24 ГБ и различными типами квантизации, что даёт выбор между качеством, размером и требованиями к памяти. README не содержит сведений о лицензии, результатах бенчмарков или подтверждённых ограничениях качества.

Xiaojian9992024/Phi-3.5-Small-Instruct-UNOFFICAL — языковая модель для генерации текста и диалогов, созданная слиянием предобученных моделей через mergekit. В README в качестве основы слияния указана microsoft/Phi-3.5-mini-instruct; метаданные также связывают репозиторий с этой моделью. Модель использует плотную архитектуру Phi-3 и содержит 10,5 млрд параметров. Модель подходит для диалоговых сценариев и генерации текста. Она принимает текст и выдаёт текст; заявленная длина контекста — 4096 токенов. Для работы указана библиотека Transformers и формат весов Safetensors. Лицензия в предоставленных данных не указана.

pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral AI и TokenBender. В README указан метод слияния SLERP, а метаданные относят архитектуру к плотным моделям Mistral с классом MistralForCausalLM. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Её можно применять для чат-ботов, составления текстов и ответов на вопросы в текстовом интерфейсе. В README перечислены исходные модели и настройки слияния; данные о поддерживаемых естественных языках и специализированных областях применения не приводятся. Лицензия — Apache-2.0.

INTELLECT-2-GGUF — это набор GGUF-квантизированных версий языковой модели INTELLECT-2, разработанной Prime Intellect и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. В README также указано, что при обучении использовался датасет PrimeIntellect/Intellect-2-RL-Dataset. Доступны исходные веса в формате BF16 и варианты квантизации Q8_0, Q6_K, Q5_K, Q4_K, IQ4, Q3 и Q2 с размером файлов примерно от 13 до 66 ГБ. Более крупные варианты обычно обеспечивают более высокое качество, а менее крупные требуют меньше оперативной памяти; рекомендуемым вариантом по умолчанию назван Q4_K_M. Модель поддерживает текстовую генерацию, однако сведения об архитектуре, числе параметров, контекстном окне и языках в README не приведены. Формат подсказок использует роли system, user и assistant, а также блок рассуждений <think>. Лицензия модели указана как Apache-2.0. Ограничения связаны прежде всего с компромиссом между размером файла, требованиями к памяти и качеством, зависящим от выбранного уровня квантизации; варианты Q3 и Q2 характеризуются как менее качественные, а некоторые форматы отмечены как устаревшие.

Q3.6-27B-GLM-5.1-DA-GGUF — экспериментальная GGUF-версия модели, разработанная prithivMLmods. Она создана на базе Qwen/Qwen3.6-27B и производной prithivMLmods/Qwen3.6-27B-abliterated-rMAX с использованием дистиллированных рассуждений GLM-5.1, анализа направлений отказа и методов абляционного обучения. Модель ориентирована на подробное контекстное рассуждение, решение математических задач и выполнение инструкций на английском языке. Модель содержит 27 миллиардов параметров и распространяется в форматах BF16, F16 и различных вариантах квантизации GGUF от Q2_K до Q8_0. Также доступны файлы mmproj, однако README не описывает подтверждённые мультимодальные возможности и поддерживаемые типы входных данных. Размер контекста и другие параметры архитектуры не указаны. К сильным сторонам относятся акцент на reasoning, подробные ответы и instruction following. Из-за уменьшенных внутренних механизмов отказа модель может генерировать чувствительный или неограниченный контент, поэтому требует осторожного применения и проверки результатов. Авторы отмечают экспериментальный статус и возможность артефактов; модель предназначена для исследований и обучения. Лицензия — Apache 2.0.

Hasnonname/Qwen2.5-14B-Wheatear-v0 — дообученная модель семейства Qwen2.5 на 14 млрд параметров, основанная на Qwen/Qwen2.5-14B-Instruct. Она предназначена для диалогов и генерации текста; метаданные также указывают интерфейс для вызова инструментов. Модель имеет плотную архитектуру Qwen2ForCausalLM, принимает текст и поддерживает контекст до 32 768 токенов. В репозитории README перечислены отдельные варианты квантования GGUF, но сведения о назначении дообучения, его данных и результатах не приведены. Основная модель опубликована в формате safetensors. Лицензия и поддерживаемые естественные языки в предоставленных данных не указаны.

bunnycore/Qwen2.5-3B-RP-Mix — объединённая языковая модель, созданная автором репозитория методом passthrough с помощью mergekit на основе Qwen/Qwen2.5-3B-Instruct и bunnycore/Qwen-2.5-3b-Rp-lora_model. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, предназначенная для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а размер её контекста составляет 32 768 токенов. Модель подходит для генерации ответов в чате, следования инструкциям и создания текста в сценариях, где полезна компактная Qwen-модель. В README приведены результаты Open LLM Leaderboard: среднее значение 23,15, IFEval — 57,21 и BBH — 28,31; эти оценки сами по себе не определяют качество в конкретном приложении. Веса представлены в формате safetensors, тип данных при слиянии — bfloat16. Лицензия в предоставленных данных не указана.

MLX-версия модели Qwen3-14B, разработанной командой Qwen и преобразованной сообществом mlx-community из исходной модели Qwen/Qwen3-14B с использованием mlx-lm 0.24.0. Модель предназначена для генерации текста и может применяться в сценариях диалогового взаимодействия и других задачах, требующих текстовой генерации, включая локальный запуск через библиотеку MLX. Модель имеет размер 14 миллиардов параметров и представлена в 8-битном формате квантования. Она работает с текстовой модальностью; поддержка конкретных языков и размер контекстного окна в предоставленных данных не указаны. Для использования предусмотрена библиотека mlx-lm и чат-шаблон токенизатора, если он доступен. К сильным сторонам относятся адаптация к экосистеме MLX и уменьшенный объём хранения и требования к памяти благодаря 8-битному представлению. Ограничения включают зависимость от MLX и отсутствие в README подробных данных о результатах оценки, языковых возможностях и контексте. Модель распространяется по лицензии Apache-2.0.