II.6Документация и сопровождение разработки

microsoft/Phi-3-mini-4k-instruct-gguf — репозиторий с файлами в формате GGUF для Phi-3-Mini-4K-Instruct, разработанной Microsoft. Это компактная языковая модель для генерации текста и выполнения инструкций на английском языке, предназначенная для коммерческого и исследовательского использования, включая приложения с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также задачи рассуждения, математики, логики, понимания языка и работы с контекстом. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Она обучалась на данных Phi-3, включающих синтетические примеры и отфильтрованные общедоступные веб-данные с акцентом на качество и плотность рассуждений. Постобучение включает supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. Репозиторий предлагает варианты GGUF, включая 4-битную квантизацию Q4_K_M размером около 2,2 ГБ и FP16 размером около 7,2 ГБ. Сильными сторонами являются малый размер, эффективность в ресурсоограниченных и чувствительных к задержке сценариях, а также заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Модель не предназначена специально и не оценивалась для всех прикладных сценариев; перед использованием в ответственных областях необходимо проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT.

QuantFactory/Phi-3-mini-4k-instruct-GGUF — квантизированная версия модели Phi-3-Mini-4K-Instruct, разработанной Microsoft и преобразованной в формат GGUF с использованием llama.cpp. Модель содержит около 3,8 млрд параметров и предназначена для генерации текста и выполнения инструкций на английском языке в приложениях общего назначения. Модель ориентирована на сценарии с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также на задачи, требующие рассуждений, особенно в математике и логике. Она подходит для диалоговых систем, генеративных функций и исследовательских проектов. Контекст ограничен 4096 токенами; поддерживается текстовая модальность. Послеобучение включало supervised fine-tuning и direct preference optimization, направленные на улучшение следования инструкциям, безопасности, структурированного вывода и многошагового диалога. Сильными сторонами являются компактный размер, возможность локального запуска благодаря квантизации, хорошее качество рассуждений среди моделей с менее чем 13 млрд параметров и улучшенное следование инструкциям. Ограничения включают поддержку преимущественно английского языка, короткое контекстное окно и типичные для языковых моделей риски ошибок, смещений и небезопасных ответов; модель требует отдельной проверки перед применением в критически важных сценариях. Модель распространяется по лицензии MIT.

SanctumAI/Phi-3-mini-4k-instruct-GGUF — это квантизированная в формате GGUF версия Phi-3-Mini-4K-Instruct, разработанной Microsoft и подготовленной SanctumAI. Модель предназначена для генерации текста и выполнения инструкций, включая задачи понимания языка, рассуждений, математики, программирования, здравого смысла и логики. Она ориентирована на локальный запуск на устройствах с ограниченными ресурсами. Модель содержит 3,8 млрд параметров и поддерживает контекст до 4096 токенов. Это текстовая модель с поддержкой английского языка; README также отмечает наличие вариантов квантизации от Q2_K до Q8_0 и версии FP16, занимающих примерно от 1,45 до 7,64 ГБ, при потребности в памяти от 5,05 до 10,82 ГБ. Обучение включало синтетические и отфильтрованные общедоступные данные, а дообучение — supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и безопасности. К сильным сторонам относятся компактный размер, возможность локального использования и заявленная высокая производительность среди моделей с менее чем 13 млрд параметров. Ограничения включают небольшое контекстное окно, текстовую специализацию и возможные неточные, вредные или неподходящие ответы. Для использования следует применять шаблон приглашений Phi-3 с системными, пользовательскими и ассистентскими сообщениями. Указана лицензия MIT.

bunnycore/Phi-4-Avg — объединённая языковая модель, созданная с помощью mergekit линейным слиянием предварительно обученных моделей. В слияние вошли JackCloudman/phi-4-unsloth-jackterated и mergekit-community/mergekit-passthrough-ywynqau; конфигурация задаёт для обеих моделей вес 1.0. В метаданных указаны архитектура LlamaForCausalLM, плотная модель размером 14,1 млрд параметров и библиотека Transformers. Модель предназначена для генерации текста и диалогового взаимодействия. Репозиторий содержит веса в формате Safetensors; заявленная длина контекста — 16 384 токена. Дата публикации на Hugging Face — 11 января 2025 года. Сведения о лицензии в предоставленных данных отсутствуют.

bunnycore/Phi-4-Model-Stock-v3 — объединённая языковая модель, созданная разработчиком с помощью mergekit и метода Model Stock. В объединение вошли Pinkstack/SuperThoughts-CoT-14B-16k-o1-QwQ, bunnycore/Phi-4-rp-v1-lora и bunnycore/Phi-4-Model-Stock-v2; базой в README названа SuperThoughts-CoT-14B-16k-o1-QwQ. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 14,1 млрд параметров. Модель предназначена для генерации текста и диалогов в формате system/user/assistant. Контекст составляет до 16 384 токенов; файлы представлены в формате safetensors и рассчитаны на работу с Transformers. В README приведены результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH. Лицензия в доступных данных не указана. Оценки из README не гарантируют качество в конкретных задачах; перед применением стоит проверить ответы и совместимость объединённых компонентов.

phigment-slerp — объединённая модель генерации текста, созданная с помощью mergekit из amu/dpo-phi2 и g-ronimo/phi-2-OpenHermes-2.5 методом slerp. В метаданных указана архитектура PhiForCausalLM семейства Phi, около 3,5 млрд параметров и контекст до 2048 токенов. Веса доступны в формате Safetensors; модель опубликована под лицензией Apache-2.0. Модель предназначена для генерации текста на основе текстового запроса. Карточка описывает способ объединения и исходные модели, но не приводит отдельных оценок качества или подробных сценариев применения; фактические результаты зависят от запроса и среды использования.

MaziyarPanahi/pic_7B_mistral_Full_v0.2-Mistral-7B-Instruct-v0.1 — объединённая чат-модель на архитектуре Mistral с 7,1 млрд параметров. Она создана методом Slerp из mistralai/Mistral-7B-Instruct-v0.1 и TokenBender/pic_7B_mistral_Full_v0.2; в конфигурации указан формат bfloat16, а файлы репозитория представлены в safetensors. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Её контекстное окно составляет 32 768 токенов. Карточка не сообщает о специализированной предметной области или отдельных языковых возможностях. Модель распространяется по лицензии Apache-2.0.

Pink Elephant 48B-S GGUF — языковая модель для генерации текста, разработанная Pink Elephant Limited. Это локально запускаемая версия модели, преобразованная в формат GGUF и предназначенная для работы через Ollama и llama.cpp на потребительском оборудовании. Модель построена как разреженная Mixture-of-Experts архитектура с 47,7 млрд параметров, из которых на каждом токене активируется около 14,66 млрд. Используется 8 экспертов с маршрутизацией top-2, что, согласно README, обеспечивает примерно в 3,2 раза меньше вычислений по сравнению с плотной моделью аналогичного размера. Модель происходит от плотной 14B основы, дообученной на примерах программирования и математики, а затем прошла SFT и DPO-выравнивание. Указаны английский язык и контекст до 16 384 токенов. Доступна квантизованная версия Q4_K_M размером около 8,3 ГБ. Модель ориентирована на генерацию текста, помощь в программировании, математические задачи и локальное развертывание на одной потребительской видеокарте. Среди заявленных результатов — 68,5% на GSM8K и 60,0% на MMLU в конфигурации bf16; эти показатели получены разработчиками на одной NVIDIA RTX PRO 6000 Blackwell и могут зависеть от настроек запуска. К сильным сторонам относятся сочетание большой общей емкости, разреженных вычислений, локального использования и выравнивания SFT+DPO. Ограничения включают зависимость качества и скорости от аппаратного обеспечения, квантизации и корректного шаблона ChatML, а также отсутствие в README сведений о мультимодальности и поддержке других языков. Модель распространяется по лицензии MIT, допускающей коммерческое и исследовательское использование.

Dans-PersonalityEngine-V1.3.0-24b-GGUF — квантизированная версия модели Dans-PersonalityEngine V1.3.0 с 24 млрд параметров, опубликованная PocketDoc и подготовленная bartowski в формате GGUF для llama.cpp. Модель предназначена для генерации текста общего назначения, ролевого общения, написания и продолжения историй, совместного творчества, выполнения инструкций, рассуждений, математических и научно-технических задач, программирования, работы с инструментами и агентскими сценариями. В датасетах обучения также представлены материалы по химии, биологии, климату, праву, медицине и финансам. Модель поддерживает английский, арабский, немецкий, французский, испанский, хинди, португальский, японский и корейский языки. Архитектура исходной модели в README не указана; доступна в нескольких вариантах точности и квантизации, включая BF16, Q8_0, Q6_K_L, Q6_K, Q5_K и Q4. Варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M и Q5_K_S отмечены как рекомендуемые благодаря высокому качеству. Размеры файлов составляют примерно от 14,87 до 47,15 ГБ в зависимости от варианта. Сильными сторонами являются широкий набор обучающих сценариев, поддержка многоязычной генерации, возможности ролевого общения и написания текстов, а также совместимость с llama.cpp и LM Studio. Ограничения включают значительные требования к дисковому пространству и памяти, зависящие от выбранной квантизации; длина контекста, мультимодальность и точные характеристики архитектуры в README не указаны. Модель распространяется по лицензии Apache-2.0.

Карточка модели LIF1014/ptdbench-verl-implementation-torch-functional на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

QRWKV6-32B-Instruct-Preview-v0.1 — диалоговая языковая модель Recursal.AI, созданная преобразованием Qwen2.5-32B-Instruct в вариант архитектуры RWKV-6 без обучения с нуля. Модель имеет 32 млрд параметров; в метаданных заявлен контекст 131 072 токена, тогда как README сообщает, что обучение проводилось до 16 тыс. токенов и для стабильной работы на большей длине может потребоваться дополнительное обучение. Модель предназначена для генерации текста и диалогов, включая ответы на вопросы и интерфейс вызова инструментов. Разработчики приводят результаты ряда языковых и рассуждательных бенчмарков и описывают линейное внимание RWKV как способ снизить стоимость вывода на длинных контекстах. Наследуемые знания и языковой охват зависят от Qwen; README оценивает поддержку примерно в 30 языков. Для модели требуется отдельный код инференса. Распространяется в формате safetensors по лицензии Apache-2.0.

QRWKV-QwQ-32B — 32-миллиардная языковая модель от Featherless AI, созданная в рамках проекта RADLADS. Авторы преобразовали Qwen/QwQ-32B в вариант с линейным вниманием RWKV, используя дистилляцию внимания; модель унаследовала знания и языковые данные родительской модели. Она предназначена для диалогов и генерации текста, включая рассуждения при выводе, а также поддерживает интерфейс вызова инструментов. Модель использует плотную архитектуру RWKV6Qwen2, работает с контекстом до 131 072 токенов и распространяется в формате safetensors через Transformers. В README приведены результаты ряда бенчмарков, где QRWKV-QwQ-32B в некоторых тестах немного превосходит Qwen/QwQ-32B. Авторы заявляют о снижении вычислительных затрат при работе с длинным контекстом; модель поддерживает около 30 языков, унаследованных от семейства Qwen. Лицензия — Apache-2.0. Для запуска через Transformers требуется разрешить загрузку удалённого кода. Результаты тестов ограничены указанными настройками оценки и сами по себе не гарантируют качество на прикладных задачах; в README также отмечено, что модель имеет ограничения по числу поддерживаемых языков по сравнению с более ранними многоязычными моделями RWKV.

Qwen1.5-110B-Chat-GGUF — квантизированная GGUF-версия диалоговой языковой модели Qwen1.5-110B-Chat, разработанной командой Qwen. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и ведения диалогов, включая использование в чат-приложениях и локальных сервисах инференса через LlamaEdge. Модель содержит 110 млрд параметров, работает с текстовой модальностью и ориентирована на английский язык. Для взаимодействия используется шаблон ChatML, заявленный размер контекста — 32 000 токенов. Доступны варианты квантизации Q2_K, Q3_K, Q4_0, Q4_K_M, Q4_K_S, Q5_0 и Q5_K_M с разными компромиссами между размером, требованиями к ресурсам и качеством. В README рекомендуются варианты Q4_K_M и Q5_K_M; более низкие уровни квантизации обеспечивают меньший размер, но могут приводить к существенной потере качества. К сильным сторонам относятся большой размер исходной модели, диалоговая специализация, поддержка длинного контекста и возможность запуска в формате GGUF с LlamaEdge. Ограничениями являются значительные требования к памяти даже у квантизированных вариантов, а также ухудшение качества при сильной квантизации. Модель распространяется по лицензии Tongyi Qianwen; точные условия определяются текстом лицензии, указанным в репозитории исходной модели.

Qwen1.5-MoE-A2.7B-Chat-GPTQ-Int4 — диалоговая decoder-only языковая модель на базе Transformer с архитектурой Mixture of Experts (MoE), разработанная командой Qwen. Модель предназначена для генерации текста и взаимодействия в формате чата, включая ответы на вопросы, краткие объяснения и другие сценарии использования языкового ассистента. В README указана поддержка английского языка и конвейер text-generation. Модель содержит 14,3 млрд параметров, из которых во время работы активируются 2,7 млрд; она создана на основе Qwen-1.8B и дообучена с применением supervised fine-tuning и direct preference optimization. Версия GPTQ-Int4 использует 4-битное квантование. По заявлению разработчиков, при сопоставимой с Qwen1.5-7B производительности она требует около 25% ресурсов для обучения и обеспечивает примерно в 1,74 раза большую скорость вывода. Размер контекста в README не указан. Среди ограничений отмечена возможность переключения языков и другие нежелательные случаи генерации, для снижения которых рекомендуется использовать параметры из generation_config.json. Модель распространяется по лицензии tongyi-qianwen; точные условия следует уточнять по указанной в README лицензии.

femiari/Qwen2-1.5Moe — языковая модель Mixture of Experts, созданная с помощью LazyMergekit на основе Qwen/Qwen2-1.5B и Replete-AI/Replete-Coder-Qwen2-1.5b. Архитектура Qwen2 MoE, класс Qwen2MoeForCausalLM; размер — 1,5 млрд параметров, формат весов — Safetensors, контекст — до 131 072 токенов. Модель предназначена для генерации текста в диалоге и помощи с программированием. В конфигурации эксперты Qwen2 связаны с запросами к чат-ассистенту и объяснениям, а эксперт Replete Coder — с задачами по Python, JavaScript, программированию и алгоритмам. Поддерживается чатовый сценарий; отдельные гарантии качества для этих задач в карточке не приведены. Лицензия — Apache 2.0.

Qwen2-2B-RepleteCoder-DHM — объединённая языковая модель на архитектуре Qwen2, созданная сообществом mergekit-community методом Model Stock с помощью mergekit. В основу слияния вошла Qwen2-2B-RepleteCoder-Upscaled; также объединены варианты Dolphin, RepleteCoder и Hercules, а также Qwen2-Math-2B-Instruct. Модель содержит 1,9 млрд параметров и рассчитана на генерацию текста в диалоговом формате, помощь с программированием и математические запросы. Модель принимает текст и генерирует текст. Для запуска используются библиотека Transformers и файлы Safetensors; заявленная длина контекста — до 131 072 токенов. Карточка не уточняет языковую специализацию. Лицензия в предоставленных данных не указана. Качество и поведение объединённой модели могут зависеть от задачи; карточка не приводит результатов оценки.

wls04/Qwen2.5-14B-AcaciaWL-Add — диалоговая языковая модель, дообученная разработчиком на базе Qwen/Qwen2.5-14B-Instruct с помощью TRL. Она предназначена для генерации текста и ответов в формате чата; пример карточки показывает запрос с открытым вопросом и генерацию ответа. Модель использует плотную архитектуру Qwen2 и содержит 14 млрд параметров. Она работает с текстом, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors для Transformers. Лицензия в доступных данных не указана.

CultriX/Qwen2.5-14B-Unity — объединённая языковая модель на архитектуре Qwen2.5, созданная с помощью mergekit. В качестве базовой использована CultriX/SeQwence-14Bv1; для объединения применён метод DARE TIES. В состав также вошли несколько моделей Qwen2.5, в том числе варианты для диалогов и математики. Модель предназначена для генерации текста и диалогов. Она содержит 14 млрд параметров, работает через библиотеку Transformers и поддерживает контекст до 131 072 токенов. Метаданные также указывают интерфейс для вызова инструментов. В карточке не описаны отдельные специализированные задачи или целевые языки. Файлы модели размещены в формате safetensors. Лицензия в предоставленных данных не указана.

CultriX/Qwen2.5-14B-Wernickev3 — языковая модель для генерации текста, созданная CultriX путём слияния нескольких предварительно обученных моделей с помощью mergekit. В качестве базовой модели использована Qwen/Qwen2.5-14B; также в слияние вошли QwenSlerp6-14B, QwenStock3-14B, SeQwence-14B-EvolMerge, Qwen2.5-14B-Wernicke и SauerkrautLM-v2-14b-DPO. Применён метод DARE TIES. Модель основана на плотной архитектуре Qwen2 и содержит 14 млрд параметров. Она работает через Transformers, распространяется в формате safetensors и поддерживает контекст до 131 072 токенов. Подходит для диалоговой генерации и других задач продолжения текста; метаданные также отмечают интерфейс вызова инструментов. Модель использует лицензию Qwen/Qwen2.5-14B — Apache-2.0. Слияние объединяет свойства исходных моделей, но README не приводит отдельных оценок качества или сведений о специализации; качество для конкретных задач следует проверять самостоятельно.

YOYO-AI/Qwen2.5-14B-YOYO — объединённая 14-миллиардная языковая модель на архитектуре Qwen2 для генерации текста и диалогов. Автор карточки описывает её как слияние, созданное с помощью mergekit методом DELLA на основе Qwen/Qwen2.5-14B с добавлением Qwen/Qwen2.5-14B-instruct. Модель предназначена для генерации ответов в чате и других сценариев, где требуется продолжать или создавать текст. Она поддерживает контекст до 131 072 токенов и распространяется в формате safetensors для Transformers. В метаданных также указаны интерфейсы чата и вызова инструментов. Карточка не уточняет поддерживаемые естественные языки, сравнительное качество или ограничения в конкретных сценариях. Лицензия в предоставленных данных не указана.

Qwen2.5-3B-Instruct-MLX-4bit — текстовая языковая модель для генерации ответов и диалогового взаимодействия. Она основана на Qwen2.5-3B-Instruct, разработанной командой Qwen, и подготовлена в формате MLX с 4-битным квантованием bartowski для запуска на Mac с Apple Silicon. Модель предназначена для чат-сценариев, генерации и обработки текста, а также работы со структурированными данными. Она поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся компактный размер около 3 млрд параметров, возможность локального запуска на совместимых компьютерах Apple и поддержка длинного контекста. README не содержит результатов бенчмарков и подробностей об ограничениях квантования; как и другие языковые модели, система может генерировать неточные, вредные или неподходящие ответы. Модель распространяется по лицензии Qwen Research; для точных условий использования следует обратиться к указанному в README тексту лицензии.

bunnycore/Qwen2.5-3B-Model-Stock-v2 — объединённая языковая модель, созданная с помощью mergekit методом Model Stock на основе bunnycore/Qwen2.5-3B-Model-Stock. В объединение вошли PowerInfer/SmallThinker-3B-Preview и bunnycore/Qwen2.5-3B-RP-Mix; веса сохранены в формате safetensors. Модель построена на архитектуре Qwen2 с плотной причинной языковой моделью Qwen2ForCausalLM и содержит 3,1 млрд параметров. Модель предназначена для генерации текста и диалогов; в метаданных также отмечен интерфейс вызова инструментов. Контекстное окно составляет 32 768 токенов. README не описывает языковую специализацию и лицензию, поэтому эти характеристики не указаны. Ограничения качества и результаты оценки в карточке не приведены.

bunnycore/Qwen2.5-3B-RP-Mix — объединённая языковая модель, созданная автором репозитория методом passthrough с помощью mergekit на основе Qwen/Qwen2.5-3B-Instruct и bunnycore/Qwen-2.5-3b-Rp-lora_model. Это плотная авторегрессионная модель семейства Qwen2 с 3,1 млрд параметров, предназначенная для диалогов и генерации текста; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, а размер её контекста составляет 32 768 токенов. Модель подходит для генерации ответов в чате, следования инструкциям и создания текста в сценариях, где полезна компактная Qwen-модель. В README приведены результаты Open LLM Leaderboard: среднее значение 23,15, IFEval — 57,21 и BBH — 28,31; эти оценки сами по себе не определяют качество в конкретном приложении. Веса представлены в формате safetensors, тип данных при слиянии — bfloat16. Лицензия в предоставленных данных не указана.

Qwen-2.5-7B-Deep-Stock-v4 — объединённая языковая модель, созданная сообществом bunnycore с помощью mergekit и метода Model Stock. В качестве основы использована Qwen/Qwen2.5-7B-Instruct; в объединение также вошли FuseQwQen-7B, Qwen-2.5-7B-R1-Stock и Qwen-2.5-7B-Deep-Stock-v1. Модель построена на архитектуре Qwen2 с плотной причинной языковой сетью на 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов, а также поддерживает интерфейс вызова инструментов. Её контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценок IFEval и BBH, но они не дают полной картины качества для всех задач. Сведения о лицензии в доступных данных отсутствуют.

Qwen2.5-7B-Instruct-abliterated-v2 — доработанная методом abliteration версия инструктивной языковой модели Qwen2.5-7B-Instruct, созданная huihui-ai. Это плотная авторегрессионная модель на 7,1 млрд параметров для диалогов и генерации текста; она поддерживает контекст до 32 768 токенов и предназначена для работы через библиотеку Transformers. В карточке отмечены чат-возможности и интерфейс вызова инструментов. Версия позиционируется как менее ограниченная в отказах на запросы, чем исходная модель. В README приведены оценки IF_Eval 77,82, MMLU Pro 42,03 и TruthfulQA 57,81; результаты отдельных тестов отличаются от исходной Qwen2.5-7B-Instruct. Метаданные указывают языковые теги для китайского, английского, французского, испанского, португальского, немецкого, итальянского, русского, японского, корейского, вьетнамского, тайского и арабского. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-7B-TitanFusion — объединённая языковая модель на основе Qwen2.5-7B, созданная автором репозитория с помощью mergekit и метода Model Stock. В объединение вошли FourOhFour/Vapor_7B, huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2 и Qwen/Qwen2.5-7B. Модель имеет плотную архитектуру Qwen2ForCausalLM и 7,1 млрд параметров; доступна в формате safetensors для библиотеки Transformers, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для составления ответов, черновиков и продолжения текста; метаданные также отмечают интерфейс вызова инструментов. README не приводит оценок качества или конкретных тестов. Лицензия в предоставленных данных не указана.

mlx-community/Qwen2.5-Coder-1.5B-Instruct-4bit — конвертированная в формат MLX 4-битная версия Qwen2.5-Coder-1.5B-Instruct от mlx-community, созданная с помощью mlx-lm 0.18.1. Это плотная авторегрессионная языковая модель семейства Qwen2 с 1,5 млрд параметров, предназначенная для генерации текста в формате инструкционного диалога и работы с кодом. Контекст модели составляет до 32 768 токенов; метаданные указывают английский язык и возможности чата и работы с кодом. Модель подходит для написания и объяснения кода, ответов на вопросы по программированию, а также помощи в небольших задачах разработки. 4-битное представление предназначено для запуска через MLX. Это производная от Qwen/Qwen2.5-Coder-1.5B-Instruct, преобразованная в MLX и квантизированная; лицензия — Apache-2.0.

legraphista/Qwen2.5-Coder-1.5B-Instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Qwen/Qwen2.5-Coder-1.5B-Instruct. Квантование выполнено legraphista с использованием llama.cpp и метода IMatrix; исходный формат модели — BF16. README не уточняет команду или организацию, разработавшую базовую модель Qwen2.5-Coder. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также выполнения инструкций, связанных с разработкой. Указан английский язык. Это текстовая модель без заявленной поддержки изображений или других модальностей. Размер базовой модели — 1,5 млрд параметров, однако сведения об архитектуре и размере контекстного окна в README отсутствуют. Доступны варианты GGUF от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; для ряда вариантов применена IMatrix. Квантированные файлы занимают примерно от 676 МБ до 1,65 ГБ, что делает модель пригодной для локального запуска при ограниченных ресурсах. Более агрессивное квантование уменьшает требования к памяти, но может снижать точность и качество генерации. Модель распространяется по лицензии Apache-2.0.

Qwen2.5-Coder-32B-Instruct-4bit — это 4-битная версия модели Qwen2.5-Coder-32B-Instruct, преобразованная сообществом mlx-community в формат MLX с использованием mlx-lm 0.19.3. Модель предназначена для генерации текста и работы с программным кодом в инструкционном и чат-сценариях: она может использоваться для написания, дополнения и объяснения кода, а также для диалога по техническим задачам. Указанный язык — английский. Модель содержит 32 миллиарда параметров и распространяется в 4-битном представлении. Она ориентирована на запуск через библиотеку mlx-lm; README не указывает поддерживаемые модальности, размер контекстного окна или перечень языков программирования. Модель предоставляется по лицензии Apache 2.0. Сведения о конкретных ограничениях качества, требованиях к оборудованию и результатах тестирования в README отсутствуют.

stefancosma/Qwen2.5-Coder-7B-Instruct-Q4_K_M-GGUF — это квантованная версия модели Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo. Модель основана на разработке Qwen и предназначена для генерации текста и работы с программным кодом в диалоговом формате. Модель имеет размер 7B параметров и использует квантизацию Q4_K_M, что снижает требования к памяти по сравнению с полной версией, но может сопровождаться некоторой потерей качества. Она рассчитана на текстовые задачи, включая написание, дополнение и объяснение кода, и может запускаться локально через llama.cpp в CLI или серверном режиме. В метаданных указан английский язык. В примере запуска серверу задаётся контекст 2048 токенов, однако максимальный размер контекста в карточке не указан. К сильным сторонам относятся специализированная направленность на программирование, компактный размер, формат GGUF и совместимость с llama.cpp, включая запуск на различном оборудовании. Ограничения связаны с отсутствием подробных результатов оценки и характеристик исходной модели в этой карточке, а также с возможным снижением точности из-за квантизации. Модель распространяется по лицензии Apache-2.0.