II.7DevOps, облако и эксплуатация IT-систем

North-Mini-Code-1.0-GGUF — квантизированная версия языковой модели North-Mini-Code-1.0, разработанной CohereLabs и подготовленной пользователем bartowski в формате GGUF с использованием llama.cpp. Модель предназначена для генерации текста, диалогового взаимодействия, работы с программным кодом и сценариев с агентами. Поддерживает запуск через llama.cpp, LM Studio, KoboldCpp, Jan AI и другие совместимые инструменты. В репозитории представлены варианты от BF16 до различных уровней квантизации Q8_0, Q6_K, Q5_K, Q4_K и IQ3/IQ4. Размер файлов составляет примерно от 14,86 до 61 ГБ; варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а компактные версии требуют меньше оперативной памяти. Точные сведения об архитектуре, количестве параметров, языках и размере контекстного окна в предоставленных данных не указаны. Сильными сторонами модели являются специализация на коде, поддержка чатового и агентного применения, а также широкий выбор квантизированных вариантов для разных аппаратных ограничений. Ограничения включают значительные требования к памяти даже у компактных сборок, возможное снижение качества при сильной квантизации и необходимость совместимого программного обеспечения. Модель распространяется по лицензии Apache-2.0.

OpenBuddy/openbuddy-qwen2.5coder-32b-v24.1q-200k — чат-модель OpenBuddy, дообученная на Qwen2.5-Coder-32B-Instruct. Это плотная авторегрессионная модель семейства Qwen2 с 32 млрд параметров, рассчитанная на генерацию текста и диалог; базовая модель предназначена для генерации, анализа и исправления кода, а также создания кодовых агентов. Заявлена длина контекста 200 000 токенов. Модель оптимизирована для повышения качества инференса после квантизации и рекомендована автором для квантизации от 3 до 8 бит. В тегах карточки указана поддержка китайского, английского, французского, немецкого, японского, корейского, итальянского и финского языков. Репозиторий содержит веса Safetensors и распространяется по лицензии Apache 2.0. Модель может выдавать ошибочные, вредные или оскорбительные ответы. Авторы предостерегают от её применения в критических и высокорисковых сценариях, включая медицину, управление потенциально опасными системами и важные финансовые или юридические решения.

cyankiwi/Ornith-1.5-35B-A3B-AWQ-INT4 — квантованная версия модели Ornith-1.5-35B-A3B, разработанной командой Ornith AI. Это языковая модель для генерации текста, ориентированная прежде всего на программирование, агентские сценарии и работу с инструментами. Модель создана с применением цикла самоулучшения, включающего автоматическую генерацию задач, поиск эффективных стратегий и обучение с подкреплением. Модель относится к архитектуре mixture-of-experts: при общем размере 35B параметров на каждый токен активируется примерно 3B параметров. Данная версия использует квантование AWQ INT4 и занимает около 26,12 ГБ. В README заявлена поддержка английского, китайского, хинди, арабского, русского, японского, корейского, нидерландского, французского и испанского языков. Контекстное окно и мультимодальные возможности не указаны. Сильными сторонами заявлены результаты в задачах программирования и агентного кодинга: модель превосходит сопоставимую Qwen3.6-35B-A3B на приведённых бенчмарках и показывает преимущество над некоторыми плотными моделями близкого размера. Ограничения включают отсутствие данных о контекстном окне, качестве на широком спектре задач и характеристиках инференса; INT4-квантование также может влиять на точность по сравнению с полной версией. Модель распространяется по лицензии MIT.

Ornith-1.5-35B-A3B-NVFP4-MTP-GGUF — квантизированная версия модели ornith-ai/Ornith-1.5-35B-A3B, подготовленная Avifenesh. Это текстовая генеративная модель с архитектурой MoE, распространяемая в формате GGUF с квантизацией NVFP4. Артефакт дополнен дообученной головой multi-token prediction (MTP) для speculative decoding; основной корпус модели, эмбеддинги и выходная голова сохранены без изменений относительно официальной версии. Модель предназначена для диалоговой генерации текста, включая программирование и агентские сценарии. Она поддерживает контекст до 262 144 токенов, имеет встроенный шаблон чата с XML-вызовом инструментов и режимом рассуждений <think>. Артефакт рассчитан на текстовый ввод и вывод; upstream vision tower в него не входит. Размер файла составляет около 20,2 ГБ против 71,9 ГБ у BF16-версии, что позволяет разместить веса на одной видеокарте Blackwell с 96 ГБ памяти. Ключевое преимущество версии — ускорение speculative decoding благодаря дообученной MTP-голове: на описанных тестах принятие черновых токенов достигало 0,431, а на тестах генерации кода — 0,540. При этом проверка целевой моделью сохраняет побитовую идентичность с обычной жадной генерацией. Ограничения связаны с узкой совместимостью: NVFP4 не является стандартным типом тензоров upstream llama.cpp, поэтому рекомендуется использовать serving engine tiyuvta для RTX Blackwell или специальную NVFP4-ветку llama.cpp; для обычных llama.cpp и Ollama следует выбирать официальные GGUF Q4_K_M–Q8_0. Модель распространяется по лицензии MIT.

Qwable-9B-Claude-Fable-5-heretic — текстовая донастройка Qwen/Qwen3.5-9B, опубликованная richardyoung. Исходная модель Qwable-9B-Claude-Fable-5 разработана Empero; эта версия обработана методом abliteration с помощью Heretic v1.4.0 для снижения частоты отказов. Модель имеет плотную архитектуру Qwen3.5 и около 9 млрд параметров; обучение текста было полно-параметрическим и использовало трассы рассуждений, программирования и агентных задач от Claude Fable 5 и GPT-5.5. Базовая модель мультимодальна, однако зрительная башня осталась замороженной, а зрительные возможности этой версии не дообучались и не оценивались. Модель предназначена прежде всего для диалоговой помощи в программировании, многошаговых задачах с терминалом и агентных сценариях, а также для рассуждений и объяснений. Обучающие данные и карточка ориентированы преимущественно на английский язык. В приведённом сравнении доля отказов снизилась с 97 из 100 у исходной модели до 50 из 100; это не заменяет полноценную оценку безопасности и качества. Ответы могут содержать отдельный блок рассуждений, который при показе пользователям может потребовать обработки. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Заявленная лицензия — Apache-2.0, унаследованная от базовых весов; автор исходной модели отдельно отмечает оговорки о происхождении обучающих данных. Полные бенчмарки программирования, агентных возможностей и безопасности для исходной донастройки ещё не опубликованы.

sci4ai/Qwen2.5-Coder-14B-Abliterated — доработанная sci4ai версия Qwen/Qwen2.5-Coder-14B-Instruct, созданная удалением поведения отказа с помощью направленной на активации модификации весов. Это плотная авторегрессионная модель семейства Qwen2 с 14 млрд параметров, доступная в формате Safetensors; она принимает текст и поддерживает диалоговую генерацию кода на английском языке. Контекст — до 32 768 токенов. Модель предназначена для написания, анализа и исправления кода в диалогах. Изменение затрагивает 47 из 48 слоёв и ослабляет отказы, в том числе на запросы о разработке эксплойтов, вредоносного ПО и сетевых атаках; это не отдельная специализация, гарантирующая качество или безопасность таких ответов. Лицензия — Apache-2.0.

mlx-community/Qwen2.5-Coder-14B-bf16 — конвертированная в формат MLX версия Qwen/Qwen2.5-Coder-14B, подготовленная сообществом mlx-community с помощью mlx-lm 0.19.3. Это плотная авторегрессионная модель семейства Qwen2, предназначенная для генерации кода и диалогового взаимодействия с ним; размер модели — 14 млрд параметров, контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст. Она подходит для генерации фрагментов и функций кода, помощи при программировании и работы с запросами о коде. Метаданные указывают английский язык. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Карточка этой версии подтверждает конвертацию формата, но не описывает отдельного дообучения поверх базовой модели.

Qwen2.5-Coder-14B-Instruct-abliterated-GGUF — это GGUF-квантизированная версия инструкционной модели Qwen2.5-Coder-14B-Instruct-abliterated. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; исходная модель опубликована huihui-ai. Модель предназначена для генерации текста, диалогового взаимодействия и задач программирования, включая работу с кодом и запросами в формате инструкций. Модель содержит 14 миллиардов параметров и работает с текстовыми данными. README указывает английский язык, но сведения о полном наборе поддерживаемых языков, архитектуре и размере контекстного окна отсутствуют. Доступны варианты от F16 до Q3 и различные форматы квантизации; версии Q4_K_M, Q5, Q6 и другие позволяют выбирать компромисс между качеством, размером файла и требованиями к памяти. Файлы предназначены для запуска через llama.cpp, в частности в LM Studio. Сильной стороной является широкий выбор квантизированных вариантов: от почти исходного качества до более компактных сборок для систем с ограниченными ресурсами. Ограничения включают зависимость характеристик от выбранного типа квантизации и отсутствие в README подробных данных о производительности, контекстном окне и поддерживаемых языках. Для ARM доступны специальные варианты, часть которых требует поддержки SVE или i8mm и не предназначена для Mac или Windows. Лицензия модели указана как Apache-2.0.

Qwen2.5-Coder-14B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-Coder-14B-Instruct, преобразованная в формат GGUF для запуска с помощью llama.cpp. Исходная модель разработана командой Qwen; данный вариант конвертирован через GGUF-my-repo на базе llama.cpp. В README также указано, что модель предназначена для генерации текста и работы с кодом в диалоговом формате. Модель ориентирована на программирование, генерацию и обработку кода, а также сценарии локального запуска через llama.cpp в CLI или серверном режиме. Она содержит 14 миллиардов параметров, использует квантизацию Q4_K_M и поддерживает текстовый ввод и вывод. В метаданных указан английский язык, однако дополнительных сведений о языковом охвате, архитектуре, максимальном контексте и точных требованиях к аппаратному обеспечению нет. Ключевое преимущество варианта — возможность более экономичного локального инференса благодаря формату GGUF и квантизации, включая запуск на совместимом оборудовании через llama.cpp. Ограничения связаны с потерей точности по сравнению с полной версией модели из-за квантизации, а также с отсутствием в README подробных результатов оценки качества и характеристик производительности. Модель распространяется по лицензии Apache-2.0.

legraphista/Qwen2.5-Coder-1.5B-Instruct-IMat-GGUF — это GGUF-квантизированная версия инструкционно дообученной модели Qwen/Qwen2.5-Coder-1.5B-Instruct. Квантование выполнено legraphista с использованием llama.cpp и метода IMatrix; исходный формат модели — BF16. README не уточняет команду или организацию, разработавшую базовую модель Qwen2.5-Coder. Модель предназначена для генерации текста и работы с программным кодом в диалоговом формате: написания, дополнения и объяснения кода, а также выполнения инструкций, связанных с разработкой. Указан английский язык. Это текстовая модель без заявленной поддержки изображений или других модальностей. Размер базовой модели — 1,5 млрд параметров, однако сведения об архитектуре и размере контекстного окна в README отсутствуют. Доступны варианты GGUF от BF16 и FP16 до квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и Q2_K; для ряда вариантов применена IMatrix. Квантированные файлы занимают примерно от 676 МБ до 1,65 ГБ, что делает модель пригодной для локального запуска при ограниченных ресурсах. Более агрессивное квантование уменьшает требования к памяти, но может снижать точность и качество генерации. Модель распространяется по лицензии Apache-2.0.

Sg-at-srijan-us-kg выпустил instruction-tuned модель Qwen2.5-Coder-32B на 32 млрд параметров для генерации, анализа и исправления программного кода, а также создания кодовых агентов. Это причинная языковая модель семейства Qwen2 с архитектурой Qwen2ForCausalLM; она принимает текстовые инструкции и выдаёт текст и код. Карточка описывает поддержку контекста до 128K токенов с YaRN, тогда как конфигурация по умолчанию рассчитана на 32 768 токенов. Модель использует сильные стороны Qwen2.5-Coder в задачах программирования, сохраняя способности к математике и общим задачам. Метаданные указывают английский язык, библиотеку Transformers и формат safetensors. Для работы с длинным контекстом требуется включить YaRN; в vLLM статический коэффициент масштабирования может снижать качество или эффективность на коротких запросах. Лицензия Apache-2.0.

bocalan/Qwen2.5-Coder-3B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen2.5-Coder-3B-Instruct, преобразованная пользователем bocalan в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo от ggml.ai. Модель предназначена для генерации текста и работы с программным кодом в диалоговых сценариях, включая написание, дополнение и объяснение кода. В метаданных указаны английский язык, базовая модель Qwen/Qwen2.5-Coder-3B-Instruct и библиотека transformers. Модель содержит 3 миллиарда параметров и использует квантизацию Q4_K_M, что снижает требования к памяти по сравнению с полной версией и делает запуск возможным через llama.cpp на совместимом локальном оборудовании. GGUF-версия поддерживает запуск в CLI и серверном режиме llama.cpp; в README приведён пример контекста 2048 токенов, однако это значение относится к примеру запуска и не подтверждает максимальный размер контекста модели. К сильным сторонам относятся специализация на программном коде, инструкционное обучение и удобство локального запуска в оптимизированном GGUF-формате. Ограничения включают меньший размер по сравнению с более крупными моделями и отсутствие в предоставленных данных подробностей об архитектуре, полном наборе языков, точной производительности и мультимодальных возможностях; указана только текстовая генерация. Модель распространяется по лицензии qwen-research; дополнительные условия следует уточнять в лицензии базовой модели Qwen2.5-Coder-3B-Instruct.

Qwen2.5-Coder-7B — плотная причинная языковая модель семейства Qwen2, разработанная командой Qwen. Это базовая предварительно обученная модель на 7,1 млрд параметров, дообученная на основе Qwen/Qwen2.5-7B с упором на программный код. Она предназначена для генерации кода, рассуждений о коде и исправления ошибок, а также может служить основой для кодовых агентов и дальнейшей адаптации под прикладные задачи. Модель принимает текст и генерирует текст. Архитектура использует RoPE, SwiGLU, RMSNorm и смещение в проекциях внимания QKV; заявленная длина контекста в метаданных — 32 768 токенов. Карточка описывает возможности обработки контекста до 131 072 токенов с YaRN, но для этого нужна дополнительная настройка; постоянный коэффициент масштабирования YaRN может снижать качество на коротких входах. Разработчик не рекомендует использовать базовую модель для диалогов без постобучения. Репозиторий распространяется под лицензией Apache-2.0.

theo77186/Qwen2.5-Coder-7B-Instruct-20241106 — повторная публикация весов Qwen2.5-Coder-7B-Instruct от автора репозитория theo77186; исходная серия разработана командой Qwen. Это причинная языковая модель семейства Qwen2, дообученная для диалоговой генерации и работы с кодом. Она предназначена для генерации, анализа и исправления программного кода, а также для создания кодовых агентов и решения математических и общих текстовых задач. Модель содержит около 7,1 млрд параметров по метаданным и использует архитектуру Qwen2ForCausalLM с RoPE, SwiGLU, RMSNorm и групповым запросным вниманием. Метаданные указывают контекст 32 768 токенов; в README заявлена поддержка до 131 072 токенов с настройкой YaRN для длинных запросов. Карточка и метаданные указывают английский язык. Лицензия — Apache-2.0. Для длинного контекста может потребоваться включить YaRN; в README отмечено, что постоянный коэффициент масштабирования способен ухудшать работу на коротких текстах. Для загрузки рекомендуется актуальная версия Transformers; README предупреждает о несовместимости с версиями ниже 4.37.0.

Qwen2.5-Coder-7B-Instruct-abliterated-GGUF — набор GGUF-квантизаций модели Qwen2.5-Coder-7B-Instruct-abliterated. Базовая модель опубликована huihui-ai, а квантизации подготовлены bartowski с использованием llama.cpp и imatrix. Это текстовая модель генерации с поддержкой диалогового формата prompt и специализацией на задачах программирования и следовании инструкциям. Модель предназначена для локального запуска в приложениях и средах, совместимых с GGUF, включая LM Studio. Доступны варианты от F16 до Q3 и различных Q4–Q8-квантизаций размером примерно от 4,09 до 15,24 ГБ. Более крупные варианты обычно сохраняют лучшее качество, а компактные требуют меньше оперативной памяти; для ARM предусмотрены отдельные варианты, некоторые из которых требуют поддержки sve или i8mm и не рекомендуются для Mac или Windows. В README указана поддержка английского языка и текстовая модальность; сведения о размере контекста и точной архитектуре не приведены. К ключевым ограничениям относятся возможная потеря качества при сильной квантизации и зависимость совместимости от аппаратной платформы. Модель имеет статус abliterated/uncensored, поэтому поведение в отношении ограничений безопасности может отличаться от исходной instruct-модели. Указана лицензия Apache-2.0.

stefancosma/Qwen2.5-Coder-7B-Instruct-Q4_K_M-GGUF — это квантованная версия модели Qwen2.5-Coder-7B-Instruct, преобразованная в формат GGUF с использованием llama.cpp и сервиса GGUF-my-repo. Модель основана на разработке Qwen и предназначена для генерации текста и работы с программным кодом в диалоговом формате. Модель имеет размер 7B параметров и использует квантизацию Q4_K_M, что снижает требования к памяти по сравнению с полной версией, но может сопровождаться некоторой потерей качества. Она рассчитана на текстовые задачи, включая написание, дополнение и объяснение кода, и может запускаться локально через llama.cpp в CLI или серверном режиме. В метаданных указан английский язык. В примере запуска серверу задаётся контекст 2048 токенов, однако максимальный размер контекста в карточке не указан. К сильным сторонам относятся специализированная направленность на программирование, компактный размер, формат GGUF и совместимость с llama.cpp, включая запуск на различном оборудовании. Ограничения связаны с отсутствием подробных результатов оценки и характеристик исходной модели в этой карточке, а также с возможным снижением точности из-за квантизации. Модель распространяется по лицензии Apache-2.0.

QuantTrio/Qwen3.6-35B-A3B-AWQ — квантованная версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen. Репозиторий содержит веса в формате Hugging Face Transformers и подготовлен с использованием data-free-квантизации AWQ без калибровочного набора данных. Указана лицензия Apache 2.0, унаследованная от базовой модели Qwen/Qwen3.6-35B-A3B. Модель предназначена для генерации текста, программирования, агентных сценариев и работы с изображениями благодаря архитектуре causal language model с vision encoder. Она ориентирована, в частности, на repository-level reasoning, frontend-разработку, использование инструментов и сохранение контекста рассуждений между сообщениями. Для запуска рекомендуется vLLM; в README также заявлена совместимость с Transformers, SGLang и KTransformers. Архитектура включает 35 млрд параметров, из которых активируется около 3 млрд, 40 слоёв, Mixture of Experts с 256 экспертами, 8 маршрутизируемыми и одним общим активным экспертом, а также компоненты Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Размер файлов модели — около 24 ГиБ. README не приводит полный перечень поддерживаемых языков и подробные результаты тестирования. Ключевые ограничения связаны с требованиями к совместимым версиям vLLM и Transformers, CUDA 12.8 или 13.0, а также с необходимостью корректной настройки expert parallelism при распределённом запуске.

Это квантованная GGUF-версия Qwen3.8-27B CODER, подготовленная LexiPanel для запуска на одной видеокарте с 24 ГБ памяти и больших контекстов в сценариях агентного программирования. Модель рассчитана на генерацию кода и работу в чате; файл использует формат IQ4_XS с матрицей важности, а голова MTP сохранена в Q8_0 для спекулятивного декодирования в llama.cpp. В README заявлены контекст до 262 144 токенов и результаты запуска на AMD Radeon RX 7900 XTX: 36–41 токен/с при уже заполненном контексте объёмом 110–170 тысяч токенов. Эти показатели получены в конкретной конфигурации llama.cpp и оборудования. Репозиторий содержит только языковую модель; для обработки изображений требуется отдельный проектор Qwen3.8-27B mmproj. Лицензия — Apache-2.0.

Qwen3.8-27B-Cold-Fusion-GAIN-V1.1-YMQ-GGUF — это GGUF-квантизированная версия модели Qwen3.8-27B Cold-Fusion GAIN V1.1, исходно разработанной DavidAU. Квантизация выполнена проектом ZeroDigest с использованием собственного YMQ-Compiler v2.0 и архитектурно-ориентированного подхода к смешанной точности на основе исходных файлов BF16. Модель предназначена прежде всего для генерации текста и задач программирования, включая работу с API и агентскими инструментами вроде RooCode и Aider. В репозитории заявлена поддержка параллельного multi-token prediction (MTP) для спекулятивной генерации, а также оптимизация для сценариев с большим контекстом. Архитектура описана тегами как включающая Mamba/SSM и multi-token prediction; размер исходной модели — 27B параметров. Языки и точный размер контекстного окна в README не указаны. Доступно несколько пресетов смешанной точности размером примерно от 9,1 до 14,5 ГБ, рассчитанных на видеокарты с 12, 16 и 24 ГБ VRAM. Варианты различаются балансом качества, объёма памяти и запаса под контекст; среди рекомендуемых указаны M-TI и S-Pro для 16 ГБ VRAM, а M и L-TI — для 24 ГБ. Заявленные преимущества включают сохранение логики при квантизации и пригодность для длительных агентских циклов, однако приведённые оценки качества ограничены отдельными тестами perplexity и не заменяют независимой проверки в прикладных задачах. Лицензия — Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-8bit — языковая модель для генерации текста, ориентированная прежде всего на задачи программирования и работы с кодом. Модель разработана сообществом mlx-community и представляет собой конвертацию Qwen3-Coder-30B-A3B-Instruct от Qwen в формат MLX с использованием mlx-lm версии 0.26.1. Модель предназначена для запуска через библиотеку mlx-lm и поддерживает инструкционный режим с применением chat template. В названии указано 8-битное представление, а исходная модель имеет 30B параметров и архитектуру MoE с 3B активных параметров, однако дополнительные сведения о контекстном окне, языках и поддерживаемых модальностях в README не приведены. К сильным сторонам относятся специализация базовой модели на программировании, инструкционное взаимодействие и адаптация к экосистеме MLX. Ограничения, производительность и требования к оборудованию в README не описаны. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct — причинная языковая модель семейства Qwen3-Coder, разработанная командой Qwen. Представленная карточка относится к GGUF-версии Userb1az. Модель предназначена прежде всего для генерации и анализа кода, агентского программирования, работы с инструментами и агентского взаимодействия с браузером, а также для понимания репозиториев и выполнения задач разработки в средах вроде Qwen Code и CLINE. Модель использует mixture-of-experts (MoE) архитектуру: всего 30,5 млрд параметров, из которых при обработке активируются 3,3 млрд; предусмотрено 48 слоёв, 128 экспертов и 8 активируемых экспертов. Используется Grouped Query Attention с 32 головами запросов и 4 головами ключей/значений. Нативная длина контекста составляет 262 144 токена, а с применением YaRN может быть расширена до 1 млн токенов. Это текстовая модель без мультимодальных возможностей, поддерживающая только режим без рассуждений и не генерирующая блоки <think></think>. Языки в карточке явно не указаны. К сильным сторонам относятся заявленная производительность в задачах агентского программирования и browser-use, эффективная MoE-активация и большой контекст для работы с кодовыми базами. Ограничения включают необходимость значительных вычислительных ресурсов при работе с полным контекстом, возможные ошибки нехватки памяти и зависимость от совместимого программного обеспечения; для GGUF-версии конкретные требования к квантизации и аппаратному обеспечению не приведены. Модель распространяется по лицензии Apache-2.0.

Qwen3-Coder-30B-A3B-Instruct-MLX-8bit — это 8-битная квантованная версия Qwen3-Coder-30B-A3B-Instruct, разработанная Qwen и адаптированная для работы с MLX на компьютерах Apple Silicon. Квантование выполнено командой LM Studio с использованием mlx_lm; сама LM Studio не является создателем исходной модели. Модель предназначена для генерации текста и, прежде всего, задач, связанных с программированием и работой с кодом. Ключевые характеристики включают архитектуру исходной модели Qwen3-Coder-30B-A3B-Instruct, размер 30B с обозначением A3B, 8-битное квантование и оптимизацию под Apple Silicon. В README не указаны поддерживаемые языки, размер контекстного окна, полный перечень модальностей, результаты тестирования или конкретные сценарии применения. Квантование должно снизить требования к памяти и сделать локальный запуск практичнее, но может сопровождаться потерей точности по сравнению с исходной моделью; производительность также зависит от оборудования. Модель распространяется по лицензии Apache-2.0.

giladgd/Qwen3-Coder-30B-A3B-Instruct-Q4_K_M-GGUF — это квантизированная версия модели Qwen3-Coder-30B-A3B-Instruct, преобразованная в формат GGUF с помощью llama.cpp через сервис GGUF-my-repo. В README не указано, кто именно разработал исходную модель, однако она основана на Qwen/Qwen3-Coder-30B-A3B-Instruct. Модель предназначена для генерации текста и, прежде всего, для задач, связанных с программированием, включая работу с кодом и использование в диалоговых приложениях. Модель рассчитана на локальный запуск с помощью llama.cpp и node-llama-cpp, в том числе через командную строку или серверный режим. Обозначение 30B указывает на класс модели примерно с 30 миллиардами параметров, а A3B и Q4_K_M относятся к характеристикам исходной архитектуры и применённой 4-битной квантизации соответственно. В README не приведены точные сведения о контекстном окне, языках, поддерживаемых модальностях и других архитектурных деталях. К сильным сторонам относятся совместимость с популярными локальными инструментами инференса и уменьшенные требования к памяти благодаря формату Q4_K_M. Ограничениями являются возможная потеря качества по сравнению с полной точностью и зависимость производительности от оборудования и настроек llama.cpp. Модель распространяется по лицензии Apache-2.0.

unsloth/Qwen3-Coder-480B-A35B-Instruct-1M-GGUF — GGUF-версия крупной инструктивной модели для генерации кода Qwen3-Coder-480B-A35B-Instruct, разработанной командой Qwen и подготовленной Unsloth. Модель предназначена для агентного программирования, использования браузера, генерации и анализа кода, работы с большими репозиториями и интеграции с инструментами вроде Qwen Code и CLINE через специально разработанный формат вызова функций. Это каузальная языковая модель на архитектуре mixture-of-experts: 480 млрд параметров всего, из которых активируется 35 млрд; 160 экспертов, 8 активных экспертов, 62 слоя и Grouped Query Attention с 96 головами Q и 8 головами KV. Поддерживается текстовая модальность, а модель работает только в режиме без рассуждений и не генерирует блоки <think></think>. Нативная длина контекста составляет 262 144 токена, а данная версия расширяет её до 1 млн токенов с использованием YaRN, что подходит для задач на уровне репозитория. К сильным сторонам относятся высокая производительность в агентном программировании и задачах работы с браузером, а также большой контекст. Ограничения включают требовательность к вычислительным ресурсам, типичную для модели такого размера, и отсутствие режима рассуждений; конкретные требования к оборудованию и показатели производительности в README не приведены. Модель распространяется по лицензии Apache-2.0.

maci0/Qwopus3.6-27B-Coder-NVFP4 — это квантованная версия модели Jackrong/Qwopus3.6-27B-Coder, опубликованная в формате NVFP4. Модель предназначена для агентского программирования, генерации и анализа кода, работы с инструментами и задач, требующих рассуждений в thinking mode. Заявлена поддержка сценариев vision-language, однако подробности о возможностях обработки изображений в README не приведены. Модель имеет плотную архитектуру с 27 млрд параметров, занимает около 18 ГБ и поддерживает контекст до 256K токенов. Она рассчитана на английский и китайский языки. Квантование выполнено по схеме W4A4 с использованием GPTQ, error-compensated rounding и MSE observer; веса упакованы в формат compressed-tensors nvfp4-pack-quantized. Основной целевой стек запуска — vLLM на GPU NVIDIA Blackwell. Для набора wikitext-2 указана perplexity 6.63. К сильным сторонам относятся существенное уменьшение размера модели, ориентация на задачи программирования и совместимость с оптимизированным запуском в vLLM. Ограничения связаны с потерями, возможными при 4-битном квантовании, зависимостью от совместимого оборудования и неполным описанием мультимодальных возможностей. Лицензия — Apache-2.0.

Qwopus3.6-35B-A3B-Coder-vram13-GGUF — квантизированная GGUF-сборка кодовой версии Qwopus3.6-35B-A3B-Coder от автора репозитория xero0000. Она предназначена для генерации и редактирования кода, отладки и агентных сценариев программирования. Основа — дообученная Jackrong/Qwopus3.6-35B-A3B-Coder, созданная на базе Qwen3.6-35B-A3B; архитектура MoE, а для ускорения генерации сохранена обученная голова multi-token prediction (MTP). Вес файла составляет 13,53 ГБ, заявленный контекст — до 128 тыс. токенов. Модель упакована в GGUF с imatrix-квантизацией: экспертные слои используют преимущественно 2-битное представление, а важные для каждого токена компоненты — 5–6-битное. README сообщает о высокой скорости на двух видеокартах с суммарно 18 ГБ VRAM при использовании ik_llama.cpp и MTP; эти результаты относятся к описанной конфигурации оборудования. Карточка предупреждает, что 2-битные эксперты могут несколько ухудшить рассуждения в нетипичных случаях; для максимального качества предлагается более крупная смешанная квантизация с выгрузкой части модели в CPU. Лицензия — Apache-2.0.

Speechless Code Mistral Orca 7B v1.0 — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и uukuguy/speechless-code-mistral-orca-7b-v1.0 методом SLERP. Она использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и ответов на инструкции в диалоговом формате, в том числе для задач, связанных с кодом. Контекст модели составляет до 32 768 токенов. Веса опубликованы в формате safetensors, лицензия — Apache-2.0. В карточке не приведены сведения о языковом покрытии или результаты оценки качества.

Это 4-битная конверсия для MLX модели StarCoder2-15B-Instruct-v0.1, подготовленная сообществом mlx-community из bigcode/starcoder2-15b-instruct-v0.1 с помощью mlx-lm 0.10.0. Модель предназначена для генерации кода и диалоговой работы с инструкциями; её можно использовать для написания и дополнения программного кода. Основа семейства StarCoder2 также поддерживает заполнение пропусков внутри кода. В метаданных указаны архитектура Starcoder2ForCausalLM, 21,7 млрд параметров и контекст до 16 384 токенов. Репозиторий описывает вариант MLX с 4-битными весами; каталог связывает модель с bigcode/starcoder2-15b и набором инструкционных примеров self-oss-instruct-sc2-exec-filter-50k. Лицензия — BigCode OpenRAIL-M. Языки программирования в карточке не перечислены.

Baanzon-Chenni-1.5-9B-i1-GGUF — это квантизированная версия модели Baanzon-Chenni-1.5-9B, разработанной Devopsopraiz и преобразованной в формат GGUF пользователем mradermacher. Модель предназначена для генерации текста, диалоговых сценариев, задач разработки программного обеспечения и автономных агентов. В метаданных также указано, что это vision-модель, однако подробности о поддерживаемых визуальных входах и способах их использования в описании не приведены. Модель содержит около 9 млрд параметров и связана с семейством Qwen3. Указан английский язык. Репозиторий предоставляет набор вариантов квантизации i1, включая IQ- и Q-форматы размером примерно от 2,8 до 7,5 ГБ, что позволяет выбирать компромисс между требованиями к памяти, скоростью и качеством. Вариант i1-Q4_K_M отмечен как быстрый и рекомендуемый, а i1-Q4_K_S — как оптимальный по сочетанию размера, скорости и качества; наиболее низкие уровни квантизации могут заметно снижать качество. Доступны imatrix-кванты и статические GGUF-файлы для локального запуска в совместимом программном обеспечении. Размер контекстного окна, точная архитектура, результаты оценивания, перечень языков помимо английского и характеристики мультимодальности не указаны. Модель распространяется по лицензии MIT.

petedavis/bmk-models — квантизированная версия KAT-Coder-V2.5-Dev, подготовленная для bare-metal движка инференса bmk. Модель основана на MoE-архитектуре Qwen3.5: около 34,7 млрд параметров всего и примерно 3 млрд активных; в ней 40 слоёв, 256 маршрутизируемых экспертов с выбором top-8 и один общий эксперт. Используется гибридное внимание GDN/SSM, заявленный контекст — 262 144 токена. Веса представлены в формате GGUF с асимметричной квантизацией: экспертные gate/up слои — IQ2_XXS, down слои — Q2_K, а внимание, общий эксперт, эмбеддинги и выходная голова — Q8_0. Квантизация откалибрована importance matrix. Модель рассчитана на генерацию кода и агентные сценарии программирования; потоковая загрузка экспертов предназначена для запуска на видеокартах с 8, 12 или 16 ГБ VRAM. Лицензия — Apache-2.0.