II.7DevOps, облако и эксплуатация IT-систем

skar01/llama2-coder-full — языковая модель семейства Llama 2, дообученная на наборе CodeAlpaca 20K с помощью QLoRA и библиотеки PEFT. Модель предназначена для генерации кода и ответов на инструкции, связанные с программированием. Модель имеет плотную архитектуру LlamaForCausalLM и около 6,6 млрд параметров. Она принимает текст и генерирует текст; заявленный размер контекста — 2048 токенов. Репозиторий содержит веса PyTorch, лицензия — Apache-2.0. В качестве базовой модели указана TinyPixel/Llama-2-7B-bf16-sharded.

Apollo Raines опубликовал вариант Llama 3.1 8B Instruct, изменённый инструментом jBlaze методом representation engineering. По описанию автора, дополнительного обучения не было: изменения в весах подавляют отказы и уклончивые формулировки, чтобы ответы были более прямыми. Модель предназначена для диалоговой генерации текста, ответов на вопросы и выполнения инструкций, включая задачи по программированию. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она принимает текст и выдаёт текст; в карточке указаны английский язык и контекст до 131 072 токенов. Автор характеризует релиз как демонстрационную версию с намеренно сниженной полнотой возможностей. Указана лицензия Llama 3.1; свойства изменения отказов могут влиять на безопасность ответов, а заявленных автором проблем не обнаружено.

Mermaid-Coder-Llama-3-8B — объединённая модель генерации текста на базе Llama 3, созданная TroyDoesAI методом SLERP с помощью mergekit. Она объединяет две модели, дообученные для генерации кода и выполнения инструкций, поэтому подходит для ответов на запросы о коде и создания кода по описанию. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текстовые запросы, выдавая текст. Родной контекст составляет 8192 токена. Для работы нужны веса в формате safetensors и библиотека Transformers. Доступна по лицензии базовых моделей; сведения о конкретной лицензии в предоставленных данных отсутствуют.

GnLOLot разработала MiniCPM5-2B-Claude-Fable5-1-Thinking-Agentic — компактную языковую модель на базе openbmb/MiniCPM5-2B, дообученную на данных Claude. Это плотная модель архитектуры Llama примерно с 2,2 млрд параметров, предназначенная для локального запуска через Transformers. Она поддерживает контекст до 131 072 токенов и выдаёт текст.

Nondzu/Mistral-7B-code-16k-qlora — экспериментальная модель для генерации кода и помощи в роли copilot, созданная автором репозитория на основе семейства Mistral. В карточке указано обучение на наборе nickrosh/Evol-Instruct-Code-80k-v1 с шаблоном запросов Alpaca; модель имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров. Модель принимает текстовые инструкции и генерирует текстовые ответы, включая код. В README автор приглашает пользователей тестировать модель и приводит сравнение с исходной Mistral, поэтому качество и пригодность для конкретных задач следует оценивать на собственных примерах. Метаданные указывают контекст до 32 768 токенов; лицензия — Apache-2.0.

Norns-Qwen2.5-Coder-7B-Instruct-v0.1 — языковая модель на архитектуре Qwen2, созданная автором win10 слиянием моделей методом TIES через mergekit. В качестве основы использована Qwen/Qwen2.5-Coder-7B-Instruct, также в слияние вошла win10/Urdandi-Qwen2.5-7B. Модель предназначена для генерации кода и диалогового взаимодействия с инструкциями по программированию. Она содержит 7,1 млрд параметров, принимает текст и выдаёт текст; нативная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и рассчитан на работу с библиотекой Transformers. Лицензия в предоставленных данных не указана. Карточка не сообщает о специальных ограничениях или результатах оценки качества; производительность может отличаться от базовых моделей из-за слияния.

OpenCodeReasoning-Nemotron-32B-GGUF — это GGUF-квантизированная версия текстовой генеративной модели OpenCodeReasoning-Nemotron-32B, разработанной NVIDIA и подготовленной квантизатором bartowski. Модель ориентирована на задачи генерации и анализа кода, а также на другие сценарии текстовой генерации на английском языке. В README указана принадлежность к семейству моделей NVIDIA OpenCodeReasoning и датасету nvidia/OpenCodeReasoning. Модель содержит 32 миллиарда параметров и распространяется в форматах GGUF, совместимых с llama.cpp и проектами на его основе, включая LM Studio. Доступны варианты от BF16 и Q8_0 до более компактных Q3 и IQ-квантизаций. Версии Q6_K_L, Q6_K, Q5 и Q4 отмечены как обеспечивающие высокое или хорошее качество при меньшем размере, тогда как варианты Q3 экономят оперативную память ценой снижения качества. Размер файлов зависит от варианта и составляет примерно от 15,94 до 65,54 ГБ. К сильным сторонам относятся специализированная направленность на код, широкий выбор степеней квантизации и возможность локального запуска через llama.cpp или LM Studio. Ограничения включают значительные требования к памяти даже для компактных вариантов, снижение качества при сильной квантизации и отсутствие в представленном README сведений о размере контекста, архитектурных деталях, поддержке мультимодальности и производительности. Модель распространяется по лицензии Apache-2.0.

Omega AI 450B — вариант модели, представленный под брендом Omega AI и основанный на Qwen3-Coder-480B-A35B-Instruct. Это языковая MoE-модель для генерации кода и диалогов; карточка указывает 480 млрд общих параметров и около 35 млрд активных параметров. Название «450B» обозначает уровень семейства Omega, а не фактическое число параметров. Модель предназначена для генерации кода и сценариев агентного программирования; в метаданных также заявлен интерфейс вызова инструментов. Контекст составляет до 262 144 токенов. Указано, что архитектура и исходные предобученные веса происходят от Qwen, а не были изначально обучены Omega AI. Сведения о лицензии и ограничениях качества в предоставленных источниках отсутствуют.

CISCai/OpenCodeInterpreter-DS-6.7B-SOTA-GGUF — это набор квантованных моделей в формате GGUF на основе OpenCodeInterpreter DS 6.7B, разработанной Multimodal Art Projection (M-A-P). Модель относится к семейству DeepSeek и предназначена для генерации текста, прежде всего для задач программирования и ответов на вопросы по computer science. Указан английский язык. В репозитории представлены файлы с различными вариантами квантования, рассчитанные на запуск через llama.cpp и совместимые сторонние интерфейсы и библиотеки. Ключевая особенность — квантование с importance matrix, обученной примерно на 1 млн токенов ответов из датасета CodeFeedback-Filtered-Instruction. Доступны варианты от 1 до 4 бит с эффективной точностью примерно от 1,56 до 4,5 бит на вес. Размер файлов составляет около 1,5–2,8 ГБ и выше в зависимости от метода; требуемый объём RAM начинается примерно от 3,5 ГБ. Более компактные варианты экономят память, но могут приводить к существенной или значительной потере качества. Для корректной токенизации и лучших результатов рекомендуется свежая сборка llama.cpp. Модель лицензирована по Apache 2.0. README не содержит сведений о размере контекста, мультимодальности, полном наборе поддерживаемых языков или результатах сравнительных тестов, поэтому эти характеристики нельзя надёжно определить.

duyntnet/OpenCodeReasoning-Nemotron-1.1-7B-imatrix-GGUF — это GGUF-квантизации языковой модели OpenCodeReasoning-Nemotron-1.1-7B, разработанной NVIDIA. Модель создана на основе Qwen2.5-7B-Instruct и дообучена для пошагового рассуждения и генерации кода. Она предназначена для текстовой генерации, прежде всего для решения задач программирования и кодинга. Модель поддерживает контекст длиной до 64 тысяч токенов, работает с текстом и заявлена для английского языка. Размер базовой модели — 7B параметров; конкретные характеристики, точность и требования к ресурсам зависят от выбранного варианта квантизации GGUF. Для запуска подходят llama.cpp, KoboldCPP, text-generation-webui, Jan и LM Studio. В тестах LiveCodeBench v5 модель показала Pass@1 55,5, превысив показатели ряда других дистиллированных моделей сопоставимого размера. Сильными сторонами являются специализация на рассуждении при генерации кода, большой контекст и возможность локального запуска через распространённые inference-инструменты. Ограничения включают ориентацию преимущественно на английский язык, зависимость качества и потребления ресурсов от квантизации, а также отсутствие в README подробностей о точных параметрах отдельных GGUF-файлов. В карточке указана лицензия other; исходная модель описана как доступная для коммерческого и некоммерческого использования, однако точные условия лицензии следует уточнять отдельно.

OpenHermes-2.5-Code-290k-13B — полноразмерная дообученная модель ajibawa-2023 на базе Llama 2 от Meta. Она обучена на смеси OpenHermes-2.5 и набора Code-290k-ShareGPT, включающей синтетические диалоги и инструкции; карточка сообщает примерно о 1,29 млн разговоров в объединённом наборе. Модель предназначена для генерации кода и ответов в формате диалога, а также для написания историй, блогов и ответов на вопросы. Модель использует плотную архитектуру Llama с 12,9 млрд параметров и контекстом 4096 токенов. В метаданных указан английский язык; заявленная лицензия — Apache-2.0. Карточка описывает её как улучшенную для программирования, но не приводит примеров выходов, а результаты оценки в README представлены лишь частично, поэтому качество для конкретных задач следует проверять отдельно.

Myric/Ornith-1.5-35B-A3B-APEX-GGUF — это набор квантизированных GGUF-вариантов модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, агентного программирования и работы с изображениями через отдельный vision projector; запуск ориентирован на llama.cpp. Лицензия — MIT. Архитектура представляет собой MoE-модель с 35,5 млрд общих параметров и примерно 3 млрд активных параметров: используется 256 маршрутизируемых экспертов с выбором top-8, гибридная gated-delta-net с полным attention в каждом четвёртом слое, 40 основных слоёв и контекст до 262 144 токенов. Также сохранён однос layer MTP-блок для speculative decoding. Доступны варианты i-quality размером 21,67 ГБ, i-compact размером 16,58 ГБ и i-mini размером 12,55 ГБ; они используют разные уровни квантизации и рассчитаны соответственно на качество или экономию памяти. Сильные стороны модели — большой контекст, низкая нагрузка KV-кэша благодаря преобладанию рекуррентных слоёв, поддержка vision через проектор издателя и возможность ускорения генерации с помощью MTP. В заявленном тесте agentic coding вариант i-quality решил 9 из 9 задач и прошёл 154 из 154 проверок, а в пяти perception-задачах с изображениями дал 5 успешных ответов из 5. Эти результаты получены на DGX Spark с llama.cpp в одном прогоне и не являются универсальным сравнительным бенчмарком. Для запуска требуется совместимый llama.cpp, значительный объём памяти и отдельный файл vision projector; README не указывает языковой охват модели и не приводит систематических данных о качестве на разных языках.

QaptaanLM-0.75B — компактная текстовая причинно-языковая модель для генерации кода, технических рассуждений и анализа длинных фрагментов кода. Её разработали в проекте Kaptaan на основе Qwen/Qwen3.5-0.8B-Base: визуальную часть исходной архитектуры удалили, а модель дообучили на корпусе KapCode-1B. В README указано 752 млн параметров; метаданные каталога указывают 581,4 млн. Модель использует гибридное внимание с линейными рекуррентными слоями и плотным вниманием, поддерживает заполнение пропусков в коде (Fill-in-the-Middle) и контекст до 262 144 токенов. Она предназначена для локального дополнения и генерации кода, вставки кода в заданный контекст и работы с техническими документами и материалами по STEM. Данные обучения включают исходный код, документацию, веб-тексты и математические материалы; метаданные отмечают английский язык. Модель распространяется в формате safetensors через Transformers по лицензии Apache-2.0. Карточка также перечисляет отдельные варианты для инструкционного чата и GGUF, но это не форматы данного репозитория.

Qwen2.5-Coder-1.5B-Instruct-GGUF — это квантованная в формате GGUF версия модели Qwen2.5-Coder-1.5B-Instruct, разработанной командой Qwen. Квантование выполнено bartowski на основе llama.cpp. Модель предназначена для генерации текста и ориентирована прежде всего на программирование. Модель подходит для решения задач разработки программного обеспечения, генерации и исправления кода, рассуждений о коде, а также создания coding agents. Указан английский язык. Размер базовой модели составляет 1,5 млрд параметров, поддерживается контекст до 128 тысяч токенов с конфигурацией YaRN RoPE. В обучении заявлено использование 5,5 трлн токенов для улучшения генерации, рассуждений и исправления ошибок. К сильным сторонам относятся специализация на программировании, поддержка длинного контекста и возможность запуска через экосистему llama.cpp и совместимые приложения, включая LM Studio. README не содержит результатов бенчмарков, требований к оборудованию или подробностей о вариантах квантования, поэтому производительность и качество для конкретных задач требуют самостоятельной проверки. Модель распространяется по лицензии Apache 2.0.

Qwen2.5-Coder-3B-Instruct-4bit — языковая модель для генерации текста и работы с программным кодом, разработанная командой Qwen. Версия преобразована сообществом mlx-community из исходной модели Qwen/Qwen2.5-Coder-3B-Instruct в формат MLX с использованием mlx-lm 0.19.3. Модель имеет размер 3B параметров и предназначена для сценариев инструкционного диалога и генерации кода. В карточке указана поддержка английского языка, текстовая модальность и применение через библиотеку mlx-lm; доступна 4-битная версия, что уменьшает требования к памяти по сравнению с полноразмерным представлением, но может ограничивать точность по сравнению с исходной моделью. Архитектура и размер контекста в README не указаны. Для использования требуется установить пакет mlx-lm и загрузить модель через функции load и generate. Лицензия обозначена как qwen-research; подробные условия доступны по ссылке на лицензию исходной модели. README не содержит данных о результатах тестирования, конкретных ограничениях качества или поддерживаемых языках помимо английского.

Qwen2.5-Coder-3B-Instruct-MLX-8bit — 8-битная MLX-квантизация инструкционно дообученной модели Qwen2.5-Coder-3B-Instruct. Исходную модель разработала команда Qwen, а данную квантизированную версию подготовил bartowski на основе инструментов mlx-examples; модель распространяется в каталоге lmstudio-community. Модель предназначена для генерации и обработки программного кода, использования в чат-сценариях и code agent системах. Она поддерживает контекст до 32 тысяч токенов и рассчитана на запуск на компьютерах Mac с Apple Silicon. В обучении использовалось до 5,5 триллиона токенов, включая исходный код, текстово-кодовые связи и синтетические данные. В README явно указан английский язык; сведения о поддержке других языков и точной архитектуре не приведены. К сильным сторонам относятся специализация на задачах программирования, ориентация на агентные сценарии, большой контекст и возможность локального запуска на совместимых устройствах. Ограничения включают небольшой по современным меркам размер в 3 миллиарда параметров, зависимость от Apple Silicon и риски неточных, небезопасных или неподходящих ответов, характерные для генеративных моделей. Лицензия указана как qwen-research; подробные условия доступны по ссылке на лицензию исходной модели Qwen2.5-Coder-3B-Instruct.

mlx-community/Qwen2.5-Coder-7B-4bit — версия модели Qwen2.5-Coder-7B, преобразованная сообществом mlx-community в формат MLX с 4-битной квантизацией. Модель представляет собой плотную авторегрессионную языковую модель семейства Qwen2 с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и кода, диалогового взаимодействия и работы с интерфейсом вызова инструментов. Её можно использовать для написания и продолжения кода, объяснения фрагментов программ и помощи в разработке. Квантизация сокращает требования к памяти; README указывает на использование через mlx-lm. В метаданных указана лицензия Apache-2.0. Карточка модели не сообщает отдельные результаты оценки качества или специфические ограничения; как квантизированная версия, она может отличаться по качеству от исходной модели.

BenevolenceMessiah/Qwen2.5-Coder-7B-Chat-Instruct-TIES-v1.2 — объединённая языковая модель на архитектуре Qwen2 для генерации кода и диалоговой работы с инструкциями. Автор объединил Qwen/Qwen2.5-Coder-7B и Qwen/Qwen2.5-Coder-7B-Instruct методом TIES; модель содержит 7,1 млрд параметров и использует формат safetensors. Модель предназначена для генерации, анализа и исправления программного кода в чате. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и предоставляет интерфейс вызова инструментов. В метаданных перечислены языковые коды? Нет, поэтому конкретные естественные языки здесь не заявлены. Лицензия в предоставленных данных не указана. Качество объединения и результаты оценки в карточке не описаны.

BlossomsAI/Qwen2.5-Coder-7B-Instruct-Uncensored — доработанная языковая модель для генерации кода и диалогового общения, созданная на основе Qwen/Qwen2.5-Coder-7B-Instruct. Авторы применили направленное вмешательство для изменения поведения модели и удаления отказов. В метаданных указана архитектура Qwen2, плотная causal language model и 7,1 млрд параметров; контекст — до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский и вьетнамский языки. Модель предназначена для генерации и обсуждения программного кода, а также ответов на запросы в формате чата. README заявляет о предварительной квантизации и упоминает формат GGFU; метаданные указывают файлы safetensors. Лицензия — MIT. Удаление отказов может привести к выдаче ответов на запросы, которые другие модели отклоняют; результаты следует проверять.

netcat420 создал эту объединённую модель на основе двух вариантов Qwen2.5-Coder-7B-Instruct: Qwen2.5-Coder-Scholar-7B-Abliterated-MFANN и huihui-ai/Qwen2.5-Coder-7B-Instruct-abliterated. Веса объединены методом SLERP с помощью mergekit; модель представляет собой плотную авторегрессионную архитектуру Qwen2 на 7,1 млрд параметров и распространяется в формате safetensors для Transformers. Модель предназначена для генерации текста в диалоговом режиме, включая задачи, связанные с кодом. Она принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и имеет интерфейс для вызова инструментов. В карточке не приведены сведения о языковом охвате и результаты сравнительных оценок качества. Лицензия в доступных данных не указана. Поскольку модель объединяет варианты с пометкой abliterated, поведение защитных ограничений может отличаться от исходных моделей; применимость для конкретных сценариев следует оценивать отдельно.

QuantTrio/Qwen3.6-27B-AWQ — это квантизированная версия модели Qwen3.6-27B, разработанной командой Qwen и опубликованной в формате, совместимом с Transformers. Вариант AWQ создан с помощью квантования без калибровочного датасета; размер файла модели составляет около 21 GiB. Лицензия — Apache 2.0. Модель предназначена прежде всего для агентного программирования, работы с фронтенд-разработкой, анализа репозиториев и сценариев с вызовом инструментов. Она относится к классу causal language model with vision encoder, поэтому поддерживает текстовые и визуальные входные данные. Заявлены возможности сохранения контекста рассуждений между сообщениями, автоматического выбора инструментов и интеграции с vLLM. Архитектура включает 27 миллиардов параметров, 64 слоя, комбинацию Gated DeltaNet и Gated Attention, а также многошаговое обучение для multi-token prediction. Нативная длина контекста составляет 262 144 токена и может расширяться до 1 010 000 токенов. Данные о полном наборе поддерживаемых языков и подробных результатах независимого тестирования в README не приведены. К сильным сторонам относятся большой контекст, мультимодальность, ориентация на программирование и возможность эффективного запуска в квантизированном виде. Ограничения связаны с тем, что AWQ-квантование без калибровочного набора может приводить к потере качества по сравнению с исходной моделью; для запуска указаны vLLM 0.19.0, Transformers 5.5.4 и CUDA 12.8 или 13.0. При использовании tensor parallelism на восьми GPU требуется включить expert parallelism.

Tachibana-Agent — дообученная модель Sequelbox на базе Qwen3.6-27B, созданная для агентного программирования и сложных задач разработки. Модель обучена на наборе Tachibana 4; карточка указывает 22,3 млрд параметров, контекст 262 144 токена и лицензию Apache-2.0. Для работы с моделью предназначена библиотека Transformers. Модель помогает решать практические задачи разработки на Python, C, C++, C#, Go, TypeScript, Java, JavaScript, Rust, Haskell и других языках: отладки, автоматизации, проектирования систем и оптимизации производительности. В метаданных также указан тег image-text-to-text, однако README описывает модель прежде всего как агентную модель для программирования и не раскрывает сценарии работы с изображениями. Ограничения качества и результаты оценок в карточке не приведены; автор обозначает модель как экспериментальную.

Qwen3-Coder-30B-A3B-Instruct-GGUF — это набор квантизированных версий языковой модели Qwen3-Coder-30B-A3B-Instruct, разработанной командой Qwen и подготовленной в формате GGUF пользователем или организацией Dhptl с использованием quant-kit. Модель предназначена для текстовой генерации и диалогового взаимодействия, включая локальное использование через llama.cpp, Ollama, LM Studio, Open WebUI и Jan. Основной профиль модели — задачи программирования и работы с текстом, однако конкретные результаты исходной модели следует уточнять в её оригинальной карточке. Модель имеет архитектуру Qwen3 MoE и обозначение 30B-A3B, что указывает на общий размер около 30 миллиардов параметров и примерно 3 миллиарда активных параметров на токен. Доступны варианты квантизации Q2_K, Q3_K, Q4_K, Q5_K, Q6_K и Q8_0 размером примерно от 10,49 до 30,25 ГБ. Рекомендуемым вариантом назван Q4_K_M как компромисс между размером и качеством; более высокие варианты требуют больше оперативной памяти, но ближе к качеству исходной модели. В README указан английский язык, поддержка других языков не описана. К сильным сторонам относятся возможность локального запуска, широкий выбор уровней квантизации и снижение требований к памяти по сравнению с полноточной версией. Ограничения связаны с потерей качества при сильной компрессии, особенно в вариантах Q2 и Q3, а также с отсутствием в README фактических результатов бенчмарков, сведений о размере контекста и подробного описания мультимодальности. Модель распространяется по лицензии Apache-2.0.

FreedomAISVR публикует GGUF-квантизацию MXFP4 модели Qwen3-Coder-30B-A3B-Instruct. Это разреженная MoE-архитектура Qwen3MoE с 30 млрд параметров, из которых при обработке активны около 3,6 млрд; в составе 128 экспертов, одновременно активируются 8. Модель предназначена для генерации текста в диалоговом формате и задач программирования, включая агентные сценарии, описанные для базовой модели Qwen3-Coder. Веса экспертов квантизированы в MXFP4 с блоками по 32 элемента, веса внимания — в Q8_0, прочие веса сохранены в F32/F16. Репозиторий использует формат GGUF и библиотеку llama.cpp для локального запуска. Базовая модель рассчитана на длинный контекст до 262 144 токенов. Карточка не приводит отдельной оценки качества этой квантизации; уменьшенная точность может влиять на качество вывода. Лицензия указана как other, поэтому условия использования следует сверить с лицензией базовой модели и файлами репозитория.

Qwen3 Coder Plus — проприетарная версия Alibaba модели Qwen3 Coder 480B A35B. Она предназначена для программирования и работы в роли автономного агента, в том числе с вызовом инструментов. Модель подходит для генерации и редактирования кода, а также для сценариев, где агент выполняет программные задачи с помощью инструментов. В доступной карточке указаны специализация на программировании и поддержка tool calling; другие технические характеристики и подробности обучения не приведены. Модель проприетарная; условия лицензии и использования в доступных данных не описаны.

DavidAU/Qwen3-Zero-Coder-Reasoning-0.8B-NEO-EX-GGUF — англоязычная текстовая generative-модель для программирования, разработанная DavidAU на базе DavidAU/Qwen3-Zero-Coder-Reasoning-0.8B и распространяемая в формате GGUF. Модель ориентирована на генерацию и анализ кода, мозговой штурм, решение задач и пошаговое рассуждение при разработке. Она может формировать блоки рассуждений перед ответом и подходит для интерактивной работы с подробными инструкциями и итеративным улучшением кода. Заявлены архитектура на платформе Qwen3, 42 слоя и 464 тензора; модель описана как объединение двух моделей размером 0,6B. Максимальный контекст составляет 40 000 токенов, рекомендуемый — от 8 000 до 16 000. Поддерживаются шаблоны Jinja или ChatML. Репозиторий содержит варианты GGUF с разными уровнями квантования и модификациями NEO Imatrix; в README отмечается, что некоторые более компактные кванты могут лучше подходить для отдельных сценариев, тогда как старшие кванты способны давать более качественные решения на сложных задачах. Сильными сторонами являются высокая скорость работы, компактный размер, специализация на коде и способность решать многоэтапные задачи. Ограничения включают возможные повторы блоков кода, чрезмерно длинные рассуждения и зависимость качества от уровня квантования и настроек генерации; для сложных запросов рекомендуется несколько генераций и тщательная формулировка требований. Модель распространяется по лицензии Apache-2.0.

Tiel-Coder-35B-A3B-GGUF-MTP — локальная GGUF-версия модели Ornith-1.5-35B-A3B, подготовленная с динамической квантизацией, собственной imatrix и шаблоном диалогов Sharp. Модель ориентирована прежде всего на агентное программирование, исправление реальных проблем в кодовых базах и длительные многоходовые диалоги. В метаданных указаны поддержка английского и китайского языков, а также сценарий image-text-to-text и возможность работы с визуальными данными; подробности о реализации мультимодальности в README не приведены. Модель использует разреженную MoE-архитектуру с заявленным размером 35B и активной частью 3B параметров. Доступны варианты квантизации от 2 до 8 бит в формате GGUF, совместимые с llama.cpp; размер наиболее рекомендуемого варианта UD-Q4_K_XL составляет 23,3 ГБ. Заявлена поддержка контекста до 262 тысяч токенов, при этом KV-кэш в формате 16-bit занимает менее 5 ГБ оперативной памяти для такого контекста. Архитектура позволяет использовать частичную выгрузку на GPU и запускать модель на системах с ограниченными ресурсами. Сильными сторонами являются скорость, эффективность в задачах программирования и качество многоходового общения. В приведённых автором тестах модель решила 12 из 25 задач SWE-bench-Live и получила 67,2 балла в Claw-Eval, однако уступила специализированным моделям в MMLU-Pro и задачах на знания и сложное рассуждение. README прямо предупреждает, что модель слаба в викторинах и экзаменационных сценариях, а более низкие уровни квантизации заметно ухудшают способность к агентному программированию. Модель распространяется по лицензии MIT.

BenevolenceMessiah/Yi-Coder-9B-Chat-Instruct-TIES — объединение моделей, созданное с помощью mergekit методом TIES на основе 01-ai/Yi-Coder-9B и 01-ai/Yi-Coder-9B-Chat. Это плотная авторегрессионная модель семейства Llama с 8,6 млрд параметров, предназначенная для генерации кода и диалоговой помощи в программировании. Модель принимает текст и генерирует текст; карточка базовой серии заявляет поддержку 52 популярных языков программирования и контекст до 128K токенов, а метаданные репозитория указывают контекст 131 072 токена. Модель подходит для написания и объяснения кода, а также работы с длинными фрагментами программного текста. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README описывает базовую серию Yi-Coder и конфигурацию слияния, но не приводит отдельной оценки качества именно этого объединения.

Vezora/Agent-7b-v1-128k — дообученная языковая модель, созданная Nicolas Mejia Petit на базе CallComply/openchat-3.5-0106-128k. Модель построена на архитектуре Mistral с 7,1 млрд параметров и принимает текст; заявленное контекстное окно составляет 131 072 токена. Модель обучена на 31 000 примерах набора m-a-p/Code-Feedback с использованием Unsloth QLoRA. Она предназначена для интерактивного программирования с обратной связью, генерации кода и агентных сценариев, включая задачи, подобные TaskWeaver и OpenInterpreter. README указывает на генерацию до 8 192 токенов. Модель опубликована в формате safetensors под лицензией Apache-2.0. Разработчик сообщает о хороших результатах внутренних проверок, но планировал провести бенчмаркинг; независимые сравнительные результаты в карточке не приведены.

CodeGemma 7B IT GGUF — квантизированная версия instruction-tuned модели CodeGemma 7B, разработанной Google и подготовленной в формате GGUF пользователем bartowski. Модель предназначена прежде всего для генерации и обработки программного кода, включая написание функций и ответы на запросы разработчиков. Она работает с текстовыми запросами через llama.cpp и использует специальный шаблон диалога с маркерами ролей; системные сообщения не поддерживаются. Доступны варианты квантизации от Q8_0 до IQ1_S размером примерно от 2,16 до 9,07 ГБ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, но требуют больше памяти, тогда как малые варианты подходят для ограниченных ресурсов за счёт заметного снижения качества. README не содержит сведений о размере контекста, поддерживаемых языках, мультимодальности или точной архитектуре базовой модели, поэтому эти характеристики нельзя определить по представленным данным. Модель удобна для локального запуска и выбора компромисса между качеством, скоростью и потреблением памяти. Ограничениями являются отсутствие поддержки system prompt и неизбежная потеря качества при использовании низкобитных вариантов. Распространение регулируется лицензией Google Gemma; ссылка на условия использования указана как https://ai.google.dev/gemma/terms.