II.2Создание и понимание программного кода

Yi-Coder-1.5B-Chat-GGUF — это набор файлов модели в формате GGUF для Yi-Coder-1.5B-Chat, разработанной 01-ai и квантованной MaziyarPanahi. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, связанные с программированием, однако подробные сведения о её обучении и специализации в README не приведены. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит. Формат GGUF ориентирован на локальный запуск и поддерживается llama.cpp, llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и рядом других инструментов. Это позволяет использовать модель с GPU-ускорением, через Python-библиотеки, веб-интерфейсы и совместимые API-серверы. README не содержит данных о точной архитектуре, размере контекста, поддерживаемых языках и модальностях, а также не указывает лицензию. Возможности и качество зависят от выбранной квантованной версии и используемого программного обеспечения; квантование может снизить требования к ресурсам, но потенциально повлиять на точность.

airoboros-l2-13b-2.1 — языковая модель на архитектуре Llama 2, дообученная Jondurbin на синтетических инструкциях Airoboros. Она предназначена для диалогов и выполнения инструкций: ответов по заданному контексту, написания текстов и следующих глав, ролевых бесед, помощи с кодом, планирования и генерации аргументов функций в JSON или YAML. В обучающий набор вошли примеры стилизованных ответов и экспериментальные форматы ролевых диалогов. Модель содержит 12,9 млрд параметров, работает с текстом и имеет нативное контекстное окно 4096 токенов. Для диалогов используется формат с маркерами USER и ASSISTANT; карточка рекомендует останавливать генерацию при появлении USER:, поскольку модель может продолжить имитацию диалога. В README указано, что версия 2.1 имеет ошибку форматирования промптов при обучении, которая может ухудшать работу; заявлена как экспериментальная. Модель распространяется по лицензии Llama 2. В карточке описан небольшой набор для ослабления цензурных ограничений, поэтому ответы могут включать чувствительный контент; качество и соблюдение инструкций не гарантированы.

QuantFactory/bloom-560m-GGUF — квантизированная версия языковой модели bigscience/bloom-560m, разработанной исследовательским сообществом BigScience. Модель основана на архитектуре Transformer и предназначена для генерации текста, изучения поведения языковых моделей и использования в качестве предобученной основы для дообучения. Модель поддерживает широкий набор языков, включая английский, французский, испанский, португальский, арабский, китайский, хинди, бенгальский, вьетнамский и другие, а также работу с кодом. Возможные прикладные задачи включают извлечение информации, ответы на вопросы и суммаризацию. Размер исходной модели — 560 миллионов параметров; формат GGUF получен с использованием llama.cpp. Данные о размере контекста и конкретном уровне квантизации в README не указаны. Ключевое преимущество модели — открытая многоязычная архитектура, пригодная для исследований, обучения и локального запуска в оптимизированном формате. При этом модель может генерировать фактически неверный контент и не предназначена для критически важных решений, оценки людей, медицинских, юридических, политических или финансовых сценариев. Также не следует использовать её для спама, дезинформации, мошенничества, травли, несанкционированной имитации или наблюдения. Распространение и использование регулируются лицензией bigscience-bloom-rail-1.0, основанной на RAIL License v1.0, включая установленные ограничения на применение.

CloudSurf-4B-FC-GGUF — официальный набор GGUF-квантизаций модели CloudSurf-4B-FC, разработанной CloudSurf Software. Модель основана на архитектуре Gemma-4 E4B: около 4 млрд эффективных активных параметров и примерно 8 млрд общих параметров. Основное назначение — генерация текста с поддержкой function calling и tool use, включая выбор инструментов, многоаргументные и параллельные вызовы, обмен сообщениями роли tool и отказ от нерелевантных вызовов. Модель ориентирована на работу через llama.cpp, LM Studio, Ollama и OpenAI-совместимый локальный сервер. Доступны варианты с квантованием от Q3_K_M до Q8_0, а также BF16; рекомендуемый вариант Q4_K_M занимает около 5,3 ГБ и рассчитан на системы с 8 ГБ RAM или VRAM. Для каждого файла заявлена успешная проверка базового набора из шести сценариев вызова инструментов. Поддерживается ввод изображений через отдельный mmproj-файл, поскольку визуальные возможности унаследованы от базы Gemma-4, однако ключевая специализация модели — function calling. Обучение и оценка проводились в контексте класса 131K, а практический пример запуска использует 16 384 токена. Качество квантованных вариантов отдельно пока не оценено: опубликованные показатели BFCL относятся к исходным BF16-весам и не должны напрямую переноситься на GGUF-файлы. Для вариантов ниже Q8_0 следует ожидать некоторое снижение качества, усиливающееся при уменьшении разрядности. Лицензия — Apache-2.0, при этом базовые веса Gemma-4 также регулируются условиями Google Gemma.

QuantFactory/Cotype-Nano-GGUF — это квантизированная версия легковесной языковой модели Cotype-Nano, разработанной MTSAIR. Квантизация выполнена с использованием llama.cpp. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, объяснение технических тем и помощь в написании кода, при ограниченных вычислительных ресурсах. Заявлена поддержка русского и английского языков. По данным карточки, исходная модель обучалась в два этапа: сначала MLP-слои обучались на математических и программных данных, затем вся модель — на внутренних и открытых синтетических наборах инструкций. Архитектура, количество параметров, размер контекста и точный формат квантизации для этой версии не указаны. Среди сильных сторон заявлены лёгкость, высокая скорость и эффективность при ограниченных ресурсах; к ограничениям относятся отсутствие подробных характеристик и независимой оценки качества за пределами приведённого локального теста ru-llm-arena, где исходная Cotype-Nano получила 30,2 балла, а версия Cotype-Nano-4bit — 22,5. В метаданных указана лицензия Apache-2.0, при этом ссылка ведёт на отдельный файл лицензии MTSAIR. Модель предназначена для использования с инструментами экосистемы llama.cpp и совместимыми средствами запуска GGUF.

DeepSeek V4 Flash REAP K128 (Uniform) — производная версия DeepSeek V4 Flash от sleepyeldrazi. В модели удалена половина маршрутизируемых экспертов MoE с помощью метода REAP; механизм внимания, эмбеддинги, общие эксперты, маршрутизатор и компоненты MTP сохранены. Тонкая настройка не выполнялась: оставшиеся веса взяты без изменений из исходной модели. Репозиторий содержит GGUF с равномерной квантизацией экспертов IQ2_XXS/Q2_K; заявленный размер файла — 46,98 ГиБ. Модель предназначена для генерации текста и диалогового использования, в том числе для задач программирования, вызова инструментов и поиска знаний. Совместима со средой ds4-engine; для запуска требуется ds4-for-reaped с поддержкой компактного GGUF. Калибровка при отборе экспертов проводилась на контексте 4096 токенов, но это не подтверждает максимальную длину контекста модели. Лицензия — MIT. Удаление половины экспертов и низкая точность квантизации могут повлиять на качество ответов; README не приводит количественных результатов оценки. Вызов инструментов обозначен как сценарий калибровки и использования, но сам по себе не подтверждает наличие отдельного интерфейса tool calling.

Карточка модели meetkai/functionary-medium-v2.4 на Hugging Face совпадает с карточкой meetkai/functionary-small-v2.4, поэтому описание составлено по ней. meetkai/functionary-small-v2.4 — языковая модель MeetKai для диалогов с вызовом функций и плагинов. Она построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель выбирает, когда вызывать инструменты, извлекает имена функций и аргументы из их JSON Schema-описаний, может запускать вызовы последовательно или параллельно и формировать ответы с учётом результатов. Она также поддерживает обычные ответы без вызова инструментов и сценарии с интерпретатором кода. В README приведён результат 83,07% точности вызова функций на наборе SGD для версии small-v2.4. Для форматирования диалога предусмотрен шаблон v2PromptTemplate; в карточке рекомендуется запуск через OpenAI-совместимый сервер vLLM. Доступный репозиторий использует формат safetensors. README не сообщает лицензию, поэтому условия использования по имеющимся данным определить нельзя.

Gemma-4-12B-it-abliterated-uncensored — дообученная версия Gemma 4 12B Unified от автора OpenYourMind, созданная на основе google/gemma-4-12B-it. Веса BF16 содержат около 11,95 млрд параметров; архитектура — плотный decoder-only трансформер из 48 слоёв с единой мультимодальной обработкой без отдельных энкодеров для изображений и аудио. Модель предназначена для диалогов и генерации текста, а также для обработки изображений и аудио в мультимодальных запросах; в README также описана поддержка видеовхода. Вариант прошёл абляцию отказов, направленную на снижение стандартных отказов, при этом автор заявляет о сохранении рассуждений и мультимодальных возможностей исходной модели. Для запуска используются класс Gemma 4 в библиотеке Transformers и мультимодальный процессор; полные веса занимают около 24 ГБ. Модель распространяется по лицензии Gemma, унаследованной от базовой модели; перед использованием необходимо соблюдать её условия. Снижение отказов может влиять на безопасное поведение, а качество и надёжность ответов для этой модификации в карточке не подтверждены независимой оценкой.

t-firefly/gemma4-e2b-rknn3-rk1820 — сборка Gemma 4 E2B IT для запуска на устройстве RK1820 через LlamaPi. Исходную модель разработала Google DeepMind; это компактная инструкционно настроенная мультимодальная модель семейства Gemma 4 с плотной архитектурой генерации. В репозитории указаны форматы GGUF и safetensors, а метаданные отмечают возможность диалогового взаимодействия. Модель принимает текст, изображения и аудио, а выдаёт текст. Она предназначена для диалогов, рассуждений, программирования и мультимодального анализа на устройствах и периферийных системах; заявлены контекст до 256 тысяч токенов и поддержка более 140 языков. Для запуска предлагается LlamaPi. Лицензия репозитория — Apache-2.0. Карточка описывает возможности исходной Gemma 4 E2B IT, но не приводит отдельных результатов оценки качества для сборки RK1820. Практическая применимость мультимодального ввода и заявленного контекста зависит от реализации LlamaPi и аппаратных ресурсов устройства.

Gorilla 7B — авторегрессионная языковая модель на архитектуре Transformer/LLaMA, разработанная командой Gorilla LLM из UC Berkeley и дообученная на весах LLaMA. Эта версия содержит 6,6 млрд параметров и распространяется в формате PyTorch fp16; в карточке указано окно контекста 2048 токенов. Модель предназначена для вызова API по запросам на естественном языке: она генерирует синтаксически и семантически корректные вызовы функций, в том числе для API Hugging Face. Авторы описывают обучение на более чем 1600 API и подход, направленный на снижение галлюцинаций при выборе и формировании вызовов. Это специализированная модель для работы с инструментами, а не универсальный чат-ассистент. Для этой публикации README сообщает о слиянии delta-весов с последующей выгрузкой в fp16. В метаданных лицензия обозначена как other, тогда как README указывает Apache-2.0; условия лицензии следует сверять с файлами репозитория и источниками базовых весов.

Richard Young выпустил эту модифицированную версию IBM Granite 4.2 3B, созданную с помощью Heretic и методом abliteration без переобучения. Это плотный декодерный трансформер GraniteForCausalLM на 3,4 млрд параметров с контекстом 131 072 токена; модель предназначена для генерации текста и диалогов, рассуждений, написания кода и вызова инструментов. В карточке заявлены режимы рассуждения и поддержка 12 языков: английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского. Модификация уменьшает частоту отказов отвечать на запросы: в приведённом автором тесте отказов было 27 из 100 против 98 из 100 у исходной модели. Это не гарантирует полного отсутствия отказов, а изменение может приводить к небезопасным или неточным ответам. Модель распространяется под лицензией Apache 2.0; автор указывает сценарии исследования, творческого письма, обучения методам выравнивания и локального запуска.

gwen2-coder — языковая модель, разработанная пользователем harryng4869. Она создана посредством дообучения модели unsloth/qwen2.5-7b-bnb-4bit с использованием библиотек Unsloth и Hugging Face TRL. В карточке указана поддержка английского языка. Модель предназначена для задач генерации текста и может использоваться в сценариях, поддерживаемых инфраструктурой Transformers и Text Generation Inference. Архитектура, точное число параметров, размер контекстного окна, набор модальностей и данные обучения не указаны. Также отсутствуют сведения о специализированных возможностях, качестве, ограничениях и результатах тестирования. Модель распространяется по лицензии Apache-2.0.

Huihui-gemma-4-12B-it-qat-q4_0-unquantized-abliterated — модифицированная версия Gemma 4 от Huihui AI. Это плотная мультимодальная модель на 12 млрд параметров с архитектурой Gemma4 Unified, предназначенная для диалога, анализа изображений, аудио и видео, а также генерации текста и кода. Метаданные указывают на поддержку задачи any-to-any и библиотеку Transformers. Модель создана методом abliteration на основе google/gemma-4-12B-it-qat-q4_0-unquantized: авторы изменили слои 23–36, чтобы существенно ослабить отказы, в том числе в режимах с рассуждением и без него. Это экспериментальная, грубая реализация концепции; README предупреждает, что фильтрация безопасности снижена и ответы могут быть чувствительными или спорными. Лицензия — Apache 2.0.

Это независимая производная модель Huihui-Qwen3.8-27B-abliterated, подготовленная на основе исходных BF16-весов Huihui и с использованием схемы NVFP4 от Gittensor. Релиз не является официальным продуктом Huihui, Gittensor, Qwen, NVIDIA или SGLang. Модель распространяется под лицензией Apache 2.0. Модель предназначена для генерации текста и мультимодальных сценариев image-text-to-text, включая агентские задачи, работу с инструментами и сложные задачи рассуждения и программирования. Она основана на архитектуре Qwen3.8 с 27 млрд параметров и использует квантование NVFP4 W4A4 с размером группы 16. В процессе подготовки vision-компоненты, embeddings и отдельные слои Gated-DeltaNet были исключены из NVFP4; native MTP head удалён из deployment-варианта. Поддерживается контекст до 262 144 токенов при конфигурации SGLang, указанной в карточке. Сведения о языках обучения или полном перечне поддерживаемых языков отсутствуют. К сильным сторонам относятся сниженные требования к памяти благодаря NVFP4, совместимость с layout и метаданными Gittensor, а также возможность запуска на одной NVIDIA RTX 5090 с SGLang. Для ускоренного декодирования предусмотрена отдельная совместимая модель-черновик DSpark. Ограничения включают ориентацию на конкретную GPU-конфигурацию и serving-стек, необходимость специальной настройки SGLang, отсутствие встроенного MTP head и зависимость ускоренного режима от отдельного DSpark checkpoint. Архитектурные и поведенческие последствия абляции слоёв 18–51 по описанию исходной модели и слоёв 17–51 по прямому сравнению тензоров отдельно не оценены.

InternLM2-1.8B — базовая плотная авторегрессионная языковая модель второго поколения семейства InternLM, разработанная командой InternLM. Она содержит около 1,7 млрд параметров и предназначена для генерации текста и последующей адаптации под прикладные задачи. В README также описаны отдельные варианты Chat и Chat-SFT, однако этот репозиторий содержит базовую модель. Модель подходит для продолжения текста, а также для экспериментов с рассуждениями, математикой, кодом и обработкой длинных текстов. Метаданные указывают контекст до 32 768 токенов; в карточке семейства InternLM2 заявлена работа с длинными входами до 200 000 символов. Эти сведения относятся к разным формулировкам длины контекста и не гарантируют одинакового качества на любом длинном тексте. Модель принимает и генерирует текст; в карточке приведены оценки на MMLU, AGIEval и BBH. Лицензия репозитория указана как other: код распространяется по Apache-2.0, веса открыты для академических исследований, а для коммерческого использования требуется запросить бесплатное разрешение. Возможны предвзятые или иные нежелательные ответы; характеристики чата и следования инструкциям, отмеченные в README, относятся прежде всего к отдельным Chat-вариантам.

Jupyter Agent Qwen3-4B Thinking — дообученная командой Jupyter Agent языковая модель на основе Qwen/Qwen3-4B-Thinking-2507 для агентного анализа данных в Jupyter. Модель с архитектурой Qwen3 и 3,7 млрд параметров генерирует код и текстовые ответы, выполняет пошаговые рассуждения и поддерживает вызов инструментов при наличии соответствующей программной оболочки. Она предназначена для исследования наборов данных, статистического анализа, визуализации и подготовки выводов в сценариях, похожих на Kaggle-ноутбуки. Поддерживает английский язык и Python; размер контекста в метаданных — 262 144 токена. В README заявлено улучшение результатов на бенчмарке DABStep относительно базовой модели, особенно на простых задачах. Модель ориентирована на структурированные задачи анализа данных и может хуже справляться с другими предметными областями и неструктурированными данными; качество вызова инструментов зависит от подходящей оболочки. Сгенерированный код и аналитические выводы требуют проверки, а выполнение кода — изолированной среды. Лицензия Apache 2.0.

K2-Horizon-3.7B-GGUF — GGUF-версия языковой модели K2-Horizon-3.7B, разработанной IFM. Репозиторий предназначен для запуска модели с помощью llama.cpp и содержит тензоры в исходной точности BF16, метаданные токенизатора и совместимый с llama.cpp шаблон чата. Модель относится к семейству K2-Horizon и представляет собой небольшую плотную decoder-only модель с 3,7 млрд параметров и контекстным окном 524 288 токенов. Указан английский язык. Модель предназначена для генерации текста и оценивается на задачах, связанных с агентными сценариями, программированием и рассуждениями. Ключевые сильные стороны — большой контекст, открытость весов, публикация обучающих данных, рецептуры, кода обучения и ресурсов для оценки, а также наличие промежуточных контрольных точек для анализа изменений возможностей в процессе обучения. Ограничение версии GGUF заключается в необходимости использовать сборку llama.cpp с поддержкой архитектуры K2 Horizon; такая поддержка на момент публикации находилась в разработке, а совместимая версия доступна в форке MBZUAI-IFM. Лицензия модели — Apache-2.0. В README не указаны точные детали вычислительных требований, результаты отдельных тестов, поддерживаемые языки помимо английского и дополнительные сведения о качестве или ограничениях применения.

Trelis/Llama-2-7b-chat-hf-function-calling-v2 — языковая модель для генерации текста и вызова функций, разработанная Trelis на основе Llama 2 7B Chat от Meta. Она предназначена для приложений, где модель должна интерпретировать запрос пользователя и возвращать структурированный JSON с именем функции и её аргументами, например для интеграции с внешними API и автоматизации действий. В версии v2 синтаксис вызова функций упрощён: для инференса достаточно передавать описания функций, без дополнительной инструкции. Описания функций вынесены за пределы системного промпта, что должно уменьшать влияние формулировки системных инструкций на поведение при вызове функций. Указаны текстовая модальность и английский язык. Размер модели — 7B параметров; точное значение контекстного окна в README для этой версии не приведено. Модель рассчитана на локальное или самостоятельное развертывание; для повышения качества необходимо предоставлять чёткие описания функций, обязательных аргументов и значений по умолчанию, а также проверять ответ после генерации и запрашивать недостающие данные. Как модель на 7B параметров, она может уступать более крупным моделям в точности вызова функций и сложном рассуждении. Для этой версии указана бесплатная доступность и лицензия Meta Community license.

llama3-8B-DarkIdol-2.3-Uncensored-32K — слитая методом Model Stock модель на архитектуре Llama 3, опубликованная aifeifei798. Она объединяет несколько предварительно обученных моделей; автор указывает в качестве базовой модель llama3-8B-DarkIdol-2.3b. Модель принимает текст и генерирует текст или код, ориентирована на англоязычное общение и ролевые сценарии, а также на развёрнутые ответы. Карточка сообщает о тестировании контекста до 32 тысяч токенов; метаданные указывают нативный контекст 131072 токена и размер 7,5 млрд параметров. Модель рассчитана на запуск в Transformers и совместимых приложениях для генерации текста, в том числе локально через варианты и инструменты из карточки. Автор описывает её как uncensored и адаптированную для разнообразных ролевых сценариев. В README есть упоминание vision через отдельный mmproj-файл для соответствующих сборок, однако метаданные текущего репозитория классифицируют модель как текстовую, а сама карточка называет текстовый ввод. Автор предупреждает, что ответы следует считать справочными и не доверять им полностью. Лицензия указана как llama3.

Llama-3-Hercules-5.0-8B — дообученная Locutusque языковая модель на базе Llama 3 8B. Она предназначена для выполнения инструкций, диалогов и вызова функций в научных и технических областях. Модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов; репозиторий содержит веса в формате safetensors. Модель подходит для научно-технических чат-ботов, образовательных помощников, пошаговых объяснений и генерации кода с использованием вызовов функций. В карточке заявлена работа с биологией, химией, физикой, математикой, медициной и информатикой. Сведения о поддерживаемых естественных языках не приведены. Модель может выдавать токсичный контент, галлюцинировать и допускать фактические ошибки, в том числе в специализированных темах; ответы и вызовы функций требуют проверки. Лицензия указана как llama3.

Llama-3-Orca-1.0-8B-GGUF — квантизированная версия текстовой генеративной модели Llama-3-Orca-1.0-8B, разработанной Locutusque и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для локального запуска через llama.cpp и совместимые inference-движки, а также для генерации ответов в диалоговом формате. В обучении использовались наборы Open-Orca/SlimOrca-Dedup, jondurbin/airoboros-3.2, microsoft/orca-math-word-problems-200k, m-a-p/Code-Feedback и MaziyarPanahi/WizardLM_evol_instruct_V2_196k. Модель содержит 8 миллиардов параметров и работает только с текстом. В репозитории представлены варианты квантизации от Q8_0 до IQ1_S, что позволяет выбирать баланс между качеством и требованиями к памяти; наиболее предпочтительными в README названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Доступны файлы размером примерно от 2 до 8,5 ГБ. Для общения используется шаблон с ролями system, user и assistant на основе специальных токенов Llama 3. Сильной стороной модели является возможность локального запуска на устройствах с ограниченными ресурсами и выбор уровня квантизации. При уменьшении разрядности снижаются требования к памяти, но ухудшается качество генерации; варианты IQ1 и некоторые Q3/Q2 обозначены как низкокачественные или нерекомендуемые. Длина контекста, поддерживаемые языки и точные показатели качества в README не указаны. Лицензия обозначена как other, без дополнительных условий в предоставленных данных.

MarinSkyRL Open-MOPD SmolLM3 3B step 32 — ранний чекпойнт языковой модели, подготовленный авторами MarinSkyRL на основе дообученного смешанного SFT-чекпойнта BytedTsinghua-SIA/Open-MOPD-SmolLM3-3B-MixSFT. Модель с архитектурой SmolLM3ForCausalLM содержит 3,1 млрд параметров, принимает текст и поддерживает контекст до 65 536 токенов. Экспортирована в формате Hugging Face Safetensors без квантизации и предназначена для генерации текста в диалоговом формате. При обучении ответы модели оценивались RL-моделями-учителями для математики, программирования и следования инструкциям с маршрутизацией по предметной области. Это промежуточный чекпойнт после 32 шагов оптимизации, а не финальная версия после 200 шагов. В независимой оценке указаны результаты AIME 2024 и 2025 с метрикой mean@64 и IFEval с mean@1; результаты других упомянутых бенчмарков не заявлены как сопоставимые с опубликованными в статье. Модель подходит для экспериментов с генерацией ответов, математическими задачами, кодом и выполнением инструкций. В карточке не указаны языки обучения или гарантии качества для конкретных языков. Лицензия — Apache-2.0.

EmbeddedLLM/Mistral-7B-Merge-14-v0.2 — плотная языковая модель семейства Mistral, созданная EmbeddedLLM как экспериментальное слияние моделей. Сначала 14 моделей на базе Mistral объединили методом DARE TIES, затем результат слили с janai-hq/trinity-v1 методом Gradient SLERP. В карточке базовой моделью также указана mistralai/Mistral-7B-v0.1. Модель содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и формат safetensors; длина контекста — 32 768 токенов. Модель предназначена для генерации текста и служит базовым чекпойнтом, которому, по словам авторов, требуется дополнительное дообучение на инструкциях. В состав слияния вошли модели для диалога, математики, кода, научных вопросов и работы с документами. В карточке приведены результаты Open LLM Leaderboard: средний балл 72,88, включая ARC, HellaSwag и MMLU. Основной заявленный язык — английский. Лицензия CC BY-NC 4.0 ограничивает коммерческое использование. Авторы отмечали риск загрязнения данных в некоторых моделях, участвовавших в первоначальном варианте, и сообщили о пересборке; состав описанного слияния при этом включает janai-hq/trinity-v1.

NorMistral-7b-warm-instruct — инструкционно дообученная языковая модель, разработанная командой NorwAI/норвежского проекта NorMistral. Она предназначена для диалогового взаимодействия, генерации текста, ответов на вопросы, следования инструкциям и задач программирования преимущественно на норвежских языках. Модель основана на NorMistral-7b-warm и содержит около 7 миллиардов параметров. Это текстовая авторегрессионная модель семейства Mistral с поддержкой Bokmål и Nynorsk; в карточке также заявлен норвежский язык. Дообучение выполнено на открытых наборах данных Aya, OASST, OIG, No Robots, Dolly и Glaive code assistant. Контекстное окно при дообучении составляет 4096 токенов, что вдвое больше, чем у базовой модели. Для диалогов используется ChatML-подобный шаблон. Сильными сторонами модели являются специализация на норвежском языке, открытость для коммерческого применения и поддержка многоходовых диалогов. При этом выпущенные веса обозначены как рабочая версия, модель прошла только этап supervised fine-tuning без оптимизации предпочтений, а качество и поведение могут измениться в будущих версиях. Для использования рекомендуется корректно применять шаблон чата и параметры генерации, указанные авторами. Модель распространяется по лицензии Apache-2.0.

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF — это квантизированная версия языковой модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B, разработанной NVIDIA и автоматически преобразованной в формат GGUF проектом ggml-org. В качестве исходной модели указана NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16. Модель предназначена для генерации текста и может использоваться в приложениях, поддерживающих формат GGUF и совместимых с llama.cpp или аналогичными инструментами. Из доступных данных известны размер 30B и обозначение A3B, однако подробности архитектуры, число активных параметров, длина контекста, поддерживаемые языки и дополнительные модальности не указаны. Формат GGUF удобен для локального запуска и интеграции с соответствующим программным обеспечением, но конкретные требования к памяти, производительность и качество генерации зависят от варианта квантизации и оборудования. Лицензия обозначена как other, без дополнительных условий в представленном README. Поэтому перед использованием необходимо ознакомиться с лицензией исходной модели NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 и условиями распространения данной сборки.

TSalpha выпустил квантованный вариант Ornith-1.5-35B-A3B с миксом уровней квантования и методом REAP-50, рассчитанный на запуск на видеокартах с 12 ГБ памяти. Это MoE-модель для генерации текста и диалогов; исходная модель — ornith-ai/Ornith-1.5-35B-A3B, а в README также указан вариант Ttimms/Ornith-1.5-35B-A3B-REAP-50-bf16. Репозиторий содержит веса в формате GGUF для llama.cpp. В README заявлена работа с контекстом до 256K токенов при соответствующих параметрах запуска и приведены результаты сравнения perplexity с исходной моделью и другими вариантами квантования. По данным автора, файл IQ4_XS занимает 7,39 ГиБ; тестирование проводилось на ноутбучной RTX 5070 Ti с 12 ГБ памяти. Модель подходит для диалогов и агентного программирования, однако скорость и качество зависят от оборудования и выбранных параметров. Лицензия — MIT.

Ornith-Agents-A1-3.6-35B-A3B-MTP-GGUF — GGUF-сборка от tepirale, основанная на объединённой с помощью dare_ties модели Qwen3.5-35B-A3B с архитектурой Mixture-of-Experts. В модель встроен блок Multi-Token Prediction (MTP), заимствованный из официальной GGUF-версии Qwen3.6-35B-A3B. Доступны варианты квантования Q4_K_M, Q5_K_M, Q6_K, Q8_0 и F16 размером примерно от 20,5 до 69,4 GiB. Указан английский язык; репозиторий также содержит multimodal-проектор для сценариев image-text-to-text. Главное назначение модели — генерация текста и мультимодальные задачи с запуском через llama.cpp, включая серверное применение и обработку изображений при наличии соответствующего mmproj-файла. Встроенный MTP-блок позволяет использовать native speculative decoding без отдельной draft-модели. По данным автора, достигается около 45% принятия черновых токенов и до примерно 260 токенов в секунду на H100; фактическая скорость зависит от квантования, настроек и оборудования. В README приведены конфигурации с контекстом до 131 072 и 254 000 токенов, однако это параметры тестовых запусков, а не обязательно гарантированный максимальный контекст. Сильные стороны — несколько вариантов компромисса между качеством и требованиями к памяти, отсутствие двойного квантования и сохранение блока MTP в точности Q8_0 или F16 независимо от основной квантовки. Ограничения включают значительные требования к VRAM, необходимость сборки llama.cpp с поддержкой CUDA для заявленной производительности и зависимость от корректной поддержки MTP. Модель распространяется по лицензии Apache 2.0.

QuantFactory/Phi-3-mini-4k-geminified-GGUF — квантизированная версия модели failspy/Phi-3-mini-4k-geminified, созданная с использованием llama.cpp. Исходная модель основана на Microsoft Phi-3-mini-instruct и подвергнута ортогонализации весов в формате bfloat16 safetensors по методологии, связанной с исследованием о механизмах отказа больших языковых моделей. Автором исходной модификации указан failspy; QuantFactory подготовила версию GGUF. Модель предназначена для генерации текста и, согласно метаданным, обработки естественного языка и кода. Заявлена поддержка multilingual-сценариев. В карточке упоминается контекст 4K в названии производной модели, однако в описании исходной модели также указано Phi-3-mini-128k-instruct, поэтому точный размер контекстного окна именно этой сборки неоднозначен. Архитектура и точное количество параметров не указаны; формат GGUF ориентирован на локальный inference через совместимые инструменты. К потенциальным сильным сторонам относятся компактность исходного семейства Phi-3-mini, возможность локального запуска в квантизированном формате и поведение, изменённое в сторону меньшего количества стандартных отказов. Ограничения включают неполную информацию о типе и уровне квантизации, неоднозначность относительно контекстного окна и отсутствие результатов бенчмарков. Модель распространяется по лицензии MIT; в README приведена ссылка на лицензию Microsoft Phi-3-medium-4k-instruct.

MaziyarPanahi/phi-4-GGUF — это набор квантизированных файлов модели microsoft/phi-4 в формате GGUF. Исходную модель разработала Microsoft, а квантизированные варианты подготовил MaziyarPanahi. Модель предназначена для генерации текста и локального запуска в совместимых инструментах и библиотеках, включая llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие приложения с поддержкой GGUF. В репозитории представлены варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файла, требованиями к памяти и качеством генерации. Формат GGUF ориентирован на эффективный инференс, в том числе с ускорением на GPU, однако конкретные архитектурные характеристики, размер модели, длина контекста, поддерживаемые языки и модальности в README не указаны. Основные преимущества — возможность локального использования и широкий выбор уровней квантизации. Ограничения связаны с потенциальной потерей качества по сравнению с исходной моделью при использовании низкой разрядности, а также с тем, что совместимость и производительность зависят от выбранного клиента и аппаратного обеспечения. Лицензия в предоставленных данных не указана.

unsloth/Qwen3-0.6B-GGUF — GGUF-версия языковой модели Qwen3-0.6B, разработанной командой Qwen от Alibaba Cloud и подготовленной Unsloth. Это авторегрессионная causal language model с 0,6 млрд параметров, из которых 0,44 млрд приходятся не на embedding, и 28 слоями. Модель предназначена для локального запуска и интеграции с llama.cpp, Ollama и совместимыми интерфейсами, а также для дообучения и экспорта в различные форматы. Модель поддерживает переключение между режимами thinking и non-thinking: первый ориентирован на сложные задачи рассуждения, математику и программирование, второй — на более эффективный общий диалог. Заявлены возможности instruction following, многошагового диалога, генерации кода, творческого письма, ролевого взаимодействия и работы с внешними инструментами. Контекстное окно составляет 32 768 токенов, используется Grouped Query Attention с 16 головами для Q и 8 для KV. Qwen3 заявляет поддержку более 100 языков и диалектов, однако в метаданных этой карточки указан язык en. К сильным сторонам относятся компактный размер, поддержка двух режимов рассуждения, задачи агентного взаимодействия и мультиязычность. Ограничения, конкретные результаты бенчмарков, требования к оборудованию и показатели производительности для этой версии в README не приведены; из-за малого размера модели её качество следует проверять на целевых задачах. Карточка указывает лицензию Apache-2.0.