II.1Анализ требований и архитектура ПО

Kiwen1.1-27B-MTP-GGUF — это набор смешанных GGUF-квантизаций модели Kiwen1.1-27B, разработанной beyoru и подготовленной пользователем NikiKrutan для запуска через llama.cpp. Модель ориентирована на диалоговые сценарии, программирование, агентские задачи, рассуждения, математику и работу с текстами на нескольких языках, включая английский, русский и вьетнамский. Суффикс MTP и метаданные указывают на вариант, связанный с multi-token prediction, однако подробности архитектуры MTP в README не приведены. Квантизации создаются инструментом niki-allocator, который подбирает тип квантования отдельно для каждого тензора с учётом целевого размера файла и оценок качества на основе KLD. Доступно 15 вариантов размером примерно от 8500 до 23000 МиБ; автор рекомендует выбирать максимально крупный вариант, помещающийся в доступную память, поскольку больший размер обычно обеспечивает более высокое качество. Производительность зависит от оборудования и конфигурации и отдельно не измерялась. Сильной стороной модели является тщательная оценка качества квантизаций на корпусах для программирования, агентских задач, рассуждений, сложной логики, мультиязычных текстов и научных материалов, а также сравнение с альтернативными сборками. Ограничения включают зависимость скорости и пригодности от аппаратной конфигурации, возможные потери качества из-за квантования и отсутствие в README точных сведений о размере контекста, полном наборе поддерживаемых языков и характеристиках исходной архитектуры. Распространение заявлено по лицензии Apache-2.0.

onnx-community/Llama-3.2-1B-Instruct-q4f16 — преобразованная в ONNX версия инструкционной языковой модели Meta Llama 3.2, подготовленная сообществом onnx-community для запуска через Transformers.js. Это авторегрессионный трансформер семейства Llama с плотной архитектурой, примерно 1,2 млрд параметров и контекстом до 131 072 токенов; формат репозитория — ONNX, вариант обозначен как q4f16. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для многоязычного диалога, ответов ассистента, поиска знаний с использованием агентных сценариев, суммаризации, помощи в написании текстов и переформулирования запросов. В карточке перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционные модели семейства выравнивались с помощью SFT и RLHF; заявлены коммерческое и исследовательское применение по условиям лицензии Llama 3.2 Community License. Это статичная модель с данными обучения до декабря 2023 года; качество и безопасность ответов требуют проверки в конкретном приложении.

baseten/Llama-3.2-3B-Instruct-pythonic — дообученная Baseten модель на базе Meta Llama 3.2 3B Instruct. Это авторегрессионный плотный трансформер семейства Llama, предназначенный для генерации текста и диалогов; карточка также указывает интерфейс вызова инструментов. Базовая модель оптимизирована для многоязычных диалогов, суммаризации и сценариев агентного поиска. Модель содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Карточка описывает базовую модель как текстовую на входе и выходе, с официальной поддержкой английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Для этой производной модели не приведены отдельные сведения о специализации или дополнительных языках. Репозиторий использует формат safetensors и библиотеку Transformers. Использование регулируется лицензией Llama 3.2 Community License, то есть пользовательскими условиями Meta.

casperhansen/llama-3-70b-instruct-awq — это 4-битно квантованная методом AWQ версия Llama 3 70B Instruct, опубликованная пользователем casperhansen на Hugging Face. Базовую модель разработала Meta. Это авторегрессионная языковая модель с оптимизированной архитектурой Transformer и Grouped-Query Attention; она принимает текст и генерирует текст или код, поддерживая диалоговый формат и задачи ассистента. Модель содержит около 70 млрд параметров, использует контекст до 8192 токенов и рассчитана прежде всего на англоязычные коммерческие и исследовательские сценарии: диалог, генерацию текста, ответы на вопросы, программирование и рассуждения. Квантование AWQ уменьшает требования к памяти и делает локальное развертывание более практичным, однако может сопровождаться потерей точности по сравнению с полноразмерной версией. Модель не является мультимодальной и не предназначена для языков, отличных от английского, без дополнительной адаптации. Как и другие LLM, она может выдавать неточные, предвзятые или небезопасные ответы, поэтому требует проверки и дополнительных защитных механизмов. Для использования применяются Transformers, vLLM или SGLang; репозиторий содержит веса в формате Safetensors. Для базовой Llama 3 указана пользовательская коммерческая лицензия Meta Llama 3 Community License и Acceptable Use Policy; использование производной версии следует согласовывать с этими условиями.

LongCat-2.0 — большая языковая модель с разреженной архитектурой MoE, разработанная Meituan. В README указано 1,6 трлн общих параметров и около 48 млрд активируемых на токен; метаданные Hugging Face указывают размер 42,1 млрд параметров. Эти сведения расходятся, поэтому размер следует считать неясным. Репозиторий содержит веса в формате safetensors, а метаданные указывают контекстное окно 262 144 токена и поддержку диалогового режима и интерфейса вызова инструментов. Модель предназначена для генерации текста, программирования, работы с репозиториями, автоматизированного выполнения задач и агентных сценариев. В README описаны LongCat Sparse Attention, обучение на данных с контекстом до 1 млн токенов и многотокенное предсказание для ускорения декодирования. Модель можно развернуть на GPU и NPU; заявлена интеграция с Claude Code, OpenClaw и Hermes. Лицензия репозитория — MIT. README предупреждает, что модель не разрабатывалась и не оценивалась для всех возможных прикладных задач; языки обучения или поддержки отдельно не перечислены.

Luciole-23B-Instruct-1.1 — инструктивная чат-модель, созданная LINAGORA и консорциумом OpenLLM-France в рамках проекта OpenLLM France. Это дообученная и выровненная версия Luciole-23B-Base: обучение включало supervised fine-tuning на инструкциях и финальное выравнивание предпочтений методом DPO. Модель построена на плотной архитектуре Nemotron и содержит 31,5 млрд параметров; метаданные указывают контекст до 131 072 токенов, хотя при постобучении использовались последовательности длиной 16 384 токена. Модель предназначена для диалогов и выполнения инструкций на французском и английском языках, включая вопросы по общим темам, RAG-сценарии, перевод, математику, науку и программирование. Она особенно хорошо показала себя в тестах на следование инструкциям; французские результаты примечательны, несмотря на то что постобучение проводилось преимущественно на английских данных. Это первая версия постобучения семейства Luciole, и разработка продолжается. Перед применением в производственных системах модель следует проверить на целевых задачах: она может галлюцинировать, а для специализированной генерации кода и решения математических задач потребуется дополнительное обучение. Разработчики также отмечают ограниченный объём запоминаемых фактов и рекомендуют использовать RAG; контекст, задействованный при постобучении, короче заявленного контекста базовой модели. Лицензия — Apache 2.0.

m51Lab выпустила эту разреженную языковую модель 15 апреля 2026 года как вариант MiniMax-M2.7, в котором методом REAP удалено 40 % экспертов в блоках Mixture-of-Experts. Модель содержит около 139 млрд параметров, из которых примерно 10 млрд активны на каждом токене; в архитектуре 62 слоя. По метаданным, она загружается через Transformers и имеет контекст до 196 608 токенов. Модель предназначена для генерации текста в диалоговом режиме, включая написание кода, математические и научные рассуждения и вызовы инструментов. В README приведён результат HumanEval pass@1 83,3 % для завершённых задач при бюджете генерации 32 тыс. токенов; при строгом подсчёте всех 164 задач результат составляет 54,9 %, поскольку незавершённые решения учитываются как ошибки. Для воспроизведения указанной оценки рекомендуется выделять не менее 64 тыс. токенов генерации. README описывает также небольшой дефект коррекции смещений одного слоя; по данным карточки, его влияние на маршрутизацию незначительно. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией и файлами репозитория. README описывает вариант после структурного прореживания, а метаданные классифицируют связь с MiniMax-M2.7 как finetune; формат файлов в метаданных — safetensors.

Mellum2-12B-A2.5B-Thinking-GGUF — GGUF-квантизированная версия модели Mellum2-12B-A2.5B-Thinking, разработанной JetBrains. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, решения задач с пошаговым рассуждением, программирования, математического анализа и работы с инструментами. В README указано, что поддерживается английский язык. Модель имеет обозначение 12B-A2.5B-Thinking; точная архитектура, длина контекста и распределение параметров в README не раскрыты. Доступны варианты от BF16 до различных уровней квантизации GGUF, включая Q8_0, Q6_K, Q5_K и Q4_K; размеры файлов составляют примерно от 8 до 24 ГБ для перечисленных вариантов. Для запуска поддерживаются llama.cpp, LM Studio, KoboldCpp, Jan AI, Text Generation Web UI и другие совместимые инструменты. Используется специальный chat-шаблон с маркерами im_start и im_end. Среди сильных сторон заявлены высокие результаты на задачах программирования, математики, общих знаний и следования инструкциям: например, 69,9% pass@1 на LiveCodeBench v6, 87,0% exact match на GSM-Plus и 86,2% accuracy на MMLU-Redux. Эти результаты помечены как непроверенные. Ограничения включают зависимость качества и требований к памяти от выбранной квантизации, неизвестную длину контекста и отсутствие данных о мультимодальности; README описывает модель как текстовую. Лицензия — Apache-2.0.

tepirale/merge-cord-v1 — объединённая языковая модель, созданная с помощью mergekit на основе Qwen/Qwen2.5-1.5B. В слияние вошли Qwen/Qwen2.5-1.5B-Instruct и Qwen/Qwen2.5-Coder-1.5B-Instruct; в метаданных также указана связь с Qwen/Qwen2.5-1.5B. Архитектура — плотная причинная языковая модель Qwen2 с 1,5 млрд параметров, распространяемая в формате safetensors и рассчитанная на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая задачи с кодом; метаданные отмечают интерфейс вызова инструментов. Поддерживаемый язык по карточке не определён. Для использования указана библиотека Transformers, лицензия в предоставленных данных не приведена. README сообщает о применении метода Consensus-Orthogonal Residual Decomposition и отмечает, что функция cord отсутствует в MergeKit, поэтому воспроизводимость указанной конфигурации может быть ограничена.

Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

hugging-quants/Meta-Llama-3.1-8B-Instruct-BNB-NF4 — общественная квантованная версия Meta-Llama-3.1-8B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и мультиязычного диалогового взаимодействия, включая работу в качестве инструкционно настроенного чат-ассистента. Она поддерживает сценарии вопросно-ответного общения и другие задачи text-to-text, совместимые с causal language modeling, и может использоваться через Transformers или Text Generation Inference. Модель содержит 8 миллиардов параметров и работает только с текстом на входе и выходе. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В этой версии исходные веса BF16 преобразованы с помощью bitsandbytes в формат NF4 с размером блока 64. Для загрузки контрольной точки требуется около 6 ГиБ VRAM без учёта KV-кэша и CUDA-графов, поэтому фактические требования к памяти выше. Квантование снижает требования к видеопамяти, но может влиять на качество по сравнению с исходной версией BF16. В README размер контекста и результаты конкретных тестов не указаны. Модель распространяется по лицензии Llama 3.1. Для запуска рекомендуются torch, bitsandbytes и Transformers версии 4.43.0 или выше; также заявлена поддержка Text Generation Inference.

Карточка модели mlabonne/Meta-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

Meta-Llama-3-8B-Instruct-GGUF — это инструкционная языковая модель семейства Llama 3, разработанная Meta и представленная в формате GGUF сообществом bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В README указаны английский язык и категория text-generation. Из доступных данных известно, что модель основана на Llama 3 и имеет размер 8 миллиардов параметров. Формат GGUF ориентирован на локальный запуск совместимыми средствами инференса, однако конкретная схема квантования, максимальная длина контекста, требования к оборудованию и дополнительные возможности в README не указаны. Сильными сторонами являются компактный для крупной языковой модели размер и специализация на следовании инструкциям; ограничения включают отсутствие подтверждённых сведений о поддерживаемых языках помимо английского, точности и производительности в различных сценариях. Модель распространяется по лицензии Meta Llama 3 Community License. При использовании и распространении необходимо соблюдать условия этой лицензии, включая требования к атрибуции, отображению надписи «Built with Meta Llama 3», соблюдение Acceptable Use Policy и ограничения, связанные с крупными коммерческими сервисами.

Meta-Llama-3-8B-Instruct-GGUF — квантизированная версия 8-миллиардной инструкционно дообученной языковой модели Meta Llama 3, разработанной Meta. Квантизацию выполнила SanctumAI. Модель предназначена прежде всего для диалоговых сценариев, генерации текста и выполнения инструкций; поддерживает работу через формат GGUF и различные варианты квантизации, рассчитанные на запуск с уменьшенными требованиями к памяти. Модель является текстовой и, согласно карточке, поддерживает английский язык. Исходная модель относится к семейству Llama 3 с размерами 8B и 70B, однако для данной версии указан размер 8B. Доступны варианты от Q2_K до Q8_0, а также f16; размер файлов составляет примерно от 3,18 до 16,07 ГБ, оценочное потребление памяти — от 7,20 до 19,21 ГБ в зависимости от варианта. Карточка не указывает размер контекстного окна и конкретную архитектуру. Сильные стороны модели — оптимизация для диалогов, заявленная высокая эффективность на распространённых отраслевых бенчмарках среди открытых чат-моделей, а также возможность выбрать баланс качества и требований к памяти с помощью квантизации. Ограничения включают возможные неточные, вредные, оскорбительные или вводящие в заблуждение ответы; результаты требуют проверки. Модель распространяется по лицензии Llama 3; точные условия следует уточнять в файле LICENSE.

Mica Spark-X2.5-4B — производная модель XHToken/Spark-X2.5-4B, опубликованная Miguel Amendez в виде артефактов для Mica runtime. Это диалоговая многоязычная языковая модель класса 4B для генерации текста; архитектура сочетает один слой полного внимания и три слоя с окном скользящего внимания. В README заявлен контекст до 1 048 576 токенов, включая вход и выход, однако он не подтверждён локальными испытаниями Mica на длинных последовательностях. Репозиторий содержит варианты MLX Q4 и Q8, GGUF Q4_K_M и Q8_0, а также safetensors. На Apple M4 варианты MLX прошли проверки генерации и серверного инференса, а GGUF — проверки инференса на Metal. Модель можно применять для диалогов и генерации текста на разных языках; базовая модель также предназначена для кода, рассуждений, перевода и агентных задач. Лицензия исходной модели и производных артефактов — Apache-2.0. Заявление о контексте в миллион токенов не подтверждено испытаниями Mica: для практического использования следует опираться на сертифицированный лимит выбранного профиля. Варианты vLLM не опубликованы как производственные артефакты, а локальные проверки не подтверждают работу на всех платформах и режимах.

MiniCPM5-2B-GGUF — это GGUF-сборка плотной каузальной языковой модели MiniCPM5-2B, разработанной OpenBMB и опубликованной пользователем prithivMLmods. Модель предназначена для локальных ассистентов, генерации текста, программирования, coding-agent задач, использования инструментов и развёртывания на устройствах с ограниченными ресурсами. Она поддерживает запуск через llama.cpp и совместимые приложения, включая Ollama и LM Studio. Модель содержит около 2,52 млрд параметров и использует архитектуру LlamaForCausalLM с 42 слоями и Grouped-Query Attention: 16 Q-голов и 2 KV-головы. Заявлена длина контекста до 131 072 токенов, а указанным языком является английский. Доступны варианты GGUF с точностями от F32 и BF16/F16 до квантований Q3–Q8, размером примерно от 1,19 до 10,1 ГБ, что позволяет выбирать баланс между качеством, скоростью и требованиями к памяти. Сильными сторонами заявлены рассуждения, математика, программирование, работа с длинным контекстом, вызов инструментов и агентные сценарии; модель обучалась с использованием специализированного дообучения и reinforcement learning. Ограничения включают компактный размер по сравнению с крупными LLM, заявленную языковую поддержку только английского и зависимость характеристик от выбранного уровня квантования. Модель распространяется по лицензии Apache-2.0.

FriendliAI публикует эту версию Mistral-7B-Instruct-v0.2, квантованную в FP8 для более эффективного инференса; исходную модель разработала Mistral AI. Это плотная авторегрессионная языковая модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов на инструкции. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст. Её можно использовать для чат-ботов, ответов на вопросы и выполнения текстовых инструкций. Для запуска в README указан Friendli Container; FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Лицензия — Apache-2.0. README предупреждает, что у исходной instruct-модели нет механизмов модерации, поэтому её ответы могут требовать отдельного контроля.

win10/Mistral-Nemo-abliterated-Nemo-Pro-v2 — слитая диалоговая языковая модель на архитектуре Mistral, созданная методом TIES с помощью mergekit. В качестве основы использована natong19/Mistral-Nemo-Instruct-2407-abliterated; в слияние также включены shuttleai/shuttle-2.5-mini и cognitivecomputations/dolphin-2.9.3-mistral-nemo-12b. Модель предназначена для диалогов и генерации текста. Она содержит 12,1 млрд параметров, работает с текстом и опубликована в формате safetensors для библиотеки Transformers. Метаданные указывают контекст до 1 024 000 токенов и интерфейс вызова инструментов. Модель поддерживает многоязычную генерацию. Данных о специальных предметных областях или конкретных ограничениях качества в карточке нет. Лицензия в предоставленных сведениях не указана.

gghfez/Mistral-Small-3.2-24B-Instruct-hf-AWQ — инструкционная языковая модель для генерации текста, разработанная на базе gghfez/Mistral-Small-3.2-24B-Instruct-hf. Модель предназначена для диалоговых сценариев и других задач text generation, а также совместима с экосистемой Transformers и инфраструктурой text-generation-inference. В названии и метаданных указано использование AWQ, то есть модели с квантованным представлением весов, что может снизить требования к памяти при развертывании. Архитектура, поддерживаемые языки, размер контекста и конкретные показатели качества в предоставленных данных не указаны. Модель распространяется по лицензии Apache-2.0.

Muse-Glimmer-30B-GGUF — набор GGUF-сборок модели Muse Glimmer 30B, разработанной Meta и опубликованной AtomicChat в формате, совместимом с llama.cpp. Модель предназначена для генерации текста, мультимодального анализа изображений, диалоговых сценариев, работы с инструментами, а также задач программирования, написания текстов и рассуждений. Указан pipeline image-text-to-text, однако точная архитектура, поддерживаемые языки и максимальный контекст модели в README не раскрыты. Доступны варианты квантования от Q8_0 и BF16 до IQ2_XXS объёмом примерно от 9,3 до 55,7 ГБ. Для работы с изображениями требуется отдельный vision-проектор mmproj размером около 3,9 ГБ, а для ускоренной генерации можно подключить drafter dflash, добавляющий около 5,5 ГБ к требованиям по памяти. Рекомендуемая сборка AD-IQ4_XS рассчитана примерно на 24 ГБ видеопамяти вместе с vision-проектором и обеспечивает компромисс между размером и качеством; на RTX 5090 заявлена скорость до 39,6 токена в секунду без drafter и до 71,8 с ним. Сильные стороны модели — мультимодальность, поддержка tool calling, несколько вариантов квантования и возможность запуска на одной потребительской видеокарте. Качество снижается по мере уменьшения разрядности, особенно на низких вариантах IQ; speculative decoding требует дополнительной памяти и снижает скорость обработки промпта. Для запуска нужен llama.cpp, собранный из актуальной ветки master с поддержкой Muse Glimmer, а также параметр --jinja для корректной работы шаблона чата и разбора вызовов инструментов. Лицензия — Apache 2.0.

Nanbeige/Nanbeige4.2-3B-DSpark — веса DSpark для модели Nanbeige4.2-3B, разработанной Nanbeige на основе Nanbeige4.2-3B-Base. Репозиторий предназначен для использования вместе с Nanbeige4.2-3B и заявлен как способ ускорить инференс. Модель относится к семейству Qwen3, использует плотную архитектуру; класс реализации — Qwen3DSparkModel. В метаданных указаны 1,1 млрд параметров, контекст 262 144 токена и формат safetensors. Модель ориентирована на генерацию текста, рассуждения, работу с инструментами и многошаговые сценарии: общие агентные задачи, программирование, офисные процессы и персональный помощник. В README также описаны математические и научные рассуждения. Заявленная разработчиком поддержка английского и китайского языков; README отмечает, что для агентных и инструментальных сценариев применяются соответствующие шаблон чата и внешняя среда-исполнитель. Модель дообучена от Nanbeige/Nanbeige4.2-3B-Base и распространяется по лицензии Apache-2.0. README предупреждает о возможных неточных, предвзятых, дискриминационных или иных вредных ответах. Утверждения о скорости и результатах бенчмарков приведены разработчиком; фактическая производительность зависит от среды запуска и интеграции.

Это квантизированная версия NVIDIA Nemotron 3 Nano 30B A3B в формате GGUF с квантизацией MXFP4_MOE и imatrix на основе данных Unsloth. Модель предназначена для генерации текста и диалогового использования; для запуска требуется llama.cpp. Базовая модель — гибридная языковая модель NVIDIA для диалогов, рассуждений, программирования и создания агентных приложений, поддерживающая шесть языков и длинный контекст. Карточка не приводит точный размер файла или длину контекста этой сборки. Лицензия в доступных данных не указана.

Это сборка модели NVIDIA Nemotron 3 Nano 30B A3B в формате GGUF BF16, подготовленная DhruvalLabs для запуска через llama.cpp и совместимые приложения, включая Ollama, LM Studio, Open WebUI и Jan. В основе лежит NVIDIA-Nemotron-3-Nano-30B-A3B-BF16; README перечисляет варианты квантования K-quant, в том числе Q3_K_M, Q4_K_M и Q8_0, для локального запуска при разных объёмах памяти. Модель предназначена для генерации текста и диалогового использования. Базовая модель ориентирована на рассуждения, программирование и агентные сценарии; доступные сведения также указывают на поддержку английского, испанского, французского, японского, итальянского и немецкого языков. README заявляет сохранение 97–99% исходного качества для квантованных вариантов, но не приводит результаты измерений, поэтому это утверждение не подтверждено представленными бенчмарками. В метаданных указана лицензия «other»; конкретные условия использования в предоставленной карточке не раскрыты. GGUF-репозиторий указывает BF16 и одновременно описывает варианты квантования, поэтому фактическая точность зависит от выбранного файла.

Это 5-битная квантованная версия языковой модели NVIDIA Nemotron 3 Nano 30B A3B, подготовленная командой LM Studio с помощью mlx_lm для работы на компьютерах Apple Silicon. Базовая модель создана NVIDIA; карточка представляет её как разговорную модель с интерфейсом вызова инструментов. Модель предназначена для генерации текста в диалогах, рассуждений, программирования и агентных приложений. Метаданные указывают поддержку английского, испанского, французского, немецкого, японского и итальянского языков. Квантование уменьшает точность весов до 5 бит и ориентировано на запуск через MLX. Репозиторий распространяется по лицензии, обозначенной как other; конкретные условия следует сверить с файлами лицензии модели. Как и другие генеративные модели, она может выдавать неточную, вредную или неподходящую информацию.

OpenBuddy/openbuddy-deepseek-67b-v24.1-65k — мультиязычная чат-модель проекта OpenBuddy на архитектуре Llama с 66,6 млрд параметров. Она предназначена для диалогов и генерации текста; поддерживает контекст длиной до 65 536 токенов и языки китайский, английский, французский, немецкий, японский, корейский, итальянский, русский и финский. Модель распространяется в формате Safetensors и рассчитана на использование с Transformers или vLLM. В карточке базовая модель не названа. Лицензия обозначена как deepseek; перед использованием следует проверить условия лицензии. Авторы предупреждают, что ответы могут быть ошибочными, вредными или оскорбительными, и не рекомендуют применять модель в критически важных сценариях, включая медицину, управление опасными системами, а также важные финансовые и юридические решения.

Ornith-1.5-35B-A3B-MXFP4_MOE_Hybrid-Imatrix-GGUF — это набор оптимизированных квантованных весов в формате GGUF для модели Ornith-1.5-35B-A3B, разработанной Ornith AI. Данные сборки подготовлены jashepp на основе базовой модели и предназначены для запуска в совместимой инфраструктуре GGUF, включая сценарии генерации текста, диалогов, агентной работы, программирования, использования инструментов и задач, требующих планирования и рассуждений. Модель использует архитектуру Mixture of Experts с заявленным размером 35B и конфигурацией A3B. Репозиторий содержит варианты с многоуровневой точностью MXFP4, Q8_0 и F16, а также importance matrix, созданной на основе исходной imatrix и дополнительных данных из промптов, результатов, аудитов, навыков и документации. Доступны файлы размером примерно от 18,5 до 20,7 ГБ. Указанный язык — английский; модель относится к текстовым генеративным моделям. Размер контекста в README не указан. К сильным сторонам относятся улучшенное следование инструкциям и рассуждениям по сравнению с Ornith-1.0, ориентация на агентное программирование и возможность уменьшить требования к памяти за счёт квантования экспертных слоёв при сохранении более высокой точности в критических компонентах. Ограничения включают потенциальные потери качества из-за квантования, зависимость от совместимого загрузчика GGUF и отсутствие в README подробных сведений о фактических требованиях к оборудованию, контекстном окне и результатах независимого тестирования. Распространение указано по лицензии MIT.

bunsenfeng/parti_19_full — языковая модель для генерации текста и диалогового взаимодействия, опубликованная на Hugging Face. По метаданным она относится к семейству Qwen2, содержит около 7,1 млрд параметров и предназначена для использования через библиотеку Transformers с форматом safetensors. Модель подходит для чат-ботов, генерации ответов, продолжения текста и других сценариев, где требуется autoregressive text generation. Она поддерживает контекст до 32 768 токенов, что позволяет обрабатывать относительно длинные запросы и фрагменты переписки. README не содержит сведений о разработчике, языках, обучающих данных, результатах оценки, лицензии и рекомендуемых ограничениях использования. Поэтому модель следует предварительно проверять на качество, безопасность, устойчивость к галлюцинациям и соответствие требованиям конкретного применения.

Phi-3.5-mini-instruct-4bit — инструкционная языковая модель для генерации текста, созданная Microsoft и преобразованная сообществом mlx-community в формат MLX. Модель предназначена для диалоговых сценариев, ответов на вопросы и решения задач обработки естественного языка; в метаданных также указана релевантность для работы с кодом. Поддерживается библиотекой mlx-lm и рассчитана на запуск в экосистеме MLX. Модель представлена в 4-битном варианте, что обычно позволяет снизить требования к памяти по сравнению с полноразмерным представлением, однако точный размер, архитектура, длина контекста и перечень поддерживаемых языков в README не указаны. В метаданных заявлена многоязычность. Сильными сторонами являются инструкционный формат, возможность генерации текста и адаптация к MLX; ограничения и результаты тестирования не приведены. Конвертация выполнена из microsoft/Phi-3.5-mini-instruct с использованием mlx-lm версии 0.17.0. Модель распространяется по лицензии MIT.

QuantFactory/Phi-3-mini-4k-instruct-GGUF — квантизированная версия модели Phi-3-Mini-4K-Instruct, разработанной Microsoft и преобразованной в формат GGUF с использованием llama.cpp. Модель содержит около 3,8 млрд параметров и предназначена для генерации текста и выполнения инструкций на английском языке в приложениях общего назначения. Модель ориентирована на сценарии с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также на задачи, требующие рассуждений, особенно в математике и логике. Она подходит для диалоговых систем, генеративных функций и исследовательских проектов. Контекст ограничен 4096 токенами; поддерживается текстовая модальность. Послеобучение включало supervised fine-tuning и direct preference optimization, направленные на улучшение следования инструкциям, безопасности, структурированного вывода и многошагового диалога. Сильными сторонами являются компактный размер, возможность локального запуска благодаря квантизации, хорошее качество рассуждений среди моделей с менее чем 13 млрд параметров и улучшенное следование инструкциям. Ограничения включают поддержку преимущественно английского языка, короткое контекстное окно и типичные для языковых моделей риски ошибок, смещений и небезопасных ответов; модель требует отдельной проверки перед применением в критически важных сценариях. Модель распространяется по лицензии MIT.