II.7DevOps, облако и эксплуатация IT-систем

GLM-4.5-Air-bf16 — версия GLM-4.5-Air, подготовленная сообществом mlx-community для запуска в MLX на устройствах Apple с поддержкой MLX. Репозиторий преобразован из zai-org/GLM-4.5-Air с помощью mlx-lm 0.28.2; по метаданным, модель относится к семейству GLM-4 MoE и содержит 8,5 млрд параметров. Лицензия — MIT. Модель предназначена для генерации текста в диалоговом режиме. Базовая GLM-4.5-Air рассчитана на рассуждения, программирование и работу интеллектуальных агентов с инструментами; в этой карточке подтверждены диалоговая возможность и задача text-generation. Контекстное окно — 131 072 токена. Поддерживаемые языки по карточке — английский и китайский. Преобразованная версия упрощает запуск модели в экосистеме MLX. Доступные сведения не подтверждают отдельную оценку качества именно этой сборки или её поддержку вызова инструментов; назначение инструментов указано для базовой модели.

noctrex/GLM-4.7-MXFP4_MOE-GGUF — квантованная версия языковой модели GLM-4.7 от Z.ai, подготовленная в формате GGUF с применением imatrix на основе данных от Unsloth. Модель предназначена для диалогов и генерации текста; базовая GLM-4.7 рассчитана также на программирование, агентные задачи и рассуждения. MXFP4_MOE обозначает используемый вариант квантования модели типа MoE. Репозиторий содержит формат GGUF, подходящий для запуска в совместимом с ним программном обеспечении. Карточка не сообщает размер модели, длину контекста или поддерживаемые языки напрямую; описание базовой модели указывает на английский и китайский.

Hermes 2 Pro — диалоговая языковая модель Nous Research, разработанная совместно с @interstellarninja и Fireworks.AI. Это дообученная плотная модель семейства Llama 3 с 7,5 млрд параметров, основанная на NousResearch/Meta-Llama-3-8B. Она предназначена для диалогов и выполнения инструкций, а также для вызова функций и генерации структурированных ответов в JSON. Модель обучалась на обновлённом и очищенном датасете OpenHermes 2.5 и дополнительных наборах данных для вызова функций и JSON-режима. Модель использует формат диалога ChatML и поддерживает многошаговое взаимодействие с инструментами через специальный шаблон. Контекст составляет 8192 токена. В карточке указана поддержка английского языка; веса доступны в формате Safetensors. Лицензия — Llama 3 License.

Hermes-2-Pro-Mistral-10.7B — языковая модель Nous Research, созданная методом Depth Up-Scaling из Hermes-2-Pro-Mistral-7B на базе Mistral. Это плотная авторегрессионная модель на 10,6 млрд параметров с контекстом до 32 768 токенов; веса представлены в формате safetensors и доступны по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, а также может использоваться как основа для дальнейшего дообучения или как замена версии на 7 млрд параметров. Она поддерживает формат ChatML и обучалась для вызова функций и выдачи структурированных ответов в JSON. В карточке сообщается о результатах оценки 90% для вызова функций и 84% для структурированного вывода JSON. Карточка указывает английский язык. Описанные вызов функций и JSON-режим требуют соответствующего формата запросов и обработки ответов в приложении. Конкретные ограничения качества и сравнительные результаты для других задач в карточке не приведены.

Infinity-Instruct-7M-Gen-Llama3_1-8B-GGUF — квантизированная версия текстовой генеративной модели Infinity-Instruct-7M-Gen-Llama3_1-8B, разработанной BAAI и преобразованной в формат GGUF компанией Second State Inc. Модель предназначена для диалоговых сценариев, генерации текста и использования инструментов; в README также указана совместимость с LlamaEdge. Поддерживается английский язык, модальность — текстовая. Модель основана на Llama 3.1 с размером 8B параметров и поддерживает контекст до 128 000 токенов. Доступны варианты квантизации от 2 до 8 бит, а также f16, с размером файлов примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M обозначен как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с очень небольшими потерями качества. Более агрессивная квантизация уменьшает требования к ресурсам, но может существенно ухудшать качество ответов. Лицензия указана как llama3.1. Для работы требуется совместимое программное обеспечение, например LlamaEdge версии 0.14.0 или выше, с шаблоном запросов llama-3-chat; README также описывает режим использования инструментов.

INTELLECT-3.1 — языковая модель Prime Intellect для генерации текста и рассуждений, продолженное обучение INTELLECT-3 с подкреплением на задачах математики, программирования, разработки программного обеспечения и работы с агентами. README описывает её как Mixture-of-Experts с 106 млрд параметров, из которых 12 млрд активируются; метаданные указывают 8,5 млрд параметров и архитектуру GLM-4 MoE на базе zai-org/GLM-4.5-Air-Base. Эти сведения о размере расходятся между источниками. Модель рассчитана на диалоговые сценарии, решение задач и агентные рабочие процессы. Указанная длина контекста — 131 072 токена. В карточке заявлена поддержка английского языка; метаданные отмечают возможность чата. README описывает запуск через vLLM на двух H200 и настройку интерфейса вызова инструментов, но это не подтверждает отдельный pipeline для вызова инструментов. Лицензия модели в метаданных — MIT.

Mungert/Jan-v1-4B-GGUF — это GGUF-квантизированная версия Jan-v1, небольшой агентной языковой модели, разработанной Jan/Jan AI и основанной на Qwen3-4B-Thinking-2507. Конкретный репозиторий содержит сборки, созданные с использованием llama.cpp; автор применяет собственный подход к квантизации с повышением точности отдельных важных слоёв. В метаданных указан английский язык, размер базовой модели — 4B параметров, модальность — текстовая генерация. Модель предназначена для агентного рассуждения, решения сложных задач, ответов на вопросы, диалогового взаимодействия и использования инструментов, включая сценарии интеграции с Jan App. В исходной карточке заявлены 91,1% точности на SimpleQA и улучшенные возможности рассуждения и tool use, однако приведённые результаты относятся к Jan-v1 в целом и могут не полностью отражать поведение конкретной GGUF-квантизации. Поддерживаются локальный запуск через llama.cpp и интеграция с инструментами, совместимыми с форматом модели. Сильными сторонами являются компактный размер, ориентация на агентные задачи и потенциально более высокая точность при заданном уровне квантизации благодаря повышению точности отдельных слоёв. Ограничения включают зависимость качества от выбранного GGUF-варианта и параметров квантизации, а также отсутствие в карточке точного размера контекста, перечня доступных квантизаций, детальных сравнительных результатов и описания дополнительных языков. Лицензия модели — Apache 2.0.

Карточка модели glxiexie/LFM2.5-2.6B на Hugging Face совпадает с карточкой developerjeremylive/LFM2.5-2.6B-etheroi, поэтому описание составлено по ней. LFM2.5-2.6B-etheroi — многоязычная текстовая модель на 2,6 млрд параметров, созданная на базе LiquidAI/LFM2.5-2.6B-Base и дообученная для агентных сценариев. Она использует гибридную архитектуру LFM2: 30 слоёв, включая блоки коротких свёрток и GQA, и поддерживает контекст до 131 072 токенов. Модель предназначена для локального и периферийного развёртывания; карточка указывает поддержку Transformers, vLLM и SGLang. Модель подходит для вызова инструментов, выполнения многошаговых инструкций, извлечения данных, RAG и работы с длинным контекстом. Она поддерживает английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. По карточке, она не рекомендуется для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; конкретные условия следует проверить в репозитории модели.

LFM2.5-2.6B-etheroi — многоязычная текстовая модель на 2,6 млрд параметров, созданная на базе LiquidAI/LFM2.5-2.6B-Base и дообученная для агентных сценариев. Она использует гибридную архитектуру LFM2: 30 слоёв, включая блоки коротких свёрток и GQA, и поддерживает контекст до 131 072 токенов. Модель предназначена для локального и периферийного развёртывания; карточка указывает поддержку Transformers, vLLM и SGLang. Модель подходит для вызова инструментов, выполнения многошаговых инструкций, извлечения данных, RAG и работы с длинным контекстом. Она поддерживает английский, арабский, китайский, французский, немецкий, хинди, индонезийский, итальянский, японский, корейский, польский, португальский, русский, испанский, тайский и вьетнамский языки. По карточке, она не рекомендуется для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other; конкретные условия следует проверить в репозитории модели.

Ling-3.0-tiny-GGUF — набор квантизованных файлов модели Ling-3.0-tiny, разработанной IBM и опубликованной в формате GGUF для запуска через llama.cpp. Модель предназначена для локального и периферийного развертывания, генерации текста, задач рассуждения и агентских сценариев с возможностью выбирать между быстрым ответом и режимом пошагового reasoning. Модель содержит 7,9 млрд параметров, из которых на каждый токен активируется около 1,3 млрд. Она использует гибридную архитектуру с чередованием слоёв KDA (Kimi Delta Attention) и MLA (Multi-Head Latent Attention) в соотношении 3:1, а также разреженный MoE-слой с 128 маршрутизируемыми экспертами. Заявлена поддержка эффективной обработки длинного контекста, однако конкретный максимальный размер контекста и поддерживаемые языки в README не указаны. Для файлов доступны варианты от BF16 и F16 до экстремально сжатых 1–8-битных квантований; типичный компромисс между качеством и размером — Q4_K_M. Сильные стороны модели — малое число активируемых параметров, экономичное потребление памяти, высокая скорость инференса и встроенный настраиваемый режим рассуждения. В README приведены ориентиры около 100–105 токенов в секунду на NVIDIA DGX Spark и 86–90 токенов в секунду на MacBook с M4 Pro при FP8, а также пиковое потребление около 8,34 ГБ памяти при контексте 8K. Ограничения зависят от выбранного уровня квантования: сильное сжатие снижает качество и может ухудшать связность ответов. Лицензия в предоставленном README не указана.

QuantFactory/Llama3.1-8B-ShiningValiant2-GGUF — квантизированная версия чат-модели Shining Valiant 2, созданная QuantFactory с использованием llama.cpp на основе ValiantLabs/Llama3.1-8B-ShiningValiant2. Исходную модель разработала Valiant Labs; она дообучена на базе Meta-Llama-3.1-8B-Instruct, релиз от 6 августа 2024 года. Модель предназначена для диалогов и генерации текста, включая общие вопросы, объяснение научных и инженерных тем, технические задачи и структурированное рассуждение. Она ориентирована на дружелюбные, воодушевляющие, содержательные и познавательные ответы. Указан английский язык, текстовая модальность и архитектура Llama; размер — 8 миллиардов параметров. Модель использует формат промптов Llama 3.1 Instruct. Размер контекста в README не указан. К сильным сторонам относятся специализация на научно-технических знаниях, улучшенная согласованность ответов и гибкость общения. К ограничениям относятся зависимость качества от базовой модели и выбранного квантизированного формата; сведения о точности, конкретных вариантах квантования, системных требованиях и ограничениях безопасности не приведены. Лицензия указана как llama3.1.

unsloth/Meta-Llama-3.1-70B-Instruct-bnb-4bit — это 4-битно квантованная версия Meta-Llama-3.1-70B-Instruct, подготовленная с использованием экосистемы Unsloth. Базовую модель разработала Meta; в карточке указано, что Unsloth предоставляет квантованный вариант и инструменты для более эффективного дообучения. Модель предназначена для генерации текста и диалоговых сценариев, включая создание виртуальных ассистентов, обработку инструкций и адаптацию под специализированные наборы данных. Модель относится к семейству Llama 3.1, содержит 70 миллиардов параметров и использует архитектуру decoder-only Transformer, характерную для этой серии. Указан основной язык English; поддержка других языков в карточке не заявлена. Формат bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что может упростить локальный запуск и дообучение, однако потенциально сопровождается потерей качества относительно исходной версии и требует совместимого программного и аппаратного окружения. Сведения о размере контекста, мультимодальности и точных характеристиках инференса отсутствуют. Модель распространяется по лицензии Llama 3.1. Перед использованием необходимо учитывать условия этой лицензии и требования совместимого стека, включая Transformers и поддержку 4-битной загрузки.

mlx-community/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking-OptiQ-4bit — это MLX-квантизированная версия модели GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-V2-Thinking, которая представляет собой reasoning fine-tune архитектуры MiniCPM5-1B примерно на 1 млрд параметров. Модель предназначена для генерации текста, диалогов, следования инструкциям, решения задач с рассуждениями, программирования, tool calling и function calling. Заявлена поддержка английского и китайского языков, а формат работы ориентирован на Apple Silicon через MLX. Основная точность квантования — 4-bit, при этом чувствительные слои хранятся в 8-bit. Всего квантизировано 169 слоёв: 67 в 8-bit и 102 в 4-bit; эффективная разрядность составляет 5,805 бит на вес. Размер весов уменьшен с 2,0 ГБ в bf16 до 874 МБ, что делает модель удобной для локального запуска на компьютерах Apple Silicon. При генерации модель формирует рассуждения внутри тегов <think>...</think>, поэтому ей требуется достаточно большой лимит max_tokens. К сильным сторонам относятся малый размер, локальная работа без облачных сервисов и PyTorch, поддержка MLX-native serving, смешанной точности KV-cache и LoRA fine-tuning через mlx-optiq. При этом для данной квантованной версии не проводились task-бенчмарки, а распределение разрядности перенесено с базовой модели MiniCPM5-1B и может несколько отличаться по оптимальности для этого fine-tune. В карточке указана лицензия Apache-2.0; также рекомендуется учитывать условия лицензии исходной модели.

nwzjk/MiniMax-M3-NVFP4-Duplicated — копия мультимодальной модели MiniMax-M3, разработанной MiniMaxAI и квантизированной в формате NVFP4 с помощью NVIDIA Model Optimizer. Архитектура — мультимодальный Transformer Mixture-of-Experts с 428 млрд параметров и примерно 23 млрд активных параметров на токен. Модель принимает текст, изображения и видео, а выдаёт текст; заявленная длина контекста составляет 1 млн токенов, видео может длиться до 30 минут. Модель предназначена для диалогов, анализа изображений и видео, включая длинные ролики, программирования на длительных задачах и агентных сценариев с вызовом инструментов. Доступны режимы рассуждения для сложных задач и без рассуждений для сценариев, чувствительных к задержке. README сообщает о запуске через vLLM, но для NVFP4 требуется nightly-сборка; также указано, что развёртывание рассчитано на мощные NVIDIA GPU. Квантизация уменьшает требования к памяти, но приведённые в README тесты показывают небольшое снижение результатов относительно FP8. Модель может воспроизводить токсичность и смещения из обучающих данных, а также давать неточные, неполные или избыточные ответы. README указывает на некоммерческое использование; метаданные обозначают лицензию как other.

EasierAI/Mistral-NeMo-12B — набор GGUF-квантизованных версий Mistral-Nemo-Instruct-2407, опубликованный с указанием quantized_by: bartowski и предназначенный для запуска через llama.cpp и LM Studio. Модель относится к классу генеративных текстовых моделей и поддерживает формат диалоговых запросов с шаблоном <s>[INST]{prompt}[/INST]. Модель предназначена для генерации текста и выполнения инструкций в локальных сценариях, включая чат и другие задачи обработки текста. В README заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, русского, китайского и японского языков. Архитектура, точное число параметров и размер контекста в предоставленных данных не указаны; идентификатор 12B присутствует только в названии репозитория. Доступны варианты от F16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ3/IQ4, что позволяет выбирать между качеством генерации и требованиями к оперативной памяти. Квантизация выполнена с использованием imatrix и llama.cpp; некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Более сильное сжатие уменьшает потребление памяти, но может снижать качество. Лицензия — Apache-2.0.

amd/Mixtral-8x7B-Instruct-v0.1-FP8-KV — FP8-квантизированная версия модели Mixtral-8x7B-Instruct-v0.1, разработанная Advanced Micro Devices (AMD) на базе модели Mistral AI. Квантизация выполнена с помощью Quark с использованием калибровочных образцов из датасета Pile. Модель предназначена для эффективного развертывания и инференса через backend vLLM, включая сценарии на одной или нескольких GPU. Все линейные слои, кроме lm_head и слоёв, содержащих *.gate, используют симметричное тензорное представление FP8 для весов и активаций; KV-кэш также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, однако способен приводить к потере точности по сравнению с исходной моделью. В оценке на wikitext2 perplexity составила 4,2187 против 4,1391 у исходной Mixtral-8x7B-Instruct-v0.1; результаты получены в режиме псевдоквантизации и приведены только для справки. Архитектура, число параметров, поддерживаемые языки и размер контекста в README не указаны. Модель распространяется по лицензии Apache License 2.0.

Soulfate24/Nanbeige4.2-3B-DSpark-ASHQ1-Remix-GGUF — это объединённая и представленная в формате GGUF версия Nanbeige4.2-3B с DSpark, подготовленная в рамках набора ASHQ1-Remix. Репозиторий предназначен для генерации текста и диалогового использования; базовая модель имеет 3,2 млрд параметров и ориентирована на рассуждения, программирование и агентные задачи с вызовом инструментов. В README описана активационно-зависимая квантизация GGUF с параметрами, основанными на измеренных экспериментах, и поддержкой линии AutoRound с ограничениями насыщения. Модель поддерживает английский и китайский языки. Репозиторий распространяется по лицензии Apache-2.0. Карточка не приводит отдельные сведения о длине контекста и конкретных уровнях квантования для данного файла.

NinjaMouse2-2.5B-v0.1 — разговорная языковая модель, созданная автором trollek на основе h2oai/h2o-danube2-1.8b-chat. Это плотная авторегрессионная модель семейства Mistral с 2,4 млрд параметров и контекстом до 8192 токенов; исходные 24 слоя расширены, а обучение включало дообучение вставленных блоков и последующую настройку на инструктивных и диалоговых данных. Модель предназначена для диалогов и генерации ответов на инструкции, включая задачи по математике, коду и вызову инструментов. Для подготовки данных использовались примеры из нескольких англоязычных диалоговых, математических и программных наборов, а также ответы более крупных моделей. Репозиторий содержит веса в формате safetensors; README также описывает отдельные квантизированные варианты для запуска через Ollama и LM Studio. Модель рассчитана прежде всего на английский язык. README предупреждает, что специальные токены FIM и thought не входили в обучение. Лицензия — Apache-2.0. Качество и соответствие инструкциям могут различаться; карточка не приводит результатов независимой оценки.

bartowski/NousResearch_DeepHermes-3-Llama-3-8B-Preview-GGUF — это набор GGUF-квантизаций модели DeepHermes-3-Llama-3-8B-Preview, разработанной NousResearch и подготовленной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалоговых и чат-сценариев, инструкционного взаимодействия, рассуждений, ролевых диалогов, работы с JSON и function calling. Указан английский язык. Модель основана на Llama 3 и содержит 8 миллиардов параметров. Она поддерживает текстовую модальность и формат запросов ChatML-подобного типа с системными, пользовательскими и ассистентскими сообщениями. В репозитории представлены варианты квантизации от Q3 до Q8 объёмом примерно от 4,45 до 8,54 ГБ; более высокие варианты обычно обеспечивают лучшее качество, а низкобитные требуют меньше оперативной памяти. Модель совместима с llama.cpp, LM Studio и другими проектами на базе llama.cpp. Сильными сторонами являются широкий выбор квантизаций, возможность локального запуска и поддержка задач, связанных с инструкциями, структурированными ответами и вызовом функций. Ограничения включают отсутствие заявленных данных о контекстном окне, бенчмарках и качестве на других языках, а также неизбежные потери качества при использовании более агрессивной квантизации. Лицензия указана как llama3; дополнительные условия использования в README не раскрыты.

NVIDIA-Nemotron-Nano-9B-v2-Base — базовая большая языковая модель NVIDIA для продолжения заданного текста. Она обучена с нуля на корпусе примерно из 20 триллионов токенов, а затем подвергнута прореживанию и дистилляции из NVIDIA-Nemotron-Nano-12B-v2-Base на примерно 480 миллиардах токенов. Архитектура Nemotron-Hybrid сочетает преимущественно слои Mamba-2 и MLP с четырьмя слоями внимания; размер модели — 8,89 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и рассчитана на разработчиков и исследователей, создающих языковые модели и приложения на их основе. Она обучалась на английском и 15 других естественных языках, а также на данных для 43 языков программирования; в корпус входят веб-страницы, диалоги, статьи и материалы по математике, науке, финансам и праву. NVIDIA указывает готовность к коммерческому использованию; лицензия в карточке обозначена как other, поэтому перед использованием следует проверить её условия. Модель оптимизирована для ускорения на GPU NVIDIA, а для конкретного сценария требуется отдельная проверка качества и безопасности.

OLMo-2-1124-7B-Instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели OLMo-2-1124-7B-Instruct, разработанной Allen Institute и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалогового взаимодействия, включая выполнение инструкций, ответы на вопросы и решение задач в локальных приложениях на базе llama.cpp. Модель содержит около 7 миллиардов параметров, работает в текстовой модальности и ориентирована на английский язык. В репозитории доступны варианты от F16 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3 и Q2, поэтому можно выбирать между качеством, скоростью и требованиями к памяти. Для квантования использовалась imatrix-методика, а также исправленный tokenizer.json базовой модели. Точный размер контекстного окна в README не указан. Сильная сторона сборки — возможность запуска модели локально с различным объёмом памяти и совместимость с llama.cpp; варианты Q6 и Q5 заявлены как высококачественные, а Q4_K_M — как подходящий вариант по умолчанию для большинства сценариев. Более сильное квантование уменьшает требования к ресурсам, но может снижать качество ответов; низкобитные варианты имеют заметные ограничения. Отдельные сборки оптимизированы для ARM и требуют соответствующих аппаратных возможностей. Модель распространяется по лицензии Apache-2.0.

Ornith-1.5-35B-A3B-AWQ-INT4 — это мультимодальная квантованная версия модели Ornith-1.5-35B-A3B, разработанной ornith-ai. Модель предназначена для генерации текста, рассуждений, программирования и обработки изображений в сценариях image-text-to-text. Она поддерживает контекст до 262 144 токенов; конкретный набор языков в материалах не указан. Модель построена на архитектуре fine-grained Mixture of Experts: в каждом из 40 слоёв имеется 256 экспертов, из которых для каждого токена активируются 8. Квантирование выполнено методом AWQ в формате compressed-tensors pack-quantized по схеме W4A16 с асимметричными 4-битными весами и размером группы 32. Около 90% параметров хранятся в 4-битном формате, а активации остаются в BF16. Зрительная башня, attention-компоненты, эмбеддинги, выходная голова и multi-token prediction head сохранены в BF16. MTP head поддерживает speculative decoding в SGLang. Релиз ориентирован на эффективный запуск через SGLang, в частности на Intel Arc Pro B-series. К сильным сторонам относятся уменьшенный объём весов, поддержка мультимодального ввода, длинного контекста и speculative decoding. Проверка качества ограничена детерминированным smoke-тестом на связность, арифметическое и логическое рассуждение, программирование и базовое распознавание изображения; полноценные бенчмарки и сопоставление с BF16 не заявлены. Производительность и качество зависят от оборудования и рабочего сценария. Модель распространяется по лицензии MIT.

bartowski/Phi-3.1-mini-128k-instruct-GGUF — это GGUF-квантизованная версия инструкционной языковой модели Phi-3.1-mini-128k-instruct, разработанной Microsoft и подготовленной для распространения пользователем bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалогового взаимодействия, включая ответы на вопросы, выполнение инструкций и задачи, связанные с обработкой естественного языка и кодом. Модель работает с текстом, заявлена поддержка английского языка, а контекстное окно составляет до 128 000 токенов. Доступны варианты от F32 до низкобитных квантований Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-разновидностей; размер файлов варьируется примерно от 1,42 до 15,29 ГБ. Более высокие варианты квантования обеспечивают лучшее сохранение качества, а низкобитные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Модель рассчитана на локальный запуск через llama.cpp и совместимые приложения, включая LM Studio. В README не приведены результаты тестирования, точные сведения об архитектуре, аппаратные требования или ограничения по применению, поэтому её возможности нельзя оценить за пределами указанных сценариев. Для модели указана лицензия MIT.

mainbrains поддерживает форк Phi-3-Mini-4K-Instruct — компактной плотной языковой модели семейства Phi-3 с 3,7 млрд параметров и контекстом до 4096 токенов. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения, математики, логики и программирования; она дообучена следовать инструкциям и выдавать структурированные ответы. Модель рассчитана на применение в условиях ограниченных вычислительных ресурсов и требований к низкой задержке, в том числе как локальный узел для генерации текста и работы с инструментами. README заявляет запуск на компактном оборудовании, но фактическая скорость зависит от аппаратуры и способа инференса. Карточка описывает преимущественно англоязычное обучение и предупреждает о снижении качества на других языках, а также о возможных неточностях, предвзятости и оскорбительных ответах. Лицензия — MIT.

QuantFactory/Phi-3-mini-4k-instruct-GGUF — квантизированная версия модели Phi-3-Mini-4K-Instruct, разработанной Microsoft и преобразованной в формат GGUF с использованием llama.cpp. Модель содержит около 3,8 млрд параметров и предназначена для генерации текста и выполнения инструкций на английском языке в приложениях общего назначения. Модель ориентирована на сценарии с ограниченными ресурсами памяти и вычислений, требованиями к низкой задержке, а также на задачи, требующие рассуждений, особенно в математике и логике. Она подходит для диалоговых систем, генеративных функций и исследовательских проектов. Контекст ограничен 4096 токенами; поддерживается текстовая модальность. Послеобучение включало supervised fine-tuning и direct preference optimization, направленные на улучшение следования инструкциям, безопасности, структурированного вывода и многошагового диалога. Сильными сторонами являются компактный размер, возможность локального запуска благодаря квантизации, хорошее качество рассуждений среди моделей с менее чем 13 млрд параметров и улучшенное следование инструкциям. Ограничения включают поддержку преимущественно английского языка, короткое контекстное окно и типичные для языковых моделей риски ошибок, смещений и небезопасных ответов; модель требует отдельной проверки перед применением в критически важных сценариях. Модель распространяется по лицензии MIT.

Microsoft Phi-3 Small-8K-Instruct — преобразованная в ONNX версия инструктивной языковой модели семейства Phi-3 Small, оптимизированная для вывода через ONNX Runtime на графических процессорах NVIDIA. Модель содержит 8,2 млрд параметров по метаданным и поддерживает контекст до 8192 токенов. Базовая модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а затем прошла дообучение по инструкциям и оптимизацию предпочтений. Модель предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, рассуждения, математические задачи и программирование. Репозиторий включает варианты FP16 и INT4; INT4 экономит ресурсы и может быть выгоден при небольших пакетах, а FP16 рекомендован для более крупных пакетов. В README приведены измерения производительности на A100, поэтому эти показатели не гарантируют аналогичную скорость на другом оборудовании. Для запуска требуются ONNX Runtime и совместимый NVIDIA GPU с Compute Capability не ниже 7.5. Лицензия — MIT. Указанные в README Python, C и C++ относятся к языкам программирования, а не к естественным языкам модели.

Phi-4-mini-instruct-mlx-fp16 — версия модели Microsoft Phi-4-mini-instruct, преобразованная SkyStar-tech в формат MLX для запуска на устройствах Apple с использованием mlx-lm. Это плотная авторегрессионная языковая модель с 3,8 млрд параметров и контекстом до 4096 токенов. Она предназначена для диалогов, генерации текста и кода, а также рассуждений в приложениях с ограниченными ресурсами. Поддерживает английский, русский и другие языки, перечисленные в карточке модели. Репозиторий использует формат safetensors и лицензию MIT; README указывает преобразование в MLX с помощью mlx-lm 0.31.2.

Карточка модели LIF1014/ptdbench-verl-implementation-torch-functional на Hugging Face совпадает с карточкой Qwen/Qwen2.5-1.5B-Instruct, поэтому описание составлено по ней. Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Edens-Gate/Qwen1.5B-Instruct-Upscale-3.5B — текстовая диалоговая модель семейства Qwen2, созданная с помощью mergekit методом passthrough на основе Qwen/Qwen2-1.5B-Instruct. Репозиторий содержит плотную архитектуру Qwen2ForCausalLM на 3,2 млрд параметров; модель работает через Transformers и принимает текстовые запросы, выдавая текст. Модель предназначена для диалогов и генерации текста по инструкциям. Подходит для ответов на вопросы, составления текстов и помощи с программированием или математическими задачами. Контекстное окно составляет 32 768 токенов. В метаданных указана лицензия Apache-2.0?

MaziyarPanahi/Qwen2.5-14B-Instruct-GGUF — это квантованные файлы модели Qwen2.5-14B-Instruct в формате GGUF. Исходную модель разработала команда Qwen, а набор GGUF-файлов подготовил MaziyarPanahi. Модель предназначена для генерации текста и использования в диалоговых и локальных сценариях инференса. Формат GGUF поддерживается llama.cpp и совместимыми инструментами, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All, LoLLMS Web UI, candle и рядом других решений. Это позволяет запускать модель локально, в том числе с ускорением на GPU и через OpenAI-совместимые серверные интерфейсы, в зависимости от выбранного инструмента. Размер исходной модели составляет 14B параметров. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью и качеством генерации. Модель относится к текстовым; сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Конкретные требования к оборудованию зависят от выбранного варианта квантования. Лицензия в предоставленных данных не указана.