I.5Создание и редактирование текста

QuantFactory/INTELLECT-1-Instruct-GGUF — квантизированная версия инструкционной языковой модели PrimeIntellect/INTELLECT-1-Instruct, созданная QuantFactory с использованием llama.cpp. Модель предназначена для генерации текста, выполнения инструкций, работы с кодом, математическими задачами и общими текстовыми запросами. Основной заявленный язык — английский; модель относится к модальности text-to-text и поддерживает только текстовые данные. Модель содержит около 10 млрд параметров, 42 слоя, 32 attention heads, hidden size 4096, словарь размером 128256 токенов и контекст длиной до 8192 токенов. Базовая INTELLECT-1 обучалась с нуля на 1 трлн токенов английского текста и кода, а затем прошла post-training и instruction tuning на наборах данных для общего следования инструкциям, программирования, математики, агентных сценариев и многоязычных данных. Предобучение выполнялось распределённо сообществом Prime Intellect и партнёров на базе framework prime и алгоритма DiLoCo. Ключевое преимущество этой версии — формат GGUF и квантизация, позволяющие запускать модель через совместимые инструменты llama.cpp с меньшими требованиями к памяти по сравнению с полной версией. Однако конкретный уровень качества, скорость и потребление памяти зависят от выбранного варианта квантизации. Контекст ограничен 8192 токенами, а качество для языков, отличных от английского, в README подробно не охарактеризовано. Для исходной модели требуется добавлять BOS-токен в начало каждого примера, иначе производительность может снизиться; применимость этого требования при использовании GGUF зависит от используемого рантайма и шаблона. Лицензия — Apache 2.0.

MLX-версия модели K2-Horizon-3.7B от IFM, подготовленная сообществом mlx-community для компьютеров Apple с Apple Silicon. Это плотная авторегрессионная языковая модель с 3,7 млрд параметров и контекстом 524 288 токенов, предназначенная для генерации текста и диалогов. Сборка использует веса bf16 без квантизации и формат safetensors; размер на диске — около 10,1 ГБ. Модель подходит для ответов на вопросы, рассуждений, программирования и агентных сценариев в приложениях на базе MLX. Реализация архитектуры K2-Horizon поставляется вместе с репозиторием, поскольку поддержка этой архитектуры в mlx-lm может зависеть от версии библиотеки. Для запуска требуется mlx-lm; в некоторых версиях необходимо разрешить загрузку удалённого кода. Длинный контекст требует значительной дополнительной памяти для KV-кэша. Конвертация сверялась с реализацией IFM на PyTorch. Лицензия — Apache-2.0.

L3.1-Moe-4x8B-v0.1 — языковая модель с архитектурой Mixture of Experts, собранная разработчиком moeru-ai с помощью mergekit-moe. Она объединяет четыре модели на базе Llama 3.1, предназначенные для диалогов, творческого письма, работы с кодом и математикой. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов; файлы опубликованы в формате safetensors. Для работы используется библиотека Transformers. Модель предназначена для генерации текста и диалогового общения, включая ролевые сценарии, а также для задач с кодом и математикой. В README приведены результаты оценки на Open LLM Leaderboard, в том числе средняя оценка 19,15 и результат IFEval 43,47. Модель распространяется по лицензии Llama 3.1; следует соблюдать её условия.

Ling-1T-GGUF — GGUF-версия языковой модели Ling-1T, разработанной InclusionAI. Это флагманская немыслящая модель серии Ling 2.0 для генерации текста, сложного рассуждения, программирования, математических и логических задач, использования инструментов, создания фронтенд-кода и мультиязычного контента. Модель построена на архитектуре Ling 2.0 и содержит около 1 триллиона общих параметров, из которых примерно 50 миллиардов активируются для каждого токена. Используется разреженная MoE-архитектура с коэффициентом активации 1/32, MTP-слои, маршрутизация экспертов без auxiliary loss, QK-нормализация и FP8-обучение. Модель предварительно обучалась на более чем 20 триллионах токенов, поддерживает контекст до 128K токенов и применяет метод evolutionary chain-of-thought (Evo-CoT). README не указывает полный список поддерживаемых языков, однако заявляет поддержку мультиязычного текста. К сильным сторонам относятся эффективность рассуждения, качество генерации кода, визуальное понимание, создание эстетичного фронтенд-кода, математические и логические задачи, а также вызов инструментов. По заявлению разработчиков, модель демонстрирует высокие результаты на ряде сложных бенчмарков, включая AIME 25, ArtifactsBench и BFCL V3. Ограничения включают чрезвычайно большой общий размер модели и, вероятно, высокие требования к вычислительным ресурсам; конкретные требования к памяти и производительности GGUF-версии в README не приведены. Лицензия — MIT.

Ling-3.0-flash-fp8 — текстовая генеративная модель, разработанная командой inclusionAI. Она предназначена для рассуждений, следования инструкциям, программирования, обобщения знаний, математических задач, понимания длинного контекста и агентских рабочих процессов, включая coding agents, general agents и deep research agents. Модель использует гибридную линейную MoE-архитектуру с чередованием 35 слоёв Kimi Delta Attention и 7 слоёв Gated MLA в соотношении 5:1, двумя плотными слоями, 512 маршрутизируемыми и одним общим экспертом; на каждом токене активируются 8 экспертов. Общий объём составляет 124B параметров, из них активны 5.1B. Размер скрытого состояния — 2560, число attention heads — 32, размер словаря — 157184. Обучение контекста проходило по этапам от 8K до 32K и 256K токенов. Указана модальность text generation; поддерживаемые языки в README не перечислены. К сильным сторонам относятся высокая вычислительная эффективность, поддержка длинного контекста, производительность в задачах программирования и использования инструментов, а также оптимизации для длительных интерактивных сессий через иерархическое кэширование SGLang HiCache и Mooncake. README заявляет о сокращении Time to First Token на 60–80% и более в сценариях с длинным вводом, однако конкретные результаты зависят от инфраструктуры и режима применения. Ограничения по качеству, языкам, аппаратным требованиям и безопасному использованию отдельно не описаны. Модель распространяется по лицензии MIT.

Ling-mini-2.0 — компактная разговорная языковая модель семейства Ling 2.0 от inclusionAI, предназначенная для генерации текста, следования инструкциям и решения задач на рассуждение. Это дообученная версия Ling-mini-base-2.0; по метаданным, она использует архитектуру Bailing MoE для причинного языкового моделирования и содержит 1,2 млрд параметров. README описывает семейство Ling-mini-2.0 как разреженную MoE-модель с 16,26 млрд параметров всего и примерно 1,43 млрд активных на токен, обученную на более чем 20 трлн токенов с многоэтапной настройкой и обучением с подкреплением. Модель подходит для диалоговых приложений, сложных рассуждений, математики, программирования и ответов на вопросы, а также предоставляет интерфейс вызова инструментов. Метаданные указывают контекст 32 768 токенов; README сообщает о расширении до 128K с YaRN. Разработчик заявляет о высокой скорости генерации и сильных результатах на тестах рассуждения, однако приведённые показатели зависят от оборудования и режима развёртывания. Веса доступны в формате safetensors, библиотека — Transformers; лицензия MIT.

v2ray/Llama-3-70B-Instruct — перезагрузка модели Meta Llama 3 70B Instruct, предназначенной для диалогового использования. Это авторегрессионная плотная языковая модель на базе оптимизированного Transformer с Grouped-Query Attention; объём модели — 69,5 млрд параметров, контекст — 8192 токена. Модель принимает текст и генерирует текст, включая код. Модель подходит для англоязычного диалогового помощника и задач генерации текста. В карточке описана настройка инструкционных версий с помощью supervised fine-tuning и обучения с подкреплением на основе человеческой обратной связи. Разработчик — Meta; версия выпущена 18 апреля 2024 года. Модель рассчитана прежде всего на английский язык. Для использования действует пользовательская коммерческая лицензия Meta Llama 3 и связанные с ней условия допустимого использования. Ответы могут требовать проверки и дополнительных мер безопасности в зависимости от приложения.

Llama-3 70B Gradient Instruct 524K — языковая модель Gradient, созданная при поддержке вычислительных ресурсов Crusoe Energy на основе Meta-Llama-3-70B-Instruct. Это плотная модель семейства Llama с 69,5 млрд параметров, предназначенная для генерации текста в диалогах и работы с длинными контекстами. Авторы сообщают о расширении контекста исходной модели с 8 тысяч до более чем 524 тысяч токенов за счёт настройки RoPE theta и обучения примерно на 400 млн токенов суммарно; нативная длина контекста по метаданным — 524 288 токенов. Модель подходит для диалоговых помощников, анализа длинных документов и других сценариев, где запрос и большой объём исходного текста нужно учитывать одновременно. Карточка рекомендует Transformers или TGI для запуска. Модель принимает и выдаёт текст; в метаданных указан английский язык. Лицензия — Llama 3, с условиями использования Meta Llama 3 Community License. Как и другие большие языковые модели, она может ошибаться и требует проверки ответов и настройки защитных мер под конкретное применение.

Модель gradientai/Llama-3-8B-Instruct-Gradient-4194k — англоязычная диалоговая версия Llama 3, разработанной Meta и опубликованной Gradient AI. Это плотная авторегрессионная трансформерная языковая модель класса LlamaForCausalLM с Grouped-Query Attention; в репозитории заявлено около 7,5 млрд параметров. Она принимает текст и генерирует текст или код, подходит для чат-ассистентов и задач генерации естественного языка. Метаданные указывают поддержку чата и тег английского языка; README описывает исходную Llama 3 как предназначенную для английского. Модель распространяется в формате safetensors по лицензии llama3, то есть по условиям лицензии и политики допустимого использования Meta Llama 3. README описывает семейство Llama 3, а не изменения Gradient-варианта, поэтому дополнительные свойства, подразумеваемые суффиксом названия, здесь не подтверждены. Как и другие базовые генеративные модели, она может выдавать неточные или небезопасные ответы; для прикладного развертывания нужны проверки и защитные меры.

Meta Llama 3 70B — большая авторегрессионная языковая модель Meta на 69,5 млрд параметров с плотной архитектурой Transformer и Grouped-Query Attention. Репозиторий содержит веса в формате safetensors; модель принимает текст и генерирует текст и код. Контекст модели составляет 8192 токена. Карточка описывает семейство Llama 3, включающее предварительно обученные и дообученные для следования инструкциям варианты; README указывает, что варианты с инструкционным дообучением используют SFT и RLHF, однако не уточняет вариант этого репозитория. Модель предназначена для генерации текста и кода, а диалоговые сценарии особенно подходят инструкционным вариантам. В README заявлено целевое использование на английском языке; применение на других языках выходит за рамки рекомендаций, хотя дообучение для других языков допускается условиями лицензии и политики использования. Модель статична и обучена на офлайн-данных. Для использования требуется соблюдать пользовательскую лицензию Meta Llama 3 и Acceptable Use Policy; лицензия обозначена в метаданных как нестандартная, а README сообщает о доступности коммерческой лицензии.

Карточка модели Undi95/Meta-Llama-3-70B-hf на Hugging Face совпадает с карточкой meta-llama/Meta-Llama-3-70B, поэтому описание составлено по ней. Meta Llama 3 70B — большая авторегрессионная языковая модель Meta с оптимизированной архитектурой Transformer и Grouped-Query Attention. Эта версия предназначена для генерации текста; семейство включает предварительно обученные и настроенные варианты, но карточка репозитория не уточняет, к какому варианту относится этот чекпойнт. Модель принимает текст и генерирует текст, включая код. Её можно использовать для диалоговых помощников и адаптировать к различным задачам генерации естественного языка. В README указано, что модель предназначена для коммерческого и исследовательского использования на английском языке; применение на других языках выходит за рамки заявленного назначения, хотя дообучение для них допускается при соблюдении условий лицензии и политики использования. Модель выпущена Meta в апреле 2024 года. Репозиторий содержит веса в формате safetensors и распространяется по специальной лицензии Llama 3 с коммерческими условиями. Ответы могут требовать дополнительных мер безопасности, настроенных под конкретное приложение.

Meta Llama 3 70B Instruct — разработанная Meta инструкция-настроенная большая языковая модель для диалоговых сценариев. Это авторегрессионный плотный трансформер Llama с Grouped-Query Attention, примерно 69,5 млрд параметров и контекстом 8192 токена. Модель принимает текст и генерирует текст, включая код; карточка указывает английский как целевой язык. Модель подходит для диалогового помощника и генерации текста или кода. Настроенная версия обучена с помощью supervised fine-tuning и обучения с подкреплением на основе человеческих предпочтений (RLHF), с акцентом на полезность и безопасность. Репозиторий распространяет веса в формате safetensors; заявлена пользовательская коммерческая лицензия Meta Llama 3, условия которой необходимо соблюдать. Модель не предназначена для использования на языках, отличных от английского, согласно указанному назначению; для ответственного развертывания могут потребоваться дополнительные меры безопасности.

Ministral-8B-Instruct-2410 — инструктивно дообученная языковая модель компании Mistral AI для локального запуска, вычислений на устройствах и периферийных системах. Это плотный трансформер семейства Mistral с примерно 8 млрд параметров; модель поддерживает диалог и вызов функций. В карточке заявлено окно контекста до 128 тыс. токенов, но метаданные каталога указывают 32 768 токенов, а README уточняет, что vLLM ограничивает контекст 32 тыс. токенов; полный размер окна доступен при использовании Mistral Inference. Модель рассчитана на генерацию ответов по инструкциям, диалог, программирование, математические задачи и вызов функций. Она обучена на значительной доле многоязычных и программных данных; заявлена поддержка английского, французского, немецкого, испанского, итальянского, португальского, китайского, японского, русского и корейского языков. Рекомендуемая библиотека для инференса — vLLM. Модель распространяется по Mistral Research License; для коммерческого использования README предлагает обратиться к Mistral AI за коммерческой лицензией. Для запуска на одном GPU требуется 24 ГБ видеопамяти. Качество ответов и многоязычные возможности зависят от языка и задачи.

Mistral-Large-Instruct-2407 — созданная Mistral AI плотная большая языковая модель с 123 млрд параметров, настроенная для выполнения инструкций. Она предназначена для диалога, рассуждений, работы с математическими задачами и кодом, а также для агентных сценариев с вызовом функций и выводом JSON. Модель поддерживает контекст до 128 тыс. токенов и множество естественных языков, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский; обучение также охватывало более 80 языков программирования. К сильным сторонам относятся заявленные в карточке возможности рассуждения, генерации кода и использования инструментов. Для запуска модели такого размера требуется несколько GPU с суммарно более 300 ГБ видеопамяти. В карточке отмечено отсутствие механизмов модерации, поэтому ответы могут не соблюдать заданные ограничения безопасности. Лицензия Mistral Research License разрешает использование и модификацию для исследований и некоммерческих целей.

Mistral Small 3 (2501) — инструктивно дообученная языковая модель Mistral AI Team на базе Mistral-Small-24B-Base-2501. Это плотная авторегрессионная модель семейства Mistral с 23,4 млрд параметров и контекстом 32 768 токенов; репозиторий содержит веса в safetensors и рассчитан на запуск, в частности, через vLLM. Модель предназначена для диалоговых помощников, следования инструкциям, рассуждений и задач программирования, а также для сценариев с вызовом функций и формированием JSON. Карточка описывает многоязычную поддержку, включая английский, французский, немецкий, испанский, итальянский, португальский, китайский, японский, русский и корейский. Разработчик отмечает возможность локального развёртывания; после квантизации модель может помещаться в память RTX 4090 или MacBook с 32 ГБ ОЗУ. Для работы без квантизации указано требование около 55 ГБ видеопамяти в bf16 или fp16. Модель подходит для локальных диалоговых агентов с низкой задержкой и настройки под специализированные задачи. Она распространяется по лицензии Apache 2.0, допускающей коммерческое и некоммерческое использование и модификацию. Приведённые в карточке оценки получены на конкретных внутренних и публичных тестах и не гарантируют аналогичного качества на других данных; для заявленных возможностей вызова функций и JSON важно использовать подходящий формат шаблона и совместимые инструменты.

NVIDIA-Nemotron-3-Ultra-550B-A55B-FP8-block — большая языковая модель для генерации текста, рассуждений, решения сложных задач, математики и науки, генерации кода, следования инструкциям и вызова инструментов. Модель разработана Red Hat на основе NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16; в карточке также указан NVIDIA как провайдер. Входом и выходом служит текст, поддерживаются сценарии text-to-text, text-generation, reasoning и tool-calling. Архитектура модели обозначена как NemotronHForCausalLM. Она содержит 550 млрд общих параметров, из которых активно используется 55 млрд. Весовые коэффициенты и активации линейных операторов внутри transformer-блоков квантизированы в FP8: для весов применяется per-block quantization, для активаций — динамическая per-token quantization. Это уменьшает размер модели на диске и требования к памяти GPU примерно на 50% по сравнению с исходным форматом BF16. Заявлена поддержка контекста до 262 144 токенов при развертывании с vLLM. Языки модели в README не указаны. К сильным сторонам относятся сочетание большого общего числа параметров с меньшим числом активных параметров, поддержка сложных рассуждений, программирования и вызова инструментов, а также сниженные требования к хранению и памяти благодаря FP8-квантизации. Для работы рекомендуются vLLM и llm-compressor; карточка валидирована на RHOAI 3.5, RHAIIS 3.5 и vLLM 0.24.0. Ограничения включают значительные аппаратные требования даже после квантизации, зависимость корректной работы tool-calling и reasoning от специальных парсеров, а также отсутствие в README подробных результатов бенчмарков и информации о поддерживаемых языках. Модель распространяется по лицензии NVIDIA Open Model License; использование, нарушающее применимое законодательство и нормы экспортного контроля, исключено.

Карточка модели Chiraag25/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4 на Hugging Face совпадает с карточкой baseten/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16, поэтому описание составлено по ней. Nemotron-3-Ultra-550B-A55B-NVFP4-dequant-to-BF16 — большая языковая модель NVIDIA для диалогов, рассуждений и агентных сценариев. Она использует гибридную архитектуру LatentMoE с чередованием слоёв Mamba-2 и Mixture of Experts, отдельными слоями Attention и Multi-Token Prediction. Всего в модели 550 млрд параметров, из них 55 млрд активны при вычислении; репозиторий содержит веса SafeTensors в BF16, полученные из NVFP4-чекпойнта. Модель предназначена для сложных многошаговых задач, следования инструкциям, анализа длинных документов и кодовых баз, а также для создания чат-ботов, RAG-систем и AI-агентов. Она поддерживает генерацию текста и чат на английском, французском, испанском, итальянском, немецком, португальском, японском, корейском, хинди, арабском, китайском и иврите. Карточка заявляет контекст до 1 млн токенов, тогда как метаданные указывают 262 144 токена; фактический предел зависит от конфигурации используемого чекпойнта и среды запуска. Модель рассчитана на крупные многонодовые развёртывания и требует мощного оборудования NVIDIA. Лицензия указана как other; README разрешает коммерческое и некоммерческое использование, но конкретные условия следует сверить с текстом лицензии репозитория.

NVIDIA-Nemotron-Nano-12B-v2 — языковая модель NVIDIA Corporation для диалогов, рассуждений и выполнения инструкций. Это дообученная версия NVIDIA-Nemotron-Nano-12B-v2-Base с гибридной архитектурой Nemotron-Hybrid: основную часть составляют слои Mamba-2 и MLP, дополненные шестью слоями Attention. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и может работать в режиме с рассуждениями или без них; системный промпт и бюджет токенов позволяют управлять глубиной рассуждений. Модель предназначена для чат-ботов, RAG-систем, AI-агентов, программирования и общих задач по инструкциям. README заявляет поддержку английского, немецкого, испанского, французского, итальянского, японского, корейского, португальского, русского и китайского; в метаданных карточки перечислены английский, испанский, французский, немецкий, итальянский и японский. Разработчик сообщает о готовности к коммерческому использованию; лицензия указана как other, поэтому конкретные условия следует сверить с файлами лицензии репозитория. Модель оптимизирована для GPU NVIDIA; в vLLM неверный тип кэша Mamba-SSM может снизить точность, а генерация с рассуждениями требует большего числа выходных токенов.

RedHatAI/OpenHermes-2.5-Mistral-7B-pruned2.4 — разреженная оптимизированная версия OpenHermes-2.5-Mistral-7B, подготовленная для высокопроизводительного запуска через NM-vLLM. В основе лежит дообученная на инструкциях и диалогах модель Mistral с 7,1 млрд параметров; архитектура — MistralForCausalLM, формат весов — PyTorch. Контекст модели составляет до 32 768 токенов. Модель предназначена для диалогов и генерации текста, включая ответы на инструкции и помощь с кодом. Разреживание с помощью SparseGPT позволяет уменьшить требования к памяти и повысить пропускную способность при обслуживании в NM-vLLM. В README также описана возможность настраивать сжатие через recipe.yaml. Лицензия в предоставленных данных не указана.

orca_mini_v2_7b — языковая модель семейства LLaMA, разработанная Pankaj Mathur совместно с Eric Hartford. Это дообученная плотная авторегрессионная модель примерно с 6,6 млрд параметров для генерации текста по инструкциям и диалоговым запросам. При обучении использовались подходы к построению данных из исследования Orca и наборы WizardLM, Alpaca и Dolly-V2; автор отмечает улучшенные возможности генерации кода по сравнению с предыдущей версией orca_mini_7b. Модель предназначена для ответов на вопросы, выполнения инструкций, диалога и генерации кода на английском языке. Она принимает текст и генерирует текст; родной контекст составляет 2048 токенов. В README приведены результаты оценки на наборах ARC Challenge и HellaSwag. Модель описана как uncensored, поэтому её ответы могут требовать дополнительной фильтрации. Лицензия CC BY-NC-SA 4.0 допускает использование с указанием авторства и распространением производных на тех же условиях, но запрещает коммерческое использование.

OYM-Qimi-122B-A10B-K2.6 — мультимодальная модель OpenYourMind на архитектуре Qwen3.5 MoE с 122 млрд общих и примерно 10 млрд активных параметров. Она дообучена на базе Qwen/Qwen3.5-122B-A10B через дистиллированную и аблитерированную линию Qwopus3.5: в карточке описаны два этапа SFT примерно на 20 тысячах примеров с трассами рассуждений. Модель принимает текст и изображения, а также обрабатывает видео; выдаёт текст. Веса BF16 совместимы по форме с исходной моделью, включают зрительную башню и восстановленную голову MTP для спекулятивного декодирования. Модель предназначена для диалогов, рассуждений, анализа изображений и видео, программирования и использования инструментов. В опубликованных тестах результаты по генерации кода совпали с базовой моделью, а показатели использования инструментов были близки к ней. Разработчик сообщает, что модель полностью «разцензурирована»; это может означать меньше отказов, но также требует осторожного контроля ответов при внедрении. Для полной точности BF16 требуются несколько ускорителей: в карточке указаны конфигурации из двух H200/B200 или четырёх H100 по 80 ГБ. Лицензия обозначена как Other и наследует условия лицензии базовой Qwen3.5; перед использованием следует проверить её условия.

Phi-3-Medium-128K-Instruct — языковая модель Microsoft из семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и 13,8 млрд параметров. Это версия с настройкой для следования инструкциям и диалогового формата; постобучение включало supervised fine-tuning и direct preference optimization. Модель предназначена для генерации текста, ответов на вопросы и задач, требующих рассуждений, в частности программирования, математики и логики. Вариант рассчитан на контекст до 128 тысяч токенов согласно карточке модели. Он ориентирован прежде всего на английский язык; карточка также отмечает многоязычность, но качество на языках помимо английского может быть ниже. Модель поддерживает сценарии генерации кода, однако её обучающие данные для кода в основном охватывают Python и распространённые библиотеки. Модель может генерировать недостоверные ответы, воспроизводить стереотипы и выдавать оскорбительный или неподходящий контент даже после настройки безопасности. Результаты, особенно код и ответы для чувствительных областей, следует проверять. Лицензия — MIT.

hermes42/Phi-3-medium-128k-instruct-imatrix-GGUF — это набор GGUF-квантизированных версий модели Phi-3-Medium-128K-Instruct, опубликованный пользователем или организацией hermes42. Исходная модель разработана Microsoft и содержит около 14 миллиардов параметров. Для квантования использована библиотека llama.cpp, а importance matrix рассчитана на наборе group_10_merged.txt для улучшения perplexity. Модель предназначена для генерации текста и работы в формате инструкций: ответов на вопросы, рассуждений, задач по математике, программированию, логике и обработки длинного контекста. Поддерживаемый контекст исходной модели составляет до 128 тысяч токенов. В метаданных указана многоязычность, однако основное назначение и оценивание описаны прежде всего для английского языка. Формат GGUF удобен для локального запуска и сценариев с ограниченными ресурсами, а квантизация может снизить требования к памяти и задержку по сравнению с полноразмерной моделью. К сильным сторонам относятся большой контекст, ориентация на рассуждения, код и математику, а также оптимизация квантов с помощью importance matrix. Ограничения включают возможное снижение точности из-за квантизации, типичные для языковых моделей ошибки и необходимость самостоятельно проверять корректность, безопасность и справедливость результатов, особенно в высокорисковых применениях. Модель выпущена по лицензии MIT.

Microsoft Phi-3 Medium-4K-Instruct в этом репозитории представлен в формате ONNX и оптимизирован для инференса через ONNX Runtime на NVIDIA GPU с CUDA. Это конверсия инструкционной модели семейства Phi-3 с плотной архитектурой Phi3ForCausalLM и примерно 13,8 млрд параметров; исходная модель прошла дообучение с учителем и оптимизацию по предпочтениям для следования инструкциям и повышения безопасности. Модель принимает текст и генерирует текстовые ответы в диалоговом формате; поддерживает контекст до 4096 токенов. В README описаны варианты FP16 и INT4, причём INT4 получен квантованием RTN; метаданные указывают формат ONNX. Модель подходит для диалоговых ассистентов, ответов на вопросы, рассуждений, математики и генерации кода. README сообщает о тестировании на NVIDIA A100 и минимальном требовании CUDA GPU с Compute Capability 7.0 или выше; приведённые замеры производительности относятся к A100 и не гарантируют таких же результатов на другом оборудовании. Лицензия — MIT.

qwp4w3hyb/Phi-3-mini-128k-instruct-iMat-GGUF — это GGUF-квантизированная версия Phi-3-Mini-128K-Instruct, разработанной Microsoft. Модель содержит 3,8 млрд параметров и предназначена для генерации текста, диалоговых приложений и использования в условиях ограниченных ресурсов, где важны низкая задержка, компактность и способность решать задачи рассуждения, программирования, математики и логики. Модель обучалась на синтетических данных и отфильтрованных общедоступных веб-данных, а после предварительного обучения прошла supervised fine-tuning и direct preference optimization для улучшения следования инструкциям и соблюдения требований безопасности. Модель поддерживает контекст до 128 тысяч токенов, словарь размером до 32 064 токенов и ориентирована прежде всего на английский язык, хотя в карточке также указана многоязычность. Это текстовая авторегрессионная модель; сведения о конкретной архитектуре и полном наборе поддерживаемых языков не приведены. Данная сборка включает варианты квантизации от Q8_0 до IQ1_S, выполненные с использованием importance matrix в llama.cpp для снижения потерь точности. Для работы требуется актуальная версия llama.cpp master и совместимый GGUF-инференс. Сильные стороны модели — сочетание небольшого размера с заявленной высокой эффективностью среди моделей менее 13 млрд параметров, длинный контекст и хорошие возможности в коде, математике, логике и общем понимании языка. Ограничения включают возможные ошибки и необходимость отдельно проверять точность, безопасность и справедливость результатов, особенно в сценариях с высокими рисками. Модель выпущена под лицензией MIT; конкретный выбранный уровень квантизации может влиять на качество и требования к ресурсам.

Phi-3-Mini-4K-Instruct — компактная плотная языковая модель Microsoft семейства Phi-3 с 3,7 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-источниках, а затем дообучена методом supervised fine-tuning и оптимизирована по предпочтениям (DPO) для следования инструкциям и повышения безопасности. Для диалогов рекомендуется использовать формат чата. Модель предназначена для генерации текста общего назначения, диалоговых систем, задач рассуждения, математики и программирования. Компактный размер рассчитан на сценарии с ограниченными вычислительными ресурсами и требованиями к задержке; длина контекста составляет 4096 токенов. Модель ориентирована прежде всего на английский язык, также в карточке указана поддержка французского. Модель может ошибаться, выдавать предвзятые или оскорбительные ответы; качество на языках, отличных от английского, может быть ниже. Для критичных сценариев требуется отдельная проверка качества и безопасности. Лицензия — MIT.

stelterlab/phi-4-AWQ — это 4-битно-квантизированная версия модели phi-4, разработанной Microsoft Research. Квантизация выполнена stelterlab в формате INT4 GEMM с использованием AutoAWQ. Базовая модель представляет собой плотный decoder-only Transformer с 14 млрд параметров, обученный на синтетических и отфильтрованных общедоступных данных, академических книгах, наборах вопросов и ответов, образовательных материалах и коде. Модель ориентирована преимущественно на английский язык; около 8% обучающих данных являются многоязычными. Модель предназначена для генерации текста по текстовым запросам, прежде всего в чат-формате, и может использоваться как основа генеративных AI-функций, в том числе в условиях ограниченных ресурсов и требований к низкой задержке. Среди ключевых сценариев — рассуждение, логика, математика, программирование, ответы на вопросы, диалог и выполнение инструкций. Контекстное окно составляет 16 000 токенов, а выходом является сгенерированный текст. Обучение включало supervised fine-tuning и direct preference optimization для повышения точности следования инструкциям и безопасности. К преимуществам относятся относительно компактный для своих возможностей размер, акцент на рассуждениях, математике, коде и следовании инструкциям, а также снижение требований к памяти благодаря INT4-квантизации. Ограничения включают преимущественную ориентацию на английский язык, статичность модели и отсечение общедоступных данных на июнь 2024 года; перед применением в чувствительных или высокорисковых сценариях необходимы проверка точности, безопасности и справедливости результатов. Модель распространяется по лицензии MIT.

Карточка модели Openintelligent123/Phi-4-mini-instruct на Hugging Face совпадает с карточкой microsoft/Phi-4-mini-instruct, поэтому описание составлено по ней. Phi-4-mini-instruct — компактная языковая модель Microsoft семейства Phi-4 с архитектурой Phi-3 и 3,8 млрд параметров. Она обучена на синтетических данных и отфильтрованных общедоступных веб-материалах, а затем дообучена с учителем и оптимизирована по предпочтениям для следования инструкциям и повышения безопасности. Метаданные указывают контекст 4096 токенов; в README заявлен контекст до 128K токенов. Модель предназначена для диалоговых и генеративных приложений общего назначения, особенно при ограниченных вычислительных ресурсах или требованиях к низкой задержке. Среди заявленных сильных сторон — рассуждения, в особенности математические и логические задачи, следование инструкциям, работа с кодом и интерфейс вызова инструментов. Поддерживается многоязычная работа, включая русский и английский; качество может различаться между языками. Модель принимает текст и генерирует текст. Она выпущена под лицензией MIT. README предупреждает о возможных ошибках и вредных ответах, уязвимости к длительным многоходовым jailbreak-атакам и галлюцинациях имён функций или URL при вызове инструментов; для конкретных сценариев рекомендуется оценивать точность, безопасность и справедливость.

unsloth/Phi-4-mini-instruct — вариант Phi-4-mini-instruct от Unsloth с исправлениями токенов и шаблона чата. Это компактная плотная языковая модель архитектуры Phi-3 с 3,8 млрд параметров, представленная в формате Safetensors и рассчитанная на работу через Transformers. В карточке базовой модели заявлен контекст до 128 тыс. токенов, однако метаданные этого репозитория указывают native context в 4096 токенов; ориентироваться следует на конфигурацию конкретной сборки и используемого ПО. Модель предназначена для диалогов, генерации текста и кода, следования инструкциям и рассуждений, в том числе математических и логических, в сценариях с ограниченными вычислительными ресурсами или требованиями к низкой задержке. Карточка заявляет многоязычную направленность; среди языков проверки безопасности названы английский, китайский, японский, испанский, португальский, арабский, тайский и русский. Модель поддерживает чат и интерфейс вызова инструментов, но может выдумывать названия функций или URL. Лицензия — MIT.

RedHatAI/phi-4-quantized.w8a8 — квантизированная версия языковой модели phi-4, разработанной Microsoft. Модель подготовлена Red Hat совместно с Neural Magic и предназначена для генерации текста, диалоговых приложений, задач рассуждений, логики, математики и программирования, преимущественно на английском языке. Она принимает текст и генерирует текст, а архитектура указана как Phi3ForCausalLM. Модель использует INT8-квантизацию весов и активаций. Квантизация линейных операторов в трансформерных блоках примерно вдвое снижает требования к памяти GPU и размер модели на диске, а также может увеличить пропускную способность матричных вычислений примерно в два раза. Для весов применяется симметричная статическая поканальная схема, для активаций — симметричная динамическая потокенная схема; используются методы SmoothQuant и GPTQ через библиотеку llm-compressor. В README приведён пример развёртывания с vLLM и максимальной длиной контекста 32768 токенов в конфигурации сервера. Модель подходит для сред с ограниченными ресурсами и сценариев, чувствительных к задержке, а также как компонент генеративных AI-систем. Ограничения включают преимущественную ориентацию на английский язык, возможные типичные ошибки языковых моделей и отсутствие оценки для всех прикладных сценариев. Перед использованием в критически важных или высокорисковых задачах необходимо отдельно проверять точность, безопасность и справедливость результатов. Модель распространяется по лицензии MIT и валидирована для RHOAI 2.20, RHAIIS 3.0 и RHELAI 1.5.