I.5Создание и редактирование текста

Meta-Llama-3-13B-Instruct — диалоговая текстовая модель на архитектуре Llama, созданная автором репозитория путём объединения слоёв модели meta-llama/Meta-Llama-3-8B-Instruct с помощью MergeKit. Несмотря на название, в метаданных указано 13,4 млрд параметров; модель представлена в формате safetensors и работает с контекстом до 8192 токенов. Модель предназначена для диалоговой генерации текста и ассистентских ответов. В карточке заявлен английский язык; базовая модель Meta также рассчитана на генерацию английского текста. Для использования применяется библиотека Transformers. Лицензия обозначена как other, поэтому конкретные условия следует сверить с карточкой репозитория и условиями базовой модели.

unsloth/Meta-Llama-3.1-70B — квантованная версия базовой модели meta-llama/Meta-Llama-3.1-70B, опубликованная в экосистеме Unsloth и предназначенная для работы с Transformers. Модель ориентирована на англоязычные задачи обработки и генерации текста, а также на последующее дообучение на пользовательских датасетах. В README упоминаются сценарии conversational и text completion, а также экспорт дообученной модели в форматы GGUF и vLLM. Из указанных характеристик известно, что модель относится к семейству Llama 3.1, имеет размер 70B и поддерживает английский язык. Она распространяется как quantized-модель, что должно снижать требования к памяти по сравнению с полной версией, однако конкретный формат и параметры квантования не указаны. Архитектура, размер контекста, точный набор поддерживаемых модальностей и показатели качества в README не описаны, поэтому модель следует рассматривать прежде всего как крупную текстовую основу для инференса и дообучения. Лицензия указана как llama3.1; условия её применения необходимо проверять по лицензии Meta.

unsloth/Meta-Llama-3.1-70B-Instruct-bnb-4bit — это 4-битно квантованная версия Meta-Llama-3.1-70B-Instruct, подготовленная с использованием экосистемы Unsloth. Базовую модель разработала Meta; в карточке указано, что Unsloth предоставляет квантованный вариант и инструменты для более эффективного дообучения. Модель предназначена для генерации текста и диалоговых сценариев, включая создание виртуальных ассистентов, обработку инструкций и адаптацию под специализированные наборы данных. Модель относится к семейству Llama 3.1, содержит 70 миллиардов параметров и использует архитектуру decoder-only Transformer, характерную для этой серии. Указан основной язык English; поддержка других языков в карточке не заявлена. Формат bnb-4bit снижает требования к памяти по сравнению с полноразмерной моделью, что может упростить локальный запуск и дообучение, однако потенциально сопровождается потерей качества относительно исходной версии и требует совместимого программного и аппаратного окружения. Сведения о размере контекста, мультимодальности и точных характеристиках инференса отсутствуют. Модель распространяется по лицензии Llama 3.1. Перед использованием необходимо учитывать условия этой лицензии и требования совместимого стека, включая Transformers и поддержку 4-битной загрузки.

Модель aliRafik/Meta_Llama_3.1_8B_alpaca_16bit — дообученная автором aliRafik языковая модель семейства Llama 3.1 на 7,5 млрд параметров. В основе лежит unsloth/meta-llama-3.1-8b-unsloth-bnb-4bit; обучение выполнялось с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для генерации текста по запросу и может применяться для диалоговых ответов, черновиков и других задач на основе языковых инструкций. Метаданные указывают контекст до 131 072 токенов и английский язык. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Карточка не описывает набор данных или конкретную специализацию дообучения, поэтому качество для отдельных предметных областей и поведение на других языках по ней оценить нельзя.

mlx-community/Meta-Llama-3.1-8B-Instruct-abliterated-4bit — преобразованная в формат MLX 4-битная версия модели Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная сообществом mlx-community. В основе лежит дообученная Meta Llama 3.1 Instruct с плотной архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; модель предназначена для диалоговой генерации текста. Указанное нативное окно контекста — 131 072 токена. Модель подходит для диалогов и генерации ответов в сценариях, где требуется запускать Llama 3.1 на системах Apple через MLX. В названии и тегах исходной модели есть обозначения «abliterated» и «uncensored», однако карточка не описывает конкретные гарантии или пределы такого поведения. Репозиторий указывает лицензию Llama 3.1; использование должно соответствовать её условиям. README сообщает о конверсии в MLX из mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated, а каталог классифицирует базовую связь как дообучение Meta Llama 3.1 Instruct.

Это GGUF-сборка Meta-Llama-3-1-8B-Instruct-f16-gguf, опубликованная ProfessorF (Nick V. Flor) для воспроизводимости исследований. Репозиторий содержит модель в формате GGUF F16; метаданные указывают на чат-возможности и генерацию текста. README описывает семейство Llama 3.2, но его сведения о размерах 1B и 3B и контексте 128k не подтверждают характеристики именно этой 8B-сборки. Модель предназначена для диалогового помощника и генерации текста, включая ответы на вопросы, суммаризацию, поиск знаний и переформулирование запросов. В README перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; метаданные также содержат эти языки. Использование регулируется лицензией Llama 3.2 Community License, которая допускает коммерческое и исследовательское применение на своих условиях. Качество и ограничения этой конкретной сборки отдельно не описаны.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8 — квантизированная FP8-версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель для генерации текста и ассистентского диалога, предназначенная для коммерческого и исследовательского использования. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако в документации отдельно указано ограничение на использование только английского языка. Модель содержит 8 млрд параметров и использует архитектуру Meta-Llama-3.1. Веса и активации линейных слоёв внутри трансформерных блоков квантизированы в FP8 с симметричной поканальной для всего тензора схемой; выходной слой lm_head не квантизируется. По сравнению с 16-битной версией это примерно вдвое снижает размер на диске и требования к памяти GPU. Модель оптимизирована для инференса через vLLM, включая совместимый с OpenAI интерфейс. К преимуществам относятся уменьшенное потребление памяти и эффективное развёртывание при сохранении близкого к исходной модели качества: средний результат на OpenLLM составляет 73,44 против 73,79 у неквантизированной версии. Ограничения связаны с возможной потерей качества из-за квантизации, зависимостью от vLLM и заявленным ограничением области применения. Модель распространяется по лицензии llama3.1; также необходимо соблюдать применимое законодательство и условия исходной лицензии Meta.

ThomasBaruzier/Meta-Llama-3.1-8B-Instruct-GGUF — это инструкция-ориентированная языковая модель в формате GGUF, основанная на Meta Llama 3.1 и опубликованная пользователем ThomasBaruzier. Разработчик исходной модели — Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, связанных с диалоговыми системами, ответами на вопросы и обработкой естественного языка. Из доступных данных известно, что модель содержит 8 миллиардов параметров, относится к семейству Llama 3.1 и поддерживает текстовую модальность. В карточке заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Формат GGUF ориентирован на локальный запуск и совместимую с ним инфраструктуру вывода, однако конкретный вариант квантования, требования к памяти, размер контекста и показатели качества в README не указаны. Сильными сторонами модели являются инструкционная настройка, многоязычная поддержка и относительно компактный размер по сравнению с более крупными моделями семейства. Ограничения включают отсутствие подробных сведений о квантовании, производительности и фактическом качестве на отдельных языках, а также типичные для генеративных языковых моделей риски неточных или нежелательных ответов. Модель распространяется по лицензии Llama 3.1 Community License от Meta с требованиями соблюдать Acceptable Use Policy, сохранять уведомление об авторских правах и выполнять условия атрибуции при распространении.

legraphista/Meta-Llama-3.1-8B-Instruct-IMat-GGUF — вариант модели Meta-Llama-3.1-8B-Instruct, подготовленный legraphista в формате GGUF с поддержкой IMat. Это инструкционно настроенная большая языковая модель Meta с 8 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текстовых ответов. Данные README не содержат точной информации о поддерживаемых языках, длине контекста, конкретных вариантах квантования или аппаратных требованиях. Формат GGUF делает модель пригодной для локального запуска в совместимом программном обеспечении, однако README не указывает конкретные средства инференса и характеристики производительности. Ограничения включают возможные ошибки и нежелательные результаты, характерные для языковых моделей, а также ответственность пользователя за оценку пригодности выводов. Модель распространяется на условиях Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов требуется сохранять текст лицензии и указывать «Built with Llama»; также необходимо соблюдать Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрены дополнительные лицензионные условия.

Meta-Llama-3.1-Instruct-8B_merged-16bit_CPO_MSMARCO — языковая модель семейства Llama, опубликованная inpars-plus и дообученная на базе unsloth/meta-llama-3.1-8b-instruct-bnb-4bit с использованием Unsloth и Hugging Face TRL. Это плотная авторегрессионная модель с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена, в карточке указан английский язык. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу с инструментами. В README нет подробностей о данных CPO/MSMARCO, методике обучения или оценке качества, поэтому её специализацию и результаты на конкретных задачах ранжирования нельзя подтвердить по доступной карточке. Лицензия — Apache-2.0.

Карточка модели bofenghuang/Meta-Llama-3-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B, поэтому описание составлено по ней. Meta Llama 3 8B — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta. Эта версия принимает текст и генерирует текст, в том числе код; карточка репозитория описывает предварительно обученные и настроенные варианты семейства, но не уточняет, какой именно вариант представлен в этом репозитории. Модель предназначена для генерации текста на английском языке. Предварительно обученную версию можно адаптировать для разных задач генерации естественного языка, а настроенные варианты предназначены для диалоговых сценариев. Архитектура основана на оптимизированном Transformer и использует Grouped-Query Attention; размер модели — 7,5 млрд параметров, длина контекста — 8192 токена. Модель подходит для создания разговорных помощников, генерации и продолжения текста и кода. Результаты требуют проверки, а для приложения следует настроить дополнительные меры безопасности под конкретную аудиторию и сценарий. Лицензия — специальная коммерческая лицензия Meta Llama 3 с условиями использования и ограничениями; перед внедрением необходимо ознакомиться с её текстом и Acceptable Use Policy.

NousResearch/Meta-Llama-3-8B-Instruct-GGUF — это инструкция-ориентированная языковая модель в формате GGUF, основанная на Meta Llama 3 и опубликованная NousResearch. Она предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции пользователя, запуск локального вывода и интеграцию в приложения, поддерживающие формат GGUF. В карточке указано, что модель работает с текстом и ориентирована на английский язык. Из доступных данных известны размер базовой модели — 8 миллиардов параметров — и принадлежность к семейству Llama 3. Формат GGUF удобен для локального запуска и использования средствами совместимой экосистемы, однако конкретные варианты квантования, требования к памяти, максимальная длина контекста, архитектурные детали и показатели качества в README не указаны. Ограничениями также являются возможные ошибки и ограничения, характерные для генеративных языковых моделей; область применения и качество для других языков не описаны. Модель распространяется по лицензии Meta Llama 3 Community License. Использование и распространение требуют соблюдения условий этой лицензии и Acceptable Use Policy, а при распространении материалов или продуктов на их основе необходимо предоставить копию соглашения и указать «Built with Meta Llama 3». Для производных моделей предусмотрены дополнительные требования к наименованию, а для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц требуется отдельное разрешение Meta.

Карточка модели mattshumer/Meta-Llama-3-8B-Instruct-LongTest на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3-8B-Instruct, поэтому описание составлено по ней. NousResearch/Meta-Llama-3-8B-Instruct — инструктивная версия семейства больших языковых моделей Llama 3, разработанного Meta. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с Grouped-Query Attention и примерно 7,5 млрд параметров; она принимает текст и генерирует текст, включая код. Контекст — до 8192 токенов. Модель настроена для диалоговых сценариев и работы в роли ассистента: она отвечает на вопросы, поддерживает беседу и выполняет инструкции на английском языке. Настройка включает supervised fine-tuning и обучение с подкреплением на основе человеческой обратной связи. Модель можно запускать через Transformers и использовать в приложениях, которым нужна генерация текста. В карточке указана пользовательская коммерческая лицензия Meta Llama 3. README ориентирует модель прежде всего на английский язык и предостерегает от использования в других языках, хотя допускает дообучение для них при соблюдении условий лицензии и политики допустимого использования. Это статичная модель, обученная на офлайн-данных; для прикладного развёртывания могут потребоваться дополнительные меры безопасности, а ответы модели могут быть ошибочными.

thewordsmiths/Meta-Llama-3-8B_sft_merged_100000 — дообученная языковая модель на архитектуре Llama, разработанная thewordsmiths на основе meta-llama/Meta-Llama-3-8B. Модель содержит 7,5 млрд параметров и рассчитана на генерацию текста; в карточке также указано обучение с помощью Unsloth и библиотеки TRL. Модель может служить основой для генерации продолжений текста и других задач, решаемых через text-generation. Карточка не уточняет специализацию дообучения или особенности диалогового режима. Заявленное родительское семейство предназначено для английского текста и кода; контекст модели составляет 8192 токена. Модель распространяется под лицензией Apache-2.0. Доступны веса в формате Safetensors.

Это набор GGUF-квантизированных версий instruct-модели meta-llama/Llama-3.1-8B-Instruct, подготовленный командой featherless-ai-quants. Модель относится к задачам генерации текста и предназначена для диалоговых сценариев, следования инструкциям и локального или серверного запуска в совместимых средах, поддерживающих формат GGUF. В основе лежит языковая модель Llama 3.1 с 8 миллиардами параметров; README не уточняет архитектуру, языки и размер контекстного окна. Доступны варианты квантизации IQ4_XS, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_K_M, Q4_K_S, Q5_K_M, Q5_K_S, Q6_K и Q8_0 размером примерно от 3 до 8 ГБ. Более компактные варианты снижают требования к памяти, тогда как версии с более высокой точностью потенциально лучше сохраняют исходное качество, но требуют больше ресурсов. Сильной стороной набора является выбор уровней квантизации для разных аппаратных ограничений и сценариев развертывания. Ограничения включают возможные потери качества из-за квантизации и необходимость использовать совместимое программное обеспечение для GGUF. Лицензия в README не указана; условия использования следует уточнять по лицензии исходной модели Llama 3.1 и условиям распространения данного набора.

MetaMath-Chupacabra-7B-v2.01-Slerp-Mistral-7B-Instruct-v0.2-slerp — текстовая диалоговая модель, созданная слиянием MetaMath-Chupacabra-7B-v2.01-Slerp и Mistral-7B-Instruct-v0.2 методом SLERP. В карточке указана архитектура Mistral с плотной причинной языковой моделью на 7,1 млрд параметров; модель предназначена для генерации текста и ответов на инструкции в формате чата. Модель принимает текст и генерирует текст. Максимальная длина контекста составляет 32 768 токенов. Карточка не сообщает о специализации на конкретном языке или предметной области. Репозиторий содержит веса Safetensors, а лицензия — Apache-2.0. Качество и поведение слияния могут зависеть от запроса; отдельные ограничения в карточке не описаны.

MFANN3bv0.20.17 — языковая модель семейства Phi, разработанная netcat420 и предназначенная для генерации текста по инструкциям и выполнения широкого круга общих задач. Это дообучение предыдущей версии netcat420/MFANN3bv0.20.16 на наборе данных netcat420/MFANN. Модель содержит 3,5 млрд параметров, использует плотную архитектуру PhiForCausalLM и принимает текстовые инструкции в формате «Instruct: … Output:». Контекстное окно составляет до 32 768 токенов; карточка указывает английский язык. Средняя ошибка обучения, приведённая автором для MFANN, составляет 0,33. Модель распространяется в формате safetensors по лицензии MIT.

MFANN-llama3.1-Abliterated-SLERP — диалоговая языковая модель, созданная netcat420 слиянием SLERP двух моделей: netcat420/MFANNv0.21.11 и mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated. Она построена на архитектуре LlamaForCausalLM и содержит около 7,5 млрд параметров; модель предназначена для генерации текста и ответов в чате. Для неё заявлено контекстное окно до 131 072 токенов. Слияние объединяет базовую модель MFANN с Meta-Llama 3.1 8B Instruct Abliterated. Модель работает с текстом и может применяться для диалогов, свободной генерации и ответов на запросы. Карточка не сообщает о специализированной предметной области или поддерживаемых естественных языках. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

MFANN-llama3.1-abliterated-SLERP-v3 — диалоговая языковая модель, созданная netcat420 слиянием SLERP двух моделей на базе Llama 3.1 8B Instruct: mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated и netcat420/MFANNv0.22.1. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и ведения диалогов. Слияние использует разные веса для слоёв self-attention и MLP; файлы опубликованы в формате safetensors и рассчитаны на использование с Transformers. Лицензия — llama3.1. Языковые возможности, кроме унаследованных от базовых моделей, в карточке не описаны.

Mica Spark-X2.5-4B — производная модель XHToken/Spark-X2.5-4B, опубликованная Miguel Amendez в виде артефактов для Mica runtime. Это диалоговая многоязычная языковая модель класса 4B для генерации текста; архитектура сочетает один слой полного внимания и три слоя с окном скользящего внимания. В README заявлен контекст до 1 048 576 токенов, включая вход и выход, однако он не подтверждён локальными испытаниями Mica на длинных последовательностях. Репозиторий содержит варианты MLX Q4 и Q8, GGUF Q4_K_M и Q8_0, а также safetensors. На Apple M4 варианты MLX прошли проверки генерации и серверного инференса, а GGUF — проверки инференса на Metal. Модель можно применять для диалогов и генерации текста на разных языках; базовая модель также предназначена для кода, рассуждений, перевода и агентных задач. Лицензия исходной модели и производных артефактов — Apache-2.0. Заявление о контексте в миллион токенов не подтверждено испытаниями Mica: для практического использования следует опираться на сертифицированный лимит выбранного профиля. Варианты vLLM не опубликованы как производственные артефакты, а локальные проверки не подтверждают работу на всех платформах и режимах.

miiqu-f16 — разговорная языковая модель от Infinimol AI GmbH на архитектуре Llama, представленная в формате safetensors для Transformers. Модель рассчитана на генерацию текста и диалоговое взаимодействие; в README также приведён результат на EQ-Bench — 8-е место в сравнении с несколькими крупными чат-моделями. Заявленное окно контекста — 32 768 токенов. Модель содержит 90,1 млрд параметров по метаданным. README сообщает, что она создана без дообучения и дополнительного обучения; метаданные помечают её как слияние, поэтому происхождение следует считать слиянием моделей. Доступны варианты GGUF Q4_K_M и EXL2 5.0 bpw. Для диалогов указаны шаблоны ChatML и Mistral. Метаданные отмечают поддержку английского, немецкого, французского, испанского и итальянского языков. Лицензия обозначена как other, без конкретных условий в предоставленных данных.

MiMo-V2.6-Flash-RL UNCENSORED GGUF — квантованная сборка модели Xiaomi MiMo-V2.6-Flash-RL, подготовленная cafonez для Framework Desktop с AMD Ryzen AI Max 400 (Gorgon Halo). Это текстовая MoE-модель с 309,8 млрд параметров и 256 экспертами, из которых на токен выбираются 8. Сборка занимает около 154,6 GiB и сочетает исходные веса экспертов MXFP4 с квантованием Q5_K для компонентов внимания и плотных слоёв; заявленный контекст запуска — до 131 072 токенов. Модель предназначена для диалоговой генерации текста, в том числе для задач программирования и использования агентами с инструментами. Это версия без отказов, созданная на уровне весов dealignai. Вариант GGUF содержит только текстовую часть исходной модели: визуальный и аудиокодеры исключены. Для загрузки требуется специальная сборка ROCmFPX; веса рассчитаны на машину с большим объёмом GPU-доступной памяти, а приведённые в карточке скорости измерены на конкретной конфигурации и не гарантируют такую же производительность на другом оборудовании. В карточке указана лицензия MIT.

Sakalti/mine-3B — диалоговая языковая модель Sakalti на архитектуре Qwen2, дообученная на базе Sakalti/light-3b-beta. Она предназначена для генерации текста в чат-сценариях; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 3,1 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Карточка сообщает, что обучение выполнялось с Unsloth и библиотекой TRL. Репозиторий содержит веса в формате safetensors. Лицензия в README указана как Apache-2.0, тогда как метаданные классифицируют её как other.

MiniCPM4.1-8B-GPTQ — квантизированная в формате GPTQ версия большой языковой модели MiniCPM4.1-8B, разработанной командой OpenBMB. Модель предназначена для генерации и обработки текста, включая диалоговые приложения, следование инструкциям, задачи, требующие рассуждений, понимание длинных текстов и вызов инструментов. Она поддерживает китайский и английский языки и рассчитана на эффективное использование на периферийных устройствах и конечных пользовательских системах. Модель содержит 8 миллиардов параметров и относится к гибридным reasoning-моделям: её можно использовать в режиме глубокого рассуждения и в обычном режиме без рассуждений. В архитектуре заявлен механизм разреженного внимания InfLLM v2, при котором при обработке текста длиной до 128K токенов каждый токен взаимодействует менее чем с 5% токенов, что должно снижать вычислительные затраты. GPTQ-квантизация уменьшает требования к памяти и может ускорить инференс на совместимом оборудовании, однако README не содержит точных требований к ресурсам, результатов тестирования именно этой сборки или подробностей о влиянии квантизации на качество. К сильным сторонам относятся ориентация на эффективный инференс, поддержка длинного контекста, гибридный режим рассуждений и наличие оптимизаций для локального запуска. Ограничения и перечень конкретных поддерживаемых аппаратных платформ в README не раскрыты. Модель распространяется по лицензии Apache-2.0.

MiniCPM5-2B-CoreAI — это конверсия модели openbmb/MiniCPM5-2B, разработанной OpenBMB, в формат Apple Core AI (.aimodel) для локального запуска на устройствах Apple. Модель предназначена для генерации текста, диалоговых приложений, суммаризации, работы с агентами и вызова инструментов полностью на устройстве, включая iPhone и Mac на Apple Silicon, без обязательной передачи данных в облако. Модель относится к классу 2B и поддерживает гибридные режимы рассуждения Think и No-Think, нативный вызов инструментов и контекст до 128K токенов. В README указаны варианты квантования для разных сценариев: int8 с block-32 и 6-битная k-means-палетизация с group 8 для Neural Engine. Для iPhone 17 Pro заявлена скорость декодирования около 38,5 токена в секунду в ANE-варианте, однако первая загрузка может занимать около 23 минут из-за построения программ Neural Engine, а размер модели составляет примерно 2,7 ГБ. Сильными сторонами модели являются небольшой размер, работа полностью на устройстве, поддержка длинного контекста, инструментов и режимов рассуждения, а также оптимизация под GPU и Neural Engine Apple. Ограничения включают значительные требования к памяти, длительную первоначальную компиляцию на iPhone и возможные расхождения квантованных вариантов с исходной моделью. Модель распространяется по лицензии Apache-2.0.

lee-loo/MiniCPM5-2B-MLX-bf16 — конверсия весов MiniCPM5-2B от OpenBMB в формат MLX с точностью BF16 для запуска на устройствах Apple Silicon. Это плотная языковая модель архитектуры Llama с 2,2 млрд параметров и контекстом до 131 072 токенов; репозиторий предоставляет веса safetensors и рассчитан на работу через MLX-LM. Квантизация не применялась, точность BF16 проверена автором карточки. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы ассистента и рассуждения. Автор сообщает о тестировании на Apple M4 Max с 128 ГБ объединённой памяти; приведённые показатели скорости относятся к этому оборудованию и короткому тесту, поэтому могут отличаться на других устройствах и при иной длине запросов. Для интерактивного использования параметры генерации следует подбирать под задачу. Лицензия — Apache-2.0.

MiniCPM5-2B-OptiQ-4bit — локальная 4-битная MLX-квантизация модели openbmb/MiniCPM5-2B, разработанной OpenBMB, с использованием инструментария mlx-optiq. Это языковая модель Llama-архитектуры с 42 слоями, размером 2B параметров и контекстом до 128k токенов. Указаны английский и китайский языки. Модель предназначена для текстовой генерации, диалоговых ассистентов, перефразирования, математических и кодовых задач, многошагового рассуждения, работы с инструментами и локального запуска на устройствах Apple Silicon. Ключевая особенность — чувствительная к слоям смешанная точность: 112 из 295 линейных слоёв сохранены в 8-битном формате, остальные 183 используют 4-битное представление. Размер файла составляет около 1,84 ГБ. Доступны режимы без рассуждений для быстрых ответов и с рассуждениями для математики, планирования и многошагового кода. Модель поддерживает собственный формат tool calling, который через optiq serve преобразуется в вызовы инструментов, совместимые с OpenAI и Anthropic API. По приведённым тестам модель показывает высокие результаты в следовании инструкциям, математике, генерации кода и вызове инструментов, однако оценка извлечения информации из длинного контекста заметно ниже остальных показателей. К ограничениям относятся необходимость MLX и Apple Silicon для описанного локального сценария, зависимость качества от режима рассуждений и отсутствие заявленных мультимодальных возможностей. Модель распространяется по лицензии Apache-2.0, унаследованной от базовой модели.

MaziyarPanahi/Mini_DPO_test02-Mistral-7B-Instruct-v0.1 — чат-модель для генерации текста в ответ на инструкции и диалоговые запросы. Она создана слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.1 и Minirecord/Mini_DPO_test02. Модель использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Заявленная длина контекста — 32 768 токенов; репозиторий содержит веса в формате safetensors с точностью bfloat16. Модель принимает текст и генерирует текст. Модель распространяется по лицензии Apache-2.0. Карточка не сообщает о результатах оценок качества или специализированных ограничениях, поэтому качество ответов следует оценивать на задачах конкретного применения.

NVIDIA MiniMax-M2.5-NVFP4 — квантизированная версия авторегрессионной языковой модели MiniMax-M2.5, разработанной MiniMax и подготовленной NVIDIA с использованием Model Optimizer. NVIDIA не является разработчиком исходной модели. Модель предназначена для коммерческого и некоммерческого применения, включая AI-агентов, чат-ботов, RAG-системы и другие приложения на базе генерации текста. Модель использует архитектуру Transformers с сетевой архитектурой MiniMaxM2ForCausalLM и содержит 229 млрд параметров. Она работает с текстовыми последовательностями на входе и генерирует текст на выходе; поддерживаемый контекст составляет до 196 608 токенов. Языки явно не указаны. Квантизация весов и активаций линейных операторов внутри трансформерных блоков до формата NVFP4 уменьшает число бит на параметр с 8 до 4, а также примерно в 1,65 раза сокращает требования к дисковому пространству и видеопамяти. Модель ориентирована на развёртывание на NVIDIA GPU, прежде всего на системах с микроархитектурой Blackwell, и интегрируется с SGLang и vLLM под Linux. К сильным сторонам относятся большой контекст, поддержка задач рассуждения и программирования, а также сниженные требования к памяти благодаря квантизации. Ограничения включают зависимость от совместимого оборудования NVIDIA и необходимость дополнительного тестирования на данных конкретного сценария; характеристики исходной MiniMax-M2.5, включая детальные языковые возможности, в предоставленных данных не раскрыты. Использование регулируется NVIDIA Open Model License; дополнительно указана Modified MIT License исходной модели MiniMax-M2.5. Версия квантизации создана с использованием NVIDIA Model Optimizer 0.43.0.

MiniMax-M2.7-MXFP4-Mixed-CT-AutoRound — смешанная MXFP4-версия MiniMax-M2.7, подготовленная Intel с помощью AutoRound в режиме RTN. Это языковая модель для генерации текста и диалогового общения; в примере применения показан запуск через vLLM с поддержкой выбора инструментов и разбора вызовов инструментов. В тестах карточки приведены результаты на AIME 2025, GPQA Diamond, GSM8K и PIQA; сравнение с исходной версией показывает близкие значения на этих наборах. Модель распространяется в формате safetensors и имеет 8-битную маркировку в метаданных, при этом README описывает вариант MXFP4. Для запуска в примере используется контекст до 102 400 токенов и несколько GPU; это параметры примера инференса, а не подтверждённый нативный размер контекста. Применяется лицензия исходной MiniMax-M2.7; её конкретные условия следует проверять в карточке базовой модели. Модель может выдавать фактически неверные, предвзятые или оскорбительные ответы, поэтому перед использованием требуется оценка безопасности.