II.8Инженерия данных и аналитика

Sacralet/mistral-7B — диалоговая instruction-модель на базе Mistral-7B, представленная как улучшенная instruct-версия Mistral-7B-Instruct-v0.1. Архитектура — плотный трансформер MistralForCausalLM с Grouped-Query Attention и Sliding-Window Attention; размер составляет 7,1 млрд параметров, контекст — до 32 768 токенов. Для инструкций используется формат [INST]…[/INST], доступный также через шаблон чата Transformers. Модель предназначена для диалогов и генерации ответов на инструкции. В карточке указана лицензия Apache-2.0. README описывает её как демонстрацию возможностей дообучения базовой модели и отмечает отсутствие механизмов модерации. Языковая поддержка отдельно не перечислена.

Это диалоговая языковая модель семейства Mistral, созданная объединением mistralai/Mistral-7B-Instruct-v0.2 и lvkaokao/mistral-7b-finetuned-orca-dpo-v2 методом SLERP с помощью MergeKit. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и рассчитана на генерацию текста и ответы на инструкции в формате диалога. Максимальная длина контекста — 32 768 токенов. Модель подходит для создания чат-ботов, ответов на вопросы и генерации текста по запросу. Репозиторий содержит веса в формате safetensors; заявленная лицензия — Apache-2.0. Данные карточки не уточняют качество на отдельных задачах и языках, поэтому пригодность для конкретного сценария следует оценивать самостоятельно.

MS-Nudion-22B — слитая модель для генерации текста на базе архитектуры Mistral, созданная с помощью mergekit методом SLERP из knifeayumu/Cydonia-v1.3-Magnum-v4-22B и SteelSkull/MSM-MS-Cydrion-22B. Модель содержит 22 млрд параметров, использует формат safetensors и поддерживает контекст до 131072 токенов. Модель предназначена для диалогов и генерации связного текста; каталог также отмечает интерфейс вызова инструментов. В конфигурации слияния указан профиль смешивания, ориентированный на поведение Hermes на входе и выходе и WizardMath в средних слоях. Карточка не описывает отдельные гарантии качества или целевые предметные области. Лицензия в предоставленных данных не указана. Для использования следует учитывать, что это объединение двух моделей; ограничения и условия могут зависеть от их лицензий и свойств.

Nebula-v2-7B-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 и Nebula-v2-7B методом SLERP. Она предназначена для генерации текста и ответов на инструкции в диалоговом формате. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров, принимает текст и выдаёт текст; максимальный контекст составляет 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Языки в предоставленных данных не перечислены, поэтому нельзя определить, на каких языках она работает лучше всего. README описывает состав и параметры слияния, но не приводит сравнительных оценок качества или подробных ограничений.

OpenAI o4 Mini High — вариант модели рассуждений OpenAI o4-mini с параметром reasoning_effort, установленным на high. Это компактная модель семейства o-series, рассчитанная на быстрые и экономичные ответы с усиленным пошаговым рассуждением. В метаданных каталога для неё указана задача image-text-to-text. Модель предназначена для задач, где полезны рассуждение и работа с визуальным вводом и текстом. README сообщает, что это тот же вариант, что o4-mini, с повышенным уровнем reasoning effort; сведения об архитектуре, размере, контекстном окне, языках и условиях лицензии в предоставленных источниках отсутствуют.

OpenChat v3.2 Super — диалоговая языковая модель из семейства OpenChat, разработанная командой OpenChat и дообученная на основе Llama 2. Модель содержит 12,9 млрд параметров, использует плотную архитектуру Llama и принимает текст для генерации текстовых ответов. Нативный контекст составляет 4096 токенов. Модель предназначена для диалогов, ответов на вопросы и генерации текста; авторы также сообщают о высокой оценке в тестах AgentBench, AlpacaEval и MT-bench. Для развёртывания авторы рекомендуют OpenChat API server на базе vLLM; в README указаны требования от 48 ГБ видеопамяти на одном GPU или двух потребительских GPU с разделением нагрузки. Модель распространяется по лицензии Llama 2 Community License, допускающей коммерческое использование. Возможны галлюцинации, а качество может снижаться на сложных рассуждениях, математике и задачах программирования.

Ornith-1.5-35B-A3B-Huihui-Sangreal-MTP-ICE-GGUF — квантованная GGUF-версия модели Ornith-1.5-35B-A3B, разработанной Ornith AI и представленной в аблитерированной редакции huihui-ai. Релиз gbuzhf использует калибровочный корпус Sangreal, шаблон чата Qwen-Sharp от peculiar-ragdoll и встроенную обученную MTPv2-голову для speculative decoding. Модель относится к архитектуре MoE с общим размером 35B и примерно 3B активных параметров; заявлены английский и китайский языки, задача — генерация текста, включая диалоговые и программные сценарии. Размер контекста в README не указан. Доступно пять уровней ICE-квантизации размером от 14,79 до 24,85 ГБ. Вариант 15G-ICE рассчитан на видеокарты с 16 ГБ памяти, версии 19G–23G — преимущественно на конфигурации с 24–32 ГБ, а 25G-ICE предназначен для 32 ГБ и ближе всего к исходной точности BF16. Измерения показывают высокое сохранение качества на английском тексте и коде, особенно у старших вариантов; младшие уровни экономят память, но сильнее отклоняются от BF16. Модель помечена как uncensored: в весах подавлено поведение отказа, поэтому она не предоставляет встроенного защитного барьера и требует изолированного запуска с ограничением доступа к операционной системе, сети и выполнению кода. Условия использования определены лицензией MIT.

PATHFINDER-120STEPS — дообученная модель mt1234 на базе unsloth/qwen2.5-coder-32b-instruct-bnb-4bit. Это плотная языковая модель семейства Qwen2 с 32 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. В метаданных заявлен интерфейс вызова инструментов. Модель принимает текст и выдаёт текст; её контекстное окно составляет 32 768 токенов. В карточке указано, что обучение выполнялось с использованием Unsloth и библиотеки TRL. Модель распространяется по лицензии Apache-2.0.

shamwowzer/prototype-128x02 — объединённая языковая модель, созданная с помощью mergekit. В README указано, что в слиянии Multi-SLERP участвовали /workspace/modeler/Behemoth и /workspace/mistral-text-only с весами 0,5; базовой моделью при сборке выбрана /workspace/modeler/Behemoth. Метаданные относят архитектуру к семейству Mistral и классу MistralForCausalLM; модель содержит 123,4 млрд параметров и принимает контекст до 262 144 токенов. Модель предназначена для генерации текста и диалогового общения. Репозиторий содержит веса safetensors; для работы используется библиотека Transformers. Лицензия в предоставленных данных не указана.

mergekit-community/Qwen2-1.5B-RHSD — объединённая модель на архитектуре Qwen2, созданная сообществом с помощью mergekit методом Model Stock. В основе объединения лежит trollek/Qwen2-1.5B-Instruct-Abliterated; также использованы Replete-AI/Replete-Coder-Qwen2-1.5b, cognitivecomputations/dolphin-2.9.3-qwen2-1.5b, macadeliccc/Samantha-Qwen2-1.5B и M4-ai/Hercules-5.0-Qwen2-1.5B. Модель содержит 1,5 млрд параметров и рассчитана на генерацию текста и диалоговое взаимодействие. Модель использует плотную архитектуру Qwen2 с классом Qwen2ForCausalLM, работает через библиотеку Transformers и хранится в формате safetensors. Заявленная длина контекста — 32 768 токенов. Объединённые модели ориентированы на инструкции, программирование и диалог, однако README не приводит оценок качества или подробных результатов тестирования. Язык модели отдельно не описан в карточке и метаданных. Условия лицензирования в предоставленных данных не указаны.

Qwen/Qwen2.5-0.5B-Instruct — компактная инструктивно настроенная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов, выполнения инструкций и генерации текста, включая длинные ответы, структурированные данные и JSON; также может применяться для простых задач по коду и математике. Модель построена на архитектуре Qwen2 с причинным языковым моделированием и содержит 494 млн параметров. В карточке указаны 24 слоя, RoPE, SwiGLU, RMSNorm и группированное внимание; контекст — 32 768 токенов, генерация — до 8 192 токенов. Модель работает с текстом, поддерживает чат и интерфейс вызова инструментов. Семейство Qwen2.5 заявляет поддержку более 29 языков, включая русский и английский. Небольшой размер упрощает запуск по сравнению с крупными языковыми моделями, но ограничивает сложность задач, которые она может надёжно решать. Модель распространяется по лицензии Apache-2.0; для загрузки через Transformers рекомендуется актуальная версия библиотеки.

Qwen2.5-14B-Instruct-Abliterated — производная версия Qwen/Qwen2.5-14B-Instruct от sci4ai, созданная удалением поведения отказа с помощью изменения весов на основе активаций. Это плотная авторегрессионная модель семейства Qwen2 для генерации текста и диалогов; размер — 14 млрд параметров, контекст — до 32 768 токенов. README рекомендует её для агентных сценариев и вызова инструментов, отмечая следование форматам вызовов инструментов и многошаговые рассуждения. При обработке модели удаляли направления отказа в выходных проекциях attention и MLP в 47 из 48 слоёв. Поэтому модель может отвечать на запросы, которые базовая модель отклонила бы; качество и безопасность ответов не гарантированы. Модель распространяется по лицензии Apache-2.0. README приводит исследовательскую оговорку и возлагает ответственность за использование на пользователя.

Qwen2.5-VL-7B-Instruct-quantized.w4a16 — мультимодальная инструкционная модель на базе Qwen/Qwen2.5-VL-7B-Instruct, разработанная Neural Magic. Она принимает изображения и текстовые запросы, а генерирует текстовые ответы. Модель предназначена для визуально-языковых задач, включая ответы на вопросы по изображениям, анализ документов, визуальное рассуждение и другие сценарии, где требуется совместная обработка текста и визуальной информации. Модель содержит около 7 миллиардов параметров и использует архитектуру Qwen2.5-VL. Для оптимизации инференса её веса квантизированы в INT4 с группами размера 128, а активации представлены в FP16; визуальные слои и lm_head при квантизации не изменялись. В README указан английский язык. Модель рассчитана на запуск через vLLM, включая OpenAI-совместимый сервер; в примере используется ограничение контекста 4096 токенов и до двух последовательностей одновременно. Дата выпуска — 24 февраля 2025 года, версия — 1.0. Ключевое преимущество модели — снижение требований к памяти и потенциально более эффективный инференс по сравнению с исходной полноразмерной версией при сохранении мультимодальных возможностей. Ограничения включают возможную потерю качества из-за квантизации, а также зависимость от совместимой инфраструктуры vLLM и поддержки мультимодального инференса. README содержит сведения об оценивании на задачах VQAv2, DocVQA и MathVista, но не приводит итоговые числовые результаты. Модель распространяется по лицензии Apache-2.0.

Qwen2-NextGen-8b — текстовая генеративная модель, созданная powermove72 объединением моделей newsbang/Homer-v1.0-Qwen2.5-7B и AIDC-AI/Marco-o1 с помощью LazyMergekit. Она предназначена для диалогов и генерации текста; архитектура — плотная Qwen2ForCausalLM, размер — 8 млрд параметров, контекст — до 32 768 токенов. Объединение выполнено методом passthrough с выбором диапазонов слоёв из каждой модели, объединённым токенизатором и весами float16. Модель можно применять для ответов на вопросы, выполнения текстовых инструкций и других задач генерации текста в чат-сценариях. Карточка не уточняет языковой охват и отдельные специализированные области. Репозиторий распространяет веса в формате safetensors; сведения о лицензии в предоставленных данных отсутствуют.

Qwen3.6-27B-Akka — мультимодальная модель на архитектуре Qwen3.5, опубликованная независимой лабораторией Nightmedia. Это слияние NuSLERP нескольких моделей семейства Qwen3.6 и Qwen3.5, ориентированное на диалог, следование инструкциям, рассуждения и творческую генерацию, включая художественные тексты. Модель также принимает изображения и может отвечать по их содержимому. В карточке описан переключатель режима рассуждений в шаблоне чата. Для модели указана лицензия Apache-2.0; веса размещены в формате safetensors. Опубликованные замеры скорости и памяти относятся к вариантам mxfp8 и mxfp4, однако репозиторий помечен форматом safetensors, поэтому эти показатели не следует считать характеристиками доступных здесь файлов. Контекстное окно и число параметров в предоставленных данных не указаны. Модель имеет экспериментальные признаки и может выдавать нежелательные результаты; качество для конкретных задач следует проверять самостоятельно.

Qwen3.6-40B-Fable-Fusion-6-Core-Deckard-Eleanor-Heretic-Uncensored — дообученная плотная мультимодальная модель семейства Qwen3.5 от DavidAU с 40 млрд параметров и архитектурой Qwen3_5ForConditionalGeneration. Она предназначена для диалогов, рассуждений, программирования, творческого письма и ролевых сценариев; метаданные также указывают поддержку изображений и интерфейс вызова инструментов. В карточке заявлены подробные ответы и адаптивное использование токенов рассуждения, однако приведённые заявления о превосходстве в тестах не сопровождаются проверяемыми результатами. Модель использует формат safetensors, библиотеку Transformers и распространяется по лицензии Apache-2.0. Указаны английский и китайский языки. README описывает вариант GGUF как отдельный ресурс; представленные здесь метаданные относятся к safetensors-модели.

Reflection-Llama-3.1-70B — текстовая языковая модель Unsloth на 69,5 млрд параметров, дообученная на Meta-Llama-3.1-70B-Instruct методом Reflection-Tuning. Она предназначена для диалогов и генерации ответов, в том числе для задач, требующих многошагового рассуждения: модель может отмечать и исправлять ошибки в ходе рассуждения, а затем выдавать итоговый ответ. Модель использует архитектуру Llama 3.1 с плотной причинно-следственной языковой сетью и контекстом до 131 072 токенов. Модель принимает текст и генерирует текст. Она следует формату чата Llama 3.1 и использует специальные токены для разделения рассуждения и ответа. В README рекомендуются temperature 0,7 и top_p 0,95; автор также предлагает добавлять к запросу фразу «Think carefully» для повышения точности. Заявления README о лидерстве в бенчмарках не подтверждены приведёнными здесь независимыми результатами. Модель распространяется по лицензии Llama 3.1; её условия следует учитывать при использовании и распространении.

speechless-mistral-six-in-one-7b-orth-1.0-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная объединением Mistral-7B-Instruct-v0.2 от Mistral AI и speechless-mistral-six-in-one-7b-orth-1.0 от uukuguy. Для слияния использован метод SLERP с настройками Mergekit; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для генерации текста и диалоговых ответов на инструкции. Она принимает текст, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors. Языки, на которых модель специально обучена, в карточке не перечислены. Модель распространяется по лицензии Apache-2.0. Качество и поведение зависят от свойств исходных моделей и параметров их слияния; README не приводит отдельных результатов оценки или гарантий для конкретных сценариев.

TARS-8B-llama-REMIX — языковая модель, созданная picAIso слиянием SLERP через mergekit моделей picAIso/MIX1 и NousResearch/Hermes-2-Pro-Llama-3-8B. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для генерации текста и диалогового взаимодействия; заявленная длина контекста составляет 8192 токена. Карточка указывает поддержку чата, а базовая Hermes-2-Pro-Llama-3-8B ориентирована на следование инструкциям, вызов функций и генерацию структурированных данных JSON. Лицензия модели — MIT. Подробные оценки качества и ограничения конкретного слияния в карточке не приведены.

Sakalti/ultiima-14B-v0.2 — объединённая языковая модель Sakalti, созданная методом TIES с помощью mergekit на основе sometimesanotion/Lamarck-14B-v0.7 и sometimesanotion/Lamarck-14B-v0.6. Это плотная модель Qwen2 с 14 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; метаданные также указывают интерфейс вызова инструментов. Нативная длина контекста составляет 131 072 токена. Модель подходит для диалогов и других задач генерации текста. Описание базовой модели в каталоге также относит семейство Lamarck к многошаговым рассуждениям, написанию прозы и переводу, но для этой модели подтверждённая задача — text-generation. Языки, на которые модель рассчитана, в предоставленных источниках не обозначены. Файлы модели представлены в формате Safetensors; README указывает тип данных float16. Условия лицензии в предоставленных данных не приведены.

Карточка модели jondurbin/airoboros-l2-70b-2.1 на Hugging Face совпадает с карточкой jondurbin/airoboros-l2-13b-2.1, поэтому описание составлено по ней. airoboros-l2-13b-2.1 — языковая модель на архитектуре Llama 2, дообученная Jondurbin на синтетических инструкциях Airoboros. Она предназначена для диалогов и выполнения инструкций: ответов по заданному контексту, написания текстов и следующих глав, ролевых бесед, помощи с кодом, планирования и генерации аргументов функций в JSON или YAML. В обучающий набор вошли примеры стилизованных ответов и экспериментальные форматы ролевых диалогов. Модель содержит 12,9 млрд параметров, работает с текстом и имеет нативное контекстное окно 4096 токенов. Для диалогов используется формат с маркерами USER и ASSISTANT; карточка рекомендует останавливать генерацию при появлении USER:, поскольку модель может продолжить имитацию диалога. В README указано, что версия 2.1 имеет ошибку форматирования промптов при обучении, которая может ухудшать работу; заявлена как экспериментальная. Модель распространяется по лицензии Llama 2. В карточке описан небольшой набор для ослабления цензурных ограничений, поэтому ответы могут включать чувствительный контент; качество и соблюдение инструкций не гарантированы.

Athena-codegemma-2-9b-v1-GGUF — это набор квантованных версий языковой модели Athena-codegemma-2-9b-v1, разработанной EpistemeAI. Квантование выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, включая сценарии локального запуска через совместимые приложения, например LM Studio. Модель относится к семейству codegemma2 и имеет размер около 9 миллиардов параметров. Она работает с текстом и, согласно карточке, ориентирована на английский язык. Доступны варианты от F16 до низкобитных Q2 и IQ2, различающиеся размером файлов, требованиями к памяти и качеством: версии Q5–Q6 отмечены как высококачественные, а Q3 и ниже экономят память ценой заметного снижения качества. Максимальная длина контекста и точный формат промпта в карточке не указаны. Преимущество набора — широкий выбор квантований для подбора баланса между качеством и ресурсами, а также возможность локального использования в формате GGUF. Ограничения связаны с потерями качества при низкой разрядности и отсутствием подробных сведений о результатах тестирования, поддерживаемых языках помимо английского и рекомендованном формате взаимодействия. Указана лицензия Apache-2.0.

BioPhys-13.0-Kimi-K3-DualBrain — модель генерации текста, представленная автором как нейроморфная система с архитектурой MoE и объединением Kimi-K3 и EXAONE 3.0. Карточка заявляет поддержку корейского и английского языков, контекст до 131 072 токенов и размер 36,8 млрд параметров; веса опубликованы в формате safetensors. README также описывает отдельный Rust-движок и сжатое представление весов, но эти заявления не подтверждены метаданными репозитория. Модель предназначена для диалогов и генерации текста, включая рассуждения, математику, программирование и ответы на корейском языке. Репозиторий заявляет Apache-2.0. Описанные в README показатели производительности, сжатия и снижения галлюцинаций являются заявлениями автора; независимые подтверждения в предоставленных данных отсутствуют.

CatPPT-base-Mistral-7B-Instruct-v0.1 — языковая чат-модель на архитектуре Mistral с 7,1 млрд параметров, созданная слиянием mistralai/Mistral-7B-Instruct-v0.1 и rishiraj/CatPPT-base методом SLERP. Она предназначена для генерации текста в ответ на инструкции и диалоговые запросы; метаданные отмечают поддержку чата и задачи text-generation. Модель принимает текст и выдаёт текст, её контекст составляет до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README описывает конфигурацию слияния и тип данных bfloat16. Сведения о специальных предметных областях или отдельных языках в предоставленных данных отсутствуют.

Citaman/command-r-14-layer — языковая модель CohereForCausalLM на 13,6 млрд параметров, созданная автором репозитория слиянием слоёв модели Citaman/command-r-15-layer методом SLERP через mergekit. Она предназначена для генерации текста и диалогового взаимодействия; метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст, поддерживает контекст до 8192 токенов. Репозиторий содержит веса в формате safetensors. В карточке не приведены сведения о лицензии или конкретных целевых языках, поэтому условия использования и языковой охват по имеющимся данным определить нельзя. Характеристики и качество результата могут зависеть от шаблона диалога и способа запуска.

DeepSeek-V4-Flash-0731 REAP 80G — производная версия DeepSeek-V4-Flash-0731 от автора репозитория, сокращённая методом REAP и упакованная в формат GGUF с разной точностью квантования. В каждом MoE-блоке сохранено 160 из 256 маршрутизируемых экспертов; эксперты используют IQ2XXS, проекции W2 — Q4_K, а внимание, общие эксперты и выходная голова — Q8_0. Модель предназначена для генерации текста в диалоговом режиме и локального запуска на совместимом с DeepSeek-V4 оборудовании и ПО. Карточка описывает её как экспериментальную производную, не являющуюся официальным выпуском DeepSeek. Ожидаемые сценарии включают диалог, программирование, рассуждения, работу с инструментами и длинным контекстом, но качество этих возможностей следует оценивать на своих задачах. Для запуска требуются среды, понимающие компоненты DeepSeek-V4; обычные загрузчики GGUF могут не поддерживать используемые компоненты MXFP4, sparse attention, токенизатор и DSpark MTP. Оценки паритета с исходной моделью по бенчмаркам нет. Модель основана на deepseek-ai/DeepSeek-V4-Flash-0731; метаданные указывают языки en и zh, лицензию MIT и задачу text-generation. README предупреждает, что важность экспертов оценивалась по близкому раннему чекпойнту, а не по версии 0731; удалено 37,5% маршрутизируемых экспертов. Совместимость MTP-блоков требует отдельной проверки.

FineLlama-3.1-8B_instruct — диалоговая языковая модель, опубликованная phogen и дообученная на unsloth/Meta-Llama-3.1-8B-Instruct с использованием Unsloth и библиотеки TRL. Она предназначена для генерации текста и ответов в формате диалога по инструкциям. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Контекстное окно — до 131 072 токенов. В карточке указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Grafted-Hermetic-Platypus-C-2x7B — языковая модель Lodrick-the-Lafted, созданная как MoE-слияние Platyboros-Instruct-7B и Hermes-Instruct-7B-217K. Она предназначена для диалогов и генерации текста по инструкциям; карточка приводит результаты тестов на рассуждение и здравый смысл. Модель содержит 7,1 млрд параметров, использует архитектуру Mixtral MoE, принимает текст и поддерживает контекст до 32 768 токенов. В README указаны форматы промптов Mistral-Instruct и Alpaca, причём токенизатор по умолчанию использует Alpaca. Репозиторий распространяется в формате Safetensors по лицензии Apache-2.0.

SirSahOl подготовил конверсию диалоговой языковой модели IBM Granite 4.1 3B в формат MLX для локального запуска на Apple Silicon. Это плотная авторегрессионная модель GraniteForCausalLM с 3,4 млрд параметров, весами в 16-битном формате и контекстом до 131 072 токенов. Репозиторий содержит веса safetensors и предназначен для инференса через MLX. Модель подходит для многоходового чата, генерации текста и локальных ассистентов, включая сценарии с кодом и вызовом инструментов, поддерживаемые базовой моделью. Главные преимущества этой версии — запуск на GPU Apple Silicon и сохранение 16-битной точности; для весов требуется около 7 ГБ объединённой памяти, а для комфортной работы рекомендуется не менее 16 ГБ. Скорость зависит от устройства и длины запроса, а длинный контекст требует дополнительной памяти. Это конверсия базовой модели ibm-granite/granite-4.1-3b с помощью MLX, а не самостоятельное дообучение. Лицензия — Apache-2.0. Версия рассчитана на Apple Silicon и не является универсальным форматом для GPU других производителей.

Hermes-2-Pro-Mistral-7B-8bit — 8-битная версия модели Hermes-2-Pro-Mistral-7B, подготовленная mlx-community и преобразованная в формат MLX для запуска через mlx-lm. Модель основана на Mistral-7B-v0.1 и дообучена NousResearch; она предназначена для диалогов и следования инструкциям, включая сценарии вызова функций и выдачи JSON. Модель имеет плотную архитектуру MistralForCausalLM, 7,1 млрд параметров и контекст до 32 768 токенов. В карточке указана поддержка английского языка. Репозиторий лицензирован по Apache-2.0. README отсылает за подробностями к карточке исходной модели, поэтому специфические характеристики и ограничения Hermes-2-Pro здесь не раскрыты.