II.1Анализ требований и архитектура ПО

JANGQ-AI/MiniMax-M2.7-JANGTQ — это квантизированная версия MiniMax-M2.7, разработанная JANGQ-AI на базе архитектуры MiniMax M2 от MiniMaxAI. Модель предназначена для генерации текста, диалоговых сценариев, задач рассуждения и работы с инструментами. Она ориентирована на запуск в MLX и vMLX на компьютерах Apple Silicon, включая M3 Max с 96 ГБ памяти и более новые M4 Max, M5 Max и Mac Studio с 128 ГБ памяти. Модель использует архитектуру MoE с 62 слоями, 256 маршрутизируемыми экспертами и выбором 8 экспертов на токен. Заявленный контекст составляет 196K токенов. Размер сборки на диске — около 47 ГБ вместо примерно 230 ГБ у исходной FP8-версии. Маршрутизируемые экспертные веса сжаты до 2 бит методом JANGTQ2, а attention, общие экспертные компоненты, эмбеддинги и lm_head используют 8-битное аффинное квантование; нормализации и маршрутизатор частично сохранены в исходной точности. Поддерживаются reasoning через парсер qwen3 и вызовы инструментов через парсер minimax; режим рассуждения включён по умолчанию и может быть отключён. К сильным сторонам относятся существенное уменьшение размера, предварительно собранная структура экспертных весов, быстрая загрузка без дополнительной перестановки и заявленная идентичная скорость декодирования по сравнению с предыдущей раскладкой. Ограничения связаны с узкой совместимостью с MLX/vMLX и требованием значительного объёма объединённой памяти Apple Silicon. Язык модели, точные показатели качества и полный набор поддерживаемых языков в README не указаны. Лицензия — minimax-m2.7-non-commercial; сборка предназначена для некоммерческого использования.

Mini_Synatra_SFT-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель MaziyarPanahi, полученная слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и maywell/Mini_Synatra_SFT. Она использует плотную архитектуру Mistral с причинной генерацией текста и содержит 7,1 млрд параметров. Модель предназначена для диалогов и генерации ответов по инструкциям; максимальная длина контекста составляет 32 768 токенов. Модель подходит для чат-ботов и других сценариев, где нужно генерировать текст по запросу. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. README не приводит результатов оценки качества или сведений о языковом покрытии, поэтому эти характеристики здесь не уточняются.

Miquliz-120b-137l — объединённая языковая модель на архитектуре Llama, созданная MergeFuel методом passthrough с помощью mergekit. В слиянии использованы предварительно обученные модели lizpreciatior/lzlv_70b_fp16_hf и 152334H/miqu-1-70b-sf. Модель содержит 117,5 млрд параметров и рассчитана на генерацию текста; её можно использовать для продолжения текста и диалоговых сценариев. Модель принимает текст и выдаёт текст. Нативная длина контекста — 32 764 токена. Репозиторий использует Transformers и формат safetensors. В метаданных базовая модель описана как англоязычная, но отдельные сведения о языковом охвате итогового слияния не приведены. Лицензия в предоставленных данных не указана.

Это вариант Mistral-7B-Instruct-v0.1, подготовленный автором arnavgrg: веса линейных слоёв сначала квантизированы в NF4 с помощью bitsandbytes, а затем представлены в fp16. Модель имеет плотную авторегрессионную архитектуру MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Представление линейных слоёв в fp16 после NF4-квантизации призвано сократить затраты на повторную квантование и деквантование во время инференса; загрузка предусмотрена через Transformers. Потери при исходной квантизации необратимы, поэтому качество может быть ниже официальной Mistral-7B-Instruct-v0.1. Лицензия — Apache-2.0.

Mistral-grok-instract-2-7B-slerp — объединённая автором модель для генерации текста и диалоговых ответов. Она создана методом slerp через LazyMergekit на основе mistralai/Mistral-7B-Instruct-v0.2 и HuggingFaceH4/mistral-7b-grok; архитектура — плотная MistralForCausalLM с 7,1 млрд параметров. Модель принимает текст и выдаёт текст, поддерживает контекст до 32 768 токенов и рассчитана на диалоговый режим. Модель можно применять для ответов на инструкции, ведения диалога и генерации текста. В репозитории представлены веса в форматах Safetensors и GGUF. Лицензия — MIT. Отдельные сведения о сравнительной точности или результатах оценки в карточке не приведены.

Mistral-Narwhal-7b — разговорная языковая модель на основе Mistral 7B, созданная путём слияния Dolphin 2.1 и Zephyr 7B Alpha. Модель предназначена для генерации текста и диалоговых сценариев; её архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Репозиторий содержит веса PyTorch и safetensors. Модель может использоваться для диалоговых помощников, ответов на вопросы и генерации текста. В карточке указана лицензия Apache-2.0, однако README также требует учитывать лицензии исходных моделей Dolphin 2.1 и Zephyr 7B Alpha.

CreitinGameplays/Mistral-Nemo-12B-R1-v0.1 — дообученная автором CreitinGameplays модель Mistral Nemo для генерации ответов в диалоге с упором на систематические рассуждения. Она основана на mistralai/Mistral-Nemo-Instruct-2407 и обучалась один проход на датасете Magpie-Reasoning-V2-250K-CoT-Deepseek-R1-Llama-70Bmistral; автор сообщает, что обучение заняло 96 часов на двух NVIDIA RTX A6000. Модель имеет плотную архитектуру MistralForCausalLM и 12,1 млрд параметров. Она принимает текст и выдаёт текст, поддерживает контекст до 131 072 токенов, а в интерфейсе модели заявлены чат и вызов инструментов. Основной язык обучения — английский, поэтому качество на других языках может быть ниже. Модель опубликована под лицензией MIT. Автор предупреждает, что после этапа рассуждений модель может зациклиться в бесконечной генерации; это следует учитывать при настройке лимита токенов и проверке ответов.

Mistral-ORPO-β — дообученная KAIST AI версия Mistral-7B-v0.1, оптимизированная методом Odds Ratio Preference Optimization (ORPO). Модель обучена на 61 тысяче примеров очищенного набора предпочтений UltraFeedback от Argilla, без отдельного этапа предварительной настройки с учителем перед оптимизацией предпочтений. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. В карточке приведены результаты AlpacaEval, MT-Bench и IFEval; они показывают качество на соответствующих тестах, но сами по себе не гарантируют результат на других задачах. Это плотная архитектура Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов; в репозитории указаны веса safetensors. Основной язык в метаданных — английский. Модель распространяется по лицензии MIT. Она унаследовала ограничения базовой модели и обучающих данных; результаты могут быть неточными или смещёнными, поэтому ответы стоит проверять.

MixTAO-7Bx2-MoE-Instruct-v7.0 — инструктивная языковая модель семейства Mixtral, опубликованная пользователем mixtao на Hugging Face. Она использует архитектуру смеси экспертов (MoE) и предназначена для генерации текста в ответ на инструкции и сообщения в чате. Карточка описывает шаблон диалога, в котором роли system, user и assistant задают контекст и порядок реплик. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Модель можно применять для диалога, ответов на вопросы и других задач генерации текста. README приводит результаты Open LLM Leaderboard, включая среднюю оценку 76,55 и оценки на отдельных тестах рассуждения и понимания текста. Лицензия — Apache-2.0. Языки обучения или целевого применения в доступных данных не обозначены.

Модель vicky4s4s/Mixtral-instruct-56B — разговорная языковая модель на архитектуре Mixtral, опубликованная Vignesh. Карточка описывает её как instruct-версию Mixtral-8x7B: разреженную Mixture of Experts для генерации текста и диалога. Метаданные указывают 7,1 млрд параметров и контекст до 32 768 токенов; доступны веса в safetensors и интерфейс чата. Модель предназначена для диалоговых ответов и генерации текста по инструкциям. В карточке приведён пример использования через Transformers и шаблон диалога Mixtral. Языковые метки охватывают английский, французский, итальянский, немецкий и испанский; датасеты карточки включают UltraChat 200K и LLaVA-Instruct-150K. Лицензия — Apache-2.0. В README отмечено, что веса происходят из оригинального релиза Mixtral, но формат и имена параметров изменены; также указана несовместимость с прямой инициализацией через Hugging Face Transformers. Модель не имеет встроенных механизмов модерации, поэтому её ответы могут требовать внешних ограничителей. Название репозитория заявляет 56B, однако метаданные указывают 7,1 млрд параметров, поэтому размер описан по метаданным.

Это набор файлов модели Qwen3-8B-bf16 в формате GGUF, подготовленный сообществом mlx-community при поддержке TensorBlock. Репозиторий содержит варианты с разными уровнями квантования и совместим с llama.cpp начиная с коммита b5753; метаданные также указывают библиотеку MLX. Для диалога используется шаблон с сообщениями system, user и assistant. Модель предназначена для генерации текста и диалогов. Её можно применять для ответов на вопросы, написания черновиков и помощи с кодом. Варианты квантования отличаются размером и качеством: README предупреждает о значительной потере качества у самых компактных вариантов Q2_K и Q3_K. Указана лицензия Apache-2.0.

Momningotex-slerp — слитая модель для генерации текста на основе архитектуры Mistral. Её создал пользователь liminerity, объединив с помощью mergekit модели liminerity/Omningotex-7b-slerp и eren23/ogno-monarch-jaskier-merge-7b-v2 методом slerp; конфигурация задаёт смешивание слоёв внимания и MLP. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалоговых ответов. В репозитории веса представлены в формате safetensors. Лицензия — Apache-2.0. Языки и специализированные предметные области в карточке не обозначены.

MotherEarth-Hermes-8B — объединённая диалоговая языковая модель, созданная с помощью mergekit методом SLERP на основе MotherEarth/MotherEarth-1.0-8B и mlabonne/Hermes-3-Llama-3.1-8B-lorablated. Она построена на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста и ведения диалогов. В конфигурации с V-образным распределением весов вклад Hermes усилен на входе и выходе, а средние слои ориентированы на WizardMath. Сведения о лицензии в предоставленных данных отсутствуют.

korvo/MS-RandomMergeTest_v3-TIES-22B — объединённая 22-миллиардная языковая модель на архитектуре Mistral, собранная с помощью mergekit. В основе слияния лежит concedo/Beepo-22B; в него также вошли anthracite-org/magnum-v4-22b, allura-org/MS-Meadowlark-22B, crestf411/MS-sunfall-v0.7.0, TheDrummer/Cydonia-22B-v1.3, TheDrummer/Cydonia-22B-v1.2 и DigitalSouls/BlackSheep-DigitalSoul-22B. Использован метод слияния della_linear. Модель предназначена для генерации текста и диалоговых сценариев. Она принимает текст и выдаёт текст, поддерживает контекст длиной до 32 768 токенов и распространяется в формате safetensors для библиотеки Transformers. В метаданных также отмечен интерфейс вызова инструментов. Лицензия в предоставленных данных не указана.

zelk12/MT1-Gen3-BB-gemma-2-MTg2S2-9B — объединённая языковая модель на архитектуре Gemma 2, созданная с помощью mergekit методом SLERP из zelk12/MT-Gen2-gemma-2-9B и allknowingroger/Gemmaslerp2-9B. Модель содержит 9 млрд параметров и предназначена для генерации текста и диалогового общения; поддерживает чатовый сценарий. Нативное контекстное окно — 8192 токена. Модель принимает текст и генерирует текст. Репозиторий использует формат safetensors, а карточка указывает библиотеку Transformers. Лицензия в предоставленных данных не указана.

zelk12/MT1-Max-Merge_02012025163610-GMMMUI-gemma-2-9B — объединённая языковая модель на базе Gemma 2, созданная с помощью mergekit методом SLERP из двух чекпойнтов: zelk12/MT1-Max-Merge_02012025163610-GMM-gemma-2-9B и zelk12/MT1-Max-Merge_02012025163610-MUI-gemma-2-9B. Это плотная авторегрессионная модель для генерации текста и диалогового взаимодействия. Модель содержит 9 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Репозиторий использует формат safetensors и библиотеку Transformers. Карточка не сообщает о специализированной предметной области или языках, поэтому модель описывается как общего назначения. Лицензия и отдельные сведения о качестве или ограничениях в предоставленных данных отсутствуют. Как и другие генеративные языковые модели, ответы могут содержать ошибки; пригодность результата следует проверять в целевом сценарии.

Muse-Glimmer-30B-CoreAI — это квантованный текстовый декодер модели Meta Muse-Glimmer-30B, подготовленный для запуска в Apple Core AI, преемнике Core ML. Модель предназначена для локальной генерации текста на устройствах Apple с macOS 27 и соответствующей поддержкой Core AI; заявлены сценарии диалога, работы с кодом, пошаговых рассуждений и вызова инструментов. Перцептивный энкодер исходной агентной VLM в комплект не входит, поэтому данная версия работает только с текстом. Модель имеет около 30 млрд параметров; используется формат Core AI .aimodel и 4-битная квантизация int4hu. Размер артефакта составляет 16,35 ГБ. В описании упоминается окно контекста до 2048 токенов и запуск на GPU или Neural Engine через Apple Core AI. На Mac Studio с M4 Max заявлена скорость декодирования около 26,69 токена в секунду без спекулятивного декодирования, а для отдельных задач с n-gram drafting — до 53,71 токена в секунду. Спекулятивное декодирование не требует дополнительных весов и, по приведённым тестам, сохраняет побайтно идентичный результат. Сильными сторонами являются локальный запуск, сравнительно небольшой для 30B-модели размер, поддержка Apple Silicon и высокая скорость генерации; результаты зависят от сценария, длины генерации, охлаждения устройства и параметров спекулятивного декодирования. Ограничения включают отсутствие визуального энкодера, ограниченное контекстное окно, зависимость производительности от оборудования и отсутствие универсальности приведённых бенчмарков. Модель распространяется по лицензии Apache-2.0.

Muse-Glimmer-30B-M — это средняя по степени сжатия 4-битная квантованная версия языковой модели Muse-Glimmer-30B, подготовленная Mirai Labs для эффективного локального запуска на компьютерах Apple с Apple silicon. Модель предназначена для генерации текста и локальных сценариев использования LLM, включая агентские задачи, диалоги, обучение с учителем и работу с длинным контекстом. Подробные сведения об исходной архитектуре, размере контекстного окна и поддерживаемых языках в данной карточке не указаны. Квантование выполнено методом асимметричного целочисленного представления с 4-битными zero points, масштабами bfloat16 и размером группы 64. Для уменьшения выбросов активаций и весов применяются блочно-диагональные случайные преобразования Адамара; также использованы посттренировочное квантование и дистилляция с учётом квантования. По внутренним оценкам KL эта версия сопоставима с Unsloth UD-Q4_K_XL GGUF. Основные ограничения — поддержка инференса только на Apple silicon и зависимость характеристик, возможностей и ограничений от исходной модели Muse-Glimmer-30B. Лицензия — Apache-2.0.

fengminqi/my-tg-qwen2.5-7b — дообученная fengminqi языковая модель семейства Qwen2.5 с плотной архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров. Она основана на unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit; для обучения использовались Unsloth и библиотека TRL от Hugging Face. Модель предназначена для генерации текста и диалогового общения. Указанный в метаданных контекст — 32 768 токенов; карточка также отмечает интерфейс вызова инструментов. Среди тегов языка указан английский. Веса представлены в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специализацию дообучения, поэтому конкретные преимущества и ограничения в отдельных предметных областях установить нельзя.

Nemostein-3-Nano-Omni-30b-a3b-i1-GGUF — это GGUF-квантизированная версия модели GestaltLabs/Nemostein-3-Nano-Omni-30b-a3b. Квантизацию выполнил mradermacher с использованием weighted/imatrix-подхода. Модель предназначена для генерации текста на английском языке, диалоговых сценариев, задач рассуждения, использования инструментов и function calling. В метаданных модель отмечена как mixture-of-experts и связана с архитектурой Nemotron-H; обозначение базовой модели содержит параметры 30b-a3b, однако точное число активных параметров, размер контекста и подробности архитектуры в README не указаны. Поддержка других модальностей, кроме текстовой, также не подтверждена, несмотря на слово Omni в названии. Доступно множество вариантов GGUF-квантизации размером примерно от 18 до 33,6 ГБ, что позволяет выбирать компромисс между размером, скоростью и качеством. Сильными сторонами являются поддержка англоязычной генерации, reasoning, conversational use, tool use и function calling, а также широкий выбор уровней квантизации. Ограничения связаны с потерями качества, зависящими от выбранного варианта квантизации; некоторые низкобитные варианты в README прямо характеризуются как имеющие низкое качество. Лицензия указана как other, без дополнительных условий в представленном README.

Это GGUF-сборка языковой модели Qwen3.8-27B, разработанной командой Qwen, с постобучением SimPO и базой из семейства EfficientThink от nerkyor. Модель предназначена для генерации текста, диалогов, рассуждений и программирования. Она относится к dense-моделям с hybrid attention и поддерживает эффективное мышление; заявлены китайский и английский языки. Версия ориентирована на запуск через llama.cpp и совместимые приложения, включая LM Studio. Модель содержит 27 млрд параметров, 65 блоков, включая встроенную MTP-голову для speculative decoding. Используется смешанная квантизация: K/Q/V-блоки ключевых attention-слоёв сохранены в Q4_K, значительная часть FFN-контуров квантизирована в IQ3_XXS, другие компоненты — в IQ3_S, а нормы — в F32. Размер файла составляет 10,12 GiB при 3,18 BPW. При использовании Q4 KV-кэша заявлена поддержка контекста свыше 130 тысяч токенов на видеокарте с 16 ГБ памяти. Для vision-сценариев требуется отдельный vision projector из базового семейства Qwen3.8. К сильным сторонам относятся существенно уменьшенный размер, сохранение повышенной точности в важных attention-компонентах, встроенная MTP-голова и возможность ускорения генерации примерно в 2–3 раза на диалоговых ответах при корректной настройке. Ограничениями являются зависимость качества от агрессивной IQ3-квантизации, необходимость совместимого ПО и настройки параметров запуска, а также непредсказуемость выходов, поскольку сборка обозначена как uncensored. Модель предоставляется по лицензии Apache 2.0, но автор рекомендует её прежде всего для личных исследований и оценки, а не для публичного или производственного использования.

Neural-AlphaMistral-7B — диалоговая языковая модель, созданная Ppoyaa слиянием трёх моделей с помощью LazyMergekit: AlphaMonarch-7B, Mistral-7B-Instruct-v0.2 и NeuralMaths-Experiment-7b. Используется архитектура MistralForCausalLM с плотной структурой и 7,1 млрд параметров; веса сохранены в формате safetensors. Модель предназначена для генерации текста и ответов в диалоге, включая задачи, опирающиеся на возможности исходных моделей. Контекстное окно составляет до 32 768 токенов. Модель принимает текстовые запросы и генерирует текст. Репозиторий распространяется по лицензии Apache-2.0. README не приводит оценок качества или подробных результатов по отдельным задачам; фактические возможности унаследованного экспериментального компонента могут отличаться от поведения исходных моделей.

Neural-Chat-v3-2 — языковая модель Intel на 7,1 млрд параметров для генерации текста и выполнения языковых задач. Она построена на архитектуре Mistral и дообучена из Intel/neural-chat-7b-v3-1 на наборе MetaMathQA с выравниванием методом DPO на парах Intel/orca_dpo_pairs. Исходная версия neural-chat-7b-v3-1 была дообучена на базе mistralai/Mistral-7B-v0.1. Модель предназначена для инференса в широких языковых сценариях, включая математические вопросы и диалог. README указывает контекст 8192 токена; метаданные каталога сообщают 32768, поэтому фактический предел может зависеть от конфигурации и версии. Модель принимает текст и генерирует текст; в карточке указан английский язык. Модель может выдавать фактически неверные ответы, а также предвзятый, оскорбительный или неприемлемый контент. Перед внедрением рекомендуется проверять её безопасность и точность. Лицензия — Apache-2.0.

NeuralDaredevil-7B — диалоговая языковая модель на архитектуре Mistral с 7,1 млрд параметров, созданная mlabonne. Это DPO-дообучение модели mlabonne/Daredevil-7B на предпочтениях из набора argilla/distilabel-intel-orca-dpo-pairs. Модель предназначена для генерации текста и ответов в диалоге; использует шаблон запросов Mistral-7B-Instruct-v0.2 и поддерживает контекст до 32 768 токенов. В README приведены результаты оценивания на наборах Nous и Open LLM Leaderboard. Модель распространяется в формате safetensors по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

NeuralsirkrishnaShadow_NeuralsirkrishnaExperiment28 — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/NeuralsirkrishnaExperiment28-7B. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста; её контекстное окно составляет 32 768 токенов. Модель предназначена для генерации текста и диалоговых сценариев общего назначения. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. В карточке не описаны специализированные области применения или конкретные ограничения качества.

NeuralsirkrishnaShadow_Ognoexperiment27M7 — объединённая модель от MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и диалогов, принимает текст и выдаёт текст; поддерживает контекст до 32 768 токенов. Модель объединяет automerger/NeuralsirkrishnaShadow-7B и automerger/Ognoexperiment27M7-7B. Данные карточки не уточняют специализацию, языки или отдельные возможности модели. Веса опубликованы в формате safetensors; лицензия — Apache-2.0.

New-Dawn-Ultra-Llama-3-70B-32K-v1.0 — текстовая генеративная модель, созданная объединением предварительно обученных языковых моделей методом SLERP с помощью mergekit. В состав объединения вошли варианты New Dawn Ultra Llama 3 70B 32K v0.16 и v0.18. Модель построена на плотной архитектуре LlamaForCausalLM, содержит 69,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для составления ответов, продолжения текста и ведения беседы в приложениях на базе Llama. Карточка не сообщает о специализированных областях применения или поддерживаемых естественных языках. Весовые файлы представлены в формате safetensors; модель использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Nous-Hermes-2-SOLAR-10.7B-pruned2.4 — чат-модель на 10,6 млрд параметров, подготовленная Red Hat AI для запуска через высокопроизводительный движок NM-vLLM. Она основана на Nous-Hermes-2-SOLAR-10.7B и оптимизирована разреживанием весов с помощью SparseGPT для снижения потребления памяти и ускорения обслуживания; архитектура — Llama, формат файлов — PyTorch. Модель предназначена для диалогов, генерации текста и выполнения инструкций. Она принимает текст и выдаёт текст, поддерживает контекст до 4096 токенов; в карточке базовая модель описана как англоязычная. Для запуска README рекомендует NM-vLLM с поддержкой sparse-моделей. Лицензия в предоставленных данных не указана.

NousResearch_Hermes-4-70B-GGUF — это набор квантизированных версий языковой модели Hermes-4-70B, разработанной NousResearch. Квантизацию выполнил bartowski с использованием llama.cpp версии b6258 и метода imatrix. Модель предназначена для генерации текста и локального запуска через LM Studio, llama.cpp и другие проекты на базе llama.cpp. В набор входят варианты в формате GGUF с разными уровнями квантизации: от Q8_0 размером около 75 ГБ до IQ2_S размером около 22 ГБ. Более крупные варианты обеспечивают более высокое качество, тогда как компактные требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для большинства сценариев рекомендуются Q4_K_M, Q5_K_M, Q5_K_S и Q6_K; Q3 и Q2-варианты предназначены для систем с ограниченными ресурсами и имеют более низкое качество. README не содержит сведений об архитектуре, поддерживаемых языках, размере контекста, мультимодальности, точных задачах исходной модели или лицензии. Формат prompt также не указан, поэтому его следует уточнять на странице оригинальной модели NousResearch/Hermes-4-70B.

NovaSpark — чат-модель на базе Llama 3.1, разработанная Epiculous и дообученная на версии SuperNova-lite от GrimJim с частично ослабленными отказами. Модель содержит около 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Она предназначена для генерации текста в диалогах, следования инструкциям и ролевых сценариев; обучена на шаблоне Llama Instruct. Автор отмечает, что дообучение частично восстановило отказы, ранее ослабленные в базовой модели, поэтому эффект снижения отказов неполный. Модель распространяется в формате Safetensors; для неё также заявлены варианты квантования EXL2 и GGUF. Лицензия — Apache-2.0.