I.5Создание и редактирование текста

Trappu/Nemo-Picaro-V2-12B — плотная авторегрессионная языковая модель семейства Mistral, разработанная Trappu и дообученная на основе royallab/MN-LooseCannon-12B-v2 с использованием Unsloth и TRL. Модель содержит 12,1 млрд параметров, поддерживает текстовую генерацию и чат; для работы с ней указано контекстное окно до 1 024 000 токенов. Модель предназначена для генерации текста и ведения диалогов на английском языке. Её можно применять для написания прозы, продолжения текста и ответов в чате. Репозиторий содержит веса в формате Safetensors и распространяется по лицензии Apache 2.0. Подробности обучающих данных и оценок качества в карточке не приведены.

NeMoria-21b — экспериментальная разговорная языковая модель SteelStorage для генерации текста. Она построена на архитектуре MistralForCausalLM с плотной моделью примерно на 20,7 млрд параметров и предназначена для диалогов и других сценариев генерации текста. В основе указана unsloth/Mistral-Nemo-Instruct-2407; автор описывает создание модели методом passthrough merge с применением метода обнуления, использованного в L3-Aethora-15B-V2. Метаданные указывают контекст до 1 024 000 токенов и формат safetensors. Автор называет модель тестовым экспериментом и отмечает, что расширенная карточка появится, если эксперимент даст ожидаемый результат. Лицензия в предоставленных данных не указана.

Это квантованная в формате GGUF версия Nemotron-3-Nano-Omni-30B-A3B-Reasoning от NVIDIA, подготовленная majentik для запуска через llama.cpp. Веса языковой основы представлены в варианте MXFP4_MOE; модель использует гибридную архитектуру Mamba-2 и Transformer с разреженным MoE. Для мультимодального запуска требуется отдельный файл мультимодального проектора mmproj-F16. Модель предназначена для диалогов и задач понимания текста и изображений; карточка базовой модели также описывает работу с аудио и видео. В README указаны текстовый бэкенд, визуальный энкодер CRADIO v4-H и аудиоэнкодер Parakeet-TDT-0.6B-v2. Для инференса с изображениями, аудио и видео рекомендуется llama-mtmd-cli; Ollama в описанном варианте поддерживает только текст. Режим расширенного рассуждения включён по умолчанию и может отключаться параметром enable_thinking=False. Это квантованный производный вариант базовой модели NVIDIA, а не отдельный метод TurboQuant: README уточняет, что это название релиза и что веса получены стандартными квантователями. Оценочный размер файла — около 30 ГБ. README предупреждает, что сборка llama.cpp с CUDA 13.2 даёт некорректные результаты; рекомендуются CUDA 12.x, Metal или CPU. Лицензия указана как other, конкретные условия в предоставленных данных не раскрыты.

Nemotron-4-340B-Instruct-hf — преобразованный чекпойнт диалоговой языковой модели Nemotron-4-340B-Instruct от NVIDIA, опубликованный пользователем mgoin. Модель предназначена для генерации текста в формате диалога; README указывает, что чекпойнт создан из версии 1.0 формата .nemo. Метаданные описывают архитектуру как плотную авторегрессионную модель NemotronForCausalLM с общим числом 466,8 млрд параметров и контекстом 4096 токенов. Модель принимает текст и выдаёт текст, поддерживает чат-сценарии и может развёртываться через vLLM версии 0.5.4 или новее. В README приведены оценки для чекпойнта FP8, полученные с lm-eval 0.4.3 на восьми A100, однако сами результаты в доступном тексте не представлены. Метаданные указывают лицензию other; конкретные условия следует сверять с лицензией базовой модели NVIDIA.

JANGQ-AI/Nemotron-Cascade-2-30B-A3B-JANG_4M — квантованная версия NVIDIA Nemotron-Cascade-2-30B-A3B, подготовленная Jinho Jang с помощью открытого формата и движка JANG для MLX. Это языковая модель для диалогов и генерации текста с пошаговым режимом рассуждений и интерфейсом вызова инструментов. В основе — гибридная архитектура Nemotron-H: Mamba-2, смесь экспертов (MoE) и слои внимания; в README указаны 52 слоя и 128 экспертов с выбором шести. Квантование JANG_4M использует 4,1 бита и 8-битные веса внимания. Метаданные указывают 1,9 млрд параметров и контекст до 262 144 токенов. Модель ориентирована на рассуждения, в том числе решение математических задач, а также на обычные диалоги и агентные сценарии. По результатам теста MMLU на 200 вопросах, приведённым автором карточки, она набрала 93% в режиме рассуждений; это результат собственного тестирования, а не независимая оценка. Для запуска нужны Apple Silicon с не менее чем 24 ГБ объединённой памяти и совместимая среда MLX, например MLX Studio или пакет JANG для MLX; обычные загрузчики MLX могут не поддерживать отображение весов этой архитектуры. В карточке указана лицензия «other», конкретные условия следует проверять у автора базовой модели и производной версии.

Trisert/nerde-14B — объединённая чат-модель на архитектуре Mistral, созданная автором репозитория с помощью mergekit методом SLERP из HuggingFaceH4/zephyr-7b-beta и Nexusflow/Starling-LM-7B-beta. Несмотря на название репозитория, в метаданных указан размер 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста в ответ на запросы; её контекст составляет до 32 768 токенов. Модель распространяется в формате safetensors и рассчитана на работу через библиотеку Transformers. Метаданные и README не сообщают лицензию или результаты оценки качества, поэтому условия использования и сравнительную эффективность установить нельзя.

Nermeen Persona — дообученная разговорная языковая модель, разработанная nermeen28 на базе unsloth/qwen2.5-3b-instruct-unsloth-bnb-4bit. Это плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и 3,1 млрд параметров; она предназначена для генерации текста и диалоговых сценариев. Модель принимает текст и выдаёт текст, поддерживает английский язык и контекст до 32 768 токенов. В метаданных также отмечен интерфейс вызова инструментов. Модель обучалась с использованием Unsloth и библиотеки TRL. Репозиторий содержит веса в формате safetensors. Указанная лицензия — Apache-2.0. Карточка не описывает специализацию персоны, результаты оценки качества или конкретные ограничения, поэтому эти свойства нельзя установить по доступным сведениям.

Neural-4-QA-7b — объединённая модель Mistral, созданная автором репозитория с помощью LazyMergekit на основе пяти моделей: yam-peleg/Experiment21-7B, CultriX/NeuralTrix-bf16, louisgrc/Montebello_7B_SLERP, CorticalStack/pastiche-crown-clown-7b-dare-dpo и chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста и может применяться для диалоговых ответов и задач вопросно-ответного характера. По карточке нельзя определить, какие именно возможности исходных моделей сохранены или насколько хорошо модель справляется с отдельными задачами. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0.

NeuralDaredevil-8B-abliterated-x2 — объединённая модель для диалоговой генерации текста, созданная с помощью LazyMergekit на основе mlabonne/NeuralDaredevil-8B-abliterated. Она использует плотную архитектуру Llama с 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Модель принимает текст и генерирует текст; метаданные также отмечают поддержку чата. Веса получены слиянием двух копий одной базовой модели методом dare_ties с параметрами density 0,53 и weight 0,6, маской int8 и типом данных bfloat16. Базовая модель описана как дообученная DPO Llama 3 для диалогов и ролевых сценариев с меньшими поведенческими ограничениями. Репозиторий содержит веса safetensors. Лицензия в предоставленных данных не указана.

NeuralHermes-2.5-Mistral-7B-GGUF — это квантованная версия языковой модели NeuralHermes-2.5-Mistral-7B, разработанной mlabonne и преобразованной в формат GGUF пользователем MaziyarPanahi. Модель основана на Mistral-7B и предназначена для генерации текста и диалогового использования в инструкционном режиме с применением шаблона ChatML. Модель подходит для локального запуска через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. В репозитории доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к памяти, скоростью работы и качеством генерации. Заявлена поддержка преимущественно английского языка; сведения о размере контекста и других модальностях отсутствуют, поэтому модель следует рассматривать как текстовую. К сильным сторонам относятся локальный запуск, широкий выбор уровней квантования и совместимость с распространёнными инструментами инференса. К ограничениям относятся возможная потеря качества при низкой разрядности квантования, зависимость производительности от выбранного файла и оборудования, а также отсутствие в предоставленных данных подробных оценок качества, безопасностных характеристик и размера контекста. Модель распространяется по лицензии Apache-2.0.

Corianas разработала Neural-Mistral-7B — диалоговую модель для генерации текста, полученную DPO-дообучением mistralai/Mistral-7B-Instruct-v0.2 на наборе Intel/orca_dpo_pairs. Модель построена на архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Для общения используется формат инструкций Mistral с маркерами [INST] и [/INST]; модель доступна в формате safetensors и рассчитана на работу через Transformers. Модель подходит для диалоговых ответов и выполнения текстовых инструкций на английском языке. В README описана архитектура с Grouped-Query Attention, Sliding-Window Attention и токенизатором Byte-fallback BPE. Лицензия — Apache 2.0. В карточке нет результатов оценки качества или подробных ограничений применения.

NeuralsirkrishnaExperiment26-7B — автоматическое слияние моделей, созданное Maxime Labonne. В конфигурации указаны Kukedlc/NeuralSirKrishna-7b и rwitz/experiment26-truthy-iter-0; для объединения применён метод dare_ties. Метаданные описывают модель как плотную MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста. Репозиторий содержит веса Safetensors, а лицензия указана как Apache-2.0. Карточка не приводит конкретных сценариев применения или результатов оценки качества.

NeuralsirkrishnaShadow_Experiment27Yam — объединённая модель MaziyarPanahi на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием automerger/NeuralsirkrishnaShadow-7B и automerger/Experiment27Yam-7B и предназначена для генерации текста по текстовому запросу. Репозиторий содержит веса в формате safetensors, модель поддерживает контекст до 32 768 токенов. Модель подходит для генерации и продолжения текста в приложениях на базе Transformers. Для неё указана лицензия Apache-2.0. README и метаданные не уточняют специализацию модели, языки, качество на отдельных задачах или результаты оценки, поэтому их нельзя определить по доступным сведениям.

MaziyarPanahi/NeuralsirkrishnaShadow_Strangemerges_32Strangemerges_30 — объединённая модель для генерации текста, созданная слиянием двух моделей: automerger/NeuralsirkrishnaShadow-7B и automerger/Strangemerges_32Strangemerges_30-7B. Она основана на плотной архитектуре Mistral и содержит 7,1 млрд параметров. Модель подходит для генерации продолжений текста и диалоговых ответов в приложениях на базе text generation. Контекстное окно составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. Карточка не приводит данных о целевых языках, специализированных областях или результатах оценки качества.

NeuralsynthesisInex12-7B — автоматически слитая модель для генерации текста, созданная Maxime Labonne методом DARE-TIES на основе NeuralSynthesis-7B-v0.1 и INEX12-7b. Модель построена на архитектуре Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста. Веса доступны в формате Safetensors, лицензия — Apache-2.0. Карточка описывает параметры слияния, но не приводит сведений о языковой специализации и результатах оценки качества.

NeuralTurdusVariant1-7B — разговорная языковая модель на архитектуре Mistral, созданная BarryFutureman путём слияния моделей mlabonne/NeuralBeagle14-7B и udkai/Turdus с помощью MergeKit. Она предназначена для генерации текста и диалоговых сценариев на английском языке. Модель содержит 7,1 млрд параметров, принимает текст и выдаёт текст. Заявленная длина контекста — 32 768 токенов; веса опубликованы в формате safetensors. Репозиторий распространяется по лицензии Apache-2.0.

NeuraRP-7B-slerp — диалоговая текстовая модель, созданная stevez80 слиянием NeuralHermes-2.5-Mistral-7B и BuRP_7B методом SLERP. Она предназначена для генерации текста в диалогах и ответов на запросы пользователя. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате safetensors; лицензия — Apache-2.0. Слияние использует разные веса для слоёв внимания и MLP, а результат задан в формате bfloat16. Метаданные отмечают поддержку чата, но карточка не приводит оценки качества или перечень языков, поэтому их нельзя определить по имеющимся сведениям.

Neutrino-Instruct — авторегрессионная языковая модель с архитектурой декодера Transformer и 7,1 млрд параметров, разработанная Fardeen NB. Это дообученная для диалога и следования инструкциям версия Neutrino. Модель распространяется в форматах GGUF и safetensors; GGUF рассчитан на локальный запуск через llama.cpp и Ollama. Контекст — до 32 768 токенов, архитектура использует grouped-query attention и RoPE. Модель предназначена для чат-ботов, диалоговых помощников, ответов на вопросы, суммаризации и выполнения инструкций, в том числе в локальных сценариях без отправки данных на внешние сервисы. В карточке заявлена поддержка английского языка; качество работы на других языках не оценивалось. Модель общего назначения, не имеет доступа к интернету или внешним источникам знаний. Модель может выдавать правдоподобные, но неверные ответы, а также отражать предвзятость обучающих данных. Специальное обучение безопасности и независимая оценка не проводились; для медицинских, юридических, финансовых и других ответственных решений модель не предназначена. Лицензия — Apache-2.0.

NightyGurps-14b-v1.1-GGUF — это квантизированная версия текстовой генеративной модели NightyGurps-14b-v1.1, разработанной AlexBefest и подготовленной в формате GGUF пользователем bartowski. Квантизация выполнена с помощью llama.cpp b3787 и метода imatrix. Модель предназначена для генерации текста и поддерживает русский язык. Модель имеет размер 14 миллиардов параметров и рассчитана на локальный запуск через совместимые инструменты, включая llama.cpp и LM Studio. В репозитории представлены варианты от F16 до низкобитных IQ и Q-квантизаций с размером файлов примерно от 6,4 до 29,6 ГБ. Более высокие уровни квантизации обеспечивают лучшее качество при большем потреблении памяти, а низкие подходят для систем с ограниченным объёмом RAM, но могут заметно снижать качество ответов. Для работы рекомендуется использовать указанный в README формат prompt с ролями system, user и assistant. Архитектура исходной модели, максимальная длина контекста, точная поддержка языков кроме русского, мультимодальные возможности и результаты benchmark в README не указаны. Модель распространяется по лицензии Apache-2.0.

Ninja-v1-128k — модель генерации текста на базе Mistral-7B-v0.1, созданная Local-Novel-LLM-project. Веса получены слиянием нескольких моделей, включая WizardLM2, Yarn-Mistral-7b-128k, Antler-7B и chatntq-ja-7b-v1.0, с применением LoRA для усиления доменных и языковых характеристик и расширением контекста. В карточке указано окно контекста 128k токенов; метаданные указывают нативную длину контекста 32 768 токенов. Модель предназначена для многоходового диалога и генерации на японском и английском языках, включая написание художественных текстов и продолжение длинных бесед с сохранением контекста. Она использует формат инструкций Vicuna. Репозиторий содержит веса safetensors для Transformers; для расширения контекста README требует trust_remote_code, а для длинных запросов отмечает высокий расход памяти. Лицензия — Apache-2.0. Разработчики предупреждают о возможной предвзятости обучающих данных. Заявленная в README длина контекста 128k расходится с метаданными каталога, где указано 32 768 токенов; фактические возможности зависят от используемой конфигурации контекстного расширения.

HoangQuocViet25/nlp-btl-xlsum-x5 — модель суммаризации на базе VietAI/vit5-base, дообученная на датасете XLSum. Она предназначена для создания кратких пересказов текстов на вьетнамском языке. Модель построена на архитектуре T5 и содержит 126,8 млн параметров; максимальная длина контекста — 512 токенов. Модель принимает текст и генерирует текстовое резюме. Лицензия MIT разрешает её использование на условиях этой лицензии. В метаданных указаны формат safetensors и поддержка вьетнамского языка.

NorMistral-7b-warm-instruct — инструкционно дообученная языковая модель, разработанная командой NorwAI/норвежского проекта NorMistral. Она предназначена для диалогового взаимодействия, генерации текста, ответов на вопросы, следования инструкциям и задач программирования преимущественно на норвежских языках. Модель основана на NorMistral-7b-warm и содержит около 7 миллиардов параметров. Это текстовая авторегрессионная модель семейства Mistral с поддержкой Bokmål и Nynorsk; в карточке также заявлен норвежский язык. Дообучение выполнено на открытых наборах данных Aya, OASST, OIG, No Robots, Dolly и Glaive code assistant. Контекстное окно при дообучении составляет 4096 токенов, что вдвое больше, чем у базовой модели. Для диалогов используется ChatML-подобный шаблон. Сильными сторонами модели являются специализация на норвежском языке, открытость для коммерческого применения и поддержка многоходовых диалогов. При этом выпущенные веса обозначены как рабочая версия, модель прошла только этап supervised fine-tuning без оптимизации предпочтений, а качество и поведение могут измениться в будущих версиях. Для использования рекомендуется корректно применять шаблон чата и параметры генерации, указанные авторами. Модель распространяется по лицензии Apache-2.0.

Nous Hermes 2 Llama-2 70B — языковая модель для диалоговой генерации текста, разработанная Nous Research и дообученная на наборе Hermes 2. Для обучения использовали более миллиона примеров, преимущественно созданных GPT-4, а также данные из открытых наборов. Модель основана на плотной архитектуре Llama и содержит 68,7 млрд параметров. Модель предназначена для многоходового общения и выполнения инструкций. Она использует формат запросов ChatML с ролями и специальными маркерами ходов; карточка также отмечает совместимость этого формата с интерфейсами OpenAI API. Контекст составляет 4096 токенов. Указанный язык — английский. Модель принимает текстовые запросы и генерирует текстовые ответы. Карточка приводит пример использования через Transformers и отмечает высокие требования к видеопамяти: даже в 4-битном режиме требуется более 24 ГБ VRAM. Лицензия — Apache-2.0.

QuantFactory/Nous-Hermes-2-Mistral-7B-DPO-GGUF — квантизированная версия модели Nous-Hermes-2-Mistral-7B-DPO, разработанной NousResearch. Модель предназначена для генерации текста и выполнения инструкций на английском языке, включая сценарии локального запуска и диалогового применения. Она создана с использованием llama.cpp и распространяется в формате GGUF. В основе лежит Mistral с 7 миллиардами параметров, дообученная с применением DPO; в описании также упоминаются RLHF и синтетические данные. Доступны варианты квантизации IQ3_S, Q2_K, Q3_K_L, Q3_K_M, Q3_K_S, Q4_0, Q4_K_M, Q4_K_S, Q5_0, Q5_K_M, Q5_K_S, Q6_K и Q8_0, что позволяет выбирать баланс между размером файла, требованиями к памяти и качеством генерации. Сильной стороной модели является возможность запуска через llama.cpp с выбором подходящего уровня квантизации. README не содержит результатов тестирования, сведений о контекстном окне, поддерживаемых модальностях кроме текста, а также подробного описания ограничений качества, поэтому производительность в конкретных задачах требует самостоятельной проверки. Лицензия — Apache 2.0.

OpenSourceEnjoyer опубликовал вариант Nous-Hermes-2-Mistral-7B-DPO, дообученный с помощью Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогового общения. Модель принимает текст и генерирует текст; в метаданных указаны английский язык и контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0. Карточка не приводит подробностей о данных обучения или результатах оценки, поэтому качество ответов и устойчивость к ошибочным или неоднозначным запросам по ней определить нельзя.

Nous-Hermes-2-Mixtral-8x7B-SFT-Alpaca-GGUF — это набор файлов модели в формате GGUF, подготовленный и квантованный MaziyarPanahi на основе Nous-Hermes-2-Mixtral-8x7B-SFT-Alpaca. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. В основе используется архитектура Mixtral 8x7B с дообучением в формате SFT и данными Alpaca. Доступны варианты квантования с разрядностью от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. Модель работает с текстом; сведения о поддерживаемых языках и размере контекста в README не указаны. К сильным сторонам относятся широкий выбор уровней квантования и совместимость с llama.cpp, text-generation-webui, LM Studio, GPT4All, KoboldCpp, llama-cpp-python и другими инструментами для локального инференса. Ограничения связаны с потерями качества, возможными при низкоразрядном квантовании, а также с отсутствием в README подробных данных о производительности, языковом покрытии и контексте. Указанная лицензия — Apache-2.0.

NousResearch_Hermes-4-14B-GGUF — набор квантованных версий языковой модели Hermes-4-14B, разработанной NousResearch и преобразованной в формат GGUF пользователем bartowski с помощью llama.cpp. Модель предназначена для генерации текста и локального запуска через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от исходных весов BF16 размером около 29,54 ГБ до квантований Q2 и IQ3 размером примерно 6,38–15,70 ГБ. В README рекомендуются варианты Q4–Q6 как компромисс между качеством и требованиями к памяти; версии с более низкой разрядностью подходят для систем с ограниченным объёмом RAM, но могут заметно уступать по качеству. Для модели доступны только текстовые сценарии, сведения о поддерживаемых языках, длине контекста, архитектурных деталях и формате промптов в этом README не указаны. Основные преимущества — широкий выбор размеров файлов, возможность локального запуска и применение imatrix-калибровки при квантовании. Ограничения связаны с потерями качества в низкоразрядных вариантах, зависимостью от совместимого ПО и отсутствием в предоставленных данных информации о лицензии оригинальной модели и квантованных файлов.

Это GGUF-квантизированная версия языковой модели Hermes-4-405B, разработанной NousResearch и подготовленной пользователем bartowski. Модель предназначена для генерации текста и может запускаться локально через llama.cpp, LM Studio и другие совместимые проекты на его основе. В основе лежит модель размером 405 млрд параметров; README не содержит подробностей об архитектуре, поддерживаемых языках, модальностях и размере контекстного окна. Доступны варианты квантизации от Q8_0 до Q2_K и IQ2/IQ3/IQ4, рассчитанные на компромисс между качеством, требованиями к памяти и скоростью инференса. Для квантизации использовался llama.cpp с imatrix и калибровочными наборами данных. Наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и Q4_K_M, однако даже компактные варианты требуют значительного объёма памяти. Сильной стороной являются высокое качество старших вариантов квантизации и возможность локального запуска в экосистеме llama.cpp. Ограничения — очень крупный размер файлов, снижение качества у низкобитных вариантов и отсутствие указанного формата промпта: README рекомендует уточнять его на странице исходной модели. Лицензия в предоставленных данных не указана.

Это GGUF-квантизация инструкционной модели Llama-3.1-8B-UltraLong-2M-Instruct, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая запуск локально через llama.cpp, LM Studio и другие совместимые проекты. По названию и идентификатору она относится к семейству UltraLong с контекстом до 2M токенов, однако подробные характеристики исходной архитектуры в предоставленном README не указаны. Доступны варианты от исходных весов BF16 до квантизаций Q8_0, Q6, Q5, Q4, Q3 и IQ4 с размером файлов примерно от 4,3 до 16,1 ГБ. Это позволяет выбирать между качеством генерации и требованиями к памяти; в README наиболее рекомендуемыми названы некоторые варианты Q6, Q5 и Q4. Указан английский язык, поддержка других языков не заявлена. Модель работает только с текстом, поскольку модальности изображений или аудио не описаны. К сильным сторонам относятся широкий выбор квантизаций, возможность локального запуска и сохранение высокого качества в старших вариантах. Более сильное сжатие уменьшает требования к оперативной памяти, но может снижать качество. Для корректной работы рекомендуется использовать шаблон запросов Llama 3.1, приведённый в README. Лицензия модели — CC BY-NC 4.0, допускающая использование с ограничениями, включая некоммерческий характер лицензии.

Это GGUF-квантизированная версия языковой модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Модель имеет около 8 миллиардов параметров и поддерживает текстовую модальность. В README указан английский язык, а контекстное окно и дополнительные архитектурные характеристики не приведены. Доступны варианты от BF16 до различных уровней квантования GGUF: более крупные варианты обеспечивают более высокое качество, а компактные Q4 и Q3 подходят для систем с ограниченным объёмом памяти. Для работы рекомендуется использовать указанный формат prompt с шаблоном Llama 3. Сильной стороной модели является широкий выбор квантований, позволяющий адаптировать размер и качество под доступное оборудование; для большинства сценариев рекомендуются варианты Q4–Q6. Ограничения включают возможное снижение качества при низких уровнях квантования, отсутствие сведений о мультиязычности и контекстном окне, а также необходимость совместимого локального ПО и достаточного объёма памяти. Модель распространяется по NVIDIA Open Model License; ссылка на лицензию указана в карточке.