I.5Создание и редактирование текста

Llama-3.1-8B-TitanFusion-Test — объединённая языковая модель семейства Llama, созданная с помощью mergekit методом TIES на основе meta-llama/Llama-3.1-8B. В слияние вошли несколько моделей на базе Llama 3.1, включая варианты для диалогов, ролевого общения и математических задач. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; нативная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста и может применяться для диалогов, ответов на вопросы, ролевого общения и решения математических задач. Репозиторий указывает библиотеку Transformers. Лицензия в предоставленных данных не указана.

Llama-3.1-8B-Ultra-Instruct-GGUF — это квантизированное представление инструкционной языковой модели Llama-3.1-8B-Ultra-Instruct, разработанное Dampfinchen и опубликованное в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и работы с инструкциями; её можно запускать локально через llama.cpp и LM Studio. В README также указано, что исходная модель является merge-моделью, собранной с использованием mergekit. Модель содержит 8 миллиардов параметров и работает в текстовой модальности. Для неё доступны варианты от F16 размером 16,07 ГБ до квантизаций Q4, Q5, Q6 и Q8 размером примерно от 4,92 до 8,54 ГБ. Квантизация выполнена с использованием imatrix; варианты Q6_K и Q6_K_L отмечены как близкие к исходному качеству, а Q4_K_M рекомендован как компромисс между размером и качеством. В README приведён специальный формат промпта Llama 3.1. Языки и размер контекстного окна не указаны. Сильная сторона модели — возможность локального запуска на менее мощном оборудовании благодаря нескольким уровням квантизации при сохранении высокого качества. На Open LLM Leaderboard для исходной модели указаны результаты: 80,81% на IFEval, 32,49% на BBH, 14,95% на MATH Level 5, 5,59% на GPQA, 8,61% на MuSR и 31,4% на MMLU-PRO; эти показатели зависят от методики оценки и не гарантируют аналогичные результаты конкретного квантизированного файла. Лицензия указана как llama3.

naturalseeker/Llama3.1_8I_ARC — дообученная naturalseeker диалоговая модель на архитектуре Llama 3.1 с 7,5 млрд параметров. Она создана на основе unsloth/Meta-Llama-3.1-8B-Instruct и обучалась с использованием Unsloth и Hugging Face TRL. Модель предназначена для диалогов и генерации текста; доступен интерфейс вызова инструментов. Она принимает текст и выдаёт текст, поддерживает английский язык и контекст до 131 072 токенов. Веса опубликованы в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает специальную предметную область или отдельные возможности дообучения, поэтому качество для конкретных задач следует оценивать на подходящих примерах.

DeepMount00/Llama-3.1-Distilled — дообученная языковая модель, разработчик — Michele Montebovi. Она построена на базе meta-llama/Meta-Llama-3-8B и предназначена для генерации текста в диалоговом формате. Модель использует плотную архитектуру LlamaForCausalLM и содержит 7,5 млрд параметров. Заявленная длина контекста — 131 072 токена. В метаданных указаны английский и итальянский языки; библиотека — Transformers, веса представлены в формате safetensors. Лицензия — Llama 3.

DavidAU/Llama3.1-MOE-4X8B-Gated-IQ-Multi-Tier-Deep-Reasoning-32B-GGUF — текстовая instruct-модель, разработанная DavidAU на базе Llama 3.1 и объединяющая четыре 8B-модели в конфигурации Mixture of Experts. В состав входят Llama-3.1-DeepHermes-3-8B-Preview для рассуждений, а также Llama-3.1-Hermes-3-8B, Llama-3.1-dolphin-2.9.4-8b и Llama-3.1-SuperNova-Lite для генерации и дополнительной обработки. Заявленный общий размер — 32B параметров, при этом модель описывается как имеющая около 25B весов. Распространяется в формате GGUF и рассчитана на контекст до 128K токенов. Модель предназначена для текстовой генерации, глубокого рассуждения, решения задач, творческого письма, сторителлинга, ролевых сценариев и работы с инструментами. Поддерживает управление режимом рассуждений через системные промпты, включая включение, отключение и многоуровневое рассуждение, а также совместима с вызовами инструментов благодаря встроенному Llama 3.1 Instruct. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского и ряда других языков. Сильными сторонами являются сочетание нескольких экспертных моделей, возможность управлять режимом рассуждений и универсальность сценариев применения. README рекомендует шаблон Llama 3 Instruct, контекст не менее 4K–8K токенов и более крупные квантизации для лучшего качества. К ограничениям относятся возможная нестабильность активации блока рассуждений, необходимость повторной генерации и зависимость качества от промпта, температуры и выбранной квантизации; заявленные улучшения производительности не подтверждены независимыми бенчмарками. Лицензия — Apache-2.0.

Llama-3.1-Nemotron-70B-Instruct-GGUF — квантованная версия инструкционной модели Llama 3.1 Nemotron 70B, разработанной NVIDIA и опубликованной в формате GGUF сообществом Backyard AI. Модель основана на nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и предназначена для локального текстового общения, генерации текста и решения задач, требующих рассуждений. Модель содержит около 70,6 млрд параметров, поддерживает текстовую модальность и английский язык. Заявленный размер контекста составляет до 131 072 токенов. Формат GGUF совместим с приложениями на базе llama.cpp и позволяет распределять вычисления между CPU и GPU, снижая требования к видеопамяти по сравнению с полноразмерными форматами. Квантование уменьшает потребление ресурсов, но при низкой точности квантования может ухудшать связность и качество ответов. Сильными сторонами модели заявлены улучшенные способности к рассуждению и потенциальное превосходство над значительно более крупными моделями в соответствующих задачах. Ограничениями являются высокая вычислительная требовательность 70-миллиардной модели, зависимость качества от используемого уровня квантования и отсутствие заявленной поддержки языков, кроме английского. Модель распространяется по лицензии Llama 3.1.

VAGO solutions Llama-3.1-SauerkrautLM-70b-Instruct — плотная языковая модель семейства Llama 3.1 с 69,5 млрд параметров, созданная VAGO solutions дообучением Meta-Llama-3.1-70B-Instruct. Для Spectrum Fine-Tuning обучали 15% слоёв на немецко-английском наборе Sauerkraut Mix v2; авторы сообщают об улучшениях за счёт межъязыкового переноса также для арабского, итальянского, французского, испанского, нидерландского и португальского языков. Модель предназначена для диалогов и генерации текста на этих языках, включая задачи с длинным контекстом до 131 072 токенов и сценарии с интерфейсом вызова инструментов. В карточке заявлено улучшение многоязычных навыков и приведены названия наборов для оценки, включая MMLU-Multilingual, но численные результаты не указаны. Репозиторий содержит веса в формате Safetensors. Лицензия — llama3.1. Авторы предупреждают, что модель может выдавать неподходящий или некорректный контент; результаты бенчмарков и стабильность поведения следует проверять для конкретных задач.

Llama-3.1-Storm-8B — диалоговая языковая модель с 7,5 млрд параметров, разработанная Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Это плотная архитектура Llama, дообученная на базе Llama-3.1-8B-Instruct с выборочной настройкой слоёв и объединённая методом SLERP с Llama-Spark. В карточке описан чекпойнт в формате safetensors для запуска через Transformers и vLLM. Модель предназначена для диалога, следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Авторы сообщают об улучшениях относительно Llama-3.1-8B-Instruct на ряде бенчмарков, включая IFEval, GPQA, MMLU-Pro, TruthfulQA и BFCL. Контекст — до 131 072 токенов; заявленный язык карточки — английский. Модель принимает текст и генерирует текст, включая ответы в сценариях вызова функций. Авторы отмечают, что отдельное выравнивание поведения не проводилось, поэтому унаследованные от базовой модели свойства выравнивания могут быть неполными. Лицензия — Llama 3.1; применяются её условия использования.

Llama-3.1-SuperNova-Lite — плотная авторегрессионная языковая модель примерно на 7,5 млрд параметров, разработанная Arcee.ai на основе Llama 3.1 8B Instruct. Это чат-модель, дообученная с использованием дистилляции по офлайн-логитам Llama 3.1 405B Instruct и набора инструкций EvolKit-20k. Она предназначена для диалогов, следования инструкциям и широкого круга текстовых задач, когда нужна компактная альтернатива более крупным моделям. Заявленная длина контекста — 131 072 токена; модель рассчитана на английский язык и использует библиотеку Transformers с весами Safetensors. В карточке отмечены высокие результаты следования инструкциям и применение в различных сценариях, однако приведённые оценки охватывают лишь часть возможностей и не гарантируют качество для конкретной задачи. Лицензия — Llama 3.1 Community License (llama3).

Llama3.1-SuperNovaLite-HuatuoSkywork-o1-8B — языковая модель для генерации текста, созданная методом слияния SLERP с помощью mergekit. В неё объединены grimjim/HuatuoSkywork-o1-Llama-3.1-8B и arcee-ai/Llama-3.1-SuperNova-Lite; архитектура — плотная LlamaForCausalLM семейства Llama. Модель содержит 7,5 млрд параметров, работает через Transformers и распространяется в формате Safetensors. Модель предназначена для диалогов и генерации текста по запросу; каталог также отмечает интерфейс вызова инструментов. Контекст модели составляет до 131 072 токенов. Базовая SuperNova Lite описана как англоязычная чат-модель на базе Llama 3.1 8B Instruct; языковые возможности итогового слияния отдельно не уточняются. Лицензия — Llama 3.1.

Llama 3.1 Tulu 2 DPO 8B — англоязычная диалоговая модель-помощник, разработанная Ai2 и дообученная на базе allenai/llama-3.1-tulu-2-8b. Это плотная авторегрессионная модель семейства Llama с 7,5 млрд параметров и контекстом до 131 072 токенов. Веса опубликованы в формате safetensors. Модель предназначена для диалогов и выполнения разнообразных инструкций: она прошла дополнительное выравнивание методом DPO на данных UltraFeedback после дообучения на смеси открытых, синтетических и созданных людьми данных Tulu. Её можно применять для ответов на вопросы, написания текстов и решения задач по инструкциям на английском языке. Модель не проходила этап RLHF, ориентированный на безопасные ответы, и не использует фильтрацию ответов; при соответствующих запросах она может выдавать проблемный контент. Лицензия репозитория — Apache 2.0; в карточке также указана лицензия Meta Llama 3.1 Community License для базовой модели.

LLaMa-3.1-Zeroed-30-70-13B — объединённая языковая модель семейства Llama, созданная сообществом mergekit-community методом линейного слияния двух моделей: LLaMa-3.1-Zeroed-13B с весом 0,3 и LLaMa-3.1-Instruct-Zeroed-13B с весом 0,7. Модель содержит 12,5 млрд параметров, использует архитектуру LlamaForCausalLM и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогов по инструкциям; в метаданных также указана поддержка интерфейса вызова инструментов. Контекст составляет до 131 072 токенов. README не приводит дополнительных сведений о языках, качестве на конкретных задачах или условиях лицензии, поэтому их нельзя уточнить по предоставленным данным.

LLaMa-3.1-Zeroed-70-30-13B — объединённая модель семейства Llama, созданная сообществом mergekit-community с помощью mergekit. В линейном слиянии объединены LLaMa-3.1-Zeroed-13B с весом 0,7 и LLaMa-3.1-Instruct-Zeroed-13B с весом 0,3. Модель содержит 12,5 млрд параметров, работает через Transformers и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов по запросам и инструкциям. Она принимает текст и поддерживает контекст до 131 072 токенов; метаданные также указывают интерфейс вызова инструментов. Карточка не описывает отдельные специализированные области применения или языки. Лицензия в предоставленных данных не указана. Практическое качество, ограничения по языкам и надёжность вызова инструментов README не характеризует.

NousResearch/Llama-3.2-1B — текстовая языковая модель семейства Llama 3.2, разработанная Meta и опубликованная NousResearch. Это авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и распространяется в формате Safetensors через Transformers. Модель предназначена для генерации текста и может служить основой для диалоговых помощников, поиска знаний и суммаризации, а также для мобильных приложений и систем с ограниченными ресурсами. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README также указывает на поддержку генерации кода. Компактный размер и длинный контекст позволяют использовать модель в ресурсоограниченных средах. Как небольшая модель, она может уступать более крупным моделям в качестве ответов и безопасности; для конкретного применения рекомендуется оценивать результаты и предусматривать защитные меры. Использование регулируется лицензией Llama 3.2 Community License — специальным соглашением, допускающим коммерческое и исследовательское применение при соблюдении условий лицензии и Acceptable Use Policy.

Fu01978 разработал Llama-3.2-1B-4B-Quad-MoE — языковую модель с разреженной архитектурой Mixture of Experts для генерации текста и диалогов. В состав объединённой модели входят четыре эксперта на базе моделей Llama 3.2: инструктивная модель общего назначения, базовая модель для творческого текста, специалист по коду и специалист по математике. Метаданные указывают архитектуру MixtralForCausalLM и библиотеку Transformers. В README заявлены 3,65 млрд параметров всего и 1,24 млрд активных параметров на токен; метаданные каталога указывают 1,2 млрд параметров. Заявленная длина контекста — 131 072 токена, основной язык карточки — английский. Модель подходит для диалогов, написания текста, помощи с кодом и математических рассуждений. Доступна в формате Safetensors и распространяется по лицензии Llama 3.2.

Positron AI публикует неизменённую копию Llama-3.2-1B-Instruct от Meta: веса, токенизатор и конфигурация побайтно совпадают с указанным upstream-снимком. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров, предназначенная для диалогов и генерации текста; заявленное контекстное окно — 131 072 токена. Метаданные указывают поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, а также интерфейс для вызова инструментов. Модель подходит для ответов на вопросы, суммаризации, помощи в написании текста и других задач генерации текста. Репозиторий содержит веса в формате SafeTensors и распространяется по лицензии Llama 3.2. README сообщает, что это неизменённая перепубликация исходной модели, а не отдельное дообучение; при этом метаданные классифицируют связь с базовой моделью как finetune, поэтому происхождение указано по метаданным. Подробные оценки и ограничения в карточке этой копии не приведены.

Это дообученная модель диалогового семейства Llama 3.2 от Meta, созданная на основе meta-llama/Llama-3.2-1B-Instruct. Модель содержит 1,2 млрд параметров, использует плотную архитектуру LlamaForCausalLM и предназначена для генерации текста в формате диалога. Она принимает текстовые запросы и выдаёт текстовые ответы; заявленная длина контекста — до 131 072 токенов. Модель можно применять для диалоговых ответов, поиска сведений, суммаризации и помощи в написании текста — эти сценарии унаследованы от базовой модели. Данные дообучения и его конкретная цель в карточке не раскрыты, поэтому специализированные преимущества этой версии определить нельзя. Репозиторий использует Transformers и формат safetensors. Лицензия — Llama 3.2; применение должно соответствовать её условиям.

unsloth/Llama-3.2-1B-unsloth-bnb-4bit — 4-битная динамически квантованная версия языковой модели Meta Llama 3.2 1B, подготовленная Unsloth на базе meta-llama/Llama-3.2-1B. Модель предназначена для генерации и обработки текста, диалоговых сценариев, суммаризации и задач агентного поиска; формат также ориентирован на эффективное дообучение с меньшими требованиями к памяти и последующий экспорт в GGUF или vLLM. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA), содержит около 1 млрд параметров и работает по схеме «текст на входе — текст на выходе». В README официально указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Динамическая 4-битная квантизация Unsloth выборочно сохраняет отдельные параметры в более высокой точности, что должно обеспечивать лучший баланс качества и экономии памяти по сравнению со стандартной 4-битной квантизацией. К сильным сторонам относятся компактный размер, сниженные требования к памяти и удобство дообучения. Ограничения — отсутствие визуальной модальности, статичность обучающих данных и потенциальное снижение качества из-за квантизации; заявленный размер контекста в предоставленном README не указан. Модель распространяется по Llama 3.2 Community License; применяются также условия Acceptable Use Policy.

alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

unsloth/Llama-3.2-3B — версия текстовой модели Meta Llama 3.2, представленная в репозитории Unsloth для использования и дообучения. Это плотная авторегрессионная трансформерная модель класса LlamaForCausalLM с 3,2 млрд параметров и контекстом до 131 072 токенов. README описывает семейство Llama 3.2 как модели для генерации текста и диалога; Unsloth предоставляет ноутбуки для настройки модели на собственных данных и экспорта результата. Модель подходит для генерации и продолжения текста, диалоговых сценариев, суммаризации и помощников с ограниченными вычислительными ресурсами. Семейство официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; конкретная карточка также помечена языком en. Репозиторий использует формат safetensors и библиотеку Transformers. Модель основана на meta-llama/Llama-3.2-3B и распространяется по лицензии Llama 3.2 Community License — специальной лицензии Meta с коммерческими условиями. Качество генерации, фактическая точность и пригодность для конкретного языка или применения зависят от запроса и развертывания; заявленные в README преимущества скорости и экономии памяти относятся к настройке через Unsloth.

Карточка модели 1024m/Llama-3.2-3B-Base на Hugging Face совпадает с карточкой alpindale/Llama-3.2-3B, поэтому описание составлено по ней. alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

Это языковая модель семейства Llama 3.2 с 3,2 млрд параметров, дообученная jeehun на базе unsloth/llama-3.2-3b-instruct-bnb-4bit. Модель предназначена для генерации текста и диалоговых сценариев; в карточке также отмечен интерфейс для вызова инструментов. Для обучения использовались Unsloth и библиотека Hugging Face TRL. Модель принимает текст и генерирует текст. Метаданные указывают поддержку английского языка и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Карточка модели IntervitensInc/Llama-3.2-3B-chatml на Hugging Face совпадает с карточкой alpindale/Llama-3.2-3B, поэтому описание составлено по ней. alpindale/Llama-3.2-3B — текстовая модель семейства Llama 3.2, разработанного Meta. Это авторегрессионная плотная трансформерная модель с 3,2 млрд параметров и архитектурой LlamaForCausalLM; репозиторий содержит веса Safetensors для Transformers. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и рассчитана на многоязычную генерацию. Модель подходит для диалогового помощника, суммаризации, поиска знаний и приложений с агентными сценариями, а также для мобильных помощников по написанию текста и переформулирования запросов. В README описаны применение и возможности семейства Llama 3.2; отдельное дообучение alpindale/Llama-3.2-3B не подтверждено, поэтому характеристики поведения конкретного чекпойнта могут отличаться от описания семейства. Заявленные языки поддержки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Лицензия llama3.2 — пользовательская лицензия сообщества Meta с собственными условиями коммерческого использования и политикой допустимого использования. Модель обучена на статическом офлайн-наборе данных; как компактная модель, она может уступать более крупным системам по качеству и требует проверки безопасности и пригодности для конкретного применения.

bunnycore/Llama-3.2-3B-Creative — объединённая языковая модель, созданная с помощью mergekit методом passthrough на основе bunnycore/Llama-3.2-3B-All-Mix и bunnycore/llama-3.2-3b-story-lora_model. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 3,2 млрд параметров; файлы представлены в формате safetensors, базовая точность — bfloat16. Модель предназначена для генерации текста и диалоговых, ролевых и творческих сценариев; контекст составляет до 131 072 токенов. Карточка также указывает интерфейс вызова инструментов. Модель может применяться для написания историй и ролевых диалогов, ответов на вопросы и суммаризации. Метаданные описывают базовую объединённую модель как способную к развёрнутым рассуждениям, но отдельные оценки качества для этой версии не приведены. Лицензия в предоставленных данных не указана.

bunnycore/Llama-3.2-3B-Deep-Test — объединённая языковая модель разработчика bunnycore, созданная из четырёх моделей семейства Llama с помощью mergekit и метода DARE TIES. В качестве базовой использована bunnycore/Llama-3.2-3B-RP-DeepThink; в объединение также вошли bunnycore/Llama-3.2-3B-All-Mix, bunnycore/Smol-Llama-3.2-3B и prithivMLmods/Llama-Deepsync-3B. Модель с архитектурой LlamaForCausalLM содержит 3,2 млрд параметров, принимает текст и генерирует текст. Заявленная длина контекста — 131 072 токена. Подходит для диалогов, ролевых сценариев, развёрнутых рассуждений, ответов на вопросы и суммаризации. Модель распространяется в формате safetensors для Transformers; условия лицензии в предоставленных данных не приведены.

MLX-квантованная версия Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на основе модели Meta. Это языковая модель для генерации текста и выполнения инструкций, подходящая для диалоговых систем, ответов на вопросы, создания и преобразования текста и других задач обработки естественного языка. Модель имеет размер 3 миллиарда параметров и представлена в 8-битном формате, что ориентировано на более эффективный запуск по сравнению с полноразмерной версией. Указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель текстовая; сведения о размере контекста и дополнительных модальностях в README не приведены. К сильным сторонам относятся компактный размер, instruction-tuning и возможность использования в экосистеме MLX. Ограничения включают отсутствие заявленных характеристик контекстного окна и результатов бенчмарков, а также возможные ошибки, неточности и ограничения качества при работе с языками и сценариями вне заявленного набора. Модель распространяется по Llama 3.2 Community License от Meta; при использовании и распространении действуют требования лицензии, включая соблюдение Acceptable Use Policy, указание «Built with Llama» и сохранение уведомления об атрибуции.

RedHatAI/Llama-3.2-3B-Instruct-FP8 — языковая модель для генерации текста и ассистентского диалога, разработанная Neural Magic на базе Meta Llama-3.2-3B-Instruct. Модель принимает текст и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Она предназначена для исследовательского и коммерческого использования в многоязычных чат- и текстовых приложениях. Модель содержит около 3 миллиардов параметров и использует архитектуру Llama-3. Для весов и активаций применена FP8-квантизация линейных операторов в трансформерных блоках: веса квантизированы по каналам, активации — по всему тензору. Это примерно вдвое снижает требования к памяти GPU и размер диска, а также может примерно вдвое повысить пропускную способность матричных операций. В README указана длина контекста до 8192 токенов для развертывания через vLLM. Сильной стороной модели является близкая к неквантизированной версии точность: на перечисленных бенчмарках заявлено восстановление результатов в пределах 0,7%. FP8-формат делает модель более удобной для эффективного инференса, в частности с использованием vLLM и OpenAI-совместимой серверной подачи. Ограничения включают меньший размер и потенциально более низкие возможности по сравнению с крупными моделями Llama, а также зависимость качества от языкового сценария и квантизации; сведения о специализированных ограничениях безопасности в README не приведены. Модель распространяется по лицензии Llama3.2.

lahirum/Llama-3.2-3B-Instruct-Q4_0-GGUF — квантованная версия инструкционной языковой модели Llama 3.2 с примерно 3 млрд параметров, представленная пользователем lahirum и основанная на модели Meta. Формат GGUF и квантизация Q4_0 предназначены для запуска через совместимые инструменты, включая llama.cpp, с уменьшенными требованиями к памяти по сравнению с полноразмерными весами. Модель относится к задачам генерации текста и диалогового взаимодействия по инструкциям. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель может применяться для локальных чат-ботов, ответов на вопросы, подготовки и преобразования текста и других сценариев, где требуется компактная инструкционная LLM. Ключевыми преимуществами являются небольшой размер, возможность локального использования и более низкое потребление ресурсов благодаря Q4_0; ограничениями — возможное снижение точности из-за квантизации и меньшая производительность и полнота ответов по сравнению с более крупными моделями. Размер контекстного окна и другие параметры архитектуры в представленном README не указаны. Модель распространяется по лицензии Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama» и сохранение атрибуции Meta; также необходимо соблюдать Acceptable Use Policy. Для организаций с более чем 700 млн ежемесячно активных пользователей предусмотрено отдельное лицензионное требование.

Hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF — квантованная версия инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta и представленной в формате GGUF для использования с llama.cpp и совместимыми средствами инференса. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на локальном или ограниченном по ресурсам оборудовании. Модель содержит около 3 миллиардов параметров и использует 8-битное квантование Q8_0, что снижает требования к памяти по сравнению с полноразмерными весами при сохранении близкого к исходной модели качества. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модальность — текстовая; размер контекста в README не указан. К сильным сторонам относятся инструкционная настройка, относительно небольшой размер, широкая заявленная языковая поддержка и удобный для локального запуска формат GGUF. Ограничения включают возможную потерю качества из-за квантования, меньшие возможности по сравнению с более крупными моделями и отсутствие информации о конкретных показателях производительности и максимальном контексте. Модель распространяется по Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая указание «Built with Llama», сохранение лицензионного уведомления и Acceptable Use Policy; для продуктов с более чем 700 миллионами месячных активных пользователей предусмотрены дополнительные условия.

NaniDAO/Llama-3.3-70B-Instruct-ablated — диалоговая модель NaniDAO на архитектуре Llama 3.3, полученная дообучением Meta-Llama-3.3-70B-Instruct с применением техники абляции. Модель предназначена для следования инструкциям и генерации ответов в чате; авторы заявляют, что она реже отказывает на допустимые запросы и рассчитана на более свободное взаимодействие. Модель содержит 69,5 млрд параметров, принимает и генерирует текст, работает с контекстом до 131 072 токенов. В метаданных заявлена поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Доступна в формате safetensors для библиотеки Transformers; лицензия — llama3. Она подходит для диалоговых ассистентов и генерации текста, но заявленное снижение числа отказов требует ответственного применения и не гарантирует точность или безопасность ответов.