II.6Документация и сопровождение разработки

TheTravellingEngineer/llama2-7b-chat-hf-v2 — чат-модель на базе Meta Llama 2 7B, дообученная методом supervised fine-tuning (SFT) на датасете Alpaca. Она использует формат prompt, похожий на Guanaco, и предназначена для генерации ответов и диалогового взаимодействия на английском языке. Модель содержит около 6,6 млрд параметров, построена на плотной архитектуре LlamaForCausalLM и принимает контекст длиной до 4096 токенов. Репозиторий содержит объединённую модель в формате fp16 и safetensors. Лицензия — Llama 2; применяются ограничения на использование исходной модели Meta. Авторы не предоставляют гарантий.

TheBloke/Llama-2-7B-fp16 — текстовая авторегрессионная модель семейства Llama 2, подготовленная TheBloke в формате Transformers/PyTorch на основе весов Meta. Она предназначена для генерации продолжений по текстовому запросу и может использоваться для создания черновиков, ответов и диалогового текста. Модель содержит около 6,6 млрд параметров и имеет контекстное окно 4096 токенов. Это базовая, не специализированная на чате версия: её назначение — генерация текста общего назначения. В карточке репозитория указана лицензия Llama 2 Community License от Meta; перед использованием следует соблюдать её условия. Поддерживаются вход и выход в текстовом виде; подтверждений поддержки других модальностей нет.

RicardoLee разработал эту модель как экспериментальное дообучение Llama2-chat-7B на китайских и англоязычных инструкциях, данных для ревью и исправления Python-кода и примерах логических вопросов и ответов. Цель проекта — изучить, как обучение на коде влияет на диалоговые способности и рассуждения модели. Использован LoRA rank 8 с настройкой embedding и LM Head; адаптер объединён с базовой моделью, поэтому репозиторий содержит готовую к использованию модель на 6,7 млрд параметров. Модель предназначена для генерации ответов в формате диалога, ревью и исправления Python-кода, комментирования и суммаризации кода, а также ответов на логические вопросы. Для вывода следует применять шаблон Stanford Alpaca с начальным приветствием. Контекст составляет 2048 токенов; архитектура — плотная Llama causal language model. В карточке не указана лицензия, поэтому условия распространения и использования следует уточнять по лицензии базовой модели и репозитория.

Llama-3-11.5B — плотная авторегрессионная языковая модель семейства Llama, опубликованная beratcmn. Она собрана методом passthrough с помощью LazyMergekit из двух диапазонов слоёв одной и той же Meta-Llama-3-8B; в метаданных указано около 11 млрд параметров. Модель предназначена для генерации текста, а карточка также указывает обученную на её основе версию beratcmn/Llama-3-11.5B-v0.1. Модель принимает текст и выдаёт текст. Указанная длина контекста — 8192 токена. Базовая Meta-Llama-3-8B описана как модель для английского текста и кода, но отдельные языковые возможности производной модели в карточке не уточняются. Файлы модели представлены в формате safetensors. Для использования применяются условия лицензии базовой Meta-Llama-3-8B; сведения о лицензии в предоставленных данных отсутствуют.

Llama3.1-8B-Chinese-Chat — языковая модель для генерации текста и диалогового взаимодействия на китайском и английском языках, разработанная Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang. Модель дообучена на основе Meta-Llama-3.1-8B-Instruct с применением метода оптимизации предпочтений ORPO и фреймворка LLaMA-Factory. Обучение проводилось на более чем 100 тысячах пар предпочтений с полным обновлением параметров. Модель предназначена для чат-сценариев, ролевого общения, использования инструментов и function calling, а также решения математических задач. Она имеет 8,03 млрд параметров; заявленная длина контекста составляет 128K токенов, однако для китайской версии эта характеристика не тестировалась разработчиками. Длина контекста, использованная при дообучении, составляла 8192 токена. Доступны версии BF16 и GGUF с квантованиями q4_k_m и q8_0, а также в формате f16. К сильным сторонам относятся ориентация на китайско-английских пользователей, улучшенные возможности ролевого общения, работы с инструментами и математики, а также поддержка запуска через Transformers и llama.cpp. Ограничения включают неподтверждённую практическими тестами длину контекста 128K и возможную нестабильность ответов на вопросы о собственной идентичности и разработчиках. Модель распространяется по лицензии Llama 3.1 License.

aifeifei799 выпустил вариант Llama 3.1 8B Instruct с пометкой Uncensored. Это авторегрессионная плотная языковая модель на архитектуре Transformer с Grouped-Query Attention; метаданные указывают 7,5 млрд параметров и контекст до 131 072 токенов. Модель принимает текст и генерирует текст, поддерживает диалоговый режим и предназначена для многоязычных ассистентских сценариев и генерации текста. Карточка основана на описании Meta Llama 3.1 Instruct и указывает на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Пометка Uncensored указывает на изменённые ограничения ответа, но README не описывает метод или объём дообучения и не подтверждает конкретные свойства этого изменения. Модель доступна в формате Safetensors по лицензии Llama 3.1 Community License; перед применением следует учитывать условия лицензии и самостоятельно оценивать безопасность ответов.

Llama-3.1-8B-Magpie-Align-SFT-v0.1 — языковая модель, созданная проектом Magpie-Align путём дообучения Meta Llama 3.1 8B. Для обучения использованы наборы Magpie-Pro-MT-300K-v0.1 и Magpie-Reasoning-150K; модель предназначена для диалогов и выполнения инструкций, включая задачи рассуждения. Она основана на плотной архитектуре LlamaForCausalLM, содержит 7,5 млрд параметров и имеет контекст длиной до 131 072 токенов. Модель работает с текстом и рассчитана прежде всего на английский язык. Авторы сообщают о результатах, сопоставимых с Llama-3.1-8B-Instruct при обучении только методом SFT; среди приведённых оценок — 24,79 LC и 25,05 WR на Alpaca Eval 2, а также 21,0 на Arena Hard. Для лучшего качества рекомендуется официальный шаблон чата Llama 3. Ограничения включают унаследованные от базовой модели возможные ошибки и ненадёжность ответов; результаты зависят от формулировки запроса. Лицензия — Meta Llama 3.1 Community License для модели; README также указывает на условия Meta Llama 3 Community License для данных.

QuantFactory/Llama3.1-8B-ShiningValiant2-GGUF — квантизированная версия чат-модели Shining Valiant 2, созданная QuantFactory с использованием llama.cpp на основе ValiantLabs/Llama3.1-8B-ShiningValiant2. Исходную модель разработала Valiant Labs; она дообучена на базе Meta-Llama-3.1-8B-Instruct, релиз от 6 августа 2024 года. Модель предназначена для диалогов и генерации текста, включая общие вопросы, объяснение научных и инженерных тем, технические задачи и структурированное рассуждение. Она ориентирована на дружелюбные, воодушевляющие, содержательные и познавательные ответы. Указан английский язык, текстовая модальность и архитектура Llama; размер — 8 миллиардов параметров. Модель использует формат промптов Llama 3.1 Instruct. Размер контекста в README не указан. К сильным сторонам относятся специализация на научно-технических знаниях, улучшенная согласованность ответов и гибкость общения. К ограничениям относятся зависимость качества от базовой модели и выбранного квантизированного формата; сведения о точности, конкретных вариантах квантования, системных требованиях и ограничениях безопасности не приведены. Лицензия указана как llama3.1.

ayoubkirouane/Llama3.1-8b-small-Instructed — дообученная автором ayoubkirouane языковая модель семейства Llama на базе Meta-Llama-3.1-8B. Она предназначена для генерации текста и выполнения инструкций в формате диалога. Модель имеет плотную архитектуру LlamaForCausalLM и 7,5 млрд параметров; для обучения использован набор ayoubkirouane/Small-Instruct-Alpaca_Format. Работает с текстом, основной язык карточки — английский. Заявленная длина контекста составляет 131 072 токена. Модель подходит для ответов на запросы, создания и преобразования текста по инструкции. В карточке указана библиотека Transformers и формат PyTorch. Лицензия в предоставленных данных не указана, поэтому условия использования базовой модели и дообученной версии следует проверить перед применением.

Panacea on TL;DR — экспериментальная диалоговая языковая модель на архитектуре Llama, созданная методом preference-оптимизации на базе meta-llama/Llama-3.1-8B-Instruct. Модель дообучена с помощью DPO и линейной скаляризации предпочтений; в SVD-LoRA используются 8 сингулярных значений, независимых от предпочтений, а вектор предпочтений задаётся оставшимися значениями. Рабочая точка выбрана по валидационным запросам. Модель предназначена для генерации TL;DR-резюме с балансом охвата, точности, краткости и полезности. В карточке указана архитектура LlamaForCausalLM, около 7,5 млрд параметров и контекст до 131 072 токенов; доступны веса safetensors и диалоговый режим. Оценка проводилась на отложенных запросах, не пересекающихся с обучающими, с судейством Llama-3.3-70B-Instruct. Модель основана на Llama 3.1 и распространяется по лицензии Llama 3.1. Результаты карточки относятся к панели TL;DR и описанному протоколу оценки; они не устанавливают качество для других задач или наборов данных.

Dampfinchen/Llama-3.1-8B-Ultra-Instruct — объединённая разговорная языковая модель на архитектуре Llama 3.1, созданная автором репозитория с помощью mergekit и метода DARE TIES. В основе объединения лежит NousResearch/Meta-Llama-3.1-8B; также использованы Llama-3.1-Storm-8B, llama3.1-airoboros3.2-QDT-8B, llama3.1-gutenberg-8B и Llama-3.1-8B-Stheno-v3.4. Модель предназначена для диалоговой генерации текста и выполнения инструкций с шаблоном Llama 3 Instruct. Она содержит 7,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. В карточке приведены результаты оценки, включая 80,81 балла на IFEval (0-shot), однако подробные выводы о качестве для отдельных сценариев из этих данных сделать нельзя. Модель распространяется по лицензии Llama 3.1. Автор рекомендует использовать её с осторожностью; применяются условия и ограничения лицензии исходного семейства.

SliceX AI ELM Turbo 6B Instruct — англоязычная диалоговая языковая модель, созданная SliceX AI как срез архитектуры ELM Turbo на основе Meta-Llama-3.1-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с 5,8 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и выполнения инструкций в диалоге. Архитектура ELM Turbo позволяет выбирать срезы разного размера для компромисса между качеством, скоростью и потреблением памяти; для этой версии выбран вариант на 6B. Обучение включало дообучение на инструкционных наборах, в том числе Tulu, Orca Math и WizardLM. README также описывает оптимизацию инференса и интеграцию TensorRT-LLM. Модель подходит для диалоговых помощников, ответов на вопросы и генерации текста на английском языке. Её ответы могут содержать фактические ошибки, смещения или неподходящий контент; результаты следует проверять. Использование регулируется лицензией Llama 3.1.

bunnycore/LLama-3.1-Hyper-Stock — объединённая плотная языковая модель семейства Llama 3.1, созданная автором с помощью mergekit и метода Model Stock на базе unsloth/Meta-Llama-3.1-8B. В объединение вошли семь языковых моделей, включая инструктивные и uncensored-варианты. Модель содержит 7,5 млрд параметров, работает через библиотеку Transformers и распространяется в формате safetensors; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и может использоваться в диалоговых сценариях и для задач с длинным контекстом. README указывает на включение моделей с разными настройками и назначением, однако не приводит отдельных оценок качества или подробностей о поведении итогового объединения. Лицензия в предоставленных данных не указана.

DavidAU/Llama3.1-MOE-4X8B-Gated-IQ-Multi-Tier-Deep-Reasoning-32B-GGUF — текстовая instruct-модель, разработанная DavidAU на базе Llama 3.1 и объединяющая четыре 8B-модели в конфигурации Mixture of Experts. В состав входят Llama-3.1-DeepHermes-3-8B-Preview для рассуждений, а также Llama-3.1-Hermes-3-8B, Llama-3.1-dolphin-2.9.4-8b и Llama-3.1-SuperNova-Lite для генерации и дополнительной обработки. Заявленный общий размер — 32B параметров, при этом модель описывается как имеющая около 25B весов. Распространяется в формате GGUF и рассчитана на контекст до 128K токенов. Модель предназначена для текстовой генерации, глубокого рассуждения, решения задач, творческого письма, сторителлинга, ролевых сценариев и работы с инструментами. Поддерживает управление режимом рассуждений через системные промпты, включая включение, отключение и многоуровневое рассуждение, а также совместима с вызовами инструментов благодаря встроенному Llama 3.1 Instruct. Заявлена поддержка английского, французского, немецкого, испанского, португальского, итальянского, японского, корейского, русского, китайского, арабского и ряда других языков. Сильными сторонами являются сочетание нескольких экспертных моделей, возможность управлять режимом рассуждений и универсальность сценариев применения. README рекомендует шаблон Llama 3 Instruct, контекст не менее 4K–8K токенов и более крупные квантизации для лучшего качества. К ограничениям относятся возможная нестабильность активации блока рассуждений, необходимость повторной генерации и зависимость качества от промпта, температуры и выбранной квантизации; заявленные улучшения производительности не подтверждены независимыми бенчмарками. Лицензия — Apache-2.0.

Llama-3.1-Nemotron-70B-Instruct-HF-GGUF — крупная языковая модель для генерации текста, разработанная NVIDIA на основе Llama 3.1 Nemotron 70B Instruct. Представленная версия распространяется в формате GGUF; квантизация выполнена bartowski с использованием llama.cpp версии b3901. Модель ориентирована на повышение полезности ответов на пользовательские запросы и предназначена для диалоговых приложений, ассистентов и других сценариев текстовой генерации. Модель содержит 70 миллиардов параметров, поддерживает контекст длиной до 128 тысяч токенов и предназначена прежде всего для работы с английским языком. В README указана специализация на текстовой модальности и приведены результаты оценки: Arena Hard — 85,0, AlpacaEval 2 LC — 57,6 и GPT-4-Turbo MT-Bench — 8,98. В качестве набора данных указан NVIDIA HelpSteer2. К сильным сторонам относятся большой контекст, высокая заявленная полезность ответов и возможность использования GGUF-версии в совместимых инструментах локального запуска. Модель может генерировать неточные, вредные или неподходящие ответы, а README не содержит подробностей о требованиях к аппаратному обеспечению и конкретном варианте квантизации. Лицензия указана как llama3.1; условия её применения следует проверять в исходной карточке модели NVIDIA.

QuantFactory/Llama-3.1-Storm-8B-GGUF — квантизированная версия модели Llama-3.1-Storm-8B, созданная с помощью llama.cpp. Исходную модель разработали Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Она основана на Llama-3.1-8B-Instruct и дополнительно обучена с применением целевого fine-tuning и объединения с Llama-Spark методом SLERP. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, ответов на вопросы, рассуждений и function calling. Заявлены улучшения по сравнению с Meta-Llama-3.1-8B-Instruct в instruction following, knowledge-driven QA, reasoning, truthful answer generation и агентских сценариях. В частности, авторы сообщают о лучших результатах на IFEval, GPQA, MMLU-Pro, ARC-C, MuSR, BBH, TruthfulQA и BFCL. Квантизация ориентирована на запуск модели с более ограниченными вычислительными ресурсами. Модель имеет около 8 миллиардов параметров и работает с текстом. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер контекстного окна и конкретные варианты квантизации в представленном описании не указаны. GGUF-формат предназначен для использования в совместимых инструментах экосистемы llama.cpp, включая Ollama. Модель позиционируется как универсальная и улучшенная в следовании инструкциям, рассуждениях, function calling и снижении галлюцинаций, однако заявленные преимущества основаны на бенчмарках авторов и могут зависеть от сценария и настроек запуска. Условия использования определяются лицензией llama3.1; дополнительные ограничения или требования в README не приведены.

Llama3.1-TheiaFire-DarkFusion-8B — плотная языковая модель семейства Llama, созданная ZeroXClem слиянием четырёх моделей методом TIES. Она содержит 7,5 млрд параметров и принимает текст для генерации текстовых ответов; заявленная длина контекста — 131 072 токена. Модель рассчитана на диалог, технические рассуждения и генерацию кода, а также на анализ криптовалют и блокчейн-проектов, творческое письмо и ролевые сценарии. В карточке указаны специализация компонентов на криптовалютах, агентных задачах и коде, творческой генерации без ограничений и обобщении на новые задачи. Заявлены инструменты для поиска и вычислений, но доступность этих функций зависит от способа интеграции. README также предупреждает, что токенизатор может испытывать трудности с системными промптами в LM Studio, и отмечает риск предвзятых или неподходящих ответов. Лицензия — Apache 2.0.

Llama-3.1-Tulu-3-70B-SFT — англоязычная инструкция-следующая модель, разработанная AllenAI на основе Meta Llama 3.1 70B. Это плотная авторегрессионная Transformer-модель примерно на 69,5 млрд параметров, дообученная методом supervised fine-tuning на смеси открытых, синтетических и созданных людьми данных. Репозиторий содержит веса в формате safetensors; модель поддерживает контекст до 131 072 токенов и диалоговый шаблон для использования в чат-приложениях. Модель предназначена для диалога и выполнения инструкций, а также для широкого круга задач, включая математические рассуждения и следование заданным форматам. Карточка приводит оценки на MATH, GSM8K и IFEval; опубликованные бенчмарки дают ориентир, но не гарантируют качество в конкретном применении. Разработчики отмечают, что модель в первую очередь рассчитана на английский язык. У модели ограничено обучение безопасности, поэтому она может выдавать проблемный контент, особенно при соответствующих запросах; фильтрация ответов не встроена. Использование регулируется лицензией Llama 3.1 Community License Agreement.

Llama-3.1-Tulu-3-8B — языковая модель семейства Tülu 3, разработанного Allen Institute for AI (AI2). Это плотная авторегрессионная модель на архитектуре Llama с 7,5 млрд параметров, дообученная на основе allenai/Llama-3.1-Tulu-3-8B-DPO. Она предназначена для диалогов и следования инструкциям, а также для решения широкого круга задач, включая математические вопросы и проверку следования заданным условиям. Модель работает с текстом, поддерживает английский язык и имеет контекстное окно до 131 072 токенов. В карточке описана серия Tülu 3 как открытый пакет постобучения с данными, кодом и рецептами обучения; приведены результаты оценок на ряде бенчмарков. Модель можно загружать через Transformers и обслуживать с помощью vLLM. Указанная лицензия — Llama 3.1 Community License Agreement. Разработчики отмечают, что модель прошла ограниченное обучение безопасности и может выдавать проблемный контент, особенно при соответствующих запросах. В README также советуют при запуске через vLLM учитывать длину шаблона чата и задавать max_model_len=8192.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Карточка модели mylesgoose/Llama-3.2-1B-Instruct-abliterated3 на Hugging Face совпадает с карточкой alpindale/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. alpindale/Llama-3.2-1B-Instruct — это текстовая инструкционная модель семейства Llama 3.2, разработанного Meta. Репозиторий содержит версию с примерно 1,2 млрд параметров; модель построена на авторегрессионной архитектуре Transformer с Grouped-Query Attention и предназначена для генерации текста в Transformers. Для согласования ответов с предпочтениями пользователей применялись supervised fine-tuning и обучение с обратной связью от людей. Модель рассчитана на диалог в роли ассистента, поиск знаний и суммаризацию, а также на мобильных помощников для письма, переформулирование запросов и подсказок и агентные сценарии. Она принимает и генерирует текст, включая код, поддерживает контекст до 131 072 токенов и официально рассчитана на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Компактный размер позволяет рассматривать модель для применения на устройствах с ограниченными ресурсами. Качество, безопасность и полезность могут уступать более крупным моделям, поэтому разработчикам следует проверять поведение модели в конкретном сценарии. Знания ограничены данными с отсечкой по декабрю 2023 года. Использование регулируется специальной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy.

Это языковая модель семейства Llama 3.2 с 3,2 млрд параметров, дообученная jeehun на базе unsloth/llama-3.2-3b-instruct-bnb-4bit. Модель предназначена для генерации текста и диалоговых сценариев; в карточке также отмечен интерфейс для вызова инструментов. Для обучения использовались Unsloth и библиотека Hugging Face TRL. Модель принимает текст и генерирует текст. Метаданные указывают поддержку английского языка и контекст до 131 072 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

AIR-hl/Llama-3.2-3B-DPO — диалоговая языковая модель на архитектуре Llama, разработанная AIR-hl и дообученная методом Direct Preference Optimization (DPO) на базе tanliboy/llama-3.2-3b-sft. Обучение проводилось с использованием TRL на наборе предпочтений HuggingFaceH4/ultrafeedback_binarized. Модель предназначена для генерации текста в формате диалога и ответов на запросы пользователя. Она содержит 3,2 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 131 072 токена. Доступны веса в формате safetensors. Карточка приводит метрики обучения: loss снизился с 0,6924 до 0,5792, accuracy составила 0,7188, reward margin — 0,5234. Эти значения относятся к обучению и сами по себе не гарантируют качество на реальных запросах. Модель распространяется по лицензии llama3.2; перед использованием следует учитывать её условия.

Это 4-битно квантованная версия инструкционной языковой модели Llama 3.2 3B Instruct, опубликованная сообществом mlx-community на базе модели Meta Llama 3.2. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, составление и преобразование текста. Формат ориентирован на использование с экосистемой MLX; в метаданных также указана совместимость с библиотекой Transformers. Модель относится к текстовым, одномодальным моделям и содержит около 3 млрд параметров. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Ключевая особенность — 4-битное квантование, которое снижает требования к памяти и может облегчать локальный запуск, но потенциально ограничивает точность по сравнению с полноразмерной версией. Длина контекста и другие характеристики архитектуры в представленном README не указаны. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на безвозмездной основе при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

richardyoung/Llama-3.2-3B-Instruct-heretic — текстовая разговорная модель на базе Llama 3.2 3B от Meta, опубликованная пользователем richardyoung. Это авторегрессионный трансформер с 3,2 млрд параметров, рассчитанный на генерацию ответов в диалоге и другие задачи генерации текста. В карточке указаны контекст до 131 072 токенов и поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модификация обозначена как heretic, uncensored, decensored и abliterated; конкретный способ изменения модели в предоставленных данных не описан. Модель может применяться для чат-ассистентов, суммаризации, поиска по знаниям и переформулирования запросов. Она принимает текст и выдаёт текст. README указывает лицензию Llama 3.2 Community License — специальное соглашение с условиями использования, включая Acceptable Use Policy. Как и другие компактные языковые модели, она может уступать более крупным моделям в качестве и требует проверки безопасности при внедрении.

bunnycore/Llama-3.2-3B-RP-DeepThink — объединённая диалоговая языковая модель, созданная с помощью mergekit методом linear merge. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; также в объединение вошли bunnycore/Llama-3.2-3B-All-Mix и prithivMLmods/Codepy-Deepthink-3B. Модель основана на архитектуре LlamaForCausalLM, содержит 3,2 млрд параметров и работает с текстом; заявленная длина контекста — 131 072 токена. Модель предназначена для генерации текста и ответов в диалоге, включая сценарии, где полезны смешанные возможности объединённых моделей. Карточка приводит результаты Open LLM Leaderboard, в том числе IFEval 71,44 и BBH 23,76. Доступна в формате safetensors для Transformers. Лицензия в предоставленных данных не указана.

Llama-3.3-70B-Instruct-abliterated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama 3.3 с заявленным размером 70 млрд параметров. Модель подготовлена и опубликована bartowski, а исходная модель разработана Meta. Она предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текста, а также другие задачи обработки естественного языка. В метаданных указаны языки английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель работает только с текстом; сведения о поддерживаемых модальностях, архитектуре в деталях и размере контекста в предоставленных данных отсутствуют. Формат GGUF ориентирован на локальный запуск в совместимом программном обеспечении, а квантизация может снизить требования к памяти по сравнению с полной версией, но конкретный вариант квантизации в README не указан. Суффикс «abliterated» указывает на модифицированную версию, однако подробности изменений, их влияние на качество и безопасность, а также результаты тестирования не приведены. Поэтому характеристики точности, устойчивости и ограничения модели следует проверять отдельно. Распространение и использование основаны на Llama 3.3 Community License от Meta с требованиями по соблюдению Acceptable Use Policy, включению текста лицензии и атрибуции «Built with Llama» при распространении материалов или производных продуктов; для организаций с более чем 700 миллионами ежемесячных пользователей предусмотрено отдельное лицензионное условие.

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF — это набор квантованных файлов модели Llama-3.3-70B-Instruct в формате GGUF. Исходную модель разработала meta-llama, а квантованные версии подготовил MaziyarPanahi. Модель предназначена для генерации текста и работы в диалоговых сценариях с инструкциями. Доступны варианты квантования с разрядностью 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать баланс между размером файла, требованиями к памяти, скоростью работы и качеством вывода. Формат GGUF ориентирован на локальный запуск через llama.cpp и совместимые инструменты, включая llama-cpp-python, LM Studio, text-generation-webui, KoboldCpp, GPT4All и другие приложения с поддержкой GGUF. Модель работает с текстом; сведения о мультимодальности, поддерживаемых языках и размере контекстного окна в README не указаны. К сильным сторонам относятся возможность локального использования, широкий выбор уровней квантования и совместимость с популярной экосистемой llama.cpp. К ограничениям относятся потенциальная потеря качества в более компактных вариантах квантования, высокие требования к ресурсам для 70-миллиардной модели и зависимость от совместимого программного обеспечения. Лицензия в предоставленных данных не указана.

Shining Valiant 2 — разговорная языковая модель Valiant Labs, дообученная на основе Meta-Llama-3-70B-Instruct. Это плотная архитектура Llama 3 с 69,5 млрд параметров, предназначенная для генерации текста, диалогов и выполнения инструкций; модель использует формат запросов Llama 3 Instruct и поддерживает контекст до 8192 токенов. По описанию разработчика, дополнительное обучение на собственных данных ориентировано на науку, инженерию, технические знания и структурированные рассуждения, а стиль ответов — дружелюбный и увлечённый. Модель рассчитана на общие диалоговые и аналитические сценарии, включая объяснение технических тем и помощь с задачами вроде написания сопроводительного письма. Указана лицензия Llama 3. В README разработчик помечает эту версию как устаревшую и рекомендует Shining Valiant 2 для Llama 3.1 70B; также сообщается о возможной проблеме с чтением завершающих токенов в text-generation-webui, которая может приводить к незавершённым ответам или нарушению структуры.

Llama-3-8B-Instruct-Base-Slerp — объединённая модель от Arcee AI, созданная методом SLERP с помощью mergekit на основе meta-llama/Meta-Llama-3-8B-Instruct и meta-llama/Meta-Llama-3-8B. Это плотная авторегрессионная языковая модель семейства Llama с 7,5 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия; длина контекста составляет 8192 токена. Модель сочетает instruct-версию Llama 3 с предварительно обученной базовой версией, поэтому подходит для генерации ответов и продолжения текста в чат-сценариях. Метаданные указывают английский язык и код, однако README не описывает отдельные прикладные специализации. Репозиторий содержит веса в формате safetensors и распространяется по лицензии Apache-2.0.