II.6Документация и сопровождение разработки

Ling-3.0-tiny-GGUF — это конвертация модели Ling-3.0-tiny в формат GGUF для запуска через llama.cpp. Базовую модель разработала команда inclusionAI, а данный вариант опубликован пользователем bloomer010. Модель предназначена для генерации текста, диалоговых сценариев и агентских задач, включая вызов инструментов и раздельный режим рассуждений. Архитектура использует mixture-of-experts: всего 7,9 млрд параметров, из которых 1,3 млрд активируются на каждом токене. Модель содержит 24 слоя, включая 18 KDA- и 6 MLA-слоёв, 128 маршрутизируемых экспертов с 8 активными экспертами на токен и одного общего эксперта. Поддерживаются Q-LoRA с рангом 256 и KV-LoRA с рангом 512, контекст до 131 072 токенов, а также режим рассуждений, включённый по умолчанию. Информация о поддерживаемых языках и мультимодальности в README не указана. Доступны варианты квантования от BF16 до сильно сжатых IQ- и Q-форматов, что позволяет выбирать между качеством и требованиями к памяти; рекомендуемый UD-Q8_K_XL обеспечивает качество, близкое к полной точности. Модель протестирована на CPU и CUDA, включая RTX 4070 и RTX 3060. Ограничения включают возможное преждевременное завершение ответа внутри блока рассуждений и проблемы с агентским использованием и tool calling в llama.cpp без поддержки двух указанных изменений. Для MXFP4_MOE рекомендуется GPU с нативной поддержкой MXFP4, иначе возможна более низкая скорость. Распространяется по лицензии MIT.

Ling-3.0-tiny-GGUF — лёгкая гибридная reasoning-модель с архитектурой Mixture of Experts (MoE), разработанная командой inclusionAI. Модель предназначена для генерации текста, решения задач, требующих рассуждений, и агентских сценариев, где важны широкие возможности при низкой стоимости инференса. Формат GGUF ориентирован на локальное и ресурсно-ограниченное развертывание. Модель содержит 7,9 млрд параметров, при этом для обработки каждого токена активируется около 1,3 млрд параметров, что снижает вычислительные затраты по сравнению с полным использованием всех параметров. README не сообщает поддерживаемые языки, размер контекстного окна, доступные модальности и конкретные ограничения качества. Модель распространяется по лицензии MIT.

Ling-Coder-lite — языковая модель с архитектурой Mixture of Experts (MoE), разработанная InclusionAI для генерации и понимания программного кода. В карточке README указано 16,8 млрд параметров, из которых активируются 2,75 млрд; модель представлена как дообученная версия Ling-Coder-lite-base. Метаданные репозитория указывают 1,5 млрд параметров и контекст 4096 токенов, тогда как README сообщает контекст 16K; эти характеристики в источниках расходятся. Модель предназначена для задач программирования и диалогового взаимодействия: она может генерировать код и отвечать на вопросы по коду. Разработчики сообщают о результатах на 12 бенчмарках программирования и о конкурентных задержке и пропускной способности среди кодовых моделей сопоставимого размера. В обучении использовались наборы Ling-Coder-SFT, Ling-Coder-SyntheticQA и Ling-Coder-DPO. Репозиторий опубликован в формате safetensors для библиотеки Transformers. Указанные языки — английский и китайский. Лицензия MIT разрешает широкое использование при соблюдении её условий.

Lix-14B-v0.1 — объединённая языковая модель, созданная с помощью mergekit и метода Model Stock; в её основе wanlige/li-14b-v0.4, также объединены sthenno-com/miscii-14b-0218 и wanlige/li-14b-v0.4-slerp0.1. Модель разработана автором репозитория suayptalha и построена на архитектуре Qwen2 с 14 млрд параметров. Она предназначена для генерации текста и диалоговых сценариев; поддерживает контекст до 32 768 токенов. Модель поставляется в формате Safetensors и использует лицензию Apache-2.0. В README приведены результаты Open LLM Leaderboard, включая среднее значение 43,32 и результат IFEval 78,13; эти показатели относятся к указанной оценке и сами по себе не гарантируют качество в конкретных задачах. Метаданные карточки указывают английский язык; другие языки не подтверждены.

Fischerboot/ll3-test-1 — языковая модель с архитектурой Llama, опубликованная в формате SafeTensors и рассчитанная на генерацию текста и диалоговое взаимодействие. В карточке указано, что модель создана с помощью mergekit методом SLERP из двух срезов одной и той же модели Fischerboot/ll3-test-1; размер составляет 7,1 млрд параметров, контекст — 8192 токена. Она работает через библиотеку Transformers. Модель подходит для генерации продолжений текста и ответов в чате. Карточка не сообщает о специализированных областях применения или поддерживаемых естественных языках. Лицензия в предоставленных данных не указана.

Llama-2-13B-Chat-GGUF — чат-модель семейства Llama 2, разработанная Meta и представленная в формате GGUF компанией Second State Inc. Это квантизированная версия базовой модели meta-llama/Llama-2-13b-chat-hf для генерации текста и диалогового взаимодействия. Модель предназначена для чат-ботов, ответов на вопросы и других сценариев текстовой генерации. В README указаны английский язык, архитектура Llama и размер 13 миллиардов параметров. Для запуска с LlamaEdge используется шаблон llama-2-chat и контекст размером 5120 токенов. Доступны варианты с квантизацией от 2 до 8 бит, а также f16; их размер варьируется примерно от 5,43 до 26 ГБ. Основное преимущество модели — возможность выбрать компромисс между размером файла, требованиями к ресурсам и качеством генерации. Рекомендуемыми названы варианты Q4_K_M и Q5_K_M, тогда как низкобитные версии заметно теряют в качестве. README не содержит сведений о мультимодальности, результатах тестирования или поддержке других языков. Модель распространяется по лицензии llama2.

Llama 2 13B Chat — диалоговая языковая модель, разработанная Meta и представленная в формате Hugging Face Transformers. Это плотная авторегрессионная модель на архитектуре оптимизированного Transformer с 12,9 млрд параметров; она принимает текст и генерирует текст, а контекстное окно составляет 4096 токенов. Версия Chat настроена для диалогов с помощью supervised fine-tuning и обучения с подкреплением на основе человеческой обратной связи. Модель предназначена для англоязычных диалогов с помощником и генерации ответов. Для ожидаемого поведения следует использовать формат диалога Llama 2 с маркерами инструкций и специальными токенами. Модель может выдавать неточные, предвзятые или нежелательные ответы; перед применением требуется оценка безопасности для конкретного сценария. Использование регулируется лицензией Meta Llama 2, для скачивания весов требуется принять её условия.

Meta разработала Llama 2 13B — предварительно обученную авторегрессионную языковую модель для генерации текста. Этот репозиторий содержит вариант с 13 млрд параметров, преобразованный в формат Transformers для Hugging Face; модель использует оптимизированную архитектуру Transformer и распространяется в форматах PyTorch и safetensors. Модель принимает и выдаёт текст. Её можно адаптировать для различных задач генерации естественного языка, включая продолжение текста и создание черновиков. В карточке семейство предназначено для коммерческого и исследовательского применения на английском языке; диалоговая настройка относится к отдельным вариантам Llama-2-Chat, а не к этому предварительно обученному чекпойнту. Контекст модели составляет 4 тыс. токенов. Она обучалась на 2 трлн токенов из общедоступных источников с отсечкой данных сентября 2022 года. Ответы могут быть неточными, предвзятыми или нежелательными, поэтому перед внедрением требуется проверка и настройка под сценарий использования. Доступ и применение регулируются лицензией Meta Llama 2; для загрузки весов требуется принять её условия.

dhmeltzer/Llama-2-13b-hf-ds_eli5_1024_r_64_alpha_16_merged — плотная авторегрессионная модель семейства Llama 2 с 12,9 млрд параметров и контекстом 4096 токенов. Метаданные указывают задачу генерации текста; в README приведены результаты оценки на Open LLM Leaderboard. Название репозитория содержит обозначения ds_eli5 и merged, но README и метаданные не поясняют происхождение слияния, обучение на ELI5 или его настройки. Лицензия и целевые языки в предоставленных данных не раскрыты.

Карточка модели 4bit/Llama-2-70b-chat-hf на Hugging Face совпадает с карточкой NousResearch/Llama-2-70b-chat-hf, поэтому описание составлено по ней. NousResearch/Llama-2-70b-chat-hf — версия чат-модели Llama 2, разработанной Meta и опубликованной NousResearch в формате Transformers для Hugging Face. Это авторегрессионная плотная трансформерная модель с 68,7 млрд параметров, настроенная на диалог с помощью контролируемого дообучения и обучения с подкреплением на основе отзывов людей. Версия 70B использует Grouped-Query Attention; длина контекста — 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для диалоговых сценариев на английском языке: ответов на вопросы, работы в роли помощника и генерации текста. Модель статична, обучалась на данных с отсечкой знаний до сентября 2022 года, хотя часть данных дообучения датирована позднее. Для использования весов требуется принять пользовательскую коммерческую лицензию Meta; применяются её условия и ограничения. Ответы могут быть неточными, предвзятыми или нежелательными, а оценка модели проводилась преимущественно на английском языке и не охватывает все сценарии. Перед внедрением следует проверять безопасность и качество в целевом приложении. Модель не предназначена по условиям карточки для использования на языках, отличных от английского.

NousResearch/Llama-2-70b-chat-hf — версия чат-модели Llama 2, разработанной Meta и опубликованной NousResearch в формате Transformers для Hugging Face. Это авторегрессионная плотная трансформерная модель с 68,7 млрд параметров, настроенная на диалог с помощью контролируемого дообучения и обучения с подкреплением на основе отзывов людей. Версия 70B использует Grouped-Query Attention; длина контекста — 4096 токенов. Модель принимает текст и генерирует текст. Она предназначена для диалоговых сценариев на английском языке: ответов на вопросы, работы в роли помощника и генерации текста. Модель статична, обучалась на данных с отсечкой знаний до сентября 2022 года, хотя часть данных дообучения датирована позднее. Для использования весов требуется принять пользовательскую коммерческую лицензию Meta; применяются её условия и ограничения. Ответы могут быть неточными, предвзятыми или нежелательными, а оценка модели проводилась преимущественно на английском языке и не охватывает все сценарии. Перед внедрением следует проверять безопасность и качество в целевом приложении. Модель не предназначена по условиям карточки для использования на языках, отличных от английского.

Spell Blade — дообученная на базе Llama 2 диалоговая модель от sequelbox, предназначенная для общения и задач общего назначения с усиленными техническими возможностями. Это плотная авторегрессионная модель семейства Llama с 68,7 млрд параметров; для диалогов обучалась преимущественно на данных в формате INST. Модель принимает текст и генерирует текст. Заявленный контекст — 4096 токенов. В репозитории представлены веса в формате Safetensors, лицензия — Apache 2.0. Автор описывает её как пригодную для использования без дополнительной настройки, но отмечает, что дальнейшее дообучение может улучшить пользовательский опыт. Модель обозначена как устаревшая и предложена главным образом для справки; для общего применения автор рекомендует Llama 3.

Unsloth предоставляет дообученную разговорную версию Llama 2 с 7 млрд параметров для генерации текста в формате диалога. Модель основана на архитектуре Llama и предназначена для чат-ответов и продолжения текста; README упоминает шаблоны ShareGPT ChatML и Vicuna. Максимальная длина контекста — 4096 токенов. Модель принимает текст и выдаёт текст на английском языке. Репозиторий содержит веса Safetensors для использования с библиотекой Transformers. Лицензия — Apache 2.0. Доступная карточка описывает также сценарии дообучения, но не приводит подробностей о данных и конкретных изменениях весов.

Llama-2-7B-Chat-GGUF — квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta и преобразованной в формат GGUF компанией Second State Inc. Модель основана на meta-llama/Llama-2-7b-chat-hf и предназначена для генерации текста и ведения диалогов на английском языке. Модель содержит 7 миллиардов параметров, использует архитектуру Llama и поддерживает контекст до 4096 токенов. В репозитории доступны варианты квантования от 2 до 8 бит, а также f16; их размер составляет примерно от 2,83 до 13,5 ГБ. Вариант Q4_K_M обеспечивает сбалансированное соотношение размера и качества, а Q5_K_M и Q5_K_S характеризуются минимальными потерями качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшать результаты. Модель подходит для локального запуска и интеграции в приложения через LlamaEdge, включая чат-сервисы и командные приложения. README не содержит отдельного описания ограничений безопасности или качества базовой модели. Лицензия указана как llama2; для использования следует учитывать условия лицензии Meta Llama 2.

TheBloke/Llama-2-7B-Chat-GGUF — это квантизированная версия диалоговой модели Llama 2 7B Chat, разработанной Meta (Meta Llama 2) и преобразованной TheBloke в формат GGUF. Модель предназначена для генерации текста и ведения диалогов, включая локальных чат-ассистентов, ответы на вопросы и другие сценарии текстовой генерации. Указанный язык — английский; мультимодальность не заявлена. Модель содержит около 7 миллиардов параметров и использует архитектуру Llama 2. Репозиторий предоставляет варианты GGUFv2 с квантизацией от 2 до 8 бит, что позволяет выбирать компромисс между качеством, размером файлов и требованиями к ресурсам. Формат поддерживается llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, LM Studio, KoboldCpp, ctransformers и llama-cpp-python, с возможностью CPU- и GPU-инференса. Размер контекста в README не указан. К сильным сторонам относятся возможность локального запуска, широкий выбор уровней квантизации и совместимость с экосистемой GGUF. Ограничения включают отсутствие заявленной поддержки других языков и модальностей, а также потенциальное снижение качества при использовании более агрессивной квантизации. Модель распространяется по лицензии Llama 2; перед использованием необходимо учитывать условия этой лицензии.

Это вариант диалоговой модели Llama 2 7B Chat от Meta, подготовленный arnavgrg: веса после загрузки с 4-битной квантизацией NF4 в bitsandbytes были преобразованы обратно в FP16. Модель использует плотную архитектуру Llama и предназначена для генерации текста в формате чата; её можно загружать через Transformers. Контекст модели составляет 4096 токенов, размер — около 6,6 млрд параметров. Преобразование NF4 с потерями снижает качество относительно официальной базовой модели. Лицензия репозитория — Apache-2.0.

Карточка модели philschmid/Llama-2-7b-hf на Hugging Face совпадает с карточкой meta-llama/Llama-2-7b-hf, поэтому описание составлено по ней. Llama 2 7B — предварительно обученная авторегрессионная языковая модель Meta на 7 млрд параметров, представленная в формате Transformers для PyTorch и Safetensors. Она использует оптимизированную архитектуру Transformer и принимает текст, генерируя текст; длина контекста в карточке указана как 4 тыс. токенов. Модель предназначена для генерации текста на английском языке и может служить основой для различных задач обработки естественного языка. Это базовая, не настроенная на диалог версия Llama 2; для сценариев общения предназначены отдельные варианты Llama-2-Chat. Модель предварительно обучена на 2 трлн токенов из общедоступных источников. Модель разработала Meta. Для использования весов требуется принять условия лицензии Meta Llama 2, которая допускает коммерческое и исследовательское применение с ограничениями лицензионного соглашения и политики допустимого использования. Ответы могут быть неточными, предвзятыми или нежелательными; перед внедрением требуется оценка и настройка для конкретного применения.

Llama3.1-8B-Enigma-GGUF — это квантизированная версия языковой модели Llama3.1-8B-Enigma от ValiantLabs, подготовленная и опубликованная bartowski в формате GGUF для llama.cpp. Модель основана на архитектуре Llama и предназначена для генерации текста, диалогового взаимодействия, выполнения инструкций и задач, связанных с программированием, в частности с Python. Заявленный язык — английский. Доступны варианты с разной степенью квантизации: от полноразмерной F32-версии около 32,13 ГБ до компактных IQ2_M и Q2_K. Наиболее качественными и рекомендуемыми в README названы варианты Q6_K_L, Q6_K, Q5_K_L, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; более компактные варианты требуют меньше оперативной памяти, но заметнее снижают качество. Квантизация выполнена с использованием imatrix и llama.cpp release b3583, запуск рекомендуется через LM Studio. Сильными сторонами являются выбор размеров файлов, возможность локального запуска и сохранение высокого качества у старших вариантов квантизации. Ограничения включают зависимость качества от выбранного варианта, преимущественную ориентацию на английский язык и отсутствие в README данных о размере контекста, производительности, мультимодальности и результатах тестирования. Модель распространяется по лицензии llama3.1.

Llama-3.1-Tulu-3-70B-SFT-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3.1-Tulu-3-70B-SFT, разработанной AllenAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой GGUF, например LM Studio. Модель содержит 70 миллиардов параметров и основана на архитектуре Llama 3.1; заявленный язык — английский. В репозитории представлены варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода. Наиболее качественными считаются Q8_0, Q6_K и Q5_K, а Q4_K_M обозначен как подходящий вариант по умолчанию для большинства сценариев. Модели в формате GGUF поддерживают запуск через llama.cpp, однако для версий с низкой точностью возможна заметная потеря качества. Размеры файлов варьируются примерно от 16,75 до 74,98 ГБ, а сведения о размере контекста и мультимодальности не указаны. Для использования требуется достаточно оперативной или видеопамяти в зависимости от выбранной квантизации и конфигурации запуска. Для модели указана лицензия llama3.1.

bunnycore/Llama-3.2-1b-Chatml-RP — объединённая языковая модель семейства Llama 3.2, созданная автором bunnycore методом TIES с помощью mergekit. В состав вошли unsloth/Llama-3.2-1B-Instruct, bunnycore/Llama-3.2-1b-chatml-lora_model и bunnycore/Llama-3.2-1b-Mixer; размер модели — 1,2 млрд параметров, архитектура — плотная LlamaForCausalLM. Модель предназначена для генерации текста в диалоговом формате. Она принимает текст и выдаёт текст; метаданные указывают поддержку чата и интерфейса вызова инструментов. Заявленная длина контекста — 131 072 токена. Карточка не уточняет целевые языки, поэтому многоязычность базовой модели не позволяет определить языки, для которых именно этот merge рассчитан в первую очередь. Модель сохранена в формате safetensors и использует лицензию базовой модели unsloth/Llama-3.2-1B-Instruct — Llama 3.2 Community License. Результаты объединения могут отличаться от поведения каждой исходной модели; качество и надёжность вызова инструментов в карточке не оценены.

Это языковая модель Llama 3.2-1B-Instruct-bf16, представленная сообществом mlx-community и основанная на модели Llama 3.2, разработанной Meta. Модель предназначена для генерации текста и выполнения инструкций в сценариях, требующих компактной универсальной LLM, включая диалоговые приложения, ответы на вопросы, создание и преобразование текста. Модель имеет размер 1 миллиард параметров, относится к семейству Llama и распространяется в формате BF16 для использования с MLX; в карточке также указана совместимость с библиотекой Transformers. Поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модальность — текстовая, назначение — text-generation. Размер контекстного окна и точные архитектурные характеристики в README не указаны. Компактный размер делает модель более подходящей для локального запуска и устройств с ограниченными ресурсами, однако по качеству и способности обрабатывать сложные задачи она может уступать более крупным моделям. Модель распространяется по Llama 3.2 Community License компании Meta. Лицензия разрешает использование, копирование, модификацию и распространение на указанных условиях, включая соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и требования к атрибуции; для продуктов с более чем 700 миллионами активных пользователей в месяц предусмотрены дополнительные условия.

unsloth/Llama-3.2-1B-Instruct-unsloth-bnb-4bit — это 4-битная динамически квантованная версия инструкционной модели Meta Llama 3.2 1B Instruct, подготовленная Unsloth и совместимая с Transformers. Базовая модель разработана Meta; вариант предназначен для генерации текста и диалоговых сценариев, включая мультиязычные чаты, извлечение данных агентами и суммаризацию. Модель использует авторегрессионную архитектуру оптимизированного Transformer с Grouped-Query Attention (GQA). Она относится к семейству моделей размером 1B параметров, работает в режиме текст на входе — текст на выходе и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционная версия дополнительно обучалась с помощью SFT и RLHF для повышения полезности и безопасности. Размер контекста в README не указан. Ключевое преимущество варианта — динамическое 4-битное квантование Unsloth, при котором отдельные параметры сохраняются без квантования для улучшения точности по сравнению со стандартным 4-битным форматом и снижения требований к памяти. Ограничения включают меньший размер и, соответственно, более ограниченные возможности по сравнению с крупными моделями, а также отсутствие данных о контекстном окне и подробных результатах оценки именно этой квантованной версии. Использование регулируется Llama 3.2 Community License и Acceptable Use Policy; точные условия следует проверять в лицензии Meta.

bunnycore/Llama-3.2-3B-CodeReactor — слитая mergekit модель на базе huihui-ai/Llama-3.2-3B-Instruct-abliterated и bunnycore/Llama-3.2-3B-Code-lora_model. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров, предназначенная для генерации текста в чате и задач, связанных с кодом; карточка описывает слияние методом passthrough. Модель использует формат safetensors, работает через Transformers и имеет заявленное контекстное окно 131072 токена. Модель может подойти для диалогового помощника по программированию и генерации кода. В состав также входит instruct-модель с ослабленными отказами. README и метаданные не описывают лицензию и не приводят результатов оценки качества, поэтому условия использования и практическую надёжность следует сверять с карточками базовых моделей и условиями распространения репозитория.

bunnycore/Llama-3.2-3B-Creative — объединённая языковая модель, созданная с помощью mergekit методом passthrough на основе bunnycore/Llama-3.2-3B-All-Mix и bunnycore/llama-3.2-3b-story-lora_model. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 3,2 млрд параметров; файлы представлены в формате safetensors, базовая точность — bfloat16. Модель предназначена для генерации текста и диалоговых, ролевых и творческих сценариев; контекст составляет до 131 072 токенов. Карточка также указывает интерфейс вызова инструментов. Модель может применяться для написания историй и ролевых диалогов, ответов на вопросы и суммаризации. Метаданные описывают базовую объединённую модель как способную к развёрнутым рассуждениям, но отдельные оценки качества для этой версии не приведены. Лицензия в предоставленных данных не указана.

Llama-3.2-3B-Instruct-abliterated — диалоговая языковая модель на 3,2 млрд параметров, созданная huihui-ai методом abliteration на основе meta-llama/Llama-3.2-3B-Instruct. Она предназначена для генерации текста и ответов в чате; автор позиционирует её как версию с ослабленными отказами. Модель использует плотную архитектуру LlamaForCausalLM, работает с текстом и имеет контекстное окно до 131 072 токенов. В README приведены результаты повторной оценки на IF_Eval, MMLU Pro и TruthfulQA, близкие к результатам базовой модели. Доступны веса в формате Safetensors; для запуска также описано использование через Ollama. Модель распространяется по лицензии Llama 3.2. README не уточняет, какие языки проверялись именно для этой производной модели.

SanctumAI/Llama-3.2-3B-Instruct-GGUF — квантизированная версия языковой модели Meta Llama 3.2 3B Instruct, подготовленная SanctumAI. Это текстовая модель формата GGUF с генерацией текста на входе и выходе, предназначенная для многоязычного диалога, агентского поиска с извлечением данных и суммаризации. Модель имеет 3 млрд параметров и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В репозитории доступны варианты квантизации Q2_K–Q8_0, а также f16; их размер составляет примерно от 1,36 до 6,43 ГБ, а требуемый объём памяти — от 4,66 до 9,38 ГБ. Квантизация облегчает локальный запуск на устройствах с ограниченными ресурсами, однако может снижать точность по сравнению с исходной моделью. README не содержит сведений о размере контекстного окна и конкретной архитектуре. Модель ориентирована на прикладные сценарии общения и обработки текста, но, как и другие компактные языковые модели, может генерировать неточные, вредные или неподходящие ответы. Для использования рекомендуется применять шаблон чата Llama 3. Лицензия указана как Llama 3.2; исходная модель принадлежит Meta, при этом SanctumAI отвечает за квантизацию данного варианта.

ishala/llama-3.2-3b-instruct-indo-grpo — плотная языковая модель семейства Llama с 3,2 млрд параметров, разработанная ishala. Это дообученная версия ishala/llama-3.2-3b-instruct-indo-sft; при обучении использовались Unsloth и библиотека TRL. Модель предназначена для генерации текста и диалогов, а метаданные также отмечают интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Заявленная длина контекста — 131 072 токена; в тегах карточки указан английский язык. Модель распространяется в формате safetensors по лицензии Apache-2.0.

Hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF — это квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.2 3B Instruct, подготовленная в формате GGUF с использованием схемы квантования Q4_K_M. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, выполнение инструкций и локальный inference через совместимые инструменты, такие как llama.cpp. Модель относится к текстовым моделям и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Размер базовой модели — 3 миллиарда параметров. Квантизация Q4_K_M снижает требования к памяти и может упростить запуск на локальном оборудовании, однако README не содержит точных требований к ресурсам, данных о контекстном окне, показателей качества или подробностей архитектуры. Модель подходит для локальных чат-ботов, генерации текста и прикладных задач, где важны компактность и поддержка нескольких языков. Ограничения включают возможные потери качества из-за квантизации, отсутствие заявленных количественных оценок и неизвестные характеристики производительности в конкретных сценариях. Использование регулируется Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста лицензии, указание «Built with Llama», сохранение атрибуции, соблюдение Acceptable Use Policy и применимых законов; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное требование.

DavidAU выпустил эту чат-модель для генерации текста. В метаданных указана архитектура MixtralForCausalLM с механизмом смеси экспертов (MoE), библиотека Transformers и контекст до 131 072 токенов. В README модель описана как полноточный исходный вариант в формате SafeTensors; автор отмечает возможность менять число активных экспертов, что влияет на скорость генерации. Название указывает на объединение Llama 3.2 8×3B с настройкой Instruct, однако карточка не раскрывает точный состав объединения и сценарии обучения. Модель предназначена для диалоговой генерации текста; метаданные также отмечают интерфейс вызова инструментов. Весовой репозиторий можно использовать напрямую или как источник для создания квантованных форматов. Автор рекомендует подбирать параметры и сэмплеры для конкретной среды запуска. В карточке не указаны языки и лицензия, поэтому условия распространения и коммерческого применения по этим данным определить нельзя.

Llama-3.3-70B-Instruct-ablated-GGUF — квантизированная GGUF-версия инструкционной языковой модели Llama-3.3-70B-Instruct-ablated от NaniDAO. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск через llama.cpp и LM Studio. Модель относится к семейству Llama и содержит 70 миллиардов параметров. В README указана поддержка английского, французского, итальянского, португальского, хинди, испанского, тайского и немецкого языков. Доступны варианты квантизации от Q8_0 до Q2_K, что позволяет выбирать между качеством генерации и требованиями к памяти; наиболее качественными и рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S и ряд вариантов Q4. Все версии поставляются в формате GGUF, некоторые крупные варианты разделены на несколько файлов. Сильными сторонами являются большой размер модели, инструкционная настройка, широкий выбор уровней квантизации и пригодность для локального использования. Ограничения включают высокие требования к оперативной памяти, особенно для вариантов высокого качества, а также возможное снижение качества при использовании низкобитных квантизаций. Пометка ablated указывает на изменённую версию базовой модели, а заявленная характеристика uncensored может означать менее строгие ограничения на содержание, однако подробности изменений в README не описаны. Лицензия указана как llama3.