II.6Документация и сопровождение разработки

LiquidAI/LFM2.5-1.2B-Thinking-MLX-4bit — это 4-битная MLX-версия модели LFM2.5-1.2B-Thinking, разработанная Liquid AI для инференса на устройствах Apple Silicon. Модель предназначена для генерации текста, решения задач и сценариев, требующих рассуждений: перед выдачей итогового ответа она формирует объяснение цепочки рассуждений. Поддерживаются вызовы инструментов и диалоговый формат ChatML. Модель содержит 1,2 млрд параметров, использует 4-битную точность с размером группы 64, занимает около 628 МБ и поддерживает контекст длиной до 32K токенов. В README заявлена поддержка английского, японского, корейского, французского, испанского, немецкого, итальянского, португальского, арабского и китайского языков. Версия ориентирована на локальный запуск через MLX и пакет mlx-lm на Apple Silicon; рекомендуемые параметры генерации оптимизированы для низкой температуры и коротких ответов. К сильным сторонам относятся компактный размер, низкая разрядность, возможность локального использования на совместимых устройствах, поддержка многошаговых рассуждений и function calling. Ограничения включают зависимость от экосистемы MLX и Apple Silicon, а также необходимость учитывать, что вывод рассуждений может быть объёмным и не всегда гарантирует корректность ответа. Модель распространяется по лицензии LFM 1.0.

EXAONE-4.0-32B-GGUF — это набор GGUF-квантизаций языковой модели EXAONE-4.0-32B, разработанной LGAI-EXAONE. Квантизации подготовлены пользователем bartowski с помощью llama.cpp версии b5934 и imatrix на основе исходной модели LGAI-EXAONE/EXAONE-4.0-32B. Модель предназначена для генерации текста и может использоваться локально через llama.cpp, LM Studio и другие совместимые проекты. Доступны варианты от BF16 размером около 64 ГБ до компактных IQ3 и Q3 размером примерно 13–17 ГБ, а также более качественные Q4–Q8. Рекомендуемым вариантом по умолчанию указан Q4_K_M; варианты Q5 и Q6 обеспечивают более высокое качество при значительных требованиях к памяти, а низкобитные варианты подходят для систем с ограниченным объёмом RAM, но могут заметно уступать в качестве. Из README известно, что модель содержит 32 миллиарда параметров и работает в текстовой модальности. Архитектура, поддерживаемые языки, размер контекстного окна и точные характеристики исходной модели здесь не указаны. Шаблон чата также не задан: в README приведён предполагаемый формат, который может быть некорректным и требует проверки по карточке оригинальной модели. Лицензия в предоставленных данных не указана.

Ling-3.0-flash-GGUF — это набор GGUF-конвертаций модели Ling-3.0-flash, разработанной inclusionAI и опубликованной пользователем bloomer010 для запуска через llama.cpp. Модель предназначена для генерации текста, диалоговых и агентских сценариев, включая вызов инструментов, рассуждения и speculative decoding. В основе лежит гибридная архитектура KDA и gated MLA с Mixture-of-Experts на 512 экспертов: общий размер составляет около 124 млрд параметров, из которых активно примерно 5,1 млрд. Конвертации напрямую созданы из BF16 safetensors и включают блок MTP/NextN, поэтому отдельная drafter-модель для этого режима не требуется. Поддерживается контекст до 256K токенов; README не указывает набор языков и наличие мультимодальных возможностей. Доступны варианты квантования от BF16 и Q8_0 до сильно сжатых IQ1 и MXFP4_MOE, что позволяет адаптировать модель к разному объёму памяти. Качество обычно выше у крупных файлов, а малые варианты требуют меньших ресурсов, но могут сильнее терять точность и стабильность. Для эффективного speculative decoding также предлагаются отдельные DSpark draft-модели. Агентское использование в llama.cpp зависит от поддержки актуальных изменений, связанных с Ling parser и обработкой некорректных UTF-8-последовательностей; без них возможны сбои при вызове инструментов в незавершённых блоках рассуждений. Модель распространяется по лицензии MIT.

Это квантованная в формате MXFP4_MOE сборка разговорной гибридной MoE-модели Ling-3.0-flash от Inclusion AI, опубликованная в формате GGUF. Она предназначена для генерации текста в диалогах; базовая модель также рассчитана на программирование и многошаговые агентные задачи. Для запуска в карточке рекомендуется llama.cpp. Сведения о размере модели, контекстном окне и поддерживаемых языках в доступных данных отсутствуют. Квантование уменьшает точность весов и предназначено для запуска модели в более компактном формате, однако доступные данные не содержат результатов оценки качества этой сборки. Лицензия не указана в предоставленных сведениях.

Ling-3.0-tiny-GGUF — набор квантизованных файлов модели Ling-3.0-tiny, разработанной IBM и опубликованной в формате GGUF для запуска через llama.cpp. Модель предназначена для локального и периферийного развертывания, генерации текста, задач рассуждения и агентских сценариев с возможностью выбирать между быстрым ответом и режимом пошагового reasoning. Модель содержит 7,9 млрд параметров, из которых на каждый токен активируется около 1,3 млрд. Она использует гибридную архитектуру с чередованием слоёв KDA (Kimi Delta Attention) и MLA (Multi-Head Latent Attention) в соотношении 3:1, а также разреженный MoE-слой с 128 маршрутизируемыми экспертами. Заявлена поддержка эффективной обработки длинного контекста, однако конкретный максимальный размер контекста и поддерживаемые языки в README не указаны. Для файлов доступны варианты от BF16 и F16 до экстремально сжатых 1–8-битных квантований; типичный компромисс между качеством и размером — Q4_K_M. Сильные стороны модели — малое число активируемых параметров, экономичное потребление памяти, высокая скорость инференса и встроенный настраиваемый режим рассуждения. В README приведены ориентиры около 100–105 токенов в секунду на NVIDIA DGX Spark и 86–90 токенов в секунду на MacBook с M4 Pro при FP8, а также пиковое потребление около 8,34 ГБ памяти при контексте 8K. Ограничения зависят от выбранного уровня квантования: сильное сжатие снижает качество и может ухудшать связность ответов. Лицензия в предоставленном README не указана.

Модель arnavgrg/llama-2-13b-chat-nf4-fp16-upscaled — вариант Llama 2 13B Chat, подготовленный автором как upscaled fp16 после загрузки исходной модели с 4-битной NF4-квантизацией через bitsandbytes. Линейные слои Linear4bit преобразованы в fp16, чтобы не выполнять повторную квантизацию и деквантизацию при каждом проходе во время инференса. Модель имеет плотную архитектуру LlamaForCausalLM, около 12,9 млрд параметров и контекст 4096 токенов. Предназначена для генерации текста в диалоговом формате и может загружаться через Transformers с точностью fp16. README указывает, что веса линейных слоёв после квантизации NF4 являются lossy, поэтому качество может быть ниже официальной базовой модели. Репозиторий распространяется по лицензии Apache-2.0.

winglian/Llama-2-3b-hf — языковая модель семейства Llama 2, опубликованная пользователем winglian в формате, совместимом с Hugging Face Transformers. Модель предназначена для авторегрессионной генерации текста и может использоваться через pipeline text-generation, а также в серверных инструментах vLLM и SGLang. По данным карточки и метаданных, модель содержит около 3,4 млрд параметров и поддерживает контекст длиной до 4096 токенов. Репозиторий содержит веса PyTorch и токенизатор.

baaghi124/Llama-2-7B-Chat-OpenOrca — чат-модель на архитектуре Llama 2, дообученная разработчиком baaghi124 на очищенном наборе Llama2-OpenOrca-Clean с применением QLoRA и 4-битной квантизации при дообучении. Модель содержит 6,6 млрд параметров, использует класс LlamaForCausalLM и работает с текстом; её основная задача — генерация ответов в диалоге и продолжение текста. Базовая модель — meta-llama/Llama-2-7b-chat-hf, контекст составляет до 4096 токенов. Модель подходит для чат-ботов и генерации текстовых ответов в сценариях общего назначения. В карточке не приведены отдельные оценки качества или сведения о специальных областях применения. Репозиторий содержит веса PyTorch. Лицензия в предоставленных данных не указана.

Это преобразованная версия базовой языковой модели Llama 2 7B, разработанной Meta. Веса модели сначала были загружены с 4-битной квантизацией NF4 через bitsandbytes, после чего 4-битные линейные слои были расширены до FP16. Репозиторий содержит модель на 6,6 млрд параметров с архитектурой LlamaForCausalLM и контекстом до 4096 токенов; она принимает текст и генерирует текст.

unsloth/Llama-3.1-8B — текстовая генеративная модель на архитектуре Llama 3.1, представленная Unsloth как основа для экспериментов с дообучением, в том числе для создания моделей рассуждения. По метаданным, это плотная авторегрессионная модель класса LlamaForCausalLM на 7,5 млрд параметров, опубликованная в формате safetensors; базовая модель — meta-llama/Llama-3.1-8B. Модель предназначена для генерации текста и адаптации к задачам естественного языка. Семейство Llama 3.1 поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский; контекстное окно составляет 131 072 токена. README описывает возможности семейства, включая диалоговые сценарии для настроенных версий, но эта карточка относится к базовой модели, поэтому качество общения по инструкциям не следует считать гарантированным. Лицензия — Llama 3.1 Community License с условиями коммерческого и исследовательского использования и ограничениями из лицензии и Acceptable Use Policy. Модель статична и обучена на офлайн-данных; генерация может содержать ошибки, а безопасность и качество в конкретном сценарии требуют проверки.

bigdefence опубликовал дообученную языковую модель на архитектуре Llama 3.1. Она создана на базе Saxo/Linkbricks-Horizon-AI-Korean-llama-3.1-sft-dpo-8B и предназначена для генерации текста в диалоговом формате; метаданные также отмечают интерфейс вызова инструментов. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В карточке указано обучение с использованием Unsloth и TRL. Базовая модель ориентирована на корейский язык, однако README и языковые метаданные этой версии не подтверждают отдельно полный список поддерживаемых языков. Модель распространяется по лицензии Apache-2.0. README не приводит результатов оценки качества или подробностей о данных дообучения, поэтому пригодность для конкретных задач следует проверять отдельно.

Это квантизированная в формате GGUF версия инструкционной модели Llama-3.1-8B-Instruct, разработанной Meta и подготовленной ByteShape с использованием метода ShapeLearn. ShapeLearn подбирает тип данных отдельно для каждого тензора, чтобы сохранять высокое качество при малой разрядности. Модель предназначена для генерации текста и диалоговых сценариев, а также для локального запуска через llama.cpp или Ollama на CPU и GPU. Модель содержит 8 миллиардов параметров, работает только с текстом и заявлена для английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Доступны варианты KQ, оптимизированные для CPU, и IQ, ориентированные на современные Nvidia GPU; размер файлов составляет примерно 2,56–4,33 ГБ, а средняя разрядность — от 2,54 до 4,31 бит на вес. Разные варианты предлагают компромисс между скоростью, размером и качеством, однако README не указывает размер контекстного окна и не приводит подробностей об ограничениях качества или безопасности. Основные преимущества — возможность локального запуска, широкий выбор уровней квантизации и оптимизация под разные аппаратные платформы при сохранении качества исходной модели. Ограничения связаны с потерями качества, неизбежными при низкой разрядности, а также с тем, что эффективность зависит от выбранного варианта и оборудования. Модель распространяется по лицензии llama3.1.

Llama-3.1-8B-Instruct-Jbliterated-i1-GGUF — это набор квантизированных моделей в формате GGUF, подготовленный mradermacher на основе ApolloRaines/Llama-3.3-8B-Instruct-128K-Jbliterated. Модель предназначена для генерации текста и диалоговых сценариев, включая локальный запуск в совместимых средах для работы с GGUF-файлами. Модель относится к семейству Llama и содержит около 8 млрд параметров. Заявлена поддержка контекста до 128 тысяч токенов, а также английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Это текстовая модель без заявленной поддержки изображений или других модальностей. В репозитории доступны варианты квантования от очень компактных IQ1 до более качественных Q6_K; степень квантования влияет на размер файла, скорость и качество, при этом Q4_K_M обозначен как быстрый рекомендуемый вариант. К сильным сторонам относятся большой контекст, мультиязычность и возможность запуска с разными требованиями к памяти благодаря широкому выбору квантов. Ограничения связаны с потерями качества при низких уровнях квантования, а также с отсутствием подробных результатов тестирования и сведений о фактической производительности. Модель распространяется по лицензии llama3.1; перед использованием следует учитывать условия этой лицензии и особенности базовой модели.

Na0s/Llama-3.1-8B-Pruned-4-Layers_LoRA-PEFT-1.0 — дообученная текстовая генеративная модель на архитектуре LlamaForCausalLM, опубликованная автором Na0s. Она предназначена для генерации продолжений текста и ответов на запросы; в обучении использован набор berkeley-nest/Nectar. Размер модели составляет 6,4 млрд параметров, контекст — до 131 072 токенов. Модель основана на Na0s/Llama-3.1-8B-Pruned-4-Layers_LoRA-PEFT и распространяется в формате safetensors. В карточке приведён результат 0,2927 на тесте MMLU Pro в режиме zero-shot. Данных о целевых языках и специализированных областях применения нет, поэтому модель можно описать как общего назначения. Лицензия — Apache-2.0.

Llama3.1-8B-relu-stage-1-dolma-v1_7-50B-4096 — дообученная текстовая модель на архитектуре Llama 3.1 от Skymizer, основанная на meta-llama/Llama-3.1-8B. В метаданных указаны 7,5 млрд параметров и контекст до 131 072 токенов; модель распространяется в формате safetensors и рассчитана на использование с Transformers. Модель предназначена для генерации текста. В README приведён результат оценки: loss 2,3481; набор данных и подробности обучения не раскрыты. Лицензия — llama3.1, условия использования определяются её положениями.

Llama3.1-8B-ShiningValiant2-GGUF — это квантизированная GGUF-версия языковой модели Llama3.1-8B-ShiningValiant2, разработанной ValiantLabs и подготовленной к распространению пользователем bartowski. Модель предназначена для генерации текста, диалоговых и инструкционных сценариев, включая работу с научно-техническими темами: физикой, биологией, химией, информатикой и инженерией. Указан английский язык. Модель основана на архитектуре Llama и имеет около 8 млрд параметров. Она представлена в форматах от F16 до различных вариантов квантизации Q8, Q6, Q5, Q4, Q3 и IQ4, что позволяет выбирать баланс между качеством, размером файла и требованиями к оперативной памяти. Файлы подготовлены с использованием llama.cpp и imatrix; запуск рекомендуется через LM Studio. В README не указаны модальности, максимальный размер контекста и результаты сравнительных тестов, поэтому её преимущества можно уверенно связывать главным образом с выбором размера и уровня квантизации. Качество и потребление памяти зависят от выбранного варианта: F16 обеспечивает максимальное сохранение исходных характеристик, а квантизированные версии подходят для локального запуска на менее производительном оборудовании, но могут уступать по качеству. Некоторые варианты оптимизированы для ARM и требуют соответствующей аппаратной поддержки. Модель распространяется по лицензии llama3.1.

llama3.1-airoboros3.2-QDT-8B — плотная авторегрессионная языковая модель семейства Llama 3.1, созданная дообучением Meta Llama 3.1 8B Instruct на наборе jondurbin/airoboros-3.2. Модель содержит 7,5 млрд параметров, использует формат чата Llama 3 Instruct и рассчитана на генерацию текста в диалоговом режиме; заявленная длина контекста — 131 072 токена. Модель может применяться для ответов на запросы и ведения диалога. Она обучалась один цикл на 25% данных набора из-за ограниченных ресурсов, поэтому качество может быть нестабильным. Распространяется по лицензии llama3.

Llama-3.1-Tulu-3.1-8B — англоязычная плотная языковая модель семейства Llama, разработанная AI2 и дообученная на базе allenai/Llama-3.1-Tulu-3-8B-DPO. Версия 3.1 отличается обновлённым заключительным этапом обучения с GRPO вместо PPO и настройкой гиперпараметров. Модель содержит 7,5 млрд параметров, принимает текст и предназначена для диалогов и следования инструкциям; длина контекста составляет 131 072 токена. Модель подходит для ответов на вопросы, решения математических задач, включая MATH и GSM8K, и выполнения инструкций с оцениванием по IFEval. Она ориентирована прежде всего на английский язык. Разработчик публикует открытые данные, код и рецепты обучения семейства Tülu 3. По карточке модели обучение безопасности ограничено, поэтому ответы могут содержать проблемный контент, особенно при соответствующих запросах. Лицензия — Llama 3.1 Community License Agreement.

bartowski/Llama-3.1-Tulu-3-70B-DPO-GGUF — это набор GGUF-квантизаций модели Llama-3.1-Tulu-3-70B-DPO, разработанной Allen Institute for AI (AI2) и дообученной методом DPO на наборе данных allenai/llama-3.1-tulu-3-70B-preference-mixture. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях вроде LM Studio. В README указаны архитектура семейства Llama 3.1, размер 70B параметров, текстовая модальность и поддержка английского языка. Для взаимодействия используется формат промпта с ролями system, user и assistant. Размер и качество зависят от выбранной квантизации: доступны варианты от Q8_0 объёмом 74,98 ГБ до IQ1_M объёмом 16,75 ГБ. Сильной стороной являются многочисленные варианты квантизации, позволяющие выбирать баланс между качеством, скоростью и требованиями к памяти; наиболее рекомендуемыми в README названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Более компактные варианты экономят память, но могут заметно снижать качество. Для некоторых вариантов указаны аппаратные ограничения, а файл Q4_0_8_8 не рекомендуется использовать на Mac. Лицензия модели — llama3.1.

unsloth/Llama-3.2-1B-bnb-4bit — 4-битная версия модели Meta Llama 3.2 с базовой моделью meta-llama/Llama-3.2-1B, подготовленная Unsloth для эффективного запуска и дообучения. Это авторегрессионная языковая модель на оптимизированной архитектуре Transformer с поддержкой библиотеки Transformers. Модель работает в режиме текст-ввод — текст-вывод и предназначена для генерации текста, диалоговых приложений, суммаризации и агентных сценариев поиска информации. Модель имеет размер 1B параметров и использует квантование bnb 4-bit, что снижает требования к памяти по сравнению с полноразмерными вариантами. Для семейства Llama 3.2 заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; модель обучалась на более широком наборе языков, однако качество для языков вне официально поддерживаемых может отличаться. Контекстное окно и другие архитектурные параметры в предоставленных данных не указаны. Сильные стороны модели — компактный размер, экономичное использование памяти и удобство последующего дообучения с помощью инструментов Unsloth. Ограничения включают статичный характер обучения на офлайн-данных, возможное снижение качества из-за 4-битного квантования и отсутствие в карточке подробных результатов бенчмарков, параметров контекста и сведений о конкретной версии дообучения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy Meta; лицензия является специальной коммерческой лицензией.

Llama-3.2-1B-Instruct-4bit — компактная инструкционная языковая модель семейства Llama 3.2, разработанная Meta и представленная в формате mlx-community. По идентификатору модели, она содержит около 1 миллиарда параметров и использует 4-битное квантование, что ориентировано на более экономичное локальное выполнение. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы и другие задачи обработки естественного языка. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель относится к задачам text-generation и совместима с экосистемой Transformers; наличие формата MLX указывает на целевую оптимизацию для соответствующей среды. Ключевые ограничения — меньший размер по сравнению с крупными моделями и возможное снижение точности из-за 4-битного квантования; данные о размере контекстного окна, результатах тестирования и мультимодальности не предоставлены. Использование регулируется Llama 3.2 Community License от Meta. Лицензия предоставляет ограниченные неисключительные права на использование, воспроизведение, распространение и модификацию при соблюдении условий, включая передачу текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

RedHatAI/Llama-3.2-1B-Instruct-FP8 — квантизированная FP8-версия Meta Llama 3.2 1B Instruct, разработанная Neural Magic. Это текстовая autoregressive-модель для генерации текста и диалоговых сценариев, включая ассистентские чаты, с поддержкой коммерческого и исследовательского использования на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель использует архитектуру Llama 3 и принимает текст на входе, генерируя текст на выходе. Веса и активации линейных операторов в трансформерных блоках квантизированы в FP8; размер модели — 1 млрд параметров. По сравнению с исходной FP16-моделью это примерно вдвое снижает требования к GPU-памяти и размеру на диске и может примерно вдвое увеличить пропускную способность матричных вычислений. В README также указана поддержка контекста до 8192 токенов при развертывании с vLLM. К сильным сторонам относятся эффективное развертывание и небольшая потеря качества: на MMLU, ARC-Challenge, GSM-8K, Hellaswag, Winogrande и TruthfulQA результаты находятся в пределах 1% от неквантизированной версии. Для использования требуется совместимое окружение, например backend vLLM. Ограничения включают меньший размер и, соответственно, более ограниченные возможности по сравнению с крупными языковыми моделями; конкретные ограничения безопасности и качества в README не раскрыты. Лицензия указана как Llama3.2; использование не должно нарушать применимое законодательство и экспортные или торговые ограничения.

QuietImpostor/Llama-3.2-3B-Instruct-Base-Merge — экспериментальное слияние моделей Llama 3.2, созданное автором репозитория для будущих проектов. Веса двух моделей, unsloth/Llama-3.2-3B и unsloth/Llama-3.2-3B-Instruct, объединены методом TIES с помощью mergekit; результат сохранён в формате safetensors с точностью bfloat16. Модель содержит 3,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев. Автор сообщает о многообещающих результатах ограниченного тестирования, но подчёркивает, что модель требует дальнейшей проверки. Условия лицензии в предоставленных данных не указаны.

Bunnycore Llama-3.2-3B-ProdigyPlusPlus — объединённая диалоговая языковая модель на архитектуре Llama, созданная с помощью mergekit методом TIES. В качестве базовой модели README указывает huihui-ai/Llama-3.2-3B-Instruct-abliterated; в объединение также вошли модели Bunnycore для кода, научных рассуждений, длинных рассуждений, ролевого общения и смешанных навыков. Модель предназначена для генерации текста и ответов в чате. Она содержит 3,2 млрд параметров, работает с текстом и имеет заявленный контекст до 131 072 токенов. Метаданные отмечают интерфейс вызова инструментов; фактическое качество этой возможности не описано. Модель опубликована в формате safetensors и использует библиотеку Transformers. В README приведены результаты Open LLM Leaderboard, включая средний балл 6,44, но не дано подробного описания методики или результатов по всем задачам. Сведения о лицензии в предоставленных данных отсутствуют.

voidful опубликовал в формате Transformers разговорную языковую модель семейства Llama 3.2 с плотной архитектурой LlamaForCausalLM и 7,5 млрд параметров. Метаданные указывают на генерацию текста, чат и интерфейс вызова инструментов; модель принимает текст и генерирует текст. Заявленная длина контекста составляет 131 072 токена. Карточка README называет модель «Patched LLama 3.2 8B from LLaMA 3.2 11B Model» и упоминает изменение весов, но не объясняет метод и результат патчинга. Языки и лицензия в карточке не заполнены. Перед использованием следует учитывать, что README не описывает качество, обучающие данные, ограничения и условия лицензии; оценить их по представленным сведениям нельзя.

QomSSLab/LLama3.3-Rhino-70B-RAG — языковая модель семейства Llama, дообученная QomSSLab на базе unsloth/Llama-3.3-70B-Instruct-bnb-4bit с использованием Unsloth и TRL. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также заявлен интерфейс вызова инструментов. Название указывает на RAG-сценарии, однако README не описывает отдельные возможности поиска или работы с документами. Модель имеет плотную архитектуру LlamaForCausalLM и 69,5 млрд параметров, принимает текст и поддерживает контекст до 131 072 токенов. В карточке указан английский язык. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. README не приводит оценок качества или подробностей обучения, поэтому пригодность для конкретных RAG-наборов данных следует проверять отдельно.

Llama3-8B-Chinese-Chat — диалоговая языковая модель, разработанная Shenzhi Wang, Yaowei Zheng, Guoyin Wang, Shiji Song и Gao Huang на основе Meta-Llama-3-8B-Instruct. В репозитории представлена версия v2.1, дообученная полными параметрами методом ORPO на смешанных китайско-английских данных предпочтений. Архитектура — плотная LlamaForCausalLM; размер составляет около 7,5 млрд параметров по метаданным, контекст — 8192 токена. Модель принимает текст и генерирует текст на китайском и английском языках. Она предназначена для диалогов и ответов по инструкциям, ролевых сценариев, вызова инструментов и решения математических задач. Авторы отмечают, что дообучение уменьшает вероятность ответа на китайский запрос по-английски и смешения языков; версия v2.1 улучшает ролевые ответы, вызов функций и математику по сравнению с предыдущими версиями. Модель не проходила настройку идентичности, поэтому ответы о том, кто она и кто её разработал, могут быть случайными. Используется лицензия Llama 3.

Модель dbands/llama-3-8b-instruct-code-instructions-blender-16bit — дообученная языковая модель семейства Llama 3, разработанная dbands на основе dbands/llama-3-8b-instruct_code_instructions_122k_alpaca_style_4bit. Она предназначена для генерации текста по инструкциям, включая задачи, связанные с кодом. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Модель принимает текст и генерирует текст; в карточке указан английский язык. Обучение проводилось с Unsloth и библиотекой TRL. Репозиторий содержит веса в формате Safetensors. Лицензия — Apache 2.0.

Llama-3-8B-Instruct-Gradient-1048k-GGUF — набор GGUF-квантизаций модели Llama-3-8B-Instruct-Gradient-1048k, разработанной Gradient AI и подготовленной для распространения пользователем bartowski. Модель предназначена для генерации текста и диалоговых сценариев с использованием шаблона сообщений Llama 3; заявленный контекст — до 1 048 000 токенов. Указан английский язык, поддерживается текстовая модальность. Модель основана на архитектуре Llama 3 с примерно 8 млрд параметров. Набор включает варианты квантизации от Q8_0 до Q2_K и IQ2–IQ4, что позволяет выбирать между качеством, размером файла и требованиями к памяти. Наиболее качественными в README названы Q8_0 и Q6_K, а Q5_K_M, Q5_K_S, Q4_K_M и другие варианты рекомендованы как компромисс между качеством и потреблением ресурсов. Файлы предназначены для запуска через llama.cpp; квантизация выполнена с использованием imatrix. Сильными сторонами являются большой заявленный контекст, широкий выбор уровней квантизации и возможность локального запуска на оборудовании с разным объёмом памяти. Более сильное сжатие уменьшает размер модели, но снижает качество генерации; варианты Q2 и часть Q3 описаны как низкокачественные или пригодные главным образом при жёстких ограничениях памяти. В README указана лицензия llama3; отдельные требования исходной модели и ограничения применения следует уточнять в условиях этой лицензии.

Карточка модели princeton-nlp/Llama-3-Base-8B-SFT-IPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Base-8B-SFT, поэтому описание составлено по ней. princeton-nlp/Llama-3-Base-8B-SFT — разговорная модель генерации текста на архитектуре Llama, опубликованная как часть работы SimPO: Simple Preference Optimization with a Reference-Free Reward. Репозиторий содержит модель на 7,5 млрд параметров в формате safetensors; заявленная длина контекста — 8192 токена. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на запросы и ведения беседы. README отсылает к репозиторию SimPO за дополнительными сведениями. Лицензия и конкретные языковые возможности в предоставленных данных не определены.