II.6Документация и сопровождение разработки

Llama-3.1-Tulu-3-8B-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Tulu-3-8B, разработанной Allen Institute for AI (AI2) и опубликованной в формате для локального запуска. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев; указанный в карточке pipeline — text-generation. Для работы рекомендуется формат приглашений с ролями system, user и assistant, а запуск возможен, в частности, через LM Studio или совместимые инструменты llama.cpp. Модель содержит около 8 млрд параметров, поддерживает английский язык и поставляется в вариантах от исходных весов F16 до более компактных Q2–Q8-квантизаций. Размер файлов составляет примерно от 3,5 до 16,1 ГБ; варианты отличаются компромиссом между качеством и требованиями к памяти. Наиболее сбалансированным для большинства сценариев README называет Q4_K_M, а Q5 и Q6 — высококачественными вариантами. Более сильное сжатие уменьшает потребление памяти, но снижает качество, а отдельные варианты оптимизированы для ARM и имеют ограничения по аппаратной совместимости. Длина контекста и мультимодальные возможности в карточке не указаны. Лицензия обозначена как llama3.1; перед использованием следует учитывать условия лицензии базовой модели.

duyntnet/Llama-3.2-1B-imatrix-GGUF — набор GGUF-квантизаций базовой модели Meta Llama 3.2 1B, подготовленный для запуска через llama.cpp и совместимые интерфейсы, включая KoboldCPP, text-generation-webui и Ollama. Модель предназначена для генерации текста, диалоговых сценариев, извлечения знаний, суммаризации, написания текста, а также переформулирования запросов и промптов. Репозиторий содержит квантизированные варианты исходной модели, поэтому конкретные характеристики и качество зависят от выбранного файла квантизации. Исходная Llama 3.2 1B — авторегрессионная языковая модель на оптимизированной архитектуре Transformer с 1,23 млрд параметров, Grouped-Query Attention и общими эмбеддингами. Она работает только с текстом на входе и генерирует текст и код на выходе, поддерживает контекст до 128 тысяч токенов. Официально заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года; README не уточняет, является ли данный репозиторий базовой или instruction-tuned версией. Сильные стороны модели — небольшой размер, возможность локального запуска и снижение требований к памяти благодаря GGUF-квантизации и imatrix. Ограничения включают возможное ухудшение качества при агрессивной квантизации, отсутствие мультимодальности и ограниченность актуальности знаний. Использование регулируется индивидуальной коммерческой Llama 3.2 Community License и Acceptable Use Policy Meta; условия для производных применений и дополнительных языков необходимо соблюдать.

bunnycore/Llama-3.2-3B-Blend — объединённая языковая модель, созданная с помощью mergekit методом Model Stock. В качестве базовой использована huihui-ai/Llama-3.2-3B-Instruct-abliterated; в слияние также вошли модели для цепочек рассуждений, RP и диалогов, а также адаптер Smart-v1-lora. Модель построена на архитектуре Llama с 3,2 млрд параметров и предназначена для генерации текста и диалогового взаимодействия. Модель можно применять для ответов на запросы, следования инструкциям и генерации текста с рассуждениями. В метаданных также заявлен интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена; поддержка конкретных языков в карточке не описана. Репозиторий содержит веса в формате safetensors. Лицензия не указана в предоставленных данных.

Enigma — языковая модель Valiant Labs для генерации кода по инструкциям и общего диалога. Она дообучена на Llama 3.2 3B Instruct с использованием синтетических данных для программирования и общего общения; в карточке названы наборы sequelbox/Tachibana и sequelbox/Supernova. Модель использует плотную архитектуру LlamaForCausalLM, содержит 3,2 млрд параметров и принимает формат запросов Llama 3.2 Instruct. Заявленная длина контекста — 131 072 токена. Enigma предназначена для написания и объяснения кода, ответов на вопросы и обычного общения в чате. Карточка отмечает английский язык, а также возможности следования инструкциям и интерфейс вызова инструментов. Модель распространяется в формате safetensors по лицензии Llama 3.2. Результаты генерации кода и ответов могут содержать ошибки; карточка не приводит отдельных оценок качества или подробных ограничений.

mlx-community/Llama-3.2-3B-Fluxed — языковая модель семейства Llama 3.2, преобразованная сообществом mlx-community из VincentGOURBIN/Llama-3.2-3B-Fluxed в формат MLX с помощью mlx-lm 0.19.3. Это плотная авторегрессионная модель класса LlamaForCausalLM с 3,2 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для генерации текста и диалогового общения; метаданные также указывают интерфейс вызова инструментов. В качестве обучающего набора для исходной модели указан VincentGOURBIN/FluxPrompting, а язык карточки — английский. Репозиторий распространяется в формате safetensors и по лицензии Apache-2.0.

Llama-3.2-3B-Instruct-bf16 — компактная инструкционная языковая модель семейства Llama 3.2, разработанная Meta и представленная в формате mlx-community. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы, следование инструкциям, создание и преобразование текста. В идентификаторе указано около 3 млрд параметров и формат чисел bfloat16; README также указывает совместимость с Transformers и использование экосистемы MLX. Модель работает с текстом и не заявлена как мультимодальная. Поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста и точные архитектурные характеристики в README не указаны. К сильным сторонам относятся относительно небольшой размер, инструкционная настройка и многоязычная поддержка, что делает модель подходящей для локального запуска и прикладных текстовых задач при наличии совместимого оборудования. При этом в предоставленных данных нет результатов оценивания, сведений о фактическом качестве по языкам, ограничениях безопасности, производительности или рекомендуемых ресурсах, поэтому их нельзя оценить точнее. Модель распространяется по Llama 3.2 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая соблюдение Acceptable Use Policy, указание «Built with Llama», сохранение лицензионного уведомления и дополнительные требования для продуктов с более чем 700 млн ежемесячных активных пользователей.

lmstudio-community/Llama-3.2-3B-Instruct-GGUF — квантованная версия инструкционной модели Meta Llama 3.2 3B Instruct, подготовленная сообществом lmstudio-community; квантование выполнено bartowski. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение пользовательских инструкций, ответы на вопросы и использование в локальных приложениях через совместимые инструменты для GGUF. Модель относится к семейству больших языковых моделей Llama и работает с текстовой модальностью. В README указаны размер 3B параметров и поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Архитектурные детали, размер контекстного окна и конкретный уровень квантования в предоставленных данных не указаны. К сильным сторонам относятся компактный размер, инструкционное дообучение и возможность использования в локальной инфраструктуре с меньшими требованиями к ресурсам по сравнению с более крупными моделями. Ограничения включают неизвестные из README характеристики производительности, контекста и точности, а также типичные для генеративных языковых моделей риски неточных или нежелательных ответов. Модель распространяется на условиях Llama 3.2 Community License от Meta. Лицензия требует соблюдения Acceptable Use Policy, указания атрибуции и условий «Built with Llama» при распространении соответствующих материалов или продуктов; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено дополнительное лицензионное ограничение.

duyntnet/Llama-3.2-3B-Instruct-imatrix-GGUF — набор квантизированных версий инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta. Репозиторий распространяет модель в формате GGUF с использованием imatrix и предназначен для локального запуска через llama.cpp, KoboldCPP, text-generation-webui или Ollama. Модель представляет собой авторегрессионную текстовую модель на оптимизированной архитектуре Transformer с примерно 3 млрд параметров. Она работает по схеме «текст на входе — текст на выходе» и поддерживает английский язык; исходная модель описывается как мультиязычная, однако для этой конкретной публикации в карточке указан только английский. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback и ориентирована на диалоги, агентный поиск и извлечение информации, суммирование и другие задачи генерации текста. К сильным сторонам относятся компактный размер, возможность локального запуска и совместимость с распространёнными инструментами инференса. Ограничения включают текстовую модальность, отсутствие в README сведений о размере контекста, конкретных параметрах квантизации и результатах бенчмарков. Лицензия указана как other; дополнительные условия использования в карточке не приведены.

Hugging-quants/Llama-3.2-3B-Instruct-Q8_0-GGUF — квантованная версия инструкционно дообученной языковой модели Llama 3.2 3B Instruct, разработанной Meta и представленной в формате GGUF для использования с llama.cpp и совместимыми средствами инференса. Модель предназначена для генерации текста, диалоговых сценариев и выполнения инструкций на локальном или ограниченном по ресурсам оборудовании. Модель содержит около 3 миллиардов параметров и использует 8-битное квантование Q8_0, что снижает требования к памяти по сравнению с полноразмерными весами при сохранении близкого к исходной модели качества. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модальность — текстовая; размер контекста в README не указан. К сильным сторонам относятся инструкционная настройка, относительно небольшой размер, широкая заявленная языковая поддержка и удобный для локального запуска формат GGUF. Ограничения включают возможную потерю качества из-за квантования, меньшие возможности по сравнению с более крупными моделями и отсутствие информации о конкретных показателях производительности и максимальном контексте. Модель распространяется по Llama 3.2 Community License от Meta. При распространении материалов или производных продуктов требуется соблюдать условия лицензии, включая указание «Built with Llama», сохранение лицензионного уведомления и Acceptable Use Policy; для продуктов с более чем 700 миллионами месячных активных пользователей предусмотрены дополнительные условия.

Llama3.2-DeepHermes-3-3B-Preview-Reasoning-MAX-NEO-Imatrix-GGUF — это GGUF-квантизированная текстовая генеративная модель, основанная на NousResearch/DeepHermes-3-Llama-3-3B-Preview. Сборка подготовлена David_AU с использованием собственной технологии Neo Imatrix и «MAXED»-квантизации, при которой embedding- и output-тензоры сохраняются в формате BF16. Модель предназначена для локального запуска и ориентирована на рассуждения, следование инструкциям, диалог, решение задач, генерацию идей и текста, творческое письмо и ролевые сценарии. Указана лицензия Apache-2.0. Модель имеет размер около 3B параметров и поддерживает контекст до 128k токенов. Она работает только с текстом; сведения о поддерживаемых языках в README не приведены. Доступны варианты квантизации от IQ1_S до Q8_0, отличающиеся размером, скоростью и качеством. Более высокие кванты обычно лучше сохраняют способности к рассуждению, а варианты IQ4XS, IQ4NL и Q4 рекомендуются для творческих задач; для общего применения рекомендуются Q5, Q6 и Q8. Для reasoning-сценариев рекомендуется использовать как минимум IQ3. Сильные стороны модели — компактный размер, высокая скорость локального вывода, улучшенное следование инструкциям и потенциально более высокое качество благодаря Neo Imatrix и сохранению части тензоров в BF16. При этом качество рассуждений напрямую зависит от выбранного кванта: самые компактные варианты заметно уступают более крупным, а README не содержит независимых бенчмарков, подробных данных об обучении или гарантии заявленного превосходства над более крупными моделями. Для комфортной работы рекомендуется окно контекста не менее 8k токенов, особенно для вариантов IQ4 и ниже.

LLama3-8B-FunStock — диалоговая языковая модель, созданная bunnycore слиянием трёх моделей семейства Llama 3 через mergekit. Она содержит около 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста и диалогов; описание базовой модели указывает на применение для английского текста и STEM-задач. Модель доступна в формате safetensors и распространяется по лицензии Apache-2.0. README указывает тип слияния model_stock и вычислительный формат bfloat16. Подходит для исследовательских и прикладных сценариев генерации ответов, включая вопросы по STEM-темам; сведения о сравнительных оценках качества и специальных ограничениях не приведены.

Llama-3-8B-Instruct-Coder — дообученная модель на основе Llama 3 8B Instruct от Meta, опубликованная rombodawg. Она обучалась на наборах CodeFeedback и Code Feedback Filtered Instruction и предназначена для генерации кода и ответов на запросы о программировании в диалоговом формате. Модель использует плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров и контекстом до 8192 токенов. В карточке указано обучение методом Qalore, сочетающим QLoRA и приёмы GaLore для снижения требований к видеопамяти. Поддерживается английский язык; модель доступна в форматах PyTorch и safetensors. Для использования действует лицензия Llama 3. Карточка не приводит результатов оценки качества или подробных ограничений; качество ответов следует проверять на целевых задачах, особенно при использовании сгенерированного кода.

Llama-3-8B-Instruct-GGUF — квантизированная GGUF-версия языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Квантизацию выполнила Second State Inc. Модель предназначена для генерации текста и диалогового взаимодействия с использованием шаблона запросов llama-3-chat, а также для локального запуска через llama.cpp и LlamaEdge. Модель относится к архитектуре Llama и содержит 8 миллиардов параметров. Это текстовая модель с поддержкой английского языка и контекстом до 8192 токенов. Доступны варианты квантизации от 2 до 8 бит, а также версия f16; размеры файлов составляют примерно от 3,18 до 16,1 ГБ. Вариант Q4_K_M позиционируется как сбалансированный по качеству и размеру, а Q5_K_M и Q5_K_S — как варианты с небольшими потерями качества. Основные преимущества модели — относительно компактный размер, возможность локального развертывания и выбор между несколькими уровнями квантизации. Существенным ограничением является потеря качества у низкобитных вариантов, особенно Q2 и Q3; README также не содержит результатов бенчмарков или подробных сведений о безопасности и ограничениях применения. Указана лицензия Llama 3 с обозначением llama3; условия использования следует уточнять в лицензии Meta.

Llama-3-8B-Instruct-v0.2 — диалоговая языковая модель Maziyar Panahi, созданная на основе серии Llama-3-8B-Instruct-DPO. Это плотная авторегрессионная архитектура LlamaForCausalLM с 7,5 млрд параметров и контекстом 8192 токена, предназначенная для генерации текста и переписки в формате ChatML. Модель подходит для диалоговых помощников, составления и продолжения текстов, а также ответов на запросы на английском языке. Для запуска можно использовать библиотеку Transformers. В репозитории указаны веса safetensors; README также ссылается на отдельную страницу с квантованными версиями GGUF. Модель дообучена на MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой модели. Данных о специализированной предметной области нет.

Llama-3-8B-RAG-v1 — языковая модель Glaive, дообученная на наборе Glaive-RAG-v1 для задач генерации с использованием поиска по документам (RAG). Это плотная авторегрессионная модель семейства Llama 3 с 7,5 млрд параметров, рассчитанная на генерацию текста и диалоговый режим. Контекст модели составляет до 8192 токенов; в карточке указан английский язык. Модель предназначена для ответов на вопросы и подготовки текстовых ответов с опорой на предоставленные извлечённые документы. Она распространяется в формате safetensors по лицензии llama3. В README отмечено, что в наборе данных для этой версии нет многоходовых примеров и используются ограниченные источники документов, поэтому качество может снижаться при сложных многоходовых диалогах или работе с иными типами источников.

llama-3-8b-slow-DUS-max-layer-method2 — объединённая модель на архитектуре Llama, созданная ryan0712 с помощью LazyMergekit из двух моделей: ryan0712/llama-3-8b-slow-DUS-max-layer1-method2 и ryan0712/llama-3-8b-slow-DUS-max-layer2-method2. При слиянии использован метод SLERP с настройками смешивания для слоёв self-attention и MLP. Модель предназначена для генерации текста и диалоговых сценариев на основе текстовых запросов. В репозитории указаны веса Safetensors в формате bfloat16. Метаданные сообщают о 4 млрд параметров и контекстном окне до 8192 токенов. Использование регулируется лицензией Llama 3; применяйте модель в соответствии с её условиями. Данных о специализированной предметной области или языковой специализации нет.

Llama3-ChatQA-1.5-70B-GGUF — это квантизированная версия языковой модели Llama3-ChatQA-1.5-70B, первоначально разработанной NVIDIA. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix; модель распространяется в формате GGUF и предназначена для локального запуска средствами, совместимыми с llama.cpp. Модель относится к классу text-generation и ориентирована на диалоговые сценарии, ответы на вопросы и работу с предоставленным контекстом. В README указан английский язык. Рекомендуемый формат запроса включает системную инструкцию, контекст, вопросы пользователя и ответы ассистента, что делает модель подходящей для контекстного вопросно-ответного взаимодействия. Размер исходной модели составляет 70 млрд параметров. Доступны варианты квантизации от Q8_0 до IQ1_S, объёмом примерно от 15,34 до 74,97 ГБ. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M обозначены как рекомендуемые и обеспечивают компромисс между качеством и требованиями к памяти; более компактные варианты снижают качество, но подходят для систем с ограниченными ресурсами. Длина контекста и другие архитектурные характеристики в README не указаны. Модель лицензирована по лицензии llama3. Для запуска требуется достаточно оперативной или видеопамяти в зависимости от выбранного варианта квантизации; наиболее качественные версии требуют значительных ресурсов. README не содержит сведений о мультимодальности, поддерживаемых языках помимо английского, результатах бенчмарков или дополнительных ограничениях использования.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-CPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-CPO-v0.2 на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-DPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Base-8B-SFT, поэтому описание составлено по ней. princeton-nlp/Llama-3-Base-8B-SFT — разговорная модель генерации текста на архитектуре Llama, опубликованная как часть работы SimPO: Simple Preference Optimization with a Reference-Free Reward. Репозиторий содержит модель на 7,5 млрд параметров в формате safetensors; заявленная длина контекста — 8192 токена. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на запросы и ведения беседы. README отсылает к репозиторию SimPO за дополнительными сведениями. Лицензия и конкретные языковые возможности в предоставленных данных не определены.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-IPO-v0.2 на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-RDPO-v0.2 на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-RRHF на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-SimPO на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Base-8B-SFT, поэтому описание составлено по ней. princeton-nlp/Llama-3-Base-8B-SFT — разговорная модель генерации текста на архитектуре Llama, опубликованная как часть работы SimPO: Simple Preference Optimization with a Reference-Free Reward. Репозиторий содержит модель на 7,5 млрд параметров в формате safetensors; заявленная длина контекста — 8192 токена. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на запросы и ведения беседы. README отсылает к репозиторию SimPO за дополнительными сведениями. Лицензия и конкретные языковые возможности в предоставленных данных не определены.

Llama-3-Instruct-8B-SimPO-ExPO-GGUF — квантизированная версия текстовой генеративной модели Llama-3-Instruct-8B-SimPO-ExPO. Исходную модель разработал chujiezheng, а квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель распространяется в формате GGUF и предназначена для запуска через совместимые инструменты, включая llama.cpp. Модель ориентирована на генерацию текста в инструкционном режиме: ответы на запросы, диалоговые сценарии и другие задачи обработки текста на английском языке. Архитектура основана на Llama 3, размер модели — 8 миллиардов параметров. Доступны варианты квантизации от Q8_0 до Q2_K и IQ-квантов с размером файлов примерно от 2,60 до 8,54 ГБ. Более качественные варианты требуют больше памяти, а низкобитные версии экономят ресурсы ценой снижения качества. Рекомендуемыми указаны Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и IQ4_XS. Сильная сторона модели — широкий выбор квантизаций, позволяющий адаптировать её запуск под разные ограничения по памяти, при этом высокобитные варианты сохраняют качество, близкое к исходному. Ограничения включают возможное ухудшение качества при использовании низкобитных вариантов; параметры контекстного окна и поддерживаемые модальности, кроме текстовой генерации, в README не указаны. Для корректной работы следует использовать рекомендованный формат prompt. Лицензия указана как llama3.

Llama-3-Instruct-8B-SimPO-IMat-GGUF — это GGUF-квантизированная версия языковой модели Llama-3-Instruct-8B-SimPO, разработанной Princeton NLP. Квантизацию выполнил legraphista с использованием llama.cpp версии b3023 и калибровочных данных IMatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу через совместимые с llama.cpp приложения и локальный инференс. Модель имеет размер 8B параметров и поставляется в нескольких вариантах GGUF: от BF16 и FP16 до Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ-квантов. Для ряда вариантов применена IMatrix-квантизация, призванная улучшить сохранение качества при уменьшении размера модели. Размер файлов варьируется примерно от 3,18 до 16,07 ГБ. README не указывает поддерживаемые языки, размер контекста и мультимодальные возможности, поэтому модель следует рассматривать как текстовую. Сильная сторона сборки — широкий выбор уровней квантизации для подбора баланса между качеством, скоростью и требованиями к памяти, а также возможность локального запуска в формате GGUF. Более агрессивная квантизация может снижать качество генерации по сравнению с исходной BF16-моделью. Лицензия в README не указана; условия использования следует уточнять в карточке исходной модели и репозитории сборки.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-SLiC-HF на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Карточка модели princeton-nlp/Llama-3-Instruct-8B-SLiC-HF-v0.2 на Hugging Face совпадает с карточкой princeton-nlp/Llama-3-Instruct-8B-SimPO-v0.2, поэтому описание составлено по ней. Llama-3-Instruct-8B-SimPO-v0.2 — диалоговая языковая модель семейства Llama, выпущенная командой Princeton NLP как модель из работы SimPO (Simple Preference Optimization with a Reference-Free Reward). Она предназначена для генерации текста в формате инструкций и диалога. Модель содержит 7,5 млрд параметров, принимает текст и имеет контекстное окно 8192 токена. Модель связана с исследованием оптимизации предпочтений без эталонной модели. В карточке не приведены подробности обучения, оценки качества или специальные области применения; метаданные указывают поддержку чата и формат весов safetensors. Лицензия в предоставленных данных не указана.

Allen Institute for AI (AI2) разработал эту англоязычную чат-модель семейства Tulu на архитектуре Llama 3. Модель содержит около 7,5 млрд параметров, принимает текст и генерирует текст; длина контекста — 8192 токена. Она дообучена методом PPO с использованием UltraFeedback и модели вознаграждения на 8B параметров, чтобы улучшить ответы помощника на инструкции и диалоги. Модель предназначена для генерации ответов, диалогов и решения разнообразных задач по текстовым инструкциям. В карточке приведены результаты оценки на GSM8k и AlpacaEval 2; для применения рекомендуется формат сообщения, заданный шаблоном чата токенизатора. Лицензия в метаданных — Apache 2.0; README также упоминает лицензию сообщества Meta Llama 3. Модель может выдавать проблемные ответы, поскольку этап RLHF не был нацелен на безопасные завершения и не использовалась фильтрация ответов во время работы.

Инструкционная языковая модель Upstage на архитектуре LLaMA с 65 млрд параметров, представленная в формате PyTorch для Hugging Face Transformers. Модель дообучена на наборе данных в стиле Orca и предназначена для генерации ответов по инструкциям и диалоговых сценариев на английском языке. В карточке приведена оценка на бенчмарках ARC-Challenge, HellaSwag, MMLU, TruthfulQA и MT-bench. Метаданные указывают контекст 2048 токена; в README также упомянуто масштабирование RoPE, позволяющее обрабатывать более длинные входы, но точная длина для этой версии не определена. Для запуска проверялась система с A100 80 ГБ. Модель распространяется по специальной лицензии для некоммерческого использования, связанной с лицензией Meta; доступ к репозиторию предназначен для пользователей, получивших разрешение на исходные веса.