I.5Создание и редактирование текста

MergeCeption-7B-v1 — объединённая автором CultriX модель на архитектуре Mistral с 7,1 млрд параметров. Она создана из MonaTrix-v4, OmniTruthyBeagle-7B-v0, NeuralMaxime-7B-slerp и NeuralTrixlaser-bf16 с помощью LazyMergekit и метода DARE-TIES; веса представлены в формате safetensors и типе bfloat16. Модель предназначена для генерации и продолжения текста. Контекст составляет до 32 768 токенов. В карточке не приведены отдельные результаты оценки качества или сведения о целевых языках и специализированных областях применения, поэтому её следует рассматривать как текстовую генеративную модель общего назначения. Лицензия в предоставленных данных не указана.

coolwin20/merged_solar_vortexS — объединённая текстовая модель семейства Llama, созданная с помощью mergekit из Edentns/DataVortexS-10.7B-dpo-v1.6 и LDCC/LDCC-SOLAR-10.7B. В README указан метод объединения SLERP. Модель содержит 8,9 млрд параметров, принимает текст и предназначена для генерации текста; длина контекста — 4096 токенов. Язык применения и специальные предметные области в предоставленных данных не обозначены. Лицензия в предоставленных данных не указана.

MergekitCloud создала Mergekit-77 — объединение двух предварительно обученных разговорных языковых моделей с помощью метода SLERP в mergekit. В основе лежит архитектура Mistral с плотной causal language model на 7,1 млрд параметров; модель распространяется в формате safetensors и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста в диалогах: она принимает текстовые запросы и выдаёт текстовые ответы. В слиянии использованы FuseAI/FuseChat-7B-VaRM и Nexusflow/Starling-LM-7B-beta. Лицензия в предоставленных данных не указана.

Модель Hjgugugjhuhjggg/mergekit-passthrough-owrmdht — объединение языковой модели meta-llama/Llama-3.2-1B-Instruct, созданное методом passthrough с помощью mergekit. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 1,2 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия, включая сценарии с интерфейсом вызова инструментов. Модель принимает текст и генерирует текст. Указанная длина контекста — 131 072 токена. Базовая модель Meta описана как компактная многоязычная модель, настроенная на выполнение инструкций и предназначенная для диалогов, поиска сведений, суммаризации и помощи в написании текста. Модель опубликована в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

Это объединённая методом SLERP языковая модель на архитектуре Qwen2 с 7,1 млрд параметров, созданная сообществом mergekit-community из huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2 и maywell/Qwen2-7B-Multilingual-RP. Модель предназначена для генерации текста и диалогов; её можно использовать в чат-сценариях и для свободного продолжения текста. Модель принимает текст и генерирует текст. Заявленная длина контекста — 32 768 токенов. В состав объединения входят инструкционная версия Qwen2.5 с abliteration и многоязычная модель Qwen2; точный перечень поддерживаемых языков в предоставленных данных не приведён. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Лицензия в предоставленных данных не указана.

mergekit-community/mergekit-ties-hwemsto — объединённая большая языковая модель, созданная сообществом с помощью mergekit и метода TIES. В качестве базы использована 01-ai/Yi-34B; в слияние также вошли abacusai/Smaug-34B-v0.1 и anthracite-org/magnum-v3-34b. Модель имеет плотную архитектуру LlamaForCausalLM и около 33,9 млрд параметров. Модель предназначена для генерации текста и сценариев, где требуется языковая модель общего назначения. Она работает с текстом и поддерживает контекст до 4096 токенов. В README указаны веса float16 и настройки объединения с разреженностью 0,5 для двух дополнительных моделей. Условия лицензии в доступных данных не приведены.

MergeX — объединённая языковая модель на архитектуре Mistral, созданная с помощью mergekit методом SLERP из yam-peleg/Experiment26-7B и Gille/StrangeMerges_32-7B-slerp. Модель разработана автором репозитория nlpguy и предназначена для генерации текста. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст длиной до 32 768 токенов. В репозитории представлены веса в формате safetensors; конфигурация слияния указывает на float16. Карточка не описывает отдельные специализированные области применения или языковую специализацию. Лицензия в предоставленных данных не указана.

Merkaba-Maven-0.2 — слитая языковая модель, созданная jefferylovely с помощью LazyMergekit. В README указано слияние методом SLERP модели bardsai/jaskier-7b-dpo-v7.1 и jefferylovely/Merkaba-Maven-0.1; конфигурация задаёт смешивание слоёв self-attention и MLP. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста. Веса опубликованы в формате safetensors, вычислительная точность слияния — bfloat16. Лицензия CC BY-NC-ND 4.0 разрешает распространение с указанием авторства, но запрещает коммерческое использование и распространение производных версий. README и метаданные не описывают конкретные языки, специализированные области или сравнительные результаты, поэтому назначение следует считать общим.

unsloth/Meta-Llama-3.1-70B-bnb-4bit — это 4-битно квантованная версия базовой модели Meta Llama 3.1 70B, подготовленная Unsloth для эффективного использования и дообучения. Модель предназначена прежде всего для генерации и обработки текста, включая диалоговые сценарии, продолжение текста и адаптацию под специализированные наборы данных с помощью fine-tuning или DPO. Указан английский язык и поддержка библиотеки Transformers; мультимодальность не заявлена. Ключевая характеристика модели — размер 70 млрд параметров и представление в формате bnb-4bit, снижающее требования к памяти по сравнению с полной точностью. README не содержит сведений о длине контекста, точной архитектуре, вычислительной производительности именно этой версии или результатах оценки качества. К сильным сторонам относятся крупный размер базовой модели и возможность более доступного запуска и дообучения; ограничениями являются повышенные требования к вычислительным ресурсам по сравнению с меньшими моделями и возможные потери качества из-за 4-битной квантизации. Модель распространяется по лицензии llama3.1.

mlx-community/Meta-Llama-3.1-70B-Instruct-8bit — 8-битная версия инструкционно дообученной большой языковой модели Meta Llama 3.1 с 70 миллиардами параметров, подготовленная сообществом mlx-community для использования в экосистеме MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций, ответы на вопросы, написание и преобразование текста. В карточке указаны поддерживаемые языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Модель относится к классу text-generation и использует библиотеку Transformers; модальность — текстовая. Ключевая особенность варианта — 8-битное представление весов, которое может снизить требования к памяти по сравнению с полноразмерной моделью, сохраняя принадлежность к крупной 70B-модели. При этом для запуска всё равно требуются значительные вычислительные ресурсы, а конкретные показатели качества, производительности и максимального контекста в README не указаны. Как и другие языковые модели, она может генерировать неточные или нежелательные ответы, поэтому результаты требуют проверки. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использование, воспроизведение, распространение и создание производных работ при соблюдении её условий, включая передачу текста лицензии, указание «Built with Llama», атрибуцию и соблюдение Acceptable Use Policy. Для продуктов и сервисов с более чем 700 миллионами активных пользователей в месяц предусмотрено требование запросить отдельную лицензию у Meta.

Модель mlx-community/Meta-Llama-3.1-70B-Instruct-bf16 — преобразованная в формат MLX версия Meta Llama 3.1 70B Instruct, подготовленная сообществом mlx-community. Это плотная авторегрессионная языковая модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов, генерации текста и использования в качестве ассистента; поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В карточке перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; длина контекста — до 131 072 токенов. Формат MLX предназначен для запуска на оборудовании Apple через библиотеку mlx-lm. Репозиторий основан на meta-llama/Llama-3.1-70B-Instruct и содержит веса в safetensors; конвертация выполнена с помощью mlx-lm версии 0.19.0. Лицензия — Llama 3.1 Community License. Модель крупная и требует значительных вычислительных ресурсов; заявленная длина контекста не гарантирует одинаковую скорость или качество на всём диапазоне.

Meta-Llama-3.1-70B-Instruct-FP8 — квантизированная версия языковой модели Meta-Llama-3.1-70B-Instruct, разработанная Neural Magic. Модель предназначена для коммерческого и исследовательского использования, прежде всего для диалоговых ассистентов и генерации текста. Она принимает текст и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако в документации отдельно указано ограничение на использование неанглийских языков. Модель имеет архитектуру Meta-Llama-3.1 и размер 70B параметров. Веса и активации линейных слоёв внутри трансформерных блоков квантизированы в формат FP8 с симметричной потензорной схемой; квантизация уменьшает объём хранения и требования к GPU-памяти примерно на 50%. Оптимизированная версия сохраняет близкие результаты базовой модели: средний балл OpenLLM составляет 84,29 против 84,40 у неквантизированной версии. Для развёртывания рекомендуется vLLM, включая режим, совместимый с OpenAI API. К ограничениям относятся возможное снижение качества относительно полной точности, отсутствие указанного в README размера контекстного окна и формальное требование соблюдать применимое законодательство. Модель распространяется по лицензии llama3.1; релиз версии 1.0 состоялся 23 июля 2024 года.

bartowski/Meta-Llama-3.1-70B-Instruct-GGUF — это квантованная версия инструкционной модели Meta-Llama-3.1-70B-Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и выполнения инструкций в диалоговых и прикладных сценариях, включая ответы на вопросы, написание и преобразование текстов и другие задачи обработки естественного языка. Из доступных данных известно, что модель относится к семейству Llama 3.1, содержит около 70 миллиардов параметров согласно идентификатору базовой модели и работает с текстом. Заявлены языки: английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Формат GGUF обычно ориентирован на локальный инференс, однако конкретный уровень квантования, требования к памяти, размер контекста и точные характеристики производительности в README не указаны. Сильными сторонами модели являются большой размер, инструкционная настройка, поддержка нескольких языков и совместимость с экосистемой GGUF. Ограничениями могут быть высокие требования к вычислительным ресурсам, а также возможная потеря качества по сравнению с полной точностью из-за квантования; степень этого влияния зависит от конкретной версии квантования и не указана. Модель распространяется на условиях Llama 3.1 Community License от Meta. Лицензия предусматривает требования к атрибуции, маркировке продуктов, соблюдению Acceptable Use Policy и особые коммерческие условия для организаций с более чем 700 миллионами ежемесячных активных пользователей.

lmstudio-community/Meta-Llama-3.1-70B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta Llama 3.1 70B Instruct, подготовленная сообществом lmstudio-community и квантизированная bartowski. Базовую модель разработала Meta. Она предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии обработки естественного языка. Модель относится к семейству Llama 3.1 и использует архитектуру, поддерживаемую библиотекой Transformers; доступна в формате GGUF для локального запуска в совместимых инструментах. Заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Размер контекста, конкретный вариант квантизации и модальности в README не указаны; по представленным данным это текстовая модель. К сильным сторонам относятся большой размер 70B и инструкционная настройка, потенциально обеспечивающие высокое качество ответов и следование запросам. Ограничениями являются высокая потребность в вычислительных ресурсах даже после квантизации, а также отсутствие в предоставленных данных подробных сведений о производительности, точности и поддерживаемом контексте. Модель распространяется по Llama 3.1 Community License Meta с требованиями к атрибуции, указанию «Built with Llama» при распространении и соблюдению Acceptable Use Policy.

NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

Карточка модели Openintelligent123/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

Карточка модели SillyTilly/Meta-Llama-3.1-8B на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-8B, поэтому описание составлено по ней. NousResearch/Meta-Llama-3.1-8B — текстовая авторегрессионная модель семейства Llama 3.1, разработанная Meta и опубликованная в репозитории NousResearch. Это плотный трансформер LlamaForCausalLM с 7,5 млрд параметров, механизмом Grouped-Query Attention и контекстом до 131 072 токенов; веса представлены в формате safetensors и предназначены для работы с Transformers. Модель генерирует текст по текстовому запросу. Она подходит для диалогового помощника на нескольких языках, ответов на вопросы, написания и преобразования текста, а также для адаптации к задачам генерации естественного языка. В карточке указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для семейства Llama 3.1 заявлены коммерческое и исследовательское применение; условия использования определяет лицензия Llama 3.1 Community License и связанная с ней политика допустимого использования. Это предобученная модель, а не версия, настроенная для следования инструкциям: указанное в README SFT и RLHF относится к instruction-tuned версиям семейства. Как и другие языковые модели, она может выдавать неточные или небезопасные ответы; для прикладного использования нужны проверка результатов и меры безопасности. Указания README ограничивают применение поддерживаемыми языками, если модель не дообучена для других языков.

Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

QuantFactory/Meta-Llama-3.1-8B-GGUF — это квантованная версия большой языковой модели Llama 3.1 с 8 млрд параметров, представленная в формате GGUF. Базовую модель разработала Meta, а QuantFactory подготовила её распространение в квантованном формате. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-ботах, ассистентах, системах обработки естественного языка и других сценариях, где требуется текстовая генерация. Модель поддерживает текстовую модальность. В карточке заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Дополнительные сведения об архитектуре, размере контекстного окна, конкретном методе и уровне квантования, производительности, формате инструкционного дообучения и системных требованиях не указаны, поэтому её характеристики в этих аспектах требуют проверки по файлам модели. Главные преимущества — компактность по сравнению с полноразмерной версией, возможность запуска через совместимые инструменты для GGUF и многоязычная текстовая генерация. Ограничения включают возможные потери качества из-за квантования, зависимость результатов от выбранного варианта квантования и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Llama 3.1 Community License от Meta; при использовании и распространении необходимо соблюдать её условия, включая требования к атрибуции, маркировке «Built with Llama», Acceptable Use Policy и специальные коммерческие ограничения.

Карточка модели nuottroisaoduoc/Meta-Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B-Instruct, поэтому описание составлено по ней. unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

unsloth/Meta-Llama-3.1-8B-Instruct — инструкционно настроенная плотная авторегрессионная языковая модель семейства Llama, опубликованная Unsloth на основе Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов, генерации текста и выполнения пользовательских инструкций; каталог также отмечает интерфейс вызова инструментов. В репозитории указаны 7,5 млрд параметров, формат safetensors и библиотека Transformers. Заявленная длина контекста — 131 072 токена. Модель подходит для создания чат-ботов, генерации и продолжения текста, а также приложений, использующих интерфейс вызова инструментов. В метаданных указан английский язык; README посвящён настройке Llama 3.1 и не сообщает результатов оценки качества именно этой версии. Лицензия — llama3.1; условия использования следует сверять с лицензией семейства Llama 3.1.

tbhrc/meta_llama_3_1_8b_instruct_4bit — конверсия Meta Llama 3.1 8B Instruct в формат MLX с 4-битным представлением весов. Исходную модель разработала Meta; конверсию выполнил mlx-community, а репозиторий размещён пользователем tbhrc. Модель представляет собой плотную авторегрессионную LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалоговой генерации текста и поддерживает интерфейс вызова инструментов. В метаданных перечислены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. README указывает на конверсию MLX из meta-llama/Meta-Llama-3.1-8B-Instruct; лицензия — llama3.1. Репозиторий описывает конвертированную MLX-версию с 4-битными весами, тогда как в метаданных формат файлов указан как safetensors.

MLX-Community/Meta-Llama-3.1-8B-Instruct-4bit — это 4-битная квантизованная версия инструкционно дообученной языковой модели Meta Llama 3.1, адаптированная сообществом mlx-community для запуска с использованием MLX. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, написание и преобразование текста, а также другие задачи обработки естественного языка. Модель относится к семейству Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README размер контекстного окна не указан. Квантизация до 4 бит снижает требования к памяти и может упростить локальный запуск, однако потенциально уменьшает точность по сравнению с полноразмерной версией. Модель разработана для практического применения в локальных и ресурсоограниченных средах, но README не содержит подробных результатов тестирования, сведений о производительности или известных ограничениях качества. Распространение и использование регулируются Llama 3.1 Community License от Meta; она предусматривает соблюдение Acceptable Use Policy, сохранение уведомления об авторских правах и дополнительные требования к атрибуции и перераспространению. Для продуктов с более чем 700 миллионами ежемесячно активных пользователей требуется отдельное разрешение Meta.

Это версия Meta-Llama-3.1-8B-Instruct в формате GGUF, подготовленная mlx-community и опубликованная MaziyarPanahi. Модель предназначена для диалоговой генерации текста и выполнения инструкций; её можно запускать локально с помощью llama.cpp и совместимых приложений. Каталог указывает на 8 млрд параметров у базовой модели и плотную архитектуру семейства Mistral. Репозиторий содержит файлы GGUF в формате BF16. README перечисляет llama.cpp, llama-cpp-python, LM Studio, text-generation-webui и другие совместимые средства запуска. Лицензия и конкретные ограничения применения в предоставленных данных не описаны.

furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — это инструкция-ориентированная языковая модель Meta Llama 3.1 с 8 млрд параметров, подготовленная для диалогов на естественном языке, выполнения инструкций и вызова инструментов. Модель представляет собой плотный авторегрессионный Transformer, работает с текстом на входе и выходе и поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Квантованная версия FP8-dynamic опубликована RedHatAI на основе Meta Llama 3.1 8B Instruct, а данный репозиторий дополнительно содержит пакет Furiosa Executable Bundle для запуска на аппаратном обеспечении FuriosaAI RNGD через Furiosa-LLM. Линейные веса Transformer-блоков используют статическое квантование FP8, а активации динамически квантуются в FP8 для каждого токена во время инференса, без предварительной офлайн-калибровки. Модель поддерживает вызов функций через парсер llama3_json и рассчитана на параллелизм по 8 processing elements на одной карте RNGD. Основной сценарий использования — развёртывание текстового диалогового сервиса через OpenAI-совместимый API Furiosa-LLM; также заявлена совместимость с другими фреймворками, включая vLLM, SGLang и Transformers. Ограничения по размеру контекста в предоставленных данных не указаны. Модель распространяется по лицензии Llama 3.1 Community License.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta и подготовленной в формате GGUF пользователем bartowski. Это текстовая модель для генерации ответов по инструкциям и диалогового взаимодействия. Модель предназначена для задач text generation, включая ответы на запросы, создание и преобразование текста и другие сценарии, где требуется работа с естественным языком. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер базовой модели — 8B параметров; модальности и размер контекстного окна в предоставленных данных не указаны. Квантизация в формате GGUF может упростить локальный запуск и снизить требования к ресурсам по сравнению с полноразмерными весами, однако конкретный уровень квантизации в README не указан. Ограничения включают возможные ошибки и неточности генерации, а также отсутствие данных о производительности, точном варианте квантования и контекстном окне. Модель распространяется по Llama 3.1 Community License от Meta с требованиями соблюдать Acceptable Use Policy, включать текст лицензии и атрибуцию при распространении, а также использовать обозначение «Built with Llama» в предусмотренных лицензией случаях.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционно дообученной языковой модели Meta Llama 3.1 8B Instruct. Исходную модель разработала Meta, а файлы в формате GGUF подготовил brittlewis12 с использованием llama.cpp и autogguf. Модель работает с текстом на входе и выходе; в метаданных указано, что поддерживается английский язык. Модель предназначена для диалоговых сценариев, генерации текста, следования инструкциям, рассуждений, решения математических задач, программирования и использования инструментов. Формат GGUF ориентирован на локальный запуск через совместимые приложения и llama.cpp, включая устройства Apple. В README также указаны улучшения для работы с длинным контекстом, однако точный размер контекстного окна не приведён. Ключевые достоинства — относительно небольшой размер 8B, возможность локального использования и хорошие результаты исходной модели на ряде тестов, включая HumanEval, GSM-8K, MMLU и API-Bank. Ограничения включают текстовую модальность, отсутствие сведений о конкретном типе и степени квантизации, а также возможное снижение точности по сравнению с полной версией из-за квантизации. Модель распространяется по лицензии Llama 3.1; применимые условия определяются лицензией Meta.

Meta-Llama-3.1-8B-Instruct-GGUF — это квантизированная в формате GGUF инструкционная языковая модель семейства Llama 3.1, разработанная Meta. Версия GGUF подготовлена bartowski на основе llama.cpp и предназначена для локального запуска, в частности через LM Studio. Модель поддерживает генерацию текста и диалоговые сценарии, включая работу с инструкциями и многоязычными запросами на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Модель содержит около 8 миллиардов параметров и имеет контекстное окно до 128 000 токенов. Она обучалась на 15 триллионах токенов, включая 25 миллионов синтетически созданных примеров. К сильным сторонам относятся улучшенная производительность по сравнению с предыдущими моделями Llama 3 и развитые возможности для многоязычных задач. При этом модель может генерировать неточную, вредную или неподходящую информацию, а качество и скорость работы зависят от используемой квантизации и локального оборудования. Для работы в LM Studio требуется версия 0.2.29 или новее и шаблон запроса Llama 3. Модель распространяется по лицензии Llama 3.1. README не уточняет условия коммерческого использования и конкретные ограничения лицензии, поэтому перед применением необходимо ознакомиться с её полным текстом.

QuantFactory/Meta-Llama-3.1-8B-Instruct-GGUF — это квантованная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 млрд параметров, подготовленная QuantFactory в формате GGUF. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции, поддержку пользователей и другие задачи обработки естественного языка. Заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель относится к текстовым генеративным системам; сведения о контекстном окне, конкретном методе и уровне квантования, требованиях к памяти и производительности в предоставленных данных отсутствуют. Формат GGUF обычно ориентирован на локальный запуск, однако точные параметры использования для данной сборки не указаны. Модель распространяется по лицензии Llama 3.1 Community License от Meta. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 млн ежемесячных активных пользователей предусмотрено дополнительное требование получить отдельное разрешение Meta.

alamios/Meta-Llama-3.1-8B-Instruct-GGUF-f16 — сборка Meta-Llama 3.1 8B Instruct в формате GGUF F16 для запуска через llama.cpp. Модель основана на meta-llama/Meta-Llama-3.1-8B-Instruct и предназначена для диалоговой генерации текста и ответов на запросы. Карточка указывает совместимость с выпуском llama.cpp b3565. Модель относится к семейству Llama 3.1, имеет 8 млрд параметров и поддерживает несколько языков, включая английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Репозиторий распространяется по лицензии Llama 3.1. GGUF F16 хранит веса в формате половинной точности; конкретные требования к памяти и ограничения качества в карточке не описаны.