I.5Создание и редактирование текста

mergekit-community/mergekit-passthrough-ywynqau — объединённая языковая модель, созданная сообществом с помощью mergekit методом passthrough на основе unsloth/phi-4 и bunnycore/Phi-4-RP-lora_model. Модель построена на архитектуре LlamaForCausalLM и содержит 14,1 млрд параметров; веса представлены в формате safetensors и bf16. Она предназначена для генерации текста и диалоговых сценариев. Контекст составляет до 16 384 токенов; сведения о поддерживаемых языках и конкретных возможностях объединённой модели в карточке не приведены. Лицензия в предоставленных данных не указана.

Это объединённая авторегрессионная языковая модель семейства Llama, созданная с помощью mergekit методом passthrough на основе cognitivecomputations/dolphin-2.9.1-yi-1.5-34b. Репозиторий содержит веса в формате safetensors; заявленный размер — 22,8 млрд параметров, контекст — до 8192 токенов. Модель предназначена для генерации текста и диалогового общения. Модель принимает текст и выдаёт текст. Карточка не описывает дополнительные области применения или языковую специализацию. Лицензия в предоставленных данных не указана.

mergekit-community/mergekit-slerp-ebgdloh — объединённая текстовая модель, созданная сообществом с помощью mergekit из fblgit/UNA-TheBeagle-7b-v1 и SanjiWatsuki/Kunoichi-DPO-v2-7B. При объединении применён метод SLERP; в конфигурации указаны базовая модель fblgit/UNA-TheBeagle-7b-v1 и формат вычислений bfloat16. Модель относится к семейству Mistral, использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров. Она предназначена для генерации текста; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Объединение моделей может сочетать их поведенческие особенности, однако карточка не приводит оценок качества или конкретных преимуществ этого результата. Лицензия в доступных данных не указана.

Это языковая модель Qwen2, полученная сообществом mergekit-community объединением методом SLERP двух моделей: maywell/Qwen2-7B-Multilingual-RP и HumanLLMs/Human-Like-Qwen2.5-7B-Instruct. Модель предназначена для генерации текста и диалогового общения; она содержит 7,1 млрд параметров, использует плотную архитектуру Qwen2 и доступна в формате safetensors для библиотеки Transformers. Модель принимает текст и генерирует текст. Её контекстное окно составляет 32 768 токенов. В состав объединения входит многоязычная RP-модель и версия Qwen2.5, настроенная на более естественные и связные разговорные ответы. Лицензия в предоставленных данных не указана.

Карточка модели mergekit-community/mergekit-slerp-fcxoywi на Hugging Face совпадает с карточкой mergekit-community/mergekit-slerp-jeyctse, поэтому описание составлено по ней. mergekit-community/mergekit-slerp-jeyctse — языковая чат-модель, созданная сообществом слиянием моделей HuggingFaceH4/zephyr-7b-beta и Equall/Saul-Base методом SLERP с помощью mergekit. Это плотная модель Mistral с 7,1 млрд параметров, доступная в формате safetensors и рассчитанная на контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоге: ответов на вопросы и выполнения пользовательских инструкций. В метаданных основной язык не задан; базовая Zephyr-7B-β описана как англоязычная чат-модель. Условия лицензирования в предоставленных данных не приведены. Качество и поведение результата слияния могут отличаться от исходных моделей.

mergekit-community/mergekit-slerp-fmrazcr — языковая модель на архитектуре Llama, созданная сообществом методом SLERP с помощью mergekit. В объединении использованы Khetterman/Kosmos-8B-v1 и DreadPoor/Elusive1.2-8B-Model_Stock; в конфигурации базовой указана Khetterman/Kosmos-8B-v1. Модель содержит около 7,5 млрд параметров и рассчитана на генерацию текста, включая диалоговые и творческие сценарии. Контекстное окно составляет 8192 токена. Модель принимает текст и выдаёт текст. Согласно описанию базовой модели, она предназначена для общения и творческих ролевых диалогов на русском и английском языках. Веса опубликованы в формате safetensors и представлены в bfloat16. Лицензия в предоставленных данных не указана.

mergekit-community/mergekit-slerp-oskyrzi — плотная языковая модель семейства Llama, созданная сообществом путём слияния предобученных моделей TheDrummer/Moistral-11B-v2 и Sao10K/Fimbulvetr-11B-v2. Для слияния использован метод SLERP через mergekit; конфигурация задаёт разные коэффициенты смешивания для слоёв self-attention и MLP. Модель предназначена для генерации текста и диалоговых ответов. Она содержит 7,1 млрд параметров, принимает текст, выдаёт текст и имеет контекстное окно 4096 токенов. Базовые модели описаны как англоязычные. Репозиторий содержит веса safetensors для использования с Transformers. Лицензия в предоставленных данных не указана.

Это объединённая языковая модель семейства Llama, созданная сообществом mergekit-community методом SLERP из mergekit-community/mergekit-slerp-anaazls и mergekit-community/mergekit-slerp-epibiuy. Конфигурация задаёт кривую смешивания, которая, согласно карточке, сочетает Hermes на входных и выходных слоях с WizardMath в средних слоях. Модель предназначена для генерации текста и диалогового взаимодействия. Она содержит 33,9 млрд параметров, использует архитектуру LlamaForCausalLM и заявленное контекстное окно 200 000 токенов. Веса доступны в формате safetensors; для работы указана библиотека Transformers. Карточка не сообщает языки обучения и подробные результаты оценки качества, поэтому пригодность для конкретных языков и задач стоит проверять отдельно. Условия лицензии в предоставленных сведениях не указаны.

Карточка модели mergekit-community/mergekit-ties-aspkrwz на Hugging Face совпадает с карточкой mergekit-community/mergekit-ties-fnacfof, поэтому описание составлено по ней. mergekit-community/mergekit-ties-fnacfof — языковая модель на архитектуре Llama, созданная сообществом с помощью слияния TIES. В объединении использованы NousResearch/Llama-2-7b-hf в качестве базовой модели, а также microsoft/Orca-2-7b и arcee-ai/Patent-Instruct-7b. Модель содержит 6,6 млрд параметров, распространяется в формате Safetensors и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации текста и диалоговых сценариев, сочетая возможности включённых в слияние моделей. Карточка не уточняет отдельные преимущества, целевые языки или специализированные сценарии; базовая модель описана как англоязычная. Лицензия в предоставленных данных не указана.

Это объединённая диалоговая языковая модель, созданная методом TIES с помощью mergekit на основе huihui-ai/Llama-3.2-3B-Instruct-abliterated и пяти других моделей из семейства Hjgugugjhuhjggg/mergekit-ties. Модель построена на архитектуре LlamaForCausalLM и содержит 3,2 млрд параметров; файлы представлены в формате safetensors. Она предназначена для генерации текста и ответов в чате, а интерфейс репозитория также отмечает возможность вызова инструментов. Контекст модели составляет до 131 072 токенов. Базовая модель описана как модель с ослабленными отказами, однако README не сообщает отдельные результаты оценки качества или подробности о языках. Лицензия в предоставленных сведениях не указана.

mergekit-community/mergekit-ties-cmdmayc — языковая модель на основе архитектуры Mistral, полученная объединением весов методом TIES с помощью mergekit. В объединение вошли mistralai/Mistral-7B-v0.1 в качестве базовой модели, mistralai/Mistral-7B-Instruct-v0.2 и BioMistral/BioMistral-7B. Модель содержит 7,1 млрд параметров, использует формат Safetensors и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на инструкции в диалоговых сценариях. Включение BioMistral указывает на связь с биомедицинской тематикой, однако карточка не описывает специализированные медицинские возможности или результаты оценки качества. Модель выпущена 17 апреля 2024 года; условия лицензии в предоставленных данных не приведены.

Карточка модели mergekit-community/mergekit-ties-jnhzatj на Hugging Face совпадает с карточкой mergekit-community/mergekit-ties-fnacfof, поэтому описание составлено по ней. mergekit-community/mergekit-ties-fnacfof — языковая модель на архитектуре Llama, созданная сообществом с помощью слияния TIES. В объединении использованы NousResearch/Llama-2-7b-hf в качестве базовой модели, а также microsoft/Orca-2-7b и arcee-ai/Patent-Instruct-7b. Модель содержит 6,6 млрд параметров, распространяется в формате Safetensors и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации текста и диалоговых сценариев, сочетая возможности включённых в слияние моделей. Карточка не уточняет отдельные преимущества, целевые языки или специализированные сценарии; базовая модель описана как англоязычная. Лицензия в предоставленных данных не указана.

Карточка модели mergekit-community/mergekit-ties-mojzqgu на Hugging Face совпадает с карточкой mergekit-community/mergekit-ties-fnacfof, поэтому описание составлено по ней. mergekit-community/mergekit-ties-fnacfof — языковая модель на архитектуре Llama, созданная сообществом с помощью слияния TIES. В объединении использованы NousResearch/Llama-2-7b-hf в качестве базовой модели, а также microsoft/Orca-2-7b и arcee-ai/Patent-Instruct-7b. Модель содержит 6,6 млрд параметров, распространяется в формате Safetensors и рассчитана на контекст до 4096 токенов. Модель предназначена для генерации текста и диалоговых сценариев, сочетая возможности включённых в слияние моделей. Карточка не уточняет отдельные преимущества, целевые языки или специализированные сценарии; базовая модель описана как англоязычная. Лицензия в предоставленных данных не указана.

rwitz2/mergemix — языковая модель для генерации текста, созданная слиянием DARE-TIES на основе Mistral-7B-v0.1 и трёх других моделей: rwitz/go-bruins-v2, rwitz/dec10 и AIDC-ai-business/Marcoroni-7B-v3. Архитектура — плотная MistralForCausalLM; размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Веса опубликованы в формате safetensors и имеют тип bfloat16. Модель можно применять для генерации продолжений текста и диалоговых ответов. Карточка не описывает её специализацию, обучение, языковую поддержку или результаты оценки, поэтому качество и пригодность для конкретных сценариев следует проверять отдельно. Лицензия — Apache-2.0.

Это объединённая с помощью mergekit диалоговая языковая модель на архитектуре Llama, созданная методом passthrough на основе meta-llama/Meta-Llama-3-8B-Instruct. В конфигурации повторно включены слои 24–31 базовой модели; в репозитории указано 9,2 млрд параметров, веса представлены в формате safetensors и типе bfloat16. Модель предназначена для диалоговой генерации текста и ассистентских ответов. Она принимает текст и выдаёт текст, имеет контекстное окно 8192 токена. Карточка указывает лицензию Llama 3. Языковые сведения базовой модели указывают на английский язык; отдельные возможности этой сборки за пределами текстового диалога не заявлены.

Mergerix-7b-v0.4 — объединённая языковая модель, опубликованная MiniMoog и созданная с помощью LazyMergekit из liminerity/M7-7b и automerger/YamshadowExperiment28-7B методом slerp. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалогового взаимодействия. Она принимает текст и формирует текстовые ответы; заявленная длина контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. README не описывает специализацию, оценку качества или ограничения применения, поэтому конкретные преимущества и недостатки сверх указанных характеристик установить нельзя.

Meta-Llama-3.1-405B-Instruct-AWQ-INT4 — это общественно подготовленная квантованная версия большой языковой модели Meta-Llama-3.1-405B-Instruct, разработанной Meta AI. Модель предназначена для генерации текста и ведения многоязычных диалогов, включая ассистентские сценарии, ответы на вопросы и другие задачи, поддерживаемые instruction-tuned моделями. Она работает в формате text in/text out и интегрируется с Transformers, AutoAWQ и Text Generation Inference. Модель содержит 405B параметров и использует архитектуру Llama 3.1. FP16-версия была преобразована в INT4 с помощью AutoAWQ: применяются GEMM-ядра, zero-point quantization и размер группы 128. В README заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Точный размер контекстного окна в представленных данных не указан. Ключевое преимущество — значительное снижение требований к памяти по сравнению с FP16 при сохранении возможностей 405B-модели и поддержке оптимизированного инференса. Ограничения связаны с экстремально большим размером: для загрузки чекпойнта требуется около 203 GiB VRAM без учета KV-кэша и CUDA graphs, поэтому для практического запуска нужна мног GPU-конфигурация или сопоставимая инфраструктура. Модель распространяется по лицензии llama3.1; это именно community-driven квантованная версия оригинальной модели Meta.

ThomasBaruzier/Meta-Llama-3.1-405B-Instruct-GGUF — это версия большой языковой модели Meta-Llama-3.1-405B-Instruct, подготовленная в формате GGUF для задач генерации текста. Базовую модель разработала Meta; карточка размещена пользователем ThomasBaruzier. Модель предназначена для диалогов, следования инструкциям, подготовки и преобразования текстов и других сценариев, где требуется генерация на естественном языке. Модель относится к семейству Llama 3.1 и имеет размер 405 миллиардов параметров. Она работает с текстовой модальностью и предназначена для text-generation. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Архитектура и размер контекстного окна для этой конкретной сборки не указаны. Формат GGUF может быть удобен для локального запуска совместимыми средствами, однако модель такого масштаба требует значительных вычислительных ресурсов. Модель может обеспечивать высокое качество следования инструкциям и генерации текста благодаря крупному размеру, но её практическая применимость ограничена требованиями к памяти и производительности оборудования. Лицензия указана как Llama 3.1 Community License. При распространении материалов необходимо соблюдать условия Meta, включая предоставление текста лицензии, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy; для продуктов с более чем 700 миллионами ежемесячных активных пользователей предусмотрены дополнительные лицензионные требования.

Карточка модели SillyTilly/Meta-Llama-3.1-70B-Instruct на Hugging Face совпадает с карточкой NousResearch/Meta-Llama-3.1-70B-Instruct, поэтому описание составлено по ней. NousResearch публикует инструкционно настроенную модель Meta Llama 3.1 70B Instruct — плотную авторегрессионную языковую модель на архитектуре Transformer с 69,5 млрд параметров. Она принимает и генерирует текст, а версия Instruct предназначена для многоязычного диалога и работы в роли ассистента. Настройка включает дообучение с учителем и обучение с подкреплением на основе отзывов людей; модель поддерживает контекст до 131 072 токенов и использует Grouped-Query Attention для повышения эффективности вывода. Модель подходит для диалоговых приложений, ответов на вопросы и генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Её можно запускать через Transformers; карточка также описывает варианты загрузки в 4- и 8-битном формате для снижения требований к памяти. Русский язык не входит в перечень поддерживаемых языков. Ответственность за безопасную интеграцию, включая подключение внешних инструментов, лежит на разработчике приложения. Модель разработана Meta и распространяется по лицензии Llama 3.1 Community License с условиями, изложенными в лицензии и Acceptable Use Policy. Это статический чекпойнт, обученный на офлайн-данных; качество и безопасность ответов требуют проверки в целевом сценарии.

RedHatAI/Meta-Llama-3.1-8B-FP8 — квантизированная версия базовой текстовой модели Meta-Llama-3.1-8B, разработанная Neural Magic. Модель принимает текст и генерирует текст, предназначена для коммерческого и исследовательского использования, включая многоязычные сценарии. В README указаны английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки, однако отдельно отмечено ограничение на использование в языках, отличных от английского. Модель использует архитектуру Meta-Llama-3.1 и формат FP8 для квантизации весов и активаций линейных операторов в трансформерных блоках. Применяется симметричная поканальная для всего тензора квантизация с фиксированным масштабированием; выходной слой lm_head не квантизируется. Размер модели — 8 миллиардов параметров. Оптимизация уменьшает число бит на параметр с 16 до 8, а также примерно на 50% сокращает требования к дисковому пространству и памяти GPU. Модель подготовлена для инференса с vLLM. К сильным сторонам относятся снижение требований к памяти и более эффективное развертывание при сохранении характеристик исходной модели: средний результат на OpenLLM benchmark v1 составил 65,90 против 66,47 у неквантизированной версии. К ограничениям относятся возможная потеря качества из-за квантизации, отсутствие заявленной информации о размере контекста и необходимость совместимого окружения vLLM. Модель распространяется по лицензии llama3.1.

Это 4-битная MLX-конверсия модели Meta-Llama-3.1-8B-Instruct-abliterated, подготовленная сообществом mlx-community из mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated с помощью mlx-lm 0.17.1. В основе лежит дообученная Meta-Llama-3.1-8B-Instruct; модель предназначена для диалоговой генерации текста и запуска на устройствах Apple с MLX. Модель имеет плотную архитектуру LlamaForCausalLM и около 7,5 млрд параметров. Контекст составляет до 131 072 токенов. Вариант abliterated позиционируется как менее ограниченный в ответах; это не гарантирует точность или безопасность результатов. Репозиторий указывает лицензию Llama 3.1; её условия распространяются на использование модели.

FriendliAI/Meta-Llama-3.1-8B-Instruct-fp8 — языковая instruction-tuned модель для генерации текста, диалогов и выполнения текстовых инструкций. Модель разработана FriendliAI на базе Meta-Llama-3.1-8B от Meta и предназначена для использования в сценариях, требующих компактной модели с пониженной точностью представления FP8. Модель работает с текстом и заявлена для семи языков: английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского. В карточке указаны размер 8B параметров и формат FP8, однако сведения об архитектуре, длине контекста, методе квантования и конкретных показателях качества отсутствуют. Сильной стороной является сочетание инструкционного обучения и относительно небольшого размера, что может упростить развертывание; ограничения и фактическая производительность зависят от инфраструктуры и прикладного сценария. Модель распространяется по лицензии Llama 3.1 Community License. При распространении материалов или производных продуктов необходимо соблюдать условия лицензии Meta, включая предоставление текста соглашения, указание «Built with Llama», сохранение атрибуции и соблюдение Acceptable Use Policy. Для продуктов с более чем 700 миллионами ежемесячных активных пользователей требуется отдельное разрешение Meta.

RedHatAI/Meta-Llama-3.1-8B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-8B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая autoregressive-модель архитектуры LlamaForCausalLM для генерации текста, диалоговых ассистентов и tool calling. Модель получает текст на вход и генерирует текст на выходе; поддержка вызова инструментов реализована через специальный шаблон чата и парсер llama3_json. Модель содержит 8 млрд параметров и использует FP8-квантизацию весов и активаций. Квантизируются линейные операторы в трансформерных блоках с применением симметричной поканальной схемы для весов и динамической потокенной квантизации активаций. По сравнению с 16-битным представлением это примерно вдвое уменьшает размер на диске и требования к памяти GPU. Модель рассчитана на эффективный инференс с vLLM; заявлено восстановление качества на уровнях 99,7–105,4% относительно исходной модели в ряде тестов, включая Arena-Hard, OpenLLM и HumanEval. В метаданных указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков, однако README отдельно ограничивает использование языком английским и указывает, что применение в других языках относится к сценариям вне области назначения. Контекст модели в README явно не указан. Модель предназначена для коммерческого и исследовательского использования с учетом условий лицензии Llama 3.1 и применимых законов и ограничений. Она была проверена с RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4.

Meta Llama 3.1 8B Instruct GGUF — это квантизированная версия инструкционной языковой модели Meta Llama 3.1 с примерно 8 миллиардами параметров. Исходную модель разработала Meta, а данный вариант подготовлен для библиотеки GGUF и распространяется quantizer’ом brooketh; он предназначен для локального использования в приложениях на базе llama.cpp, включая Backyard AI. Модель ориентирована на генерацию текста и диалоговые сценарии, в которых требуется следовать инструкциям. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный контекст составляет до 131 072 токенов. Формат GGUF позволяет распределять вычисления между CPU и GPU и запускать модель на более широком спектре оборудования, однако квантизация снижает требования к ресурсам ценой возможного ухудшения связности и качества при более низкой точности. Модель не дообучена специально для roleplay. Лицензия указана как llama3.1; перед использованием следует ознакомиться с её условиями. README не содержит сведений о конкретном уровне квантизации, размере файла, требованиях к памяти или результатах тестирования, поэтому производительность и качество на конкретном оборудовании заранее определить нельзя.

Meta-Llama-3.1-8B-Instruct-GGUF — квантизированная версия инструкционной языковой модели Meta-Llama-3.1-8B-Instruct, разработанной Meta Llama и подготовленной для распространения компанией Second State Inc. Модель предназначена для генерации текста и диалоговых сценариев, включая выполнение инструкций и работу в приложениях на базе GaiaNet. Для взаимодействия используется шаблон llama-3-chat, а запуск поддерживается llama.cpp. Модель основана на архитектуре Llama и содержит 8 миллиардов параметров. Она работает в текстовой модальности, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленный размер контекста составляет 128 000 токенов. Квантизация выполнена с использованием llama.cpp b4466, что делает модель более подходящей для запуска в средах с ограниченными ресурсами, однако README не уточняет конкретный формат квантизации, требования к оборудованию и возможные компромиссы между скоростью, качеством и потреблением памяти. Модель распространяется по лицензии llama3.1. README не содержит подробностей о дополнительных ограничениях лицензии и не приводит результаты оценки качества, поэтому её преимущества и ограничения можно описать только на общем уровне: это компактная инструкционная модель с широкой поддержкой языков и большим контекстом, но без подтвержденных характеристик производительности для отдельных задач.

ModelCloud/Meta-Llama-3.1-8B-Instruct-gptq-4bit — квантизированная 4-битная версия инструкционной языковой модели Meta Llama 3.1 с 8 млрд параметров. Модель подготовлена с использованием GPTQModel и предназначена для генерации текста в формате диалога, ответов на вопросы и выполнения инструкций. В README не указаны поддерживаемые языки, модальности и размер контекстного окна. Модель использует GPTQ-квантизацию в формате checkpoint GPTQ с точностью 4 бита, group_size 128, симметричным квантованием и параметрами desc_act=true и true_sequential=true. Квантизация уменьшает требования к памяти и может упростить локальный запуск, однако способна немного снизить точность по сравнению с полноразмерной версией. В README приведены результаты lm-eval, включая общую точность 0,6421 на MMLU, 0,8232 на BoolQ и 0,8068 на ARC Easy; методика и конфигурация исходной модели подробно не описаны. Для запуска рекомендуется использовать Transformers и GPTQModel с токенизатором исходной модели и chat template. Лицензия указана как llama3.1; дополнительные условия использования в README не раскрыты.

Meta-Llama-3-70B-Instruct-abliterated-v3.5-IMat-GGUF — это GGUF-квантизированная версия языковой модели Meta-Llama-3-70B-Instruct-abliterated-v3.5, подготовленная legraphista на основе модели failspy. Модель предназначена для генерации текста и диалоговых сценариев с использованием llama.cpp и совместимых инструментов. Модель имеет размер 70 млрд параметров и поставляется в форматах BF16, FP16, Q8_0, Q6_K, Q5_K, Q4_K, IQ4 и других вариантах квантизации. Для ряда вариантов применена IMatrix-квантизация, призванная сохранить качество при уменьшении размера модели. Доступны файлы размером примерно от 26,38 ГБ до 141,12 ГБ; часть крупных вариантов разделена на несколько файлов. README не содержит сведений о длине контекста, поддерживаемых языках или мультимодальности, поэтому модель следует считать текстовой. Сильной стороной является сочетание крупного размера исходной модели с различными уровнями квантизации, позволяющими выбирать баланс между качеством, требованиями к памяти и скоростью инференса. Ограничения связаны с высокими аппаратными требованиями даже для квантизированных вариантов и возможной потерей качества при агрессивной квантизации. Модель распространяется по лицензии llama3; для использования необходимо учитывать условия этой лицензии.

mlx-community/Meta-Llama-3-8B-Instruct-4bit — 4-битная квантованная версия инструкционной языковой модели Meta Llama 3 с 8 млрд параметров, подготовленная сообществом mlx-community. Базовую модель разработала Meta. Модель предназначена для генерации текста и выполнения задач по инструкциям, включая диалоговые и другие сценарии обработки текста. Указанная поддерживаемая языковая версия — английский язык; модальность — текстовая. Размер контекста и дополнительные архитектурные характеристики в README не указаны. Ключевая особенность этой версии — 4-битное квантование, ориентированное на более эффективное локальное выполнение и снижение требований к памяти по сравнению с полноразмерными весами, однако README не содержит результатов оценки качества или точных эксплуатационных требований. Модель предназначена для text-generation и может использоваться в приложениях, которым требуется компактная инструкционная LLM. Модель распространяется по Meta Llama 3 Community License. Лицензия предоставляет ограниченные права на использование, копирование, распространение и создание производных работ при соблюдении условий Meta, включая сохранение лицензионного соглашения и уведомления об авторстве, отображение фразы «Built with Meta Llama 3» при распространении материалов или продуктов, соблюдение Acceptable Use Policy и специальные коммерческие условия для организаций с более чем 700 млн ежемесячных активных пользователей.

Meta-Llama-3-8B-Instruct-GGUF — это квантизированное представление модели Meta-Llama-3-8B-Instruct в формате GGUF, подготовленное пользователем brittlewis12 на основе оригинальной модели Meta. Модель разработана Meta и относится к семейству Llama 3. Она предназначена для генерации текста и диалоговых сценариев, включая локальные приложения и ассистентов, работающих через llama.cpp и совместимые инструменты. Модель использует авторегрессионную оптимизированную архитектуру Transformer и содержит около 8 миллиардов параметров. Instruction-tuned версия обучена с применением supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности ответов. Указан английский язык; поддерживается только текстовая модальность. Формат GGUF и внесённые улучшения токенизации упрощают использование в локальных средах, включая устройства Apple, однако конкретные требования к памяти и производительности в README не указаны. Сильными сторонами являются диалоговая настройка, относительно компактный размер и заявленные результаты оригинальной модели на тестах знаний, программирования и математики. Ограничениями выступают отсутствие сведений о характеристиках конкретных уровней квантизации, размере контекста и качестве работы на других языках, а также возможные ошибки и ограничения безопасности, свойственные генеративным языковым моделям. Лицензия указана как Llama 3 с отдельными условиями Meta; подробности приведены в лицензии оригинальной модели.

Meta-Llama-3-8B-Instruct-heretic-mlabonne — разговорная текстовая модель семейства Llama 3, основанная на Meta Llama 3 8B Instruct. В README описана архитектура авторегрессионного трансформера с Grouped-Query Attention; метаданные указывают формат safetensors и возможность чата. По тегам uncensored, decensored и abliterated модель позиционируется как вариант Llama 3 с ослабленными ограничениями на ответы, однако карточка не уточняет метод модификации и параметры обучения. Модель принимает текст и генерирует текст, включая код. Она предназначена для диалогов с ассистентом и генерации текста на английском языке; может использоваться для ответов на вопросы, написания черновиков и помощи с кодом. В README приведены условия Llama 3 Community License и Acceptable Use Policy: применение должно им соответствовать. Указанная в метаданных лицензия — llama3.