I.11Классификация, ранжирование и сопоставление

TheBloke/Llama-2-70B-AWQ — это 4-битная AWQ-квантизированная версия языковой модели Llama 2 70B, разработанной Meta и опубликованной сообществом TheBloke. Модель предназначена для генерации текста и поддерживает английский язык. Она создана на основе meta-llama/Llama-2-70b-hf и использует архитектуру семейства Llama с примерно 70 миллиардами параметров. Ключевая особенность модели — квантизация AWQ с групповым размером 128, выполненная на данных wikitext. Доступны шардированные safetensors-файлы, размер модели составляет около 36,61 ГБ, заявленная длина последовательности — 4096 токенов. Модель ориентирована на GPU-инференс и может использоваться через AutoAWQ или vLLM, включая серверные сценарии с параллельной обработкой запросов. К сильным сторонам относятся существенное снижение требований к видеопамяти и возможность запуска 70B-модели примерно на одной GPU с 48 ГБ памяти вместо двух GPU по 80 ГБ. По сравнению с полноразмерной моделью AWQ может упростить развертывание и снизить стоимость инфраструктуры. Ограничением является то, что производительность и совокупная пропускная способность могут быть ниже, чем у неквантизированной версии при использовании vLLM; кроме того, README не приводит подробных результатов оценки качества после квантизации. Модель распространяется по лицензии Llama 2.

ddobokki выпустил инструкционную модель Llama-2-70b-orca-200k на архитектуре LlamaForCausalLM с плотной архитектурой и примерно 68,7 млрд параметров. Она обучена на выборке из 200 тысяч примеров OpenOrca и предназначена для генерации текста по инструкциям и диалога в формате «Human — Assistant». Метаданные указывают английский язык и контекстное окно 4096 токенов; модель распространяется в формате PyTorch. Модель подходит для ответов на вопросы, выполнения текстовых инструкций и диалоговых сценариев на английском языке. Карточка ссылается на отдельные документы с политикой использования и рекомендациями по ответственному применению. Лицензия в предоставленных данных не указана.

MaziyarPanahi/Llama-3-13B-Instruct-v0.1-GGUF — набор квантизованных файлов модели в формате GGUF, подготовленный MaziyarPanahi на основе MaziyarPanahi/Llama-3-13B-Instruct-v0.1. Модель предназначена для генерации текста и диалоговых сценариев с использованием инструкционного формата Llama 3, включая работу через llama.cpp. Известно, что доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между меньшим размером файлов и потенциально более высоким качеством. Размер базовой модели составляет 13B параметров. Модальность — текстовая; сведения о поддерживаемых языках, размере контекста, точной архитектуре и результатах оценки в README не указаны. Для корректной работы требуется применять шаблон промпта Llama 3 и поддержка формата GGUF в используемом программном обеспечении. Лицензия в README не указана.

Llama-3.1-8B-Instruct-EI1-2ep-sft — дообученная методом supervised fine-tuning (SFT) модель на архитектуре Llama, созданная на основе meta-llama/Llama-3.1-8B-Instruct. В репозитории указано значение loss 0,3970 на наборе оценки, но сведения о датасете и подробные результаты отсутствуют. Модель предназначена для генерации текста и диалогов. Она содержит 7,5 млрд параметров, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors. Метаданные также указывают интерфейс вызова инструментов; языки и специальные области применения для этой версии не описаны. Лицензия — Llama 3.1 Community License (идентификатор llama3.1); использование регулируется её условиями.

amd/Llama-3.1-8B-Instruct-FP8-KV-Quark-test — тестовая производная модели Llama 3.1 8B Instruct, опубликованная организацией AMD на Hugging Face и основанная на Meta Llama-3.1-8B-Instruct. Это авторегрессионная текстовая языковая модель для генерации ответов по инструкциям и диалоговых сценариев; репозиторий также используется в тестах интеграции vLLM и квантования Quark. Модель содержит около 8 млрд параметров и использует архитектуру LlamaForCausalLM с 32 слоями, 32 attention-heads и 8 key-value-heads. В конфигурации указаны FP8-квантизация весов и операций, включая FP8 KV-cache, а также формат хранения safetensors; базовый тип вычислений обозначен как bfloat16. Максимальная длина контекста указана как 131072 токена, исходный размер позиционного окна — 8192 токена с масштабированием RoPE. Модель работает с текстом; точный перечень поддерживаемых языков в карточке этой версии не указан. Сильные стороны версии — уменьшение требований к памяти и возможность оптимизированного запуска на совместимой инфраструктуре AMD/ROCm с vLLM и Quark. Ограничения состоят в том, что это тестовый квантованный вариант без содержательной model card, поэтому для него не приведены отдельные результаты качества, подробные рекомендации по применению и подтверждённые языковые характеристики; влияние FP8-квантизации на точность также не описано. В репозитории указана лицензия llama3.1, унаследованная от семейства Llama 3.1.

Llama-3.1-Tulu-3-70B-SFT-GGUF — это набор GGUF-квантизированных версий языковой модели Llama-3.1-Tulu-3-70B-SFT, разработанной AllenAI. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в локальных приложениях с поддержкой GGUF, например LM Studio. Модель содержит 70 миллиардов параметров и основана на архитектуре Llama 3.1; заявленный язык — английский. В репозитории представлены варианты квантизации от Q8_0 до IQ1_M, различающиеся размером файлов, требованиями к памяти и качеством вывода. Наиболее качественными считаются Q8_0, Q6_K и Q5_K, а Q4_K_M обозначен как подходящий вариант по умолчанию для большинства сценариев. Модели в формате GGUF поддерживают запуск через llama.cpp, однако для версий с низкой точностью возможна заметная потеря качества. Размеры файлов варьируются примерно от 16,75 до 74,98 ГБ, а сведения о размере контекста и мультимодальности не указаны. Для использования требуется достаточно оперативной или видеопамяти в зависимости от выбранной квантизации и конфигурации запуска. Для модели указана лицензия llama3.1.

Llama-3.1-Tulu-3-8B-GGUF — набор GGUF-квантизаций языковой модели Llama-3.1-Tulu-3-8B, разработанной Allen Institute for AI (AI2) и опубликованной в формате для локального запуска. Квантизации подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев; указанный в карточке pipeline — text-generation. Для работы рекомендуется формат приглашений с ролями system, user и assistant, а запуск возможен, в частности, через LM Studio или совместимые инструменты llama.cpp. Модель содержит около 8 млрд параметров, поддерживает английский язык и поставляется в вариантах от исходных весов F16 до более компактных Q2–Q8-квантизаций. Размер файлов составляет примерно от 3,5 до 16,1 ГБ; варианты отличаются компромиссом между качеством и требованиями к памяти. Наиболее сбалансированным для большинства сценариев README называет Q4_K_M, а Q5 и Q6 — высококачественными вариантами. Более сильное сжатие уменьшает потребление памяти, но снижает качество, а отдельные варианты оптимизированы для ARM и имеют ограничения по аппаратной совместимости. Длина контекста и мультимодальные возможности в карточке не указаны. Лицензия обозначена как llama3.1; перед использованием следует учитывать условия лицензии базовой модели.

MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2 — диалоговая языковая модель, созданная MaziyarPanahi методом DPO дообучения Meta Llama 3 8B Instruct. Модель использует архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Она принимает текстовые сообщения в шаблоне ChatML и генерирует текстовые ответы.

Llama-PLLuM-70B-instruct-2508 — большая языковая модель семейства PLLuM, разработанная консорциумом PLLuM и продолжаемая альянсом HIVE AI для польского и других славянских и балтийских языков. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, настроенная на выполнение инструкций; она поддерживает диалог и генерирует текст. Родительская модель — Llama-PLLuM-70B-base, лицензия — Llama 3.1. Модель предназначена для генерации текста, ответов на вопросы, суммаризации и создания специализированных помощников. Особое внимание уделено польскому языку и сценариям польской государственной администрации, включая юридические и бюрократические темы; для ответов по конкретным документам рекомендуется использовать её вместе с поиском по источникам. Заявленный контекст составляет 131 072 токена. В обучении использовались польские, другие славянские и балтийские языки, а также английский. Модель обучалась на корпусах, актуальных примерно до осени 2024 года, поэтому она может не знать более поздних событий. Она может выдавать фактически неверные ответы, а также сохранять смещения, особенно по спорным и субъективным темам; длинный контекст может требовать значительных ресурсов памяти. Использование регулируется лицензией Llama 3.1.

M7Yamshadowexperiment28_Experiment26T3q — слитая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Experiment26T3q-7B. В метаданных указаны архитектура Mistral, 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации текста и ответов на запросы; описание базовой модели также указывает на применение для математических задач. Репозиторий содержит веса в формате safetensors. Модель выпущена по лицензии Apache-2.0.

M7Yamshadowexperiment28_OgnoExperiment27 — слитая языковая модель на архитектуре Mistral, созданная объединением automerger/M7Yamshadowexperiment28-7B и automerger/OgnoExperiment27-7B. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и диалогов; поддерживает контекст длиной до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате SafeTensors. Она распространяется по лицензии Apache-2.0. Сведения о конкретных языках обучения и известных ограничениях в карточке не приведены.

MaziyarPanahi/M7Yamshadowexperiment28_Strangemerges_30Pastiche — объединённая языковая модель на архитектуре Mistral, созданная слиянием automerger/M7Yamshadowexperiment28-7B и automerger/Strangemerges_30Pastiche-7B. Модель содержит 7,1 млрд параметров, принимает текст и предназначена для генерации текста и диалогов; контекст — до 32 768 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. README не приводит сведений о специальной предметной области или языковом профиле, поэтому модель описывается как универсальная. Практические ограничения и оценка качества в карточке не раскрыты.

MegaBeam-Mistral-7B-512k-GGUF — набор GGUF-квантизаций модели MegaBeam-Mistral-7B-512k, разработанной aws-prototyping и подготовленной для llama.cpp пользователем bartowski. Модель предназначена для генерации текста и локального запуска, в частности через llama.cpp и LM Studio. Она относится к семейству Mistral и имеет размер 7B параметров; поддерживает контекст до 512 тысяч токенов. Данные о языках и мультимодальности не указаны, поэтому модель следует рассматривать как текстовую. Доступны варианты от F16 до низкобитных Q2 и IQ-квантизаций, размером примерно от 2,50 до 14,48 ГБ. Более высокие разрядности обеспечивают лучшее сохранение качества, а низкие снижают требования к памяти ценой качества; в README рекомендуются, среди прочих, варианты Q4_K_M, Q5 и Q6. Квантизации созданы с использованием imatrix и llama.cpp b3600. Модель не поддерживает системный промпт и требует формата приглашения «<s> [INST] {prompt} [/INST]». В обновлённой версии заявлены улучшения пользовательского опыта и исправление проблем с повторениями. Распространяется по лицензии Apache-2.0. README не содержит результатов бенчмарков или подробного описания качества, поэтому фактические возможности модели в конкретных задачах требуют самостоятельной проверки.

MeliodasPercival_01_YamExperiment28 — объединённая автором карточки модель на архитектуре Mistral с 7,1 млрд параметров, созданная на основе automerger/MeliodasPercival_01-7B и automerger/YamExperiment28-7B. Она предназначена для генерации текста и диалогов, а контекст поддерживает до 32 768 токенов. Модель опубликована в формате safetensors под лицензией Apache-2.0. Карточка не описывает специальные предметные области или ограничения качества; применимость следует оценивать на задачах пользователя.

Это 4-битная версия Meta-Llama-3.1-405B-Instruct, преобразованная сообществом mlx-community из формата исходной модели в формат MLX с помощью mlx-lm 0.16.0. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 408 млрд параметров; она предназначена для генерации текста и диалогового использования на устройствах Apple Silicon, поддерживающих MLX. Модель принимает текстовые запросы и выдаёт текст. Контекстное окно составляет до 131 072 токенов. В карточке указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Качество и удобство локального запуска зависят от доступных вычислительных ресурсов; 4-битное представление снижает требования к памяти по сравнению с полной точностью. Модель распространяется по лицензии Llama 3.1, условия которой следует соблюдать при использовании.

gaverfraxz/Meta-Llama-3.1-8B-Instruct-HalfAbliterated-DELLA — текстовая модель на архитектуре Llama, созданная методом слияния DELLA на основе Meta-Llama-3.1-8B и двух инструктивных вариантов: Meta-Llama-3.1-8B-Instruct и его версии abliterated от mlabonne. Модель рассчитана на генерацию текста и диалоговые ответы; слияние сочетает instruct-модель с вариантом, у которого ослаблены ограничения на ответы. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Для запуска предусмотрена библиотека Transformers, веса опубликованы в формате safetensors. Лицензия — llama3.1. Слияние с abliterated-вариантом означает, что защитные ограничения могут быть ослаблены; качество и поведение на конкретных запросах могут отличаться от исходной instruct-модели.

Карточка модели Iambackup/MiniMax-M2.5-UNCENSORED-JANG_2L на Hugging Face совпадает с карточкой Ishowbackup/MiniMax-M2.5-UNCENSORED-JANG_2L, поэтому описание составлено по ней. MiniMax-M2.5-UNCENSORED-JANG_2L — производная модель MiniMaxAI/MiniMax-M2.5, подготовленная Jinho Jang. Это языковая модель с архитектурой MiniMax M2 MoE и интерфейсами чата и вызова инструментов. В README указаны 230 млрд параметров, 256 экспертов и около 10 млрд активных параметров на токен; смешанная квантизация JANG_2L задаёт 8 бит для внимания, 6 бит для эмбеддингов и 2 бита для экспертов. Метаданные указывают 2,9 млрд параметров, поэтому оценку размера из README следует считать расходящейся с ними. Для хранения требуется около 63 ГБ; формат JANG поддерживается MLX Studio и пакетом jang-tools на Apple Silicon. Контекст — 196 608 токенов. Модель предназначена для генерации ответов в чате, рассуждений и работы с инструментами. README также описывает CRACK — изменение весов, удаляющее отказы, связанные с защитными настройками; это может позволить получать вредоносные или опасные ответы. В README приведены результаты тестов MMLU и HarmBench, но они не являются независимой оценкой качества. Лицензия в метаданных — Apache-2.0; модель рассчитана на английский, китайский и корейский языки.

MiniMax-M2.5-UNCENSORED-JANG_2L — производная модель MiniMaxAI/MiniMax-M2.5, подготовленная Jinho Jang. Это языковая модель с архитектурой MiniMax M2 MoE и интерфейсами чата и вызова инструментов. В README указаны 230 млрд параметров, 256 экспертов и около 10 млрд активных параметров на токен; смешанная квантизация JANG_2L задаёт 8 бит для внимания, 6 бит для эмбеддингов и 2 бита для экспертов. Метаданные указывают 2,9 млрд параметров, поэтому оценку размера из README следует считать расходящейся с ними. Для хранения требуется около 63 ГБ; формат JANG поддерживается MLX Studio и пакетом jang-tools на Apple Silicon. Контекст — 196 608 токенов. Модель предназначена для генерации ответов в чате, рассуждений и работы с инструментами. README также описывает CRACK — изменение весов, удаляющее отказы, связанные с защитными настройками; это может позволить получать вредоносные или опасные ответы. В README приведены результаты тестов MMLU и HarmBench, но они не являются независимой оценкой качества. Лицензия в метаданных — Apache-2.0; модель рассчитана на английский, китайский и корейский языки.

JANGQ-AI MiniMax-M2.7-JANG_6M — квантованная версия MiniMax M2.7 от Jinho Jang (JANGQ), подготовленная для запуска через vMLX и MLX на компьютерах Apple Silicon. Это языковая модель для диалога и генерации текста с архитектурой MoE: исходная модель содержит 228,7 млрд параметров и 256 экспертов, а в метаданных репозитория указано 2,9 млрд параметров. Контекстное окно составляет 196 608 токенов. Вариант JANG_6M использует смешанную точность со средним размером около 6,03 бита: внимание и выходной слой хранятся в 8 битах, эмбеддинги и экспертные MLP — в 6 битах, а маршрутизатор экспертов — в float16. Модель предназначена для диалогов, рассуждений и сценариев с вызовом инструментов; для запуска автор рекомендует MLX Studio. Это модель с постоянным режимом рассуждений: README предупреждает, что температура 0 может приводить к бесконечным циклам рассуждений, и рекомендует температуру 1,0. Количественные результаты оценки MiniMax M2.7 для этой версии ещё не опубликованы; приведённые в карточке результаты MMLU относятся к другой модели семейства. Для запуска требуется Apple Silicon Mac с 192 ГБ объединённой памяти и MLX. Лицензия указана как other; README описывает условия как исследовательское и личное использование и требует соблюдать лицензию MiniMax.

Mistral-7b-FFT-Test3-Mistral-7B-Instruct-v0.2-slerp — текстовая диалоговая модель на архитектуре Mistral с 7,1 млрд параметров. Она создана слиянием методом SLERP моделей mistralai/Mistral-7B-Instruct-v0.2 и Dans-DiscountModels/Mistral-7b-FFT-Test3; в конфигурации указан тип данных bfloat16. Модель предназначена для генерации текста и выполнения инструкций в диалоге, а контекст составляет до 32 768 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. В карточке указана лицензия Apache-2.0. Данных о специальных предметных областях или языках, на которые модель рассчитана в первую очередь, нет.

legraphista/Mistral-7B-v0.3-IMat-GGUF — это набор GGUF-квантизованных версий базовой модели mistralai/Mistral-7B-v0.3. Модель предназначена для генерации текста и локального запуска через совместимые инструменты, включая llama.cpp. Квантизацию выполнил legraphista с использованием llama.cpp b3003 и метода IMatrix на основе калибровочного набора данных. Модель имеет около 7 миллиардов параметров и поставляется в вариантах от BF16 и F16 до различных уровней Q- и IQ-квантизации размером примерно от 1,76 до 14,50 ГБ. IMatrix применена к ряду вариантов Q4 и ниже, что может помогать сохранять качество при уменьшении размера. Более компактные файлы удобны для запуска на ограниченных по памяти устройствах, однако сильная квантизация может снижать точность и качество генерации. В README не указаны поддерживаемые языки, длина контекста, точная архитектура и результаты бенчмарков. Распространение заявлено по лицензии Apache-2.0.

KnutJaegersberg/MistralInstructLongish — дообученная инструкция-модель семейства Mistral, созданная автором KnutJaegersberg. Модель обучалась около трёх эпох на объединении нескольких наборов инструкций, включая часть более длинных инструкций, и рассчитана на генерацию ответов в формате Alpaca с разделами Instruction, необязательным Input и Response. Это плотная причинная языковая модель MistralForCausalLM на 7,1 млрд параметров с контекстом до 32 768 токенов. Она предназначена для следования инструкциям и генерации текста; в карточке приведены результаты оценки на Open LLM Leaderboard, включая среднее значение 48,99, ARC и HellaSwag. Репозиторий содержит веса safetensors и распространяется по лицензии Apache-2.0. Карточка не описывает языки обучения, поэтому языковую специализацию нельзя установить. Результаты бенчмарков не гарантируют качество на конкретных пользовательских задачах; данных о дополнительных ограничениях или проверках безопасности нет.

Mistralpaca-7B — языковая модель на 7,1 млрд параметров, созданная Mistral AI и дообученная mlabonne методом supervised fine-tuning для следования инструкциям. Она основана на Mistral-7B-v0.1 и обучена на наборе vicgalle/alpaca-gpt4; метаданные также связывают её с yahma/alpaca-cleaned. Модель предназначена для генерации текста и ответов на пользовательские инструкции в диалоговых и прикладных сценариях. Модель использует плотную архитектуру Mistral для причинной генерации текста; заявленная длина контекста — 32 768 токенов. Доступны веса в форматах PyTorch и Safetensors. Лицензия — Apache-2.0. Карточка не сообщает о специализации на конкретных областях или языках, поэтому языковые возможности и качество ответов на отдельных языках не следует считать подтверждёнными.

casperhansen/mixtral-instruct-awq — рабочая версия модели Mixtral Instruct с квантизацией AWQ, опубликованная Casper Hansen. Репозиторий предназначен для использования Mixtral Instruct в квантизированном формате; README не уточняет конкретные прикладные сценарии, поддерживаемые языки, размер контекста или модальности. Ключевая характеристика модели — применение AWQ-квантизации. README не содержит сведений о точной архитектуре, количестве параметров и экспертов, формате запуска, производительности или ограничениях качества после квантизации. Модель распространяется по лицензии Apache-2.0. Указано, что на 11 февраля 2024 года альтернативный репозиторий TheBloke/Mixtral-8x7B-Instruct-v0.1-AWQ не работал, поэтому рекомендуется использовать этот репозиторий.

zelk12/MT3-Gen1-gemma-2-9B — объединённая языковая модель от zelk12, созданная из двух моделей семейства Gemma 2 с помощью mergekit и метода SLERP. Это плотная авторегрессионная модель на 9 млрд параметров для генерации текста и диалогового общения; она использует формат safetensors и работает с контекстом до 8192 токенов. Модель подходит для генерации ответов и диалогов. В README приведены результаты оценки на IFEval и BBH; среднее значение указано как 31,05. Модель объединяет zelk12/MT3-Gen1-BI-gemma-2-9B и zelk12/MT3-Gen1-MMMUMAG-gemma-2-9B. Лицензия в предоставленных данных не указана.

zelk12/MT-Merge4-gemma-2-9B — разговорная языковая модель на архитектуре Gemma 2, созданная разработчиком zelk12 путём слияния двух предварительно обученных моделей: zelk12/MT-Merge4-BMUGI-gemma-2-9B и zelk12/MT-Merge4-MMMA-gemma-2-9B. Для объединения применён метод SLERP через mergekit; модель имеет около 9 млрд параметров, работает с текстом и рассчитана на контекст до 8192 токенов. Модель предназначена для генерации текста в диалоговом формате и общих сценариев общения с языковой моделью. В README приведены результаты оценивания на Open LLM Leaderboard, включая IFEval и BBH, но они не гарантируют качество на конкретных пользовательских задачах. Репозиторий содержит веса safetensors и использует лицензию Gemma; применение должно соответствовать её условиям.

rinna/nekomata-7b-instruction — это дообученная по инструкциям версия языковой модели rinna/nekomata-7b, разработанная rinna при участии Tianyu Zhao и Kei Sawada. Модель построена на плотном трансформере Qwen с 32 слоями и размером 11,4 млрд параметров; контекст — до 32 768 токенов. Для запросов используется формат Alpaca. Модель предназначена для генерации текста и выполнения инструкций на японском и английском языках. При дообучении использовались подмножества Databricks Dolly, японской версии Dolly, FLAN Instruction Tuning и японских наборов из корпуса Izumi lab LLM Japanese; некоторые секции оценочных корпусов были исключены для снижения риска утечки данных. Репозиторий содержит веса PyTorch и Safetensors. Лицензия указана как other, поэтому перед использованием следует проверить условия на странице модели. Карточка ссылается на страницу бенчмарков rinna, но не приводит результаты непосредственно; качество для конкретной задачи следует оценить отдельно.

OpenBuddy — это мультиязычная чат-модель, разработанная проектом OpenBuddy на базе семейства Meta LLaMA. В репозитории представлена плотная авторегрессионная архитектура LlamaForCausalLM размером 12,9 млрд параметров, с контекстом до 65 536 токенов; веса сохранены в формате Safetensors. Модель предназначена для диалогов и генерации текста на китайском, английском, французском, немецком, японском, корейском, итальянском, русском и финском языках. Модель подходит для чат-ботов, ответов на вопросы и генерации текста с длинным контекстом. Она может выдавать ошибочные, вредные или оскорбительные ответы, поэтому не подходит для критически важных решений, медицинских рекомендаций и управления системами, где ошибка может причинить ущерб. Использование регулируется лицензией Llama 2: требуется соблюдать условия Meta и иметь право на доступ к исходной модели; модель предоставляется без гарантий.

TheBloke/openbuddy-mixtral-8x7b-v15.1-GGUF — это набор квантованных моделей в формате GGUF для OpenBuddy Mixtral 8X7B V15.1, разработанной командой OpenBuddy и квантованной TheBloke. Модель предназначена для генерации текста и диалогового взаимодействия с пользователем, включая ответы на вопросы, объяснение информации и выполнение общих ассистентских задач. В основе лежит архитектура Mixtral с конфигурацией 8×7B; точный размер активной части параметров и максимальная длина контекста в предоставленных данных не указаны. Модель работает с текстом и заявлена для китайского, английского, французского, немецкого, японского, корейского, итальянского и русского языков. Репозиторий содержит варианты квантования от 2 до 8 бит, что позволяет выбирать баланс между качеством, скоростью и потреблением памяти для CPU+GPU-инференса. Сильными сторонами являются многоязычность, возможность локального запуска и поддержка экосистемы llama.cpp, включая KoboldCpp, LM Studio и llama-cpp-python при соответствующих версиях. Ограничения связаны с потерями качества, возможными при низкобитном квантовании, зависимостью совместимости от используемого клиента и отсутствием доступа к интернету; в шаблоне указана отсечка знаний 2021 года. Модель распространяется по лицензии Apache-2.0.

OpenChat v3.2 — языковая модель семейства Llama, разработанная командой OpenChat и дообученная методом supervised fine-tuning на примерно 80 тысячах диалогов ShareGPT. Модель с 12,9 млрд параметров предназначена для генерации текста и диалоговых ответов; максимальная длина контекста составляет 4096 токенов. Модель подходит для чат-ботов, генерации и редактирования текста, ответов на вопросы и создания диалоговых приложений через OpenAI-совместимый API. В README сообщаются результаты AlpacaEval и MT-bench, однако они отражают ограниченный набор сценариев и не гарантируют качество для каждой задачи. OpenChat v3.2 распространяется по лицензии Llama 2 Community License, допускающей коммерческое использование при соблюдении её условий. Модель может ошибаться, галлюцинировать факты, а также испытывать трудности со сложными рассуждениями, математикой и программированием.