II.1Анализ требований и архитектура ПО

Ice0.56-17.01-RP — языковая модель на архитектуре Mistral, созданная объединением предварительно обученных моделей с помощью метода SLERP и инструментария mergekit. В README указаны две входящие модели: Ice0.54-17.01-RP и Ice0.7-29.09-RP. Модель предназначена для генерации текста и имеет 7,1 млрд параметров, контекстное окно — 32 768 токенов. Опубликована в формате safetensors и рассчитана на запуск через Transformers. README не описывает конкретные специализации, языки или сценарии применения, поэтому модель можно характеризовать только как генеративную языковую модель общего назначения. Лицензия в предоставленных данных не указана.

Ice0.60-18.01-RP — объединённая предобученная языковая модель, созданная автором репозитория с помощью mergekit. В слияние методом SLERP вошли Ice0.58-18.01-RP и Ice0.59-18.01-RP; конфигурация использует послойные веса для attention и MLP. По архитектуре это плотная MistralForCausalLM размером 7,1 млрд параметров с контекстом до 32 768 токенов. Модель предназначена для генерации текста. Карточка не описывает отдельные специализированные области применения или поддерживаемые естественные языки. Весовые файлы опубликованы в формате safetensors; метаданные указывают библиотеку Transformers. Условия лицензии в предоставленных источниках не приведены.

LaseredHermes-7B — языковая модель для диалогов и генерации текста, опубликованная LHC88. Это плотная авторегрессионная модель семейства Mistral объёмом 7,1 млрд параметров, обученная на базе Teknium/OpenHermes-2.5-Mistral-7B. По карточке, модель прошла второй этап дообучения с Direct Preference Optimization (DPO) на предпочтениях из Intel/orca_dpo_pairs и allenai/ultrafeedback_binarized_cleaned; также указаны данные wikitext2, ptb и c4 для процесса «Laser». Модель рассчитана на многоходовый чат, выполнение инструкций и свободную генерацию текста. Для диалога используется формат ChatML с ролями и системными сообщениями; заявлен контекст до 32 768 токенов. Карточка указывает английский язык. Веса доступны в формате safetensors, лицензия — Apache-2.0. Практические ограничения и сравнительные оценки качества в карточке не приведены; как и другие генеративные языковые модели, она может выдавать неточные ответы. Для корректного диалога следует использовать шаблон ChatML.

TheBloke/Llama-2-7B-fp16 — текстовая авторегрессионная модель семейства Llama 2, подготовленная TheBloke в формате Transformers/PyTorch на основе весов Meta. Она предназначена для генерации продолжений по текстовому запросу и может использоваться для создания черновиков, ответов и диалогового текста. Модель содержит около 6,6 млрд параметров и имеет контекстное окно 4096 токенов. Это базовая, не специализированная на чате версия: её назначение — генерация текста общего назначения. В карточке репозитория указана лицензия Llama 2 Community License от Meta; перед использованием следует соблюдать её условия. Поддерживаются вход и выход в текстовом виде; подтверждений поддержки других модальностей нет.

oh-yeontaek/llama-2-7B-LoRA-assemble — языковая модель, опубликованная пользователем oh-yeontaek на Hugging Face. Она относится к семейству Llama и предназначена для генерации текста; в карточке Hugging Face указаны библиотеки Transformers и PyTorch, а также поддержка text-generation-inference. Модель содержит около 6,6 млрд параметров и поддерживает контекст до 4096 токенов. Она подходит для локальной или серверной генерации продолжений текста, ответов и других текстовых последовательностей. Доступные источники не подтверждают конкретную специализацию, набор естественных языков, мультимодальность или лицензионные условия именно исходного репозитория. К ограничениям относятся контекст длиной до 4096 токенов и отсутствие подтверждённой узкой предметной специализации; качество и безопасность ответов зависят от запроса и настроек генерации.

Na0s/Llama-3.1-8B-Pruned-4-Layers_LoRA-PEFT-1.0 — дообученная текстовая генеративная модель на архитектуре LlamaForCausalLM, опубликованная автором Na0s. Она предназначена для генерации продолжений текста и ответов на запросы; в обучении использован набор berkeley-nest/Nectar. Размер модели составляет 6,4 млрд параметров, контекст — до 131 072 токенов. Модель основана на Na0s/Llama-3.1-8B-Pruned-4-Layers_LoRA-PEFT и распространяется в формате safetensors. В карточке приведён результат 0,2927 на тесте MMLU Pro в режиме zero-shot. Данных о целевых языках и специализированных областях применения нет, поэтому модель можно описать как общего назначения. Лицензия — Apache-2.0.

Llama3.1-8B-relu-stage-1-dolma-v1_7-50B-4096 — дообученная текстовая модель на архитектуре Llama 3.1 от Skymizer, основанная на meta-llama/Llama-3.1-8B. В метаданных указаны 7,5 млрд параметров и контекст до 131 072 токенов; модель распространяется в формате safetensors и рассчитана на использование с Transformers. Модель предназначена для генерации текста. В README приведён результат оценки: loss 2,3481; набор данных и подробности обучения не раскрыты. Лицензия — llama3.1, условия использования определяются её положениями.

Lemura Labs-Llama-3.2-3B-Uncensored-GGUF — текстовая генеративная модель, разработанная Lemura Labs на основе Meta Llama 3.2 3B. Модель предназначена для генерации текста, ответов на открытые вопросы, творческого письма, разработки идей, исследовательской и образовательной помощи, математических задач, непринуждённых диалогов и взаимодействия с длинным контекстом. Заявлена как модель без встроенных ограничений на содержание ответов. Модель содержит около 3 млрд параметров и распространяется в формате GGUF. Доступны варианты с разным уровнем квантования — от низкоразрядных конфигураций для минимального потребления памяти до F16 для максимальной точности, что позволяет запускать её на устройствах с различными ресурсами. Поддерживаются текстовые сценарии; сведения о мультимодальности, языках и точном размере контекстного окна в README не указаны. Заявлены контекстное понимание, работа с длинными диалогами и возможность адаптации под специализированные задачи посредством дообучения. Сильными сторонами модели являются компактный размер, широкий спектр заявленных сценариев и наличие множества квантованных версий для локального развёртывания. Ограничения включают отсутствие в README количественных оценок качества, сведений о датасете и методике обучения, а также точных данных о поддерживаемых языках и контекстном окне. Отсутствие ограничений на содержание может повысить риск небезопасных, некорректных или непроверенных ответов, поэтому результаты требуют контроля. Модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Llama-3-8B-Instruct-v0.4 — дообученная диалоговая модель на архитектуре Llama, созданная на основе meta-llama/Meta-Llama-3-8B-Instruct. Она предназначена для генерации текста и ассистентских ответов в диалоге; карточка описывает использование через библиотеку Transformers и шаблон запросов ChatML. Модель содержит 7,5 млрд параметров и поддерживает контекст до 8192 токенов. В метаданных указан английский язык. Репозиторий содержит веса Safetensors; отдельная версия в формате GGUF доступна в другом репозитории. Лицензия обозначена как other, поэтому условия использования следует сверить с лицензией и условиями базовой модели.

Fischerboot/llama3-carlodda-v1 — объединённая автором модель на основе языковых моделей Essacheez/LLAMA3-8b-LIMA-Alpaca-style и Fischerboot/llama3-c1-full. Она использует плотную архитектуру Llama с причинно-языковой моделью LlamaForCausalLM и предназначена для генерации текста. Модель содержит 7,5 млрд параметров, принимает текст и поддерживает контекст до 8192 токенов. Объединение выполнено методом passthrough с помощью mergekit. Модель доступна в формате safetensors для библиотеки Transformers. Карточка не описывает специализированные области применения, языки или отдельные возможности, поэтому её можно характеризовать как модель общего назначения для генерации текста. Условия лицензии в предоставленных данных не указаны.

Gargaz/llama-eryon — дообученная модель семейства Llama, разработанная Gargaz на базе unsloth/llama-3.2-1b-instruct-bnb-4bit с использованием Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная языковая модель с архитектурой LlamaForCausalLM и 1,2 млрд параметров, предназначенная для генерации текста и диалогового общения. Заявленная длина контекста составляет 131 072 токена; модель принимает текст и выдаёт текст. Модель распространяется в форматах PyTorch и safetensors по лицензии Apache-2.0. В метаданных также отмечен интерфейс вызова инструментов, однако подробности его поддержки в README не приведены. Карточка не описывает специализацию дообучения или сравнительные результаты, поэтому пригодность для конкретных задач и качество ответов следует оценивать на собственных данных.

LongWriter-glm4-9b-abliterated-GGUF — это квантизированная GGUF-версия языковой модели LongWriter-glm4-9b-abliterated, разработанной byroneverson. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, диалогов и instruct-сценариев, включая задачи, требующие работы с длинным контекстом и создания объёмных текстов. Доступен специальный формат промпта GLM4 с ролями system, user и assistant. Модель относится к семейству GLM4 и содержит около 9 млрд параметров. Это текстовая модель без заявленной поддержки изображений или других модальностей; в README указан английский язык. Точная длина контекста не указана. Репозиторий предлагает варианты от F16 до компактных Q3-квантизаций, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Варианты Q6_K_L и Q6_K отмечены как близкие к исходному качеству, а Q4_K_M — как сбалансированный вариант. Сильные стороны модели — поддержка длинных текстовых сценариев, широкий выбор квантизаций и возможность локального запуска через llama.cpp или LM Studio. Ограничения включают отсутствие подробных данных о бенчмарках, фактическом размере контекстного окна, качестве на других языках и характеристиках безопасности; слово «abliterated» также указывает на модификацию исходной модели, поэтому поведение и защитные ограничения могут отличаться от оригинала. Указана лицензия Apache-2.0.

M7Yamshadowexperiment28_Inex12Neural — объединённая MaziyarPanahi модель на архитектуре Mistral с 7,1 млрд параметров. Она предназначена для генерации текста и поддерживает контекст до 32 768 токенов. Модель объединяет automerger/M7Yamshadowexperiment28-7B и automerger/Inex12Neural-7B. Репозиторий содержит веса в формате safetensors. Языки и специализированные прикладные области в карточке не обозначены. Модель распространяется по лицензии Apache-2.0. README не описывает специальные возможности или оценки качества.

MaziyarPanahi/M7Yamshadowexperiment28_Neuralsirkrishnaexperiment26Experiment24 — объединённая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Neuralsirkrishnaexperiment26Experiment24-7B. Она использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель принимает текст и генерирует текст, а карточка Hugging Face указывает задачу text-generation. Модель подходит для генерации продолжений и ответов в текстовом формате, а также для экспериментов с объединением языковых моделей. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. README не сообщает о специализированной предметной области или языковых ограничениях.

mamba-gpt-7b-v2-Mistral-7B-Instruct-v0.1 — объединённая языковая модель на 7,1 млрд параметров, созданная MaziyarPanahi методом SLERP из mistralai/Mistral-7B-Instruct-v0.1 и CobraMamba/mamba-gpt-7b-v2. Архитектура — плотная MistralForCausalLM; модель предназначена для генерации текста и диалоговых ответов на инструкции. Контекст составляет до 32 768 токенов, карточка указывает английский язык. Модель распространяется в формате Safetensors по лицензии Apache-2.0. Она сочетает возможности двух исходных моделей, однако карточка не приводит сравнительных оценок качества или отдельных ограничений.

MBX-7B — языковая модель, созданная Flemming Miguel слиянием leveldevai/MarcDareBeagle-7B и leveldevai/MarcBeagle-7B с помощью LazyMergekit и метода SLERP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров, рассчитанная на генерацию текста и имеющая контекстное окно до 32 768 токенов. Веса представлены в формате Safetensors; модель распространяется по лицензии Apache-2.0. Модель предназначена для генерации продолжений и ответов на текстовые запросы. README описывает способ слияния и его параметры, но не приводит оценки качества, подробных сценариев применения или списка поддерживаемых естественных языков.

MeliodasPercival_01_Experiment24Yam — объединённая языковая модель семейства Mistral, созданная из automerger/MeliodasPercival_01-7B и automerger/Experiment24Yam-7B. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и диалоговых ответов. Она принимает текстовые запросы, поддерживает контекст до 32 768 токенов и может применяться для продолжения текста, написания черновиков и ответов на вопросы. Сведения о специализированной предметной области или целевых языках в карточке отсутствуют. Модель опубликована по лицензии Apache-2.0. Карточка не содержит оценок качества или описания ограничений, поэтому пригодность ответов для конкретных задач следует проверять отдельно.

duyntnet/Meta-Llama-3-8B-Instruct-imatrix-GGUF — набор квантизированных версий Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для генерации текста и диалоговых сценариев, включая работу в формате чат-бота, через llama.cpp, Transformers и совместимые инструменты. Она поддерживает английский язык; заявленный тип задачи — text-generation. В основе лежит instruct-модель семейства Llama 3 с размером 8B параметров. Репозиторий содержит варианты в формате GGUF с imatrix-квантизацией, ориентированные на более эффективное локальное выполнение при сниженных требованиях к памяти. README не указывает точное значение размера контекста, перечень доступных уровней квантизации, аппаратные требования или поддержку мультимодальных входов, поэтому модель следует считать текстовой. Сильными сторонами являются возможность локального запуска и совместимость с экосистемой llama.cpp и Transformers. Ограничения включают специализацию на английском языке и потенциальное снижение точности из-за квантизации по сравнению с исходной версией. В карточке указана лицензия other; дополнительные условия использования в README не раскрыты.

Mistral YARN 128k 11b — языковая модель для генерации текста, созданная как слияние моделей с помощью mergekit на основе Yarn-Mistral-7b-128k от Nous Research. Модель содержит 10,6 млрд параметров и использует архитектуру MistralForCausalLM; веса опубликованы в формате safetensors. В README заявлено окно контекста 128 тыс. токенов, тогда как метаданные указывают native context в 32 768 токенов. Модель предназначена для генерации текста с длинным контекстом. Метаданные отмечают английский язык; лицензия — Apache-2.0. Подробности о качестве, обучающих данных и рекомендуемых сценариях применения в доступной карточке не приведены.

EmbeddedLLM/Mistral-7B-Merge-14-v0.1 — экспериментальная плотная языковая модель семейства Mistral с 7,1 млрд параметров, созданная EmbeddedLLM. Она объединяет несколько моделей Mistral-7B методом DARE TIES, а затем объединяется с janai-hq/trinity-v1 методом Gradient SLERP; среди исходных моделей указана mistralai/Mistral-7B-v0.1. Модель предназначена для генерации текста и диалогов, а её базовая версия, согласно карточке, хорошо работает, но требует дополнительного дообучения на инструкциях. Модель принимает текст и генерирует текст, поддерживает английский язык и контекст до 32 768 токенов. В репозитории представлены веса safetensors; метаданные также указывают возможность чата. Использование регулируется лицензией CC BY-NC 4.0, которая запрещает коммерческое применение. Карточка сообщает о проблемах загрязнения обучающих данных в некоторых моделях, участвовавших в первоначальном объединении, и описывает последующую пересборку без названных моделей.

duyntnet/Mistral-7B-OpenOrca-imatrix-GGUF — набор квантизированных версий языковой модели Mistral-7B-OpenOrca, опубликованный пользователем duyntnet. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на инструкции и вопросы на английском языке. В карточке указано, что она доступна в формате GGUF с использованием imatrix-квантизации и предназначена для запуска средствами, поддерживающими этот формат. Исходная модель использует архитектуру Mistral с 7 млрд параметров и обучена или дообучена организацией Alignment Lab AI на базе Open-Orca; точные сведения о процедуре обучения в карточке не приведены. Поддерживается формат ChatML с токенами <|im_start|> и <|im_end|>, а также шаблон чата Transformers. Это упрощает использование модели в совместимых интерфейсах и библиотеках, но для инференса может потребоваться версия Transformers из репозитория разработки. Основные ограничения — заявлен только английский язык, отсутствуют данные о точном размере контекста, производительности, качестве на тестах и рекомендуемых параметрах запуска. Лицензия обозначена как other, без дополнительных условий в предоставленной карточке, поэтому конкретные права и ограничения использования требуют проверки по исходной лицензии модели.

Muse Glimmer 30B Abliterated Q4_K_M GGUF — квантованная 4-битная версия модели Muse Glimmer 30B Abliterated, разработанной mlasli. Модель распространяется в формате GGUF и предназначена для локальной генерации текста, диалоговых сценариев и других задач общего назначения, включая запуск через llama.cpp или Ollama. Доступен мультимодальный режим с обработкой изображений при использовании отдельного vision-проектора mmproj в llama.cpp. Модель содержит около 30 миллиардов параметров; базовая модель имеет 52 слоя. Квантование Q4_K_M занимает примерно 18 ГБ и рассчитано на запуск на одной видеокарте с 24 ГБ памяти, двух GPU по 12 ГБ либо на системе с 32 ГБ оперативной памяти при частичной выгрузке на GPU. README не указывает поддерживаемые языки и максимальный размер контекста. Для обработки изображений используется vision encoder и проектор Meta размером около 1,4 ГБ; Ollama для такого режима не поддерживается. Модель подвергнута abliteration — модификации весов, направленной на ослабление встроенного механизма отказов. Это может повысить готовность отвечать на ограниченные запросы, однако модель не является полностью uncensored: часть отказов, в частности для запросов об оружии, сохраняется. Q4_K_M обеспечивает хороший баланс между размером и качеством, но немного уступает более точным вариантам Q6_K и Q8_0; сама abliteration также может слегка влиять на качество ответов. Лицензия — Apache 2.0.

cgato/Nemo-12b-TheSpice-V0.9-All-v2-KTO-v0.3-Quick — текстовая генеративная модель семейства Mistral с плотной архитектурой MistralForCausalLM и 12,1 млрд параметров. Репозиторий создан в ноябре 2024 года; веса представлены в формате safetensors. Карточка указывает на обучение KTO и варианты шаблона диалога ChatML и Alpaca, причём автор отмечает, что Alpaca, по его наблюдениям, работает лучше. Модель предназначена для генерации текста и диалогового использования. Длина контекста в метаданных указана как 1 024 000 токенов. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но запрещает коммерческое применение. Автор предупреждает о возможном несоответствии шаблона ChatML и рекомендует учитывать, что поведение модели зависит от формата промпта. Карточка не приводит подробных сведений о языковой поддержке или оценках качества.

ArchSpace-Collection выпустила чекпойнт OLMo 3 с архитектурными изменениями SiameseNorm и DepthAttention; stage2 соответствует этапу mid-training. Это плотная авторегрессионная трансформерная модель на 1,3 млрд параметров для генерации текста. Архитектура включает 16 слоёв, скрытый размер 2048, 16 голов внимания и чередование скользящего окна и полного внимания в пропорции 3:1; размер окна — 4096 токенов. Модель рассчитана на контекст до 8192 токенов и работает через Transformers. Репозиторий содержит веса в safetensors, конфигурацию, токенизатор и пользовательский код модели; для загрузки README указывает `trust_remote_code=True`. Карточка не описывает специальные прикладные области или поддерживаемые естественные языки. Сведения о лицензии отсутствуют в предоставленных данных.

OLMo 7B July 2024 Instruct — языковая модель Allen Institute for AI (AI2), основанная на авторегрессионном трансформере OLMo. Это дообученная версия OLMo 7B July 2024: её обучали методом SFT на смеси Tulu 2, а затем DPO на очищенном наборе UltraFeedback. Модель содержит 6,7 млрд параметров и принимает текстовые запросы, выдавая текстовые ответы; поддерживает диалог и рассчитана прежде всего на английский язык. Модель предназначена для ответов на вопросы и следования инструкциям в диалоговых сценариях. Контекстное окно — 4096 токенов. Для запуска через Transformers требуется версия 4.40.0 или новее. Модель распространяется по лицензии Apache 2.0. В карточке отмечено, что это исследовательский артефакт без специального фильтра безопасности или отдельного обучения на безопасность; ответы могут содержать вредный или чувствительный контент, быть предвзятыми либо звучать убедительно, оставаясь фактически неверными. Для практического применения результаты следует проверять и при необходимости дополнять мерами защиты.

OLMo-7B-SFT-hf — англоязычная авторегрессионная языковая модель семейства OLMo, разработанная Allen Institute for AI (AI2). Это версия OLMo 7B, дообученная методом supervised fine-tuning на смеси Tulu 2 SFT для улучшения ответов на вопросы и диалогового использования. Модель содержит 6,7 млрд параметров, имеет плотную архитектуру Transformer и контекстное окно 2048 токенов; предназначена для запуска через Hugging Face Transformers версии 4.40 и выше. Модель генерирует текст по текстовому запросу и подходит для диалогов, ответов на вопросы и других задач генерации на английском языке. Она выпущена под лицензией Apache 2.0. В карточке модель обозначена как исследовательский артефакт; у неё нет специального фильтра безопасности или дополнительного обучения безопасности, поэтому она может выдавать вредный или предвзятый контент и уверенно формулировать фактические ошибки.

FuseAI/OpenChat-3.5-7B-Starling-v2.0 — диалоговая языковая модель, выпущенная исследовательской группой Sun Yat-sen University в рамках проекта FuseChat. Это целевая модель, полученная лёгким дообучением для попарного слияния знаний OpenChat-3.5-7B и Starling-LM-7B-alpha; архитектура — плотная Mistral с 7,1 млрд параметров. В README она описана как компонент для объединения с другими целевыми моделями FuseChat в единую чат-модель. Модель предназначена для ответов на вопросы, выполнения текстовых инструкций и диалогового общения. Она принимает текст и генерирует текст, поддерживает английский язык и контекст до 8192 токенов. Репозиторий содержит веса Safetensors и использует библиотеку Transformers. Лицензия — Apache-2.0. README приводит результаты MT-Bench для итоговой FuseChat-7B-v2.0, но не отдельную оценку этого целевого чекпойнта, поэтому эти показатели нельзя напрямую переносить на данную модель. Качество ответов может зависеть от шаблона диалога и сценария применения.

Open_Gpt4_8x7B_v0.2 — языковая модель, созданная rombodawg слиянием TIES на основе MixtralOrochi8x7B, Mixtral-8x7B-Instruct-v0.1 и bagel-dpo-8x7b-v0.2. В карточке указаны архитектура Mixtral с разреженной смесью экспертов (MoE), 7,1 млрд параметров и контекст до 32 768 токенов. Опубликованная версия FP16 в формате safetensors предназначена для обучения и дальнейшего слияния; для инференса автор отсылает к отдельной квантизованной версии. Модель генерирует текст и рассчитана на диалоговые и другие задачи следования инструкциям с шаблоном Alpaca. Автор описывает её как попытку расширить возможности MixtralOrochi и сообщает результаты оценки на бенчмарках, но отмечает необходимость дальнейшего тестирования. Лицензия — CC BY 4.0.

titan087/OpenLlama13B-Guanaco — языковая модель семейства Llama на 12,9 млрд параметров, дообученная методом QLoRA на наборе timdettmers/openassistant-guanaco. Она предназначена для генерации текста в диалогах и ответов на инструкции. Модель использует архитектуру LlamaForCausalLM и формат PyTorch с весами safetensors; нативная длина контекста — 2048 токенов. В карточке приведены результаты оценки Open LLM Leaderboard: средний балл 41,32, ARC — 51,19, HellaSwag — 75,24. Язык набора данных — английский, поэтому в первую очередь модель рассчитана на англоязычные запросы. Лицензия в предоставленных данных не указана.

OpenOrca Platypus2 13B — языковая модель для генерации текста, созданная Open-Orca на базе архитектуры Llama и дообученная с использованием наборов данных Open-Platypus и OpenOrca. Модель предназначена для задач следования инструкциям, диалогового взаимодействия и общего текстового вывода на английском языке. В README указано 13 миллиардов параметров и поддержка конвейера text-generation. Представлена в формате GGUFv2, что позволяет использовать её через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Доступны варианты квантизации с разной разрядностью, предназначенные для инференса на CPU и GPU; конкретные требования к памяти зависят от выбранного файла. Рекомендуемый шаблон запроса — Alpaca-InstructOnly с секциями «### Instruction» и «### Response». Размер контекста в README не указан. К сильным сторонам относятся локальный запуск, широкий выбор квантизированных вариантов и совместимость с экосистемой GGUF. Ограничения включают ориентацию на английский язык, отсутствие сведений о поддержке других модальностей и неуказанные показатели качества. Модель заявлена под лицензией CC BY-NC 4.0; поскольку она основана на Llama 2, также применяются условия лицензии Meta Llama 2, поэтому необходимо учитывать возможные ограничения некоммерческого использования и двойного лицензирования.