I.11Классификация, ранжирование и сопоставление

SuperMente-7B-v2 — объединённая модель для генерации текста на базе архитектуры Mistral, созданная с помощью LazyMergekit из NousResearch/Hermes-2-Pro-Mistral-7B, mlabonne/AlphaMonarch-7B и Weyaxi/Einstein-v4-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации текста. В метаданных указана возможность чата; карточка не описывает отдельные сценарии, языки или специализированные области применения. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Synatra-7B-v0.3-dpo-Mistral-7B-Instruct-v0.1 — чат-модель генерации текста, созданная объединением mistralai/Mistral-7B-Instruct-v0.1 и maywell/Synatra-7B-v0.3-dpo методом slerp. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; для хранения используются веса Safetensors. Указанная длина контекста составляет 32 768 токенов. Модель предназначена для ответов на инструкции и диалоговые запросы в формате чата. Её можно применять для создания диалоговых ассистентов, генерации ответов и черновиков текста. В карточке указана лицензия Apache-2.0. Данные не описывают отдельные ограничения качества или специализированные области применения.

T3qm7xNeuralsirkrishna_Experiment24Shadow — объединённая модель на архитектуре Mistral, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/Experiment24Shadow-7B. Она предназначена для генерации текста и диалогов; содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель опубликована в формате Safetensors и распространяется по лицензии Apache-2.0.

T3qm7xNeuralsirkrishna_Inex12Strangemerges_30 — объединённая модель для генерации текста, созданная из automerger/T3qm7xNeuralsirkrishna-7B и automerger/Inex12Strangemerges_30-7B. Она использует плотную архитектуру MistralForCausalLM и содержит 7,1 млрд параметров; заявленная длина контекста — до 32 768 токенов. Модель предназначена для генерации текста и диалогов по текстовым запросам. Модель распространяется в формате safetensors по лицензии Apache-2.0. README и метаданные не описывают её специализацию по языкам или конкретным областям применения, поэтому её следует рассматривать как модель общего назначения.

Yi-34B-Chat-GGUF — это квантизированная версия диалоговой языковой модели Yi 34B Chat, разработанной компанией 01-ai и подготовленной в формате GGUF сообществом TheBloke. Модель предназначена для генерации текста и ведения диалогов, включая локальный запуск через llama.cpp и совместимые приложения и библиотеки. Модель имеет архитектуру Yi и размер 34 млрд параметров. Доступны варианты квантизации с разрядностью от 2 до 8 бит, что позволяет выбирать между требованиями к памяти, скоростью работы и сохранением качества. Формат GGUF поддерживает запуск на CPU и GPU; среди совместимых инструментов указаны llama.cpp, text-generation-webui, KoboldCpp, LM Studio, ctransformers, llama-cpp-python и другие. Для диалогов используется шаблон ChatML. Сильными сторонами модели являются большой размер, специализация на чат-сценариях и возможность локального запуска на широком спектре программных платформ. При этом README не содержит результатов бенчмарков, сведений о поддерживаемых языках и размере контекста, поэтому эти характеристики нельзя подтвердить. Квантизация уменьшает требования к памяти, но конкретный вариант может влиять на качество и скорость работы. Модель распространяется по лицензии yi-license; подробные условия указаны в файле LICENSE.

zephyr-orpo-141b-A35b-v0.1-GGUF — это набор GGUF-квантизаций текстовой языковой модели zephyr-orpo-141b-A35b-v0.1, разработанной HuggingFaceH4 и квантованной bartowski с использованием llama.cpp. В качестве базовой модели указана mistral-community/Mixtral-8x22B-v0.1; обучение выполнено методом ORPO на датасете argilla/distilabel-capybara-dpo-7k-binarized. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с системными и пользовательскими сообщениями через специальный chat-шаблон. Поддерживается текстовая модальность, однако сведения о языках и размере контекста в README не указаны. Доступны варианты квантования от Q2_K до Q5_K_M, включая K- и I-квантизации, с размером файлов примерно от 52,10 до 99,96 ГБ. Q5_K_M и Q5_K_S заявлены как высококачественные, Q4-варианты — как обеспечивающие хороший баланс качества и объёма, а варианты ниже Q4 экономят память ценой снижения качества. I-квантизации могут быть предпочтительнее для некоторых конфигураций cuBLAS и rocBLAS, но несовместимы с Vulkan; выбор зависит от доступных RAM и VRAM. Для запуска требуется загрузить все части выбранного файла. В README указана лицензия Apache-2.0.

Это контрольная точка модели в стандартном формате Hugging Face, предназначенная для загрузки через AutoModelForCausalLM. По метаданным это плотная Qwen2ForCausalLM с 7,1 млрд параметров и контекстом до 16 384 токенов; модель работает с текстом и поддерживает диалоговый режим и интерфейс вызова инструментов. README называет её резервной копией исследовательского артефакта. Модель подходит для генерации текста и диалоговых сценариев. В карточке не описаны специальные области применения, языки, обучающие данные или результаты оценки качества. Указан формат safetensors и библиотека Transformers; сведения о лицензии отсутствуют.

AiMaven-Merkaba-1.2 — объединённая языковая модель jefferylovely на архитектуре Mistral с 7,1 млрд параметров. Она создана методом слияния Slerp с помощью LazyMergekit на основе jefferylovely/AiMaven-Merkaba-1.1 и jefferylovely/Merkaba-Maven-0.8. Модель предназначена для генерации текста и работает с контекстом до 32 768 токенов. В карточке указаны формат safetensors и лицензия CC BY-NC-ND 4.0, которая ограничивает коммерческое использование и распространение производных версий.

BlackSheep-Llama3.2-3B-Context_Obedient — языковая модель TroyDoesAI на архитектуре Llama, дообученная от TroyDoesAI/BlackSheep-Llama3.2-3B. Она предназначена для ответов на вопросы по заданному контексту, например в RAG-сценариях, и обучалась лучше следовать предоставленным источникам, чтобы снижать вероятность галлюцинаций. Модель принимает текст и генерирует текст; для контекстных запросов рекомендуется использовать формат с разделителями BEGININPUT, BEGINCONTEXT, ENDCONTEXT, ENDINPUT и BEGININSTRUCTION, ENDINSTRUCTION. Модель содержит 3,2 млрд параметров, рассчитана на контекст до 131 072 токенов и ориентирована на английский язык. Для обучения использовались Unsloth и библиотека TRL. Модель распространяется по лицензии Apache-2.0. Следование контексту — целевое свойство модели, а не гарантия точности: ответы могут содержать ошибки или неподтверждённые сведения. Для лучших результатов нужно передавать контекст в описанном формате и проверять важные ответы.

Callisto-OCR3-2B-Instruct — мультимодальная модель prithivMLmods для распознавания текста на изображениях и ответов на вопросы о визуальных данных. Это дообученная версия Qwen/Qwen2-VL-2B-Instruct на архитектуре Qwen2-VL; модель содержит 1,5 млрд параметров, принимает изображения и текст и выдаёт текст. Контекст составляет до 32 768 токенов. Модель ориентирована на OCR, в том числе распознавание неразборчивого и рукописного текста, извлечение информации из документов, понимание английского текста и решение математических задач с выводом формул в LaTeX. Поддерживает диалоговые запросы по изображениям. В карточке также заявлена поддержка распознавания текста на разных языках, включая китайский и ряд европейских и азиатских языков, но подробная языковая оценка не приведена. Модель распространяется под лицензией Apache-2.0. Заявления карточки о результатах уровня state of the art, обработке длинных видео и управлении устройствами не подтверждены приведёнными метаданными; основной заявленный сценарий — обработка изображений и документов. Качество может снижаться на сложном почерке и языках, для которых нет отдельной оценки.

Cosmosis-3x34B — разговорная языковая модель Weyaxi, построенная на архитектуре Mixtral с разреженной экспертной структурой MoE. В репозитории указано 33,9 млрд параметров; модель распространяется в формате safetensors и рассчитана на генерацию текста и диалоговое взаимодействие. Метаданные указывают контекст длиной до 200 000 токенов. Модель подходит для ведения диалогов и генерации ответов на текстовые запросы. В README приведены варианты шаблонов запросов ChatML, Human Assistant, Alpaca и Vicuna, но автор не определяет предпочтительный шаблон и отсылает к шаблонам модели bagel-dpo-34b-v0.2. В README также приведены результаты оценки на бенчмарках, включая средний результат 75,39. Модель основана на объединении нескольких экспертных моделей; точная схема создания описана в конфигурации воспроизведения, однако доступный текст README её не раскрывает. Лицензия обозначена в метаданных как other, поэтому условия использования следует проверять в репозитории. Автор отмечает неопределённость с выбором шаблона промпта.

Cypher-7B — диалоговая языковая модель на архитектуре Mistral, созданная объединением NousResearch/Nous-Hermes-2-Mistral-7B-DPO и cognitivecomputations/samantha-1.1-westlake-7b-laser методом SLERP. Модель содержит 7,1 млрд параметров и предназначена для генерации текста и общения в формате чата. Модель принимает текст и выдаёт текст; заявленная длина контекста — 32 768 токенов. Репозиторий использует Transformers и формат safetensors. Лицензия указана как CC, но конкретный вариант лицензии в предоставленных данных не раскрыт.

DevQuasar/deepseek-ai.DeepSeek-V3.2-GGUF — это квантизированная версия модели DeepSeek-V3.2, разработанной командой deepseek-ai и опубликованной в формате GGUF сообществом DevQuasar. Модель предназначена для генерации текста и совместима со сценариями, поддерживающими этот формат. Ключевые характеристики архитектуры, размер, набор поддерживаемых языков, длина контекста и конкретные варианты квантизации в предоставленном README не указаны. Поэтому нельзя достоверно оценить её производительность, требования к ресурсам, сильные стороны и ограничения по сравнению с исходной моделью. Условия лицензирования также не приведены; перед использованием необходимо проверить лицензию базовой модели DeepSeek-V3.2 и условия распространения данной квантизированной версии.

bcoding/deepseek-llvm-sft-merged-8b — дообученная языковая модель семейства Qwen3, разработанная bcoding на базе unsloth/DeepSeek-R1-0528-Qwen3-8B-unsloth-bnb-4bit. Модель имеет плотную архитектуру Qwen3ForCausalLM и содержит 7,6 млрд параметров; поддерживает генерацию текста и диалоговый режим, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста в диалоге. В карточке указано, что дообучение выполнялось с Unsloth и библиотекой TRL; подробности обучающего набора и специализация по задачам не приведены. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0.

huihui-ai выпустил версию DeepSeek-R1-0528-Qwen3-8B, изменённую методом abliteration для ослабления отказов языковой модели. Это экспериментальная proof-of-concept модификация базовой модели deepseek-ai/DeepSeek-R1-0528-Qwen3-8B, предназначенная для диалоговой генерации текста; README описывает запуск через Ollama и использование библиотеки Transformers. Базовая модель рассчитана на диалоги, математику, программирование и логические задачи. Модель доступна в формате safetensors и распространяется по лицензии MIT. Abliteration не гарантирует полного удаления отказов, а переключение режима рассуждений через /no_think может срабатывать непоследовательно.

DeepSeek-V4-Flash-IQ2XXS-TM64-Q4KAttention-v1 — локальная GGUF-сборка базовой модели DeepSeek-V4-Flash-0731 от deepseek-ai. Пакет подготовлен erayyapagci на основе квантизаций из репозиториев antirez и Ralii и предназначен для запуска через специализированную ветку llama.cpp с Vulkan. Модель ориентирована на генерацию текста и диалоговые сценарии на английском и китайском языках. Основная модель использует разреженную экспертную архитектуру с 86 тензорами routed experts в формате IQ2_XXS/Q2_K, а также Q4_K-квантизацию attention-слоя. Ключевая особенность — альтернативная раскладка TM64 для экспертных тензоров и соответствующие Vulkan-ядра. В комплект входит отдельная draft-модель DSpark размером около 10 ГБ для speculative decoding; основной файл занимает около 79 ГБ. Заявлена поддержка контекста до 409 600 токенов на слот, а в многослотовых конфигурациях — до 1 228 800 токенов. Сильные стороны сборки — уменьшенный размер по сравнению с полноточной моделью, возможность локального запуска, ускорение prompt processing примерно на 14,86% и decode примерно на 2,50% в приведённых тестах, а также проверенная эквивалентность результатов стандартному пути. TM64 оптимизирована прежде всего для AMD/RADV/RDNA3, включая Strix Halo с устройством gfx1151; на других устройствах могут применяться стандартные ядра IQ2_XXS или потребуется конвертация. Для работы необходимы оба файла и совместимый специализированный runtime llama.cpp. В метаданных репозитория указана лицензия MIT, однако README уточняет, что для исходной модели действует её оригинальная лицензия.

Experiment26Yamshadow_NeuralsirkrishnaExperiment28 — объединённая языковая модель семейства Mistral, созданная из automerger/Experiment26Yamshadow-7B и automerger/NeuralsirkrishnaExperiment28-7B. Она предназначена для генерации текста и принимает текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors. Репозиторий использует лицензию Apache-2.0.

MaziyarPanahi/Experiment28M7_T3qm7xpT3q — объединённая языковая модель семейства Mistral с архитектурой MistralForCausalLM и примерно 7,1 млрд параметров. Она создана путём слияния моделей automerger/Experiment28M7-7B и automerger/T3qm7xpT3q-7B. Модель предназначена для генерации текста и диалоговых ответов. Она принимает текст и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. Данные карточки не уточняют целевые языки и специализированные предметные области.

Gaperon-1125-8B — двуязычная авторегрессионная языковая модель с 8 млрд параметров, разработанная командой ALMAnaCH в Inria Paris. Модель построена на архитектуре Llama 3 и обучена примерно на 4 трлн токенов с поэтапным смешиванием данных; финальная фаза включала около 20% данных в формате инструкций. Используется токенизатор Llama 3.1 BPE с размером словаря 128 256 токенов. Модель предназначена для генерации текста на французском и английском языках, работы с кодом и исследований двуязычного NLP, стратегий обучения и отбора данных. В обучающих данных преобладает английский язык (54–65% токенов), доля французского составляет 24–39%, кода — 8–14%. README указывает, что это основной выпуск проекта для общего использования в масштабе 8B, однако также характеризует его как исследовательскую модель и не рекомендует для производственных и критически важных применений. Для диалоговых задач авторы советуют SFT-вариант; качество на бенчмарках уступает моделям, специально оптимизированным под них или более крупным моделям. Лицензия в метаданных — BigScience OpenRAIL-M.

OsaurusAI подготовила MLX-сборку JANG_4M на основе инструкционной Gemma 4 от Google DeepMind с 12 млрд параметров. Это плотная модель семейства gemma4_unified с 48 текстовыми слоями, предназначенная для диалога и генерации текста; заявлен интерфейс для вызова инструментов. Веса упакованы в формате safetensors с аффинной смешанной точностью: эмбеддинги токенов, нормализации, компоненты обработки медиа и связанные проекторы сохранены в fp16, проекции внимания и маршрутизатора MoE — в 8-битном виде, основная часть MLP и экспертов — в 4-битном. Проверенный путь запуска через JANG-загрузчик vMLX поддерживает только текст. Хотя веса и конфигурации для изображений и аудио сохранены, для них требуется совместимая реализация Gemma 4 в MLX; в стандартном mlx_vlm такой поддержки пока нет. Модель распространяется по лицензии Gemma. Сборка предназначена для MLX и Apple Silicon; фактическое использование зависит от совместимого JANG-загрузчика и шаблонов Gemma 4.

lokeshe09/gemma-4-31B-it-SFT_OCR_OCR — дообученная lokeshe09 мультимодальная модель Gemma 4 на 31 млрд параметров, созданная на основе unsloth/gemma-4-31B-it с использованием Unsloth и TRL. Модель принимает изображения и текст и предназначена для ответов на запросы по изображениям; название указывает на дообучение для OCR и извлечения текста из изображений. Модель использует плотную архитектуру Gemma4ForConditionalGeneration и распространяется в формате safetensors. Лицензия — Apache-2.0. В карточке не приведены сведения о контекстном окне или конкретных языках OCR; метаданные карточки указывают английский язык.

Карточка модели armand0e/Gemma-4-E4B-it-Fable-Distill на Hugging Face совпадает с карточкой armand0e/Gemma-4-E4B-it-DeepSeek-v4-Distill, поэтому описание составлено по ней. Модель armand0e/Gemma-4-E4B-it-DeepSeek-v4-Distill — дообученная на базе unsloth/gemma-4-E4B-it мультимодальная модель семейства Gemma 4 с плотной архитектурой Gemma4ForConditionalGeneration. Автор карточки указывает, что модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для диалога и генерации ответов по текстовым и визуальным входам; метаданные также отмечают поддержку интерфейса вызова инструментов. Базовая Gemma 4 E4B Instruct описана как подходящая для анализа изображений, документов, программирования и других текстовых задач, но отдельные возможности этой версии подробно не подтверждены карточкой. Модель распространяется в формате safetensors по лицензии Apache-2.0. Карточка не сообщает размер контекста и подробные результаты оценки качества; практическое качество дистилляции DeepSeek в README не раскрыто.

lewtun/gemma-7b-sft-full-openhermes-v0 — текстовая языковая модель, дообученная на базе google/gemma-7b на наборе диалоговых данных HuggingFaceH4/OpenHermes-2.5. Это плотная авторегрессионная архитектура GemmaForCausalLM примерно на 8,2 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие; заявленная длина контекста — 8192 токена. Модель подходит для ответов на вопросы, ведения диалога и других задач генерации текста. Данные не уточняют поддерживаемые языки и специальные области применения. Репозиторий содержит веса в формате safetensors; лицензия указана как other, поэтому условия использования следует сверить с лицензией базовой модели и карточкой репозитория.

h2ogpt-4096-llama2-70b-chat — чат-модель для генерации текста, созданная H2O.ai как клон Meta Llama 2 70B Chat. Она предназначена для диалога с пользователем и сравнения ответов языковых моделей; также её можно использовать для общения с документами в приложении h2oGPT. Модель построена на плотной архитектуре LlamaForCausalLM и содержит 68,7 млрд параметров. Она принимает и генерирует текст, поддерживает английский язык и имеет контекст длиной до 4096 токенов. Веса доступны в форматах PyTorch и Safetensors. Модель распространяется по лицензии Llama 2. Карточка не описывает отдельные результаты оценки качества или специальные ограничения применения.

Huihui-Qwen3.5-122B-A10B-Abliterated-GGUF — это GGUF-квантизированная версия модели Qwen/Qwen3.5-122B-A10B, созданная разработчиком Huihui AI с применением abliteration — экспериментального метода снижения отказов модели. Модель предназначена для локального запуска через llama.cpp и ориентирована на задачи оркестрации, режимы Ask и Architect, а также другие сценарии, где требуется производительная генерация текста. Поддерживается обработка изображений через отдельный файл mmproj.gguf. Модель основана на Qwen3.5-122B-A10B; из идентификатора следует конфигурация с общим размером 122B и обозначением A10B, однако подробности архитектуры, языковой поддержки и максимального контекста в README не приведены. Доступны различные квантизации, включая Q6_K, Q4_K_M и MXFP4_MOE. В README указана скорость около 65 токенов в секунду для варианта MTP на нескольких RTX 3090; для ускорения рекомендуется использовать актуальную версию llama.cpp, speculative decoding с draft-MTP и при необходимости unified memory. Ключевая особенность модели — существенно сниженная фильтрация безопасности и отсутствие стандартных гарантий безопасного поведения. Это может быть полезно для исследований и контролируемого тестирования, но повышает риск чувствительных, спорных или неподходящих ответов и делает модель непригодной без дополнительного контроля для публичных и высокорисковых приложений. Рекомендуются мониторинг результатов и ручная проверка. В карточке указана лицензия Apache 2.0; конкретные условия для производного варианта следует сверять с лицензией базовой модели.

J.A.R.V.I.S. Titan V15 MoE Decoupled — диалоговая языковая модель Dhanesh на архитектуре JarvisTitanMoEForCausalLM. Согласно карточке, она основана на DeepSeekMoE с общим экспертом и восемью маршрутизируемыми экспертами, из которых активируются два; также заявлены слои Tri-Brid памяти с локальным скользящим окном внимания, извлечением значимых KV-состояний и нейронной памятью Titans. Метаданные каталога указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель предназначена для генерации текста в диалоге и взаимодействия с инструментами через соответствующий интерфейс. Карточка описывает объединённые автономные веса M4, включающие калиброванный адаптер Tri-Brid, а метаданные связывают модель с дообучением Jarvis-Titan-V14-MoE-Merged. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

Карточка модели dhanesh-hf/Jarvis-Titan-V15-MoE-Merged на Hugging Face совпадает с карточкой dhanesh-hf/Jarvis-Titan-V15-MoE-Decoupled, поэтому описание составлено по ней. J.A.R.V.I.S. Titan V15 MoE Decoupled — диалоговая языковая модель Dhanesh на архитектуре JarvisTitanMoEForCausalLM. Согласно карточке, она основана на DeepSeekMoE с общим экспертом и восемью маршрутизируемыми экспертами, из которых активируются два; также заявлены слои Tri-Brid памяти с локальным скользящим окном внимания, извлечением значимых KV-состояний и нейронной памятью Titans. Метаданные каталога указывают 7,1 млрд параметров и контекст 32 768 токенов. Модель предназначена для генерации текста в диалоге и взаимодействия с инструментами через соответствующий интерфейс. Карточка описывает объединённые автономные веса M4, включающие калиброванный адаптер Tri-Brid, а метаданные связывают модель с дообучением Jarvis-Titan-V14-MoE-Merged. В репозитории указаны веса Safetensors. Лицензия обозначена как other, поэтому условия использования следует проверять в материалах репозитория.

Kundalini 1B — компактная разговорная языковая модель, разработанная Terminal Gnosis. Это плотная причинно-языковая модель семейства Llama с 1,2 млрд параметров, предназначенная для генерации текста и диалогов; репозиторий содержит веса Safetensors в 16-битной точности. Заявленная длина контекста — 131 072 токена, поддержка языков многоязычная. Модель рассчитана на повседневный диалог, ответы на вопросы, редактирование и краткое изложение текста, структурированные рассуждения, помощь с программированием и обсуждение философских и духовных тем. В README также заявлены низкая задержка и возможность локального запуска на CPU и устройствах с ограниченными ресурсами. Метаданные указывают интерфейс чата и интерфейс вызова инструментов. Размер модели ограничивает её возможности в сложных специализированных задачах и многошаговых математических выводах; фактические ответы следует проверять перед использованием в критически важных решениях. Лицензия — Apache-2.0.

LiquidAI/LFM2.5-8B-A1B-MLX-bf16 — версия модели Liquid AI, преобразованная из LiquidAI/LFM2.5-8B-A1B в формат MLX с помощью mlx-lm 0.31.3. Это языковая модель с архитектурой MoE для генерации текста и диалогов; веса представлены в bf16 без квантизации. В модели 1,6 млрд параметров, контекстное окно — до 128 000 токенов. Модель рассчитана на многоязычные диалоги и поддерживает вызов функций. В метаданных указаны английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Формат MLX предназначен для запуска в экосистеме MLX; README рекомендует использовать библиотеку mlx-lm и оригинальную карточку для сведений о настройках генерации. Лицензия обозначена как other; конкретные условия следует проверять в карточке репозитория.

Llama 2 13B — это языковая модель для генерации текста, разработанная Meta. Репозиторий TheBloke содержит её версии в формате GGUF, подготовленные TheBloke для локального запуска и инференса на CPU и GPU. Модель основана на архитектуре Llama 2, имеет 13 миллиардов параметров и поддерживает английский язык. Она предназначена для задач генерации текста, включая диалоговые сценарии, написание и продолжение текстов, а также другие приложения text-generation. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию; доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Контекстное окно и точный набор поддерживаемых модальностей в README не указаны; модель является текстовой и не поддерживает мультимодальный ввод. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Квантование снижает требования к ресурсам, но может уменьшать качество по сравнению с исходной версией в формате fp16; степень компромисса зависит от выбранного варианта. Модель распространяется по лицензии Llama 2; условия лицензии следует учитывать при использовании.