II.6Документация и сопровождение разработки

Карточка модели KeefeBuild/Keefe-Discere-v2.0 на Hugging Face совпадает с карточкой KeefeBuild/Keefe-Discere-v2.0-OxAlpha, поэтому описание составлено по ней. Keefe-Discere-v2.0-OxAlpha — языковая модель KeefeBuild, дообученная на базе unsloth/qwen2.5-7b-instruct-unsloth-bnb-4bit. Это плотная модель семейства Qwen2 с архитектурой Qwen2ForCausalLM и примерно 7,1 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Модель предназначена для текстовой генерации и разговорных сценариев на английском языке, с контекстом до 32 768 токенов. В карточке указаны Apache-2.0 и обучение с использованием Unsloth и библиотеки TRL. Конкретные специализации и результаты оценки качества не описаны, поэтому модель следует рассматривать как универсальную дообученную языковую модель, а поведение при вызове инструментов проверять в целевой интеграции.

Keefe-Discere-v3.3 — дообученная языковая модель на архитектуре Qwen2, опубликованная KeefeBuild. Она предназначена для генерации текста и диалогового общения; в метаданных также заявлен интерфейс вызова инструментов. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. В карточке указано обучение с использованием Unsloth и библиотеки TRL от Hugging Face. Модель распространяется под лицензией Apache-2.0. Карточка не описывает специализацию, набор данных или конкретные результаты обучения, поэтому качество в отдельных предметных областях оценить нельзя.

kellemar-DPO-Orca-Distilled-7B-SLERP — текстовая авторегрессионная модель, разработанная decruz и дообученная на базе mlabonne/Marcoro14-7B-slerp с использованием набора argilla/distilabel-intel-orca-dpo-pairs. Она предназначена для базового инференса и общих языковых задач, включая генерацию ответов, рассуждения и работу в диалоговых приложениях. Модель построена на плотной архитектуре MistralForCausalLM, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. В README приведены результаты бенчмарков OpenLLM и Nous на январь 2024 года; они характеризуют оценку автора и могут зависеть от методики тестирования. Для модели указана лицензия CC BY-NC 4.0, поэтому её использование ограничено некоммерческими условиями этой лицензии.

Kepler-8B-Instruct-v2 — разговорная языковая модель intellectlabs, представленная в репозитории в формате GGUF для запуска через llama.cpp и совместимые приложения. Согласно карточке, исходная модель получена слиянием Qwen/Qwen2.5-7B-Instruct (85%) и DeepSeek-R1-Distill-Qwen-7B (15%); доступны варианты квантования от Q2_K до F16. Модель содержит около 7,1 млрд параметров, использует плотную архитектуру Qwen2 и поддерживает контекст до 32 768 токенов. Модель предназначена для диалога и следования инструкциям: её можно применять для ответов на вопросы, объяснений и других текстовых задач в чат-интерфейсах, включая LM Studio, Ollama и llama.cpp. Карточка заявляет поддержку ChatML и ответы на разных языках, а метаданные указывают английский. Лицензия — Apache 2.0. Это слияние моделей, а опубликованные GGUF-файлы включают квантованные варианты. README сообщает, что модель не оценивалась на стандартных бенчмарках; сжатие до низкой разрядности снижает качество и повышает нестабильность ответов. Как и другие языковые модели, она может выдавать неточные сведения и унаследовать особенности или смещения исходных моделей.

Keural-Cortex-8B — разговорная модель компании MKD Co., Ltd. из Пусана, Южная Корея, созданная на базе Qwen/Qwen3-8B-Base. Модель содержит 7,6 млрд параметров и поддерживает контекст до 65 536 токенов. Её обучали на корейских текстах, расширяли контекст с помощью YaRN и дообучали на инструкциях и диалогах; веса опубликованы в формате safetensors. Модель предназначена для общения на корейском и английском языках, ответов на вопросы, помощи с текстами и кодом, а также для сценариев с вызовом инструментов. По результатам сравнительных тестов из карточки она достигает заявленной цели по корейскому языку, а по английскому сопоставима с Qwen3-8B-Instruct. При этом у неё есть заметная слабость на тестах с выбором фиксированного ответа, включая задачи на логическое следование и ответы «да/нет»; результаты таких тестов могут недооценивать способность модели отвечать на те же вопросы в обычном диалоге. Модель может уверенно выдавать неверные сведения и не проходила оптимизацию предпочтений. Разработчик не рекомендует использовать её для медицинских, юридических и финансовых советов, сведений о самой MKD Co., Ltd., сценариев, требующих thinking mode, или цепочек зависимых вызовов инструментов без внешнего управления порядком. Лицензия — Apache-2.0.

Kimi-Linear-48B-A3B-Base — базовая языковая модель Moonshot AI с архитектурой Kimi Linear и разреженной смесью экспертов. В карточке указаны 48 млрд параметров всего и около 3 млрд активируемых параметров; метаданные каталога отдельно приводят 2,7 млрд параметров. Модель использует гибридное внимание Kimi Delta Attention и MLA с соотношением 3:1 и предназначена для генерации текста, включая диалоги и задачи с длинным контекстом. Заявленная длина контекста — до 1 млн токенов. Архитектура нацелена на эффективную работу с длинными последовательностями: в README заявлены сокращение KV-кэша до 75% и ускорение декодирования до 6 раз в некоторых сценариях. Это базовая версия, поэтому для диалога и следования инструкциям может потребоваться дополнительная настройка. Указана лицензия MIT.

KRONOS 8B V4 — языковая модель семейства Llama 3.1, созданная T145 слиянием нескольких моделей методом Model Stock. В качестве базовой использована unsloth/Meta-Llama-3.1-8B-Instruct; в слияние также вошли mukaj/Llama-3.1-Hawkish-8B и три версии KRONOS 8B V1. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и формат safetensors; максимальный контекст — 131 072 токена. Модель предназначена для генерации текста и диалогов, в том числе для следования инструкциям. В README автор описывает её как эксперимент со слиянием моделей, направленный на улучшение результата IFEval; приведены результаты IFEval 78,89 и BBH 30,14. Поддерживается интерфейс вызова инструментов, однако качество и надёжность выполнения таких вызовов отдельно не подтверждены. Сведения о лицензии в предоставленных данных отсутствуют.

KRONOS-8B-V6 — объединённая языковая модель, созданная разработчиком T145 методом TIES с помощью mergekit на базе unsloth/Meta-Llama-3.1-8B-Instruct. В объединение также вошли T145/KRONOS-8B-V1-P2, T145/KRONOS-8B-V1-P3 и mukaj/Llama-3.1-Hawkish-8B. Модель построена на плотной архитектуре Llama и содержит 7,5 млрд параметров. Она предназначена для генерации текста и диалогов; метаданные также отмечают интерфейс вызова инструментов. Контекстное окно составляет до 131 072 токенов. Модель опубликована в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценки, включая 70,22% на IFEval и средний показатель 24,49 по указанной таблице, но без полного контекста этих метрик они не позволяют оценить качество для конкретного применения. Сведения о лицензии и поддерживаемых естественных языках в доступных данных отсутствуют.

Kunoichi-DPO-7B — плотная авторегрессионная языковая модель семейства Mistral на 7,1 млрд параметров, созданная SanjiWatsuki. Это DPO-дообучение Kunoichi-7B на парах предпочтений Intel Orca с шаблоном Alpaca; модель предназначена для общего использования и принимает инструкции, выдавая текстовые ответы. В карточке отмечены улучшения следования инструкциям и рассуждений по сравнению с Kunoichi-7B, а также возможное снижение качества ролевых диалогов из-за выравнивания на данных Orca. Заявленное окно контекста — до 8192 токенов. Экспериментально его можно расширить до 16 тысяч токенов с NTK RoPE alpha 2.6. README приводит результаты нескольких бенчмарков и сообщает, что тестирование ещё продолжается, поэтому оценки следует считать предварительными. Репозиторий содержит веса в формате safetensors; лицензия CC BY-NC 4.0 запрещает коммерческое использование без отдельного разрешения правообладателя.

Kunoichi-DPO-v2-Instruct-32k-7B — языковая модель, созданная автором репозитория слиянием моделей через mergekit. В основе лежит alpindale/Mistral-7B-v0.2-hf; в слияние также вошли mistralai/Mistral-7B-Instruct-v0.2 и SanjiWatsuki/Kunoichi-DPO-v2-7B. Использован метод DARE TIES, итоговые веса представлены в формате bfloat16. Модель на архитектуре Mistral с 7,1 млрд параметров предназначена для генерации текста и ответов на инструкции. Заявленная длина контекста — до 32 768 токенов; включение Instruct-модели могло изменить поведение исходной Kunoichi-DPO-v2. Данных о целевых языках и специальных прикладных областях в карточке нет. Лицензия в предоставленных данных не указана.

kromcomp/L3.1-Phantasmav2-12B — объединённая авторегрессионная языковая модель семейства Llama, созданная методом NuSLERP с помощью mergekit на основе merge/spectre и merge/twilight. Модель предназначена для генерации текста и диалогового общения; число параметров — 11,4 млрд, заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. README и метаданные не описывают языковую специализацию или отдельные прикладные области. Условия лицензии в доступных данных не указаны.

Della-1.5-calc — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit на основе unsloth/Meta-Llama-3.1-8B. В слияние вошли DreadPoor/Spei_Meridiem-8B-model_stock, DreadPoor/Aspire1.1-8B-model_stock и DreadPoor/Heart_Stolen1.1-8B-Model_Stock; в README указан метод della. Модель содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Модель предназначена для генерации текста и диалогов. В карточке приведены результаты Open LLM Leaderboard, включая IFEval и BBH. Она доступна в формате safetensors для библиотеки Transformers. Лицензия в предоставленных данных не указана.

Sao10K/L3.3-70B-Euryale-v2.3 — дообученная модель Sao10K на базе Meta Llama 3.3 70B Instruct, предназначенная для диалогов и генерации текста. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров; она принимает текст и поддерживает контекст до 131 072 токенов. Для общения используется формат запросов Llama 3 Instruct. В метаданных также указана возможность интерфейса вызова инструментов. Автор описывает модель как преемника Euryale v2.2 и отмечает, что она обучена непосредственно на Llama 3.3 Instruct, а не получена извлечением LoRA. Рекомендуемые автором параметры генерации: temperature 1.1 и min_p 0.1. Модель подходит для диалогового ассистента и творческой генерации; дальнейшее улучшение обучающих данных и расширение творческих сценариев указаны как планы. Лицензия — Llama 3. Использование требует соблюдения условий лицензии Meta Llama 3.

DS-Archive/L3.3-70B-Magnum-v4-SE-Cirrus-x1 — диалоговая языковая модель, созданная объединением моделей Sao10K и Doctor-Shotgun с помощью SLERP и mergekit. Она построена на архитектуре Llama 3.3 с плотной конфигурацией и содержит 69,5 млрд параметров; модель предназначена для генерации текста в формате диалога и поддерживает интерфейс вызова инструментов. Нативная длина контекста — до 131 072 токенов. Модель подходит для диалоговых приложений и генерации ответов с большим контекстом. В README указаны объединённые модели и метод слияния, но не приведены результаты оценки качества, сведения о поддерживаемых языках или специальные ограничения применения. Файлы опубликованы в формате safetensors; лицензия в предоставленных данных не указана.

LeoScorpius-GreenNode-Alpaca-7B-v1-Mistral-7B-Instruct-v0.2-slerp — объединённая языковая модель на базе Mistral-7B-Instruct-v0.2 и LeoScorpius-GreenNode-Alpaca-7B-v1. Разработчик карточки объединил модели методом SLERP с помощью mergekit; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, формат весов — safetensors. Модель предназначена для генерации текста и диалоговых ответов на инструкции; контекст составляет до 32 768 токенов. Модель принимает текст и выдаёт текст. В карточке не заявлены специализированные области применения или поддерживаемые языки. Репозиторий распространяется по лицензии Apache-2.0. Качество и поведение объединённой модели могут отличаться от исходных моделей; карточка не приводит оценок или сравнительных тестов.

Это текстовый контрольный пункт Gemma 4 26B A4B, структурно сокращённый автором jayzou3773 методом Less-is-MoE. В модели удалено 50% нейронов FFN маршрутизируемых экспертов; при подготовке использовались 128 калибровочных примеров и настройки последовательности длиной 8192 токена. Оптимизационных шагов не выполнялось, веса сохранены в BF16. Контрольный пункт содержит языковую башню causal language model без визуальной башни, поэтому предназначен для генерации текста, а не для обработки изображений. Модель подходит для текстовой генерации на базе Gemma 4, например для диалогов, рассуждений и программирования, унаследованных от базовой модели. В метаданных указаны 2 млрд параметров и нативный контекст 262144 токена; эти значения описывают контрольный пункт в каталоге, тогда как README сообщает о последовательности калибровки длиной 8192 токена. Лицензия — Apache-2.0. README не приводит оценок качества после структурного сокращения, поэтому фактическую сохранность возможностей базовой модели следует проверять на целевых задачах.

Карточка модели sirev/LFM2-2.6B-Uncensored-X64 на Hugging Face совпадает с карточкой Justbackup/LFM2-2.6B-Uncensored-X64, поэтому описание составлено по ней. LFM2-2.6B-Uncensored-X64 — разговорная версия языковой модели LiquidAI/LFM2-2.6B, опубликованная Justbackup. Это плотная авторегрессионная модель семейства LFM2 с примерно 2,4 млрд параметров, доступная в формате safetensors и рассчитанная на контекст до 128 000 токенов. Модель предназначена для генерации текста и диалогов; карточка называет её uncensored-версией базовой модели и приводит результаты нескольких тестов на общие знания и рассуждение. Её можно использовать для ответов на вопросы, диалоговых ассистентов и работы с длинными текстовыми запросами. README показывает формат чата, совместимый с использованием в Transformers. В карточке указана лицензия Apache-2.0. Модель не следует считать проверенной для задач с высокими требованиями к точности: опубликованные тесты ограничены несколькими бенчмарками, а результаты могут зависеть от точности вычислений и конфигурации запуска.

mlx-community/LFM2.5-1.2B-Thinking-bf16 — конверсия модели LiquidAI/LFM2.5-1.2B-Thinking в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm 0.30.4. Это плотная авторегрессионная языковая модель семейства LFM2 с 1,5 млрд параметров, предназначенная для генерации текста в диалоговом режиме и рассуждений. Она рассчитана на контекст до 128 000 токенов и локальный запуск на устройствах Apple Silicon через MLX. Модель подходит для диалогов и генерации ответов на английском, арабском, китайском, французском, немецком, японском, корейском и испанском языках. Базовая карточка описывает семейство как пригодное для рассуждений, агентных задач, извлечения данных и RAG. В репозитории указана лицензия other; конкретные условия следует сверять с лицензией базовой модели и карточкой автора.

TeichAI/LFM2.5-1.2B-Thinking-Pony-Alpha-Distill — дообученная TeichAI текстовая модель на архитектуре LFM2 с плотной причинной языковой моделью Lfm2ForCausalLM. Она основана на LiquidAI/LFM2.5-1.2B-Thinking и обучена на датасете TeichAI/Pony-Alpha-15k, сформированном на основе раннего чекпойнта Pony Alpha. Модель предназначена для генерации текста с рассуждениями и диалогов; среди заявленных сценариев — программирование, научные задачи и глубокое исследование. Поддерживает контекст до 128 000 токенов, содержит 1,5 млрд параметров и доступна в формате Safetensors. Метаданные отмечают интерфейс для вызова инструментов. Лицензия — Apache 2.0. Это компактная модель для локального развёртывания и задач, где полезны рассуждения и длинный контекст. README приводит рекомендованные параметры генерации: temperature 0,05, top_k 50 и repeat_penalty 1,05. Карточка не сообщает результаты оценивания или подробности о качестве и ограничениях модели; заявленные сценарии следует считать ориентиром, а не гарантией точности.

LiquidAI/LFM2.5-8B-A1B-MLX-8bit — языковая text-generation модель, разработанная Liquid AI и преобразованная в формат MLX из базовой модели LiquidAI/LFM2.5-8B-A1B с использованием mlx-lm 0.31.3. Она предназначена для запуска локально, в том числе в качестве персонального ассистента на ноутбуке, генерации текста, диалогового взаимодействия и сценариев с function calling. Модель использует архитектуру Mixture of Experts (MoE); обозначение 8B-A1B указывает на конфигурацию базовой модели, однако подробности архитектуры в README не приведены. Веса квантизированы до 8 бит с group size 64 и affine mode, а MoE-gates сохранены в 8-битном формате. Поддерживаются английский, арабский, китайский, французский, немецкий, японский, корейский, испанский и португальский языки. Модель работает через mlx-lm, использует ChatML-подобный шаблон и поддерживает явные рассуждения перед итоговым ответом, а также вызов функций. К сильным сторонам относятся оптимизация для MLX, 8-битная квантизация, возможность локального использования и поддержка многоязычного диалога и инструментов. Ограничения связаны с отсутствием в README сведений о размере контекста, точных характеристиках производительности, требованиях к памяти и результатах оценивания; модель также ориентирована на экосистему MLX. Условия использования определяются лицензией LFM Open License v1.0.

LFM2.5-8B-A1B-ThinkingCap-GGUF — GGUF-сборка модели LFM 2.5 8B ThinkingCap, основанная на весах Liquid AI LFM 2.5 8B A1B и аблитерированной версии huihui-ai. Модель дообучена osk-arr00 с применением Supervised Fine-Tuning (SFT) и Direct Preference Optimization (DPO) и ориентирована на рассуждения, генерацию текста, структурированные ответы и tool-calling. Заявлена поддержка английского и испанского языков. Архитектура представляет собой гибридную модель с 36 слоями одномерных коротких свёрток и MoE-основой на 32 эксперта. Всего модель содержит около 8,47 млрд параметров, из которых примерно 1,2 млрд активны на каждый токен. В репозитории доступны варианты GGUF от BF16 до Q4, включая специализированные APEX и ROCmFPX-квантизации для AMD Strix Halo с архитектурой RDNA 3.5 и gfx1151, а также версии для llama.cpp, Vulkan, CPU и CUDA. Указана поддержка глобального контекста до 256K токенов в серверном сценарии, однако точные ограничения зависят от сборки и конфигурации. Сильными сторонами являются ориентация на reasoning, детерминированные структурированные ответы, англо- и испаноязычная генерация, широкий выбор квантизаций и оптимизация для AMD Strix Halo. Ограничения включают зависимость производительности от аппаратной платформы, рантайма, квантизации и параметров запуска; приведённые показатели относятся к AMD Ryzen AI Max 385 с 64 ГБ LPDDR5X и не гарантируют аналогичную скорость на других системах. Лицензия обозначена как lfm1.0; конкретные условия следует уточнять в приложенном файле лицензии.

OpenIntelligenceNet заявляет, что это плотная инструктивная языковая модель семейства LFM2 примерно с 2,4 млрд параметров. Она дообучена на базе huihui-ai/Huihui-LFM2-2.6B-Exp-abliterated на синтетических диалоговых данных; в карточке указаны направления обучения: программирование и системные задачи, рассуждения и кибербезопасность. Модель предназначена для генерации текста и диалогов, в том числе для технических вопросов и работы на устройствах с ограниченными ресурсами. Метаданные указывают контекст до 128 000 токенов, формат весов safetensors и интерфейс чата с поддержкой вызова инструментов. README приводит иное значение контекста — 2 048 токенов — и описывает обучение на 200 000 примерах, но не раскрывает данные полностью. В тегах указан английский язык. Модель распространяется по лицензии Apache-2.0. README сообщает об удалении отказов и защитных шаблонов, поэтому модель может отвечать на запросы, от которых другие модели отказываются; это также означает, что она не подходит для сценариев, требующих надёжных встроенных ограничений безопасности.

Ling-lite-base — базовая большая языковая модель с разреженной MoE-архитектурой, разработанная InclusionAI. Репозиторий использует архитектуру BailingMoeForCausalLM и формат safetensors; метаданные указывают 1,5 млрд параметров и контекст 16 384 токена. В README для Ling-lite-base указаны 16,8 млрд общих и 2,75 млрд активируемых параметров, а также контекст 64K, поэтому сведения о размере и контексте в источниках расходятся. Модель предназначена для генерации текста и широкого круга языковых задач, включая обработку естественного языка и решение сложных задач. README не перечисляет отдельные специализированные сценарии и не называет поддерживаемые языки. Лицензия — MIT. Используйте актуальную конфигурацию репозитория при развертывании, учитывая расхождение параметров и длины контекста между карточкой и метаданными.

Fischerboot/ll3-test-2 — диалоговая языковая модель, созданная слиянием чекпойнтов Fischerboot/ll3-test-1 методом SLERP с помощью mergekit. Модель построена на архитектуре Llama и содержит 6,9 млрд параметров; она предназначена для генерации текста и диалогового взаимодействия. Максимальная длина контекста составляет 8192 токена. Модель принимает текст и генерирует текст. В README указан один и тот же исходный репозиторий для обоих наборов слоёв с разными диапазонами, поэтому это слияние вариантов одной модели, а не объединение явно указанных разных семейств. Использование и распространение регулируются лицензией базовой модели; сведения о ней в предоставленных источниках отсутствуют.

Fischerboot/ll3-test-4 — языковая модель семейства Llama, созданная с помощью mergekit из чекпойнта Fischerboot/ll3-test-3 методом SLERP. Конфигурация объединяет слои одной и той же модели с разными диапазонами слоёв; метаданные при этом классифицируют модель как дообученную на Fischerboot/ll3-test-3. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 6,4 млрд параметров и принимает текст для генерации текста в диалоговом режиме. Контекст — до 8192 токенов. Модель распространяется в формате safetensors; в README указана точность bfloat16. Лицензия в предоставленных данных не указана.

GSAI-ML разработала LLaDA-MoE-v2-30B-A3B-Instruct как инструкционно дообученную модель семейства LLaDA MoE v2 — языковых моделей на основе диффузии с архитектурой mixture-of-experts. Модель использует ту же открытую реализацию архитектуры, что и LLaDA-MoE-v2-Base, но имеет отдельные веса, настроенные для следования инструкциям. Репозиторий содержит веса Safetensors и рассчитан на работу с библиотекой Transformers. Модель предназначена для диалогов и генерации текста по инструкциям; метаданные также указывают поддержку извлечения признаков и интерфейса вызова инструментов. Контекст составляет 32 768 токенов. Указанный общий размер — 4,8 млрд параметров. Веса распространяются по лицензии Apache-2.0. Карточка не сообщает о целевых языках или специализированных предметных областях, поэтому модель следует рассматривать как универсальную. Качество и ограничения в README не охарактеризованы; сведения о её возможностях опираются на указанные задачи и интерфейсы.

NousResearch/Llama-2-13b-hf — версия предварительно обученной языковой модели Llama 2 на 13 млрд параметров, разработанной Meta и размещённой в формате Transformers для PyTorch и safetensors. Это плотный авторегрессионный трансформер LlamaForCausalLM с контекстом до 4096 токенов; модель принимает текст и генерирует текст. Модель предназначена прежде всего для генерации текста на английском языке. Её можно адаптировать для различных задач генерации естественного языка; это предварительно обученная версия, а не вариант Llama-2-Chat, специально настроенный для диалога. Семейство обучалось на общедоступных источниках, а дата отсечения предобучающих данных — сентябрь 2022 года. Модель может выдавать неточную, предвзятую или нежелательную информацию, а её ответы не всегда предсказуемы; перед внедрением требуется проверка безопасности и настройка под конкретное применение. Использование регулируется специальной лицензией Meta для Llama 2: для получения весов требуется принять её условия.

TheBloke/Llama-2-70B-Chat-GPTQ — это GPTQ-квантизированная версия диалоговой языковой модели Llama 2 70B Chat, разработанной Meta. Репозиторий подготовлен TheBloke и содержит варианты модели для запуска с разными параметрами квантования. Базовая модель — meta-llama/Llama-2-70b-chat-hf; тип задачи — генерация текста, основной заявленный язык — английский. Модель предназначена для диалоговых сценариев, ответов на запросы пользователей и создания текста в формате ассистента. Для корректного взаимодействия используется шаблон Llama-2-Chat с системными инструкциями, ориентированными на полезные, безопасные и честные ответы. Доступны варианты GPTQ с разной разрядностью, размером групп и настройками Act Order, что позволяет выбирать баланс между требованиями к VRAM, скоростью и точностью; поддерживается запуск на GPU, включая совместимые с ExLlama конфигурации для 4-битных моделей. Ключевое преимущество — существенно меньшие требования к памяти по сравнению с исходной моделью в формате fp16 при сохранении назначения и диалоговых возможностей Llama 2 70B Chat. Ограничения включают возможное снижение точности из-за квантования, зависимость характеристик от выбранных параметров и программного обеспечения, а также отсутствие в предоставленных данных подробностей об архитектуре, максимальном контексте и результатах оценки. Модель распространяется по лицензии Llama 2; условия исходной лицензии Meta следует учитывать при использовании.

manojpreveen/LLama-2-70b-hf-Orca100k — языковая модель на архитектуре Llama 2, созданная на основе meta-llama/Llama-2-70b-hf и дообученная на 100 тысячах примеров из набора Orca, описанного как выборка из миллиона примеров GPT-4 Orca (Dolphin). Модель предназначена для генерации текста по запросу и диалоговых сценариев. Модель содержит 68,7 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает контекст до 4096 токенов. В репозитории представлены веса PyTorch; лицензия — MIT. Карточка не уточняет поддерживаемые языки и не приводит результатов оценки качества.

TheBloke/Llama-2-7B-Chat-GPTQ — это квантизированная версия диалоговой языковой модели Llama 2 7B Chat, разработанной Meta, подготовленная TheBloke в формате GPTQ. Модель предназначена для генерации текста и ведения диалогов: ответов на вопросы, помощи пользователю и других сценариев, где требуется текстовый ассистент. Для работы рекомендуется использовать шаблон промпта Llama-2-Chat с системными инструкциями и пользовательским запросом. Модель основана на архитектуре Llama и содержит 7 миллиардов параметров. Она работает с текстом, поддерживает английский язык и рассчитана прежде всего на GPU-инференс. В репозитории доступны варианты с разными параметрами квантизации GPTQ, включая разрядность, размер групп, порядок активаций и другие настройки; конкретные варианты позволяют выбирать компромисс между требованиями к VRAM и точностью. Некоторые файлы совместимы с ExLlama, который поддерживает Llama-модели в 4-битном формате. К сильным сторонам относятся сниженные требования к памяти по сравнению с полноразмерной версией и наличие нескольких вариантов квантизации для различного оборудования. Ограничения связаны с потерями точности, возможными при квантизации, отсутствием мультимодальности и тем, что модель не предназначена для генерации фактически гарантированно достоверных ответов. Модель распространяется по лицензии Llama 2; её использование регулируется условиями лицензии Meta Llama 2.