II.6Документация и сопровождение разработки

Koala 7B — диалоговая языковая модель, разработанная в Berkeley; этот репозиторий TheBloke содержит её веса в формате Hugging Face. Модель основана на Llama 7B и создана объединением дельта-весов Koala с исходной моделью Llama. Это плотная авторегрессионная архитектура LlamaForCausalLM примерно с 6,6 млрд параметров и контекстом до 2048 токенов. Модель предназначена для генерации диалоговых ответов и академических исследований. Она принимает текст и генерирует текст; в карточке указаны датасеты ShareGPT52K и HC3. Это конверсия весов в формат Hugging Face, а не отдельная квантизированная версия. Репозиторий имеет лицензию с обозначением other; конкретные условия следует сверять с лицензией модели Koala и исходной Llama.

CarrotAI/ko-gemma-2b-it-sft — разговорная языковая модель, дообученная на основе google/gemma-2b-it. Это плотная модель семейства Gemma с 2,5 млрд параметров, рассчитанная на генерацию ответов в диалоге; пример в карточке показывает ответ на корейский запрос с кодом на Python. Модель предназначена для чат-ботов и систем вопросов и ответов, а также может генерировать объяснения и примеры кода. Поддерживаемые языки — корейский и английский; контекст — до 8192 токенов. Модель распространяется в формате safetensors для библиотеки Transformers. В карточке не приведена лицензия. Качество может зависеть от сложности задачи и формулировки запроса, поэтому пригодность для конкретного применения следует оценить отдельно.

maywell/koOpenChat-sft — дообученная модель для генерации текста на основе OpenChat3.5. Она предназначена для диалогов и выполнения инструкций; поддерживает форматы ChatML и Alpaca без поля ввода. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и рассчитана на контекст до 8192 токенов. Модель обучена одним человеком на одном ускорителе A100 с 80 ГБ памяти. В README приведены результаты Open LLM Leaderboard, включая средние 51,36, ARC 59,81 и HellaSwag 78,73; отдельный раздел бенчмарков при этом не содержит результатов. Лицензия — CC BY-SA 4.0. Данных о поддерживаемых языках и специальных предметных областях нет.

grimjim/kukulemon-32K-7B — экспериментальная слитая языковая модель, созданная автором grimjim с помощью mergekit и метода SLERP на основе kukulemon-7B и Mistral-7B-Instruct-demi-merge-v0.2-7B. Модель построена на архитектуре Mistral и содержит 7,1 млрд параметров. Главная особенность модели — заявленная поддержка контекстного окна до 32 768 токенов. Она предназначена для генерации текста и диалогов; в README указана проверенная работа с ChatML, а также поддержка шаблона Alpaca. Автор описывает модель как proof of concept, поэтому её возможности на длинном контексте следует оценивать на собственных данных. Доступны веса в формате safetensors; для GGUF-квантований README ссылается на отдельный репозиторий. Модель ориентирована на эксперименты и локальное использование для диалогов и генерации текста. Лицензия CC BY-NC 4.0 разрешает использование с указанием авторства, но некоммерческое; модель не следует применять в коммерческих сценариях без отдельного разрешения.

kunoichi-lemon-royale-v2-32K-7B-GGUF — это квантованная версия текстовой генеративной модели kunoichi-lemon-royale-v2-32K-7B, опубликованная bartowski. Исходная модель создана на основе объединения grimjim/Mistral-7B-Instruct-demi-merge-v0.2-7B и grimjim/kunoichi-lemon-royale-7B. Распространяется в формате GGUF для запуска через llama.cpp. Модель предназначена для генерации текста в инструкционном формате, включая диалоговые и другие сценарии, где требуется следовать запросу пользователя. Заявлен контекст до 32K токенов, размер — 7B параметров. Поддерживается только текстовая модальность; сведения о языках обучения и целевой языковой специализации в README не указаны. Для запросов используется формат <s> [INST] {prompt} [/INST]</s>, системный промпт не поддерживается. Доступно множество вариантов квантования от Q8_0 до Q2_K и IQ-квантов. Варианты Q6_K, Q5_K_M, Q5_K_S и Q4_K_M рекомендуются как обеспечивающие высокий или хороший баланс качества и размера, тогда как более сильное сжатие уменьшает требования к памяти, но снижает качество. Квантование выполнено с использованием imatrix и llama.cpp. Модель распространяется по лицензии CC BY-NC 4.0, допускающей использование с ограничениями, включая некоммерческий характер лицензии.

Kurage-en-GGUF — это набор GGUF-квантизаций языковой модели kurage-en, разработанной lightblue и подготовленной пользователем bartowski для запуска через llama.cpp. Модель предназначена для генерации текста на английском языке и сценариев RAG. Доступен специальный шаблон чата с ролями system, user и assistant; запуск также поддерживается в LM Studio. В репозитории представлены варианты от исходных весов F16 размером 15,23 ГБ до компактных IQ2_M размером 2,78 ГБ. Доступны форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K и IQ-квантизации; варианты Q6_K_L, Q6_K, Q5_K_M и Q4_K_M отмечены как рекомендуемые с разным компромиссом между качеством и требованиями к памяти. Некоторые варианты используют Q8_0 для embedding- и output-весов, что потенциально повышает качество, но README не подтверждает измеренный эффект. Модель поддерживает английский язык; сведения об архитектуре, количестве параметров, размере контекста и других модальностях не указаны. Более компактные квантизации подходят для систем с ограниченным объёмом оперативной памяти, однако сопровождаются снижением качества, особенно у вариантов Q2 и Q3. Для ARM доступны специализированные варианты, часть которых требует поддержки SVE или i8mm. Лицензия исходной модели — Apache-2.0.

L3-15B-EtherealMaid-t0.0001 — разговорная языковая модель семейства Llama, созданная v000000 слиянием двух моделей: v000000/HaloMaidRP-v1.33-15B-L3 и ZeusLabs/L3-Aethora-15B-V2. В качестве базовой использована v000000/HaloMaidRP-v1.33-15B-L3; для слияния применён пользовательский алгоритм NearSwap с параметром t=0.0001. Модель содержит 14,5 млрд параметров и построена на плотной архитектуре LlamaForCausalLM. Модель предназначена для генерации текста в диалоговом формате. Контекст составляет 8192 токена. В репозитории представлены веса safetensors; в README также упомянуты квантованные варианты GGUF и GGUF imatrix. Карточка не сообщает языки обучения или специальные прикладные области, поэтому модель описывается как общего назначения. Лицензия и конкретные ограничения качества или допустимого использования в предоставленных данных не указаны.

DavidAU/L3.1-MOE-2X8B-Deepseek-DeepHermes-e32-uncensored-abliterated-13.7B-gguf — текстовая генеративная модель разработчика DavidAU. Она объединяет компоненты DeepSeek и DeepHermes на базе Llama 3.1 в конфигурации MOE (Mixture of Experts), ориентированной на совместную генерацию, рассуждения и «thinking». Модель предназначена для общего использования, решения задач, мозгового штурма, творческого письма, создания сюжетов и сцен, ролевых сценариев, генерации художественных текстов и контента для взрослой аудитории. Заявлена как uncensored и допускающая ненормативную лексику. Модель работает только с текстом и поддерживает английский язык. Указан контекст до 128k токенов. В README заявлена конфигурация из двух моделей по 8B параметров, суммарно около 16B, сжатая до 13,7B параметров; исходные модели и квантизации подготовлены в Float32. Для работы рекомендуется шаблон Llama 3 Instruct или автоматическая загрузка Jinja-шаблона, встроенного в quant. Поведение рассуждений зависит от формулировки запроса, температуры и выбранных параметров генерации, поэтому результаты могут заметно различаться между запусками. Сильными сторонами заявлены сочетание reasoning-возможностей двух компонентов, универсальность, творческая направленность и способность работать при разных значениях температуры. Ограничения включают вариативность качества и активации рассуждений, возможную многословность и необходимость повторной генерации или декомпозиции сложных задач. README содержит расхождение: в заголовке упоминается 12,8B, тогда как идентификатор и описание модели указывают 13,7B. Лицензия — Apache-2.0.

L3-Dark-Planet-8B-V2-Eight-Orbs-Of-Power — языковая модель для генерации текста, опубликованная DavidAU. Это плотная causal language model семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров; репозиторий содержит исходные веса в формате safetensors, которые можно использовать напрямую или преобразовать в другие форматы. Модель поддерживает диалоговый сценарий и имеет контекстное окно 8192 токена. Модель предназначена для генерации текста и диалогов. В README автор отмечает важность корректного подбора параметров генерации и сэмплеров, однако подробные ссылки на руководство и примеры в карточке не заполнены. Указаний о поддерживаемых естественных языках и специализированных предметных областях нет. Лицензия в предоставленных данных не указана.

bartowski/L3-Pneuma-8B-GGUF — набор GGUF-квантизаций текстовой генеративной модели L3-Pneuma-8B, разработанной Replete-AI и преобразованной bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для локального запуска и генерации текста; в README отдельно указана совместимость с LM Studio. Доступен специальный формат промпта на основе шаблона заголовков Llama 3 с ролями system, user и assistant, а также дополнительным идентификатором pneuma. Размер исходной модели составляет 8B параметров. Представлены варианты от F16 размером 16,07 ГБ до IQ2_M размером 2,95 ГБ, включая форматы Q8_0, Q6_K, Q5_K, Q4_K, Q3_K, Q2_K и IQ. Более высокие уровни квантизации обеспечивают лучшее сохранение качества, а компактные варианты подходят для систем с ограниченным объёмом оперативной памяти. В README не указаны архитектурные детали, поддерживаемые языки, размер контекста, мультимодальные возможности, результаты тестирования или конкретные прикладные специализации модели. Сильной стороной набора является широкий выбор компромиссов между качеством, размером и требованиями к ресурсам, а также поддержка локального инференса через экосистему llama.cpp. Ограничения качества зависят от выбранного варианта квантизации: низкобитные версии могут заметно уступать более крупным. Указанная лицензия — llama3; условия её применения следует дополнительно проверить для конкретного сценария использования.

LaMini-Flan-T5-77M — компактная модель семейства T5 от MBZUAI, созданная дообучением google/flan-t5-small на наборе LaMini-instruction из 2,58 млн примеров инструкционного обучения. Она предназначена для выполнения инструкций на естественном языке и генерации ответов в формате текст-в-текст; в карточке указана архитектура T5ForConditionalGeneration и 45,8 млн параметров. Модель принимает текст и выдаёт текст, поддерживает английский язык, а её контекст составляет 512 токенов. Модель подходит для лёгких задач следования инструкциям и прототипирования NLP-сценариев при ограниченных вычислительных ресурсах. Карточка не приводит конкретных ограничений качества; лицензия CC BY-NC 4.0 допускает использование с соблюдением условий лицензии, включая некоммерческое ограничение.

Это структурно прореженная на 50% версия GPT-OSS-120B от OpenAI, подготовленная jayzou3773 методом Less-is-MoE. Из FFN-блоков маршрутизируемых экспертов удалена половина нейронов по оценкам mean-absolute-gradient; для отбора использованы 128 калибровочных примеров с последовательностями длиной 8192 токена. Перед оценкой исходные веса MXFP4 были преобразованы в BF16; шагов оптимизации при этом не выполнялось. Модель предназначена для генерации текста и диалогового взаимодействия. Архитектура — MoE, формат весов — safetensors; общее число параметров составляет 2,1 млрд, заявленный контекст — 131072 токена. Модель сохраняет назначение базовой GPT-OSS-120B для генерации текста, но структурное прореживание может влиять на качество ответов и поведение модели. Она распространяется по лицензии Apache-2.0.

Le_Triomphant-ECE-TW3 — языковая модель, созданная студентами инженерной школы ECE Луи Гарсиа и Матьё Жолларом под руководством преподавателя ECE и сооснователя TW3 Partners Андре-Луи Роше и технического директора TW3 Partners Поля Леметра. Модель получена слиянием abacusai/Smaug-72B-v0.1 и MTSAIR/MultiVerse_70B с помощью mergekit; проект поддержали ECE и RunPod. Это плотная авторегрессионная модель семейства Llama с 71 млрд параметров, предназначенная для генерации текста. Контекст составляет до 32 768 токенов. Репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. Модель можно использовать для генерации и продолжения текста в приложениях на базе Transformers. В README не приведены результаты оценки качества, специальные предметные области или перечень поддерживаемых языков, поэтому сравнивать её возможности с моделями-основами по этим данным нельзя.

LexiLumin-7B — объединённая модель на архитектуре Mistral с 7,1 млрд параметров, созданная Ppoyaa с помощью LazyMergekit на основе четырёх моделей: CultriX/MonaTrix-v4-7B-DPO, mlabonne/AlphaMonarch-7B, SanjiWatsuki/Kunoichi-DPO-v2-7B и S-miguel/The-Trinity-Coder-7B. Она предназначена для генерации текста, ролевых диалогов и написания историй; также результаты в таблице Open LLM Leaderboard показывают оценку на задачах рассуждения и понимания текста. Модель принимает текст и генерирует текст, поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors, лицензия — Apache-2.0. README не приводит подробных сведений о качестве в конкретных сценариях, поэтому результаты лидерборда не следует считать гарантией качества.

Lexora-Lite-3B_v2 — разговорная языковая модель на архитектуре Qwen2, опубликованная DeepMount00. Она предназначена для генерации текста и диалоговых сценариев; в метаданных также отмечен интерфейс вызова инструментов. Модель содержит 3,1 млрд параметров, работает через библиотеку Transformers и принимает контекст длиной до 32 768 токенов. Репозиторий содержит веса в формате safetensors. В качестве данных для обучения указаны наборы инструкций и предпочтений на итальянском языке Sonnet-3.5-ITA-INSTRUCTION и Sonnet-3.5-ITA-DPO, что указывает на настройку для следования инструкциям и диалога. Лицензия в предоставленных данных не указана.

LFM2.5-230M-ONNX — экспорт модели LFM2.5-230M в формате ONNX, разработанный Liquid AI для кроссплатформенного вывода. Это генеративная текстовая модель, предназначенная для локального и периферийного развертывания с быстрым выполнением на CPU, GPU и NPU, включая браузерные сценарии с WebGPU и серверные приложения на базе ONNX Runtime. Модель использует гибридную архитектуру, сочетающую мультипликативные гейты и короткие свёртки, и имеет размер 230 миллионов параметров в базовой версии. Доступны варианты FP32, FP16, Q4, Q4F32 и Q8 с различным соотношением качества, размера и производительности. Размер квантованных и полноточных вариантов составляет примерно от 200 до 470 МБ. Для WebGPU рекомендуются Q4 и FP16, а для серверных CPU и GPU поддерживаются все варианты; Q4F32 сохраняет embedding в FP32 для более высокой точности. Модель поддерживает генерацию текста на английском, арабском, китайском, французском, немецком, японском, корейском, испанском, португальском и итальянском языках. Её сильные стороны — компактность, возможность работы на разных типах оборудования и наличие оптимизированных квантованных сборок. Ограничения включают отсутствие в README сведений о размере контекстного окна, показателях качества и специализированных возможностях; модель предназначена для текстовой генерации и не заявлена как мультимодальная. Лицензия указана как lfm1.0 с типом other.

Модель mosama/LFM2.5-350M-Tool-Calling-Merged-v3-chat-template-updated — дообученная автором mosama языковая модель семейства LFM2 для генерации текста и диалогового общения. Она основана на mosama/LFM2.5-350M-Tool-Calling-Merged-v3; в README также отмечено обучение с использованием Unsloth. Модель содержит 444,6 млн параметров, имеет контекстное окно до 128 000 токенов и распространяется в формате Safetensors. Модель можно применять для генерации ответов в чате и других текстовых сценариях. README не описывает отдельные возможности обновлённого шаблона чата или подтверждённое качество вызова инструментов. Указанная лицензия — Apache-2.0. Метаданные карточки указывают английский язык.

LFM2.5-8B-A1B-GGUF — это GGUF-версия гибридной языковой модели семейства LFM2, разработанной компанией Liquid AI. Модель предназначена для генерации текста и ориентирована прежде всего на edge-сценарии и локальное выполнение на устройствах. В карточке указана базовая модель LiquidAI/LFM2.5-8B-A1B. Доступны языки английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Формат GGUF обеспечивает совместимость с llama.cpp и подходит для запуска на устройствах с ограниченными ресурсами; заявлены высокая скорость и эффективность использования памяти. Точные сведения об архитектуре, контекстном окне, модальностях и фактическом количестве параметров в README не приведены. Модель может использоваться для локальной генерации текста и диалоговых приложений без обязательной передачи данных во внешние сервисы. Ограничения включают отсутствие подробных данных о качестве, производительности и поддерживаемых аппаратных конфигурациях в представленной карточке. Модель распространяется по лицензии lfm1.0; в README также указано обозначение лицензии «other».

LFM2-700M-GGUF — языковая модель для генерации текста, разработанная компанией Liquid AI. Это GGUF-версия базовой модели LiquidAI/LFM2-700M, предназначенная прежде всего для запуска на периферийных устройствах и локально, непосредственно на устройстве. Модель можно использовать в сценариях on-device AI, где важны скорость работы и экономичное потребление памяти; в README также приведён пример запуска через llama.cpp. Известно, что модель относится к новому поколению гибридных LFM2 и поддерживает текстовую генерацию. Заявлены преимущества в качестве, скорости и эффективности использования памяти, однако точные сведения об архитектуре, количестве параметров, размере контекста и типах квантования в представленном README не указаны. Заявленные языки: английский, арабский, китайский, французский, немецкий, японский, корейский и испанский. Модель подходит для локальных текстовых приложений и устройств с ограниченными вычислительными и memory-ресурсами. Ограничения включают отсутствие в README подробных данных о результатах оценки, фактической производительности, мультимодальности и поддерживаемых форматах взаимодействия. Модель распространяется по лицензии lfm1.0; её условия следует уточнять в файле LICENSE.

LiberalMind_v1.5-i1-GGUF — набор квантизированных GGUF-версий базовой модели arcticoneai/Arctic_AI, подготовленный mradermacher. Модель предназначена для генерации текста, диалогов, следования инструкциям, рассуждений и задач, связанных с языковым моделированием и RLHF. В метаданных указан английский язык; модель относится к causal language model и поддерживает работу через совместимые с GGUF инструменты. Размер исходной модели, архитектура, длина контекста и точный набор поддерживаемых языков в README не указаны. Доступны варианты квантизации i1-IQ1_S—i1-IQ4_NL, i1-Q2_K—i1-Q6_K размером примерно от 2,0 до 6,4 ГБ. Это позволяет выбирать между требованиями к памяти, скоростью и качеством, однако наиболее низкобитные варианты отмечены как имеющие очень низкое качество, тогда как i1-Q4_K_M рекомендован как быстрый вариант, а i1-Q6_K по характеристикам практически сопоставим со статической Q6_K. Модель распространяется по лицензии MIT. README не содержит независимых результатов тестирования, поэтому фактическое качество на конкретных задачах оценить по этим данным нельзя.

Ling-3.0-flash REAP288 — экспериментальная версия разговорной гибридной MoE-модели Ling-3.0-flash, опубликованная bloomer010 на основе inclusionAI/Ling-3.0-flash. В ней оставлено 288 из 512 маршрутизируемых экспертов на слой; README указывает 73 млрд параметров всего и 5,1 млрд активных, тогда как метаданные каталога указывают 3,5 млрд параметров. Модель предназначена для генерации текста в диалоговом формате; базовая Ling-3.0-flash также позиционируется для программирования и многошаговых агентных задач. Эксперты отбирались методом REAP по оценке, учитывающей значение маршрутизатора и норму выхода на калибровочных данных объёмом 1 млн токенов. После удаления экспертов не проводились дообучение или восстановительное обучение. Модель работает с контекстом до 262 144 токенов, распространяется в BF16 Safetensors и использует архитектуру BailingMoeV3; для загрузки требуется trust_remote_code=True и пользовательский код bailing_hybrid. README называет модель исследовательским артефактом и экспериментальной REAP-версией. Лицензия в предоставленных данных не указана. Ключевое ограничение — эксперты удалены без последующего обучения для восстановления качества, поэтому характеристики базовой модели нельзя автоматически переносить на эту версию; приведённые в README и метаданных размеры параметров также расходятся.

Ling-3.0-tiny-GGUF — это текстовая генеративная модель с 8 млрд параметров, основанная на inclusionAI/Ling-3.0-tiny. Представленная версия квантизирована bartowski в формате GGUF с использованием llama.cpp; доступны варианты от BF16 до низкобитных Q2–Q8 и IQ-квантизаций. Модель принимает только текстовые данные и предназначена для генерации текста в локальных приложениях и инструментах, совместимых с llama.cpp. Сильной стороной набора является широкий выбор квантизаций: Q4_K_M размером около 4,92 ГБ заявлен как сбалансированный вариант, а Q5 и Q6 ориентированы на более высокое качество. Низкобитные варианты позволяют снизить требования к памяти, но характеризуются меньшим качеством; часть форматов обозначена как устаревшая или предназначенная для совместимости. Спекулятивное декодирование не поддерживается, измерения perplexity и KLD не предоставлены. Сведения о языках, архитектуре исходной модели, размере контекста и результатах тестирования отсутствуют. Лицензия модели — MIT. Для работы требуется среда, поддерживающая формат GGUF, например llama.cpp; README также содержит специальный формат промпта с ролями SYSTEM, HUMAN и ASSISTANT.

Lite-Oute-1-300M-Instruct — компактная языковая модель OuteAI на архитектуре Mistral с 270,2 млн параметров. Она предназначена для диалоговой генерации текста и развивает предыдущую версию Lite-Oute на 150 млн параметров; модель обучена на 30 млрд токенов и использует контекст длиной 4096 токенов. Модель рассчитана на эффективное развертывание на разных устройствах и поддерживает формат диалога ChatML. Её можно применять для коротких диалогов, ответов на вопросы и генерации текста. Небольшой размер помогает экономить ресурсы, но связность и удержание контекста могут уступать более крупным языковым моделям. Репозиторий содержит веса Safetensors; лицензия — Apache 2.0.

Карточка модели Fraser/LLaDA-8B-Base-gg2m на Hugging Face совпадает с карточкой GSAI-ML/LLaDA-8B-Base, поэтому описание составлено по ней. LLaDA-8B-Base — базовая языковая модель семейства LLaDA, разработанная командой GSAI-ML и обученная с нуля. Это плотная модель на 8 млрд параметров, использующая диффузионный подход к генерации текста; репозиторий содержит веса в формате Safetensors и поддерживает Transformers. Модель предназначена для генерации текста и может служить базой для диалоговых сценариев и дальнейшей адаптации. В карточке заявлено, что по результатам разработчиков она сопоставима по качеству с LLaMA 3 8B. Данных о поддерживаемых языках и длине контекста в предоставленных источниках нет. Модель распространяется по лицензии MIT. Карточка сообщает об обновлении кода для поддержки attention_mask, но не приводит подробных ограничений или результатов оценки для отдельных задач.

GSAI-ML разработала LLaDA-MoE-v2-30B-A3B-Base — предварительно обученную базовую модель семейства диффузионных языковых моделей LLaDA MoE v2. Она использует архитектуру смеси экспертов (MoE) и предназначена для генерации текста и извлечения признаков; в отличие от версии Instruct, её веса не проходили настройку на следование инструкциям. Модель доступна в формате Safetensors, работает с библиотекой Transformers и поддерживает контекст до 32 768 токенов. В метаданных указано 4,8 млрд параметров. Модель рассчитана на текстовые входы и текстовую генерацию, а также может использоваться для извлечения признаков. Модель подходит для экспериментов и приложений на основе генерации текста, включая диалоговые сценарии и интерфейс вызова инструментов. Поскольку это базовый чекпойнт без инструкционной настройки, для надёжного выполнения пользовательских инструкций может потребоваться дополнительная настройка. Лицензия — Apache-2.0.

Это версия Guanaco на базе Llama 2 с 13 млрд параметров, дообученная автором репозитория на исходной Llama 2 13B с помощью официальных скриптов из проекта QLoRA. Модель предназначена для генерации текста в диалоговом формате Guanaco; в репозитории размещены объединённые веса в формате FP16. Архитектура — плотная LlamaForCausalLM, контекст — 2048 токенов. Карточка указывает английский язык. Модель можно использовать для диалоговых ответов и генерации текста на английском языке. В метаданных также указан тег text-classification, однако описание модели и её причинная языковая архитектура указывают на основное назначение text-generation. Модель подчиняется ограничениям использования исходной Llama 2; конкретный идентификатор лицензии в предоставленных данных отсутствует. Автор не предоставляет гарантий качества или пригодности.

Llama2 13B Guanaco QLoRA — это языковая модель на базе Llama 2 с 13 млрд параметров, дообученная методом QLoRA и преобразованная в формат GGUF. Исходную модель разработал Mikael, а квантованные GGUF-файлы подготовил TheBloke. Модель предназначена для генерации текста и диалогового взаимодействия; в README также указана классификация text-classification, однако подробные сведения о специализированных задачах отсутствуют. Заявлен английский язык. Модель использует архитектуру Llama и формат GGUF, поддерживающий метаданные, специальные токены и улучшенную токенизацию. Доступны варианты квантования от 2 до 8 бит для CPU+GPU-инференса, что позволяет выбирать баланс между размером, скоростью и качеством. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая LM Studio, text-generation-webui, KoboldCpp и llama-cpp-python. Контекстное окно и точный набор модальностей в README не указаны; модель является текстовой. Сильными сторонами являются широкий выбор уровней квантования и поддержка локального запуска на CPU и GPU. Ограничения включают возможную потерю качества из-за квантования, зависимость характеристик от выбранного варианта и отсутствие в README подробных результатов оценки. Модель распространяется по лицензии llama2; дополнительные условия исходной лицензии следует учитывать при использовании.

Mungert/Llama-2-7b-chat-hf-GGUF — модель семейства Llama 2, разработанного Meta, в чат-ориентированной версии с заявленным размером около 7 миллиардов параметров. Суффикс GGUF указывает на распространение весов в формате, предназначенном для локального запуска совместимыми средствами; конкретные архитектурные параметры, поддерживаемые языки, размер контекста и список модальностей в предоставленных данных не указаны. По назначению модель подходит для диалоговых сценариев и генерации текста, однако сведения о качестве, производительности и специализированных возможностях отсутствуют. Модель распространяется по лицензии Llama 2 Community License. Она предоставляет ограниченные неисключительные права на использование, воспроизведение, распространение и создание производных работ при соблюдении условий лицензии, включая передачу текста лицензии, сохранение уведомления об авторских правах и соблюдение применимого законодательства и Acceptable Use Policy. Для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено дополнительное требование получить отдельную лицензию Meta. README не содержит результатов тестирования, описания сильных сторон, известных ограничений или точных требований к оборудованию.

Это конвертированные веса базовой языковой модели Llama 2 7B в формате Hugging Face Transformers. Модель основана на плотной архитектуре LlamaForCausalLM и содержит 6,6 млрд параметров; заявленный контекст — до 2048 токенов. Репозиторий подготовлен daryl149; в README также указано, что публикация выполнена при содействии Mirage-Studio.io. Модель предназначена для генерации текста по текстовому запросу и может использоваться как основа для приложений на базе языковых моделей. Это базовая, не чат-ориентированная версия, поэтому диалоговые ответы могут требовать дополнительной настройки или подходящего шаблона запросов. Поддерживаемые в карточке языки не перечислены. Веса представлены в формате PyTorch. Лицензия — Llama 2 Community License от Meta; использование и распространение регулируются её условиями, включая требования к атрибуции и приемлемому использованию.

TheTravellingEngineer/llama2-7b-hf-guanaco — языковая модель на архитектуре Llama 2, дообученная методом supervised fine-tuning на датасете OpenAssistant Guanaco. Репозиторий содержит объединённую модель в формате fp16; число параметров составляет 6,6 млрд, контекст — до 4096 токенов. Модель предназначена для генерации текста в диалоговом формате и ответов на запросы по промпту, близкому к исходному Guanaco. В карточке указан английский язык. Модель распространяется по лицензии Llama 2 и подпадает под ограничения использования исходной модели; гарантий качества нет.