II.6Документация и сопровождение разработки

Llama-3_1-Nemotron-51B-Instruct-GGUF — GGUF-квантизированная версия инструкционной языковой модели Llama-3.1 Nemotron 51B-Instruct от NVIDIA, подготовленная пользователем ymcki. Модель предназначена для генерации текста и диалоговых сценариев; в метаданных указан английский язык. Для общения используется шаблон с ролями System, User и Assistant. Модель содержит около 51 млрд параметров и поддерживает запуск через llama.cpp. Доступны варианты квантизации Q6_K, Q5_K_M, Q4_K_M, IQ4_NL, IQ4_XS, Q4_0, IQ3_M, IQ3_S, IQ3_XXS и Q3_K_S с размером файлов примерно от 20,19 до 42,26 ГБ. Более точные варианты обеспечивают качество, близкое к исходной модели, но требуют больше памяти; менее точные подходят для оборудования с ограниченным объёмом памяти, однако сильнее уступают по показателям perplexity и могут работать медленнее на CPU и Apple Silicon. Для полноценной работы требуется версия llama.cpp начиная с b4380 с поддержкой переменного Grouped Query Attention для DeciLMForCausalLM. При самостоятельной конвертации следует учитывать проблему старого конвертера с параметром rope_theta: без исправления модель может некорректно работать с запросами длиннее 4 тысяч токенов. Модель распространяется по лицензии NVIDIA Open Model License Agreement; точные условия определяются текстом этой лицензии.

Это GGUF-сборка модели Llama 3.1 Nemotron 70B Instruct, опубликованная MarsupialAI. Она основана на Meta Llama 3.1 70B Instruct и предназначена для диалоговой генерации текста. В метаданных указана связь с датасетом NVIDIA HelpSteer2; README сообщает, что сборка использует iMatrix, созданную с помощью groups_merged.txt от Kalomaze. Модель можно применять для диалоговых ассистентов, ответов на вопросы и генерации текста на английском и других поддерживаемых языках базовой модели. Репозиторий содержит формат GGUF, подходящий для запуска совместимыми средствами инференса. Размер базовой модели — 70 млрд параметров. Используется лицензия Llama 3.1; перед применением необходимо соблюдать её условия.

Llama-3.1-Saoirse-70B — объединённая автором nbeerbower языковая модель на архитектуре Llama 3.1. Она создана методом Model Stock с помощью mergekit на основе mlabonne/Hermes-3-Llama-3.1-70B-lorablated и включает веса нескольких моделей семейства Llama 3.1, в том числе вариантов Mahou, Nemotron, Gutenberg-Doppel, Flammades и Rombos. Модель предназначена для генерации текста и диалогов. Она содержит 69,5 млрд параметров, принимает текст и выдаёт текст; заявленная длина контекста — 131 072 токена. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. Языковая поддержка и специальные прикладные области в карточке не описаны. Модель распространяется по лицензии Llama 3.1. Карточка не приводит результатов оценки качества или подробных ограничений; качество и поведение могут зависеть от запроса и настроек генерации.

Llama-3.1-Storm-8B — диалоговая языковая модель с 7,5 млрд параметров, разработанная Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Это плотная архитектура Llama, дообученная на базе Llama-3.1-8B-Instruct с выборочной настройкой слоёв и объединённая методом SLERP с Llama-Spark. В карточке описан чекпойнт в формате safetensors для запуска через Transformers и vLLM. Модель предназначена для диалога, следования инструкциям, ответов на вопросы, рассуждений и вызова функций. Авторы сообщают об улучшениях относительно Llama-3.1-8B-Instruct на ряде бенчмарков, включая IFEval, GPQA, MMLU-Pro, TruthfulQA и BFCL. Контекст — до 131 072 токенов; заявленный язык карточки — английский. Модель принимает текст и генерирует текст, включая ответы в сценариях вызова функций. Авторы отмечают, что отдельное выравнивание поведения не проводилось, поэтому унаследованные от базовой модели свойства выравнивания могут быть неполными. Лицензия — Llama 3.1; применяются её условия использования.

Llama3.1-SuperNovaLite-HuatuoSkywork-o1-8B — языковая модель для генерации текста, созданная методом слияния SLERP с помощью mergekit. В неё объединены grimjim/HuatuoSkywork-o1-Llama-3.1-8B и arcee-ai/Llama-3.1-SuperNova-Lite; архитектура — плотная LlamaForCausalLM семейства Llama. Модель содержит 7,5 млрд параметров, работает через Transformers и распространяется в формате Safetensors. Модель предназначена для диалогов и генерации текста по запросу; каталог также отмечает интерфейс вызова инструментов. Контекст модели составляет до 131 072 токенов. Базовая SuperNova Lite описана как англоязычная чат-модель на базе Llama 3.1 8B Instruct; языковые возможности итогового слияния отдельно не уточняются. Лицензия — Llama 3.1.

Карточка модели yentinglin/Llama-3.1-Taiwan-8B на Hugging Face совпадает с карточкой yentinglin/Llama-3.1-Taiwan-8B-Instruct, поэтому описание составлено по ней. yentinglin/Llama-3.1-Taiwan-8B-Instruct — чат-модель на базе архитектуры Llama, разработанная yentinglin. Она предназначена для генерации текста в диалогах и других сценариях, где требуется следовать инструкциям. Модель содержит 7,5 млрд параметров, использует библиотеку Transformers и формат Safetensors; заявленная длина контекста — 131 072 токена. В метаданных также отмечен интерфейс вызова инструментов. Карточка предупреждает, что ответы нужно самостоятельно проверять на точность и пригодность. Модель не предназначена для медицинской диагностики, юридических консультаций и финансовых решений. В предоставленных материалах условия лицензии не описаны.

LLaMa-3.1-Zeroed-30-70-13B — объединённая языковая модель семейства Llama, созданная сообществом mergekit-community методом линейного слияния двух моделей: LLaMa-3.1-Zeroed-13B с весом 0,3 и LLaMa-3.1-Instruct-Zeroed-13B с весом 0,7. Модель содержит 12,5 млрд параметров, использует архитектуру LlamaForCausalLM и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогов по инструкциям; в метаданных также указана поддержка интерфейса вызова инструментов. Контекст составляет до 131 072 токенов. README не приводит дополнительных сведений о языках, качестве на конкретных задачах или условиях лицензии, поэтому их нельзя уточнить по предоставленным данным.

Карточка модели minpeter/Llama-3.2-1B-AlternateTokenizer-chatml на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B, поэтому описание составлено по ней. Meta Llama 3.2 1B — авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer. Это предварительно обученная многоязычная модель с примерно 1,23 млрд параметров; она принимает и генерирует текст, а также может работать с кодом. В карточке указаны контекст до 128 тысяч токенов, Grouped-Query Attention и обучение на смеси общедоступных данных. Модель предназначена для генерации текста и адаптации к различным задачам обработки естественного языка. Её можно использовать для черновиков и продолжения текста, перефразирования запросов, краткого изложения и диалоговых приложений после соответствующей настройки. Разработчик — Meta; модель доступна через библиотеку Transformers в формате safetensors. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Это предварительно обученная модель, а не версия, настроенная специально для диалога; качество и безопасность ответов следует проверять и при необходимости адаптировать для конкретного применения. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

tjake/Llama-3.2-1B-Instruct-JQ4 — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Она предназначена для диалогов в формате помощника и агентных сценариев, включая поиск знаний, суммаризацию, помощь при написании текстов и переформулирование запросов. Модель использует авторегрессионную архитектуру Transformer с 1,2 млрд параметров и поддерживает контекст до 131 072 токенов. Модель принимает и генерирует текст, поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В README указано, что модель прошла supervised fine-tuning и обучение с обратной связью от людей; репозиторий содержит веса в формате safetensors. Указанная лицензия — Llama 3.2 Community License, специальное лицензионное соглашение, допускающее коммерческое и исследовательское использование при соблюдении его условий и Acceptable Use Policy. Компактный размер рассчитан, в частности, на запуск в ограниченных средах, включая мобильные устройства. По сравнению с более крупными моделями у неё могут быть слабее качество ответов и профиль безопасности; разработчикам следует проверять пригодность и защитные меры для своего сценария. Модель статична и обучена на данных с отсечкой знаний в декабре 2023 года.

Это дообученная модель генерации текста artificialguybr на базе Meta Llama 3.2 1B, настроенная на наборе инструкций и диалогов OpenHermes-2.5. Она построена на плотной авторегрессионной архитектуре LlamaForCausalLM и содержит около 1,2 млрд параметров; заявленная длина контекста — 131 072 токена. Модель принимает и генерирует текст, включая код, и рассчитана прежде всего на английский язык, с возможностью работы на других языках Llama 3.2. Модель предназначена для диалогового помощника и агентных сценариев: следования инструкциям, поиска знаний, суммаризации и переформулирования запросов. Компактный размер упрощает запуск по сравнению с крупными моделями, но качество и надёжность могут быть ограничены размером базовой модели и данными дообучения. Возможны смещения и неподходящие ответы; для чувствительных сценариев необходима проверка результатов. Лицензия — Llama 3.2 Community License (llama3.2), с соблюдением её условий и Acceptable Use Policy.

unsloth/Llama-3.2-3B-bnb-4bit — 4-битная версия языковой модели Llama 3.2 с 3 млрд параметров, подготовленная Unsloth на базе Meta Llama 3.2. Это авторегрессионная текстовая модель с архитектурой оптимизированного Transformer и механизмом Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на многоязычные задачи, включая диалоговые системы, агентный поиск с извлечением данных и суммаризацию. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель работает в режиме «текст на входе — текст на выходе»; сведения о размере контекста в карточке не указаны. Благодаря 4-битному квантованию версия рассчитана на более экономичное по памяти развертывание и удобна для локального использования и дообучения. Сильными сторонами являются компактный размер, сниженные требования к памяти и поддержка сценариев дообучения через инструменты Unsloth. Ограничения включают текстовую, а не мультимодальную специализацию, статичность модели и отсутствие гарантии актуальности знаний, поскольку она обучена на офлайн-данных. Использование регулируется кастомной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy Meta.

NVIDIA Llama 3.3 70B Instruct NVFP4 — FP4-квантизованная версия инструктивной языковой модели Meta Llama 3.3 70B Instruct. Это авторегрессионная плотная модель на архитектуре Transformer/Llama 3.3 с 69,5 млрд параметров, принимающая текст и генерирующая текст. Контекст — до 128 тысяч токенов; модель поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. Квантизация весов и активаций линейных операторов в блоках Transformer выполнена с помощью NVIDIA TensorRT Model Optimizer; по данным карточки, она уменьшает требования к дисковому пространству и памяти GPU примерно в 3,3 раза. Для инференса указан TensorRT-LLM, аппаратная совместимость — NVIDIA Blackwell. Модель основана на Meta Llama 3.3 70B Instruct и подходит для коммерческого и некоммерческого использования в соответствии с условиями лицензии Llama 3.3. В README не приведены конкретные языки и результаты бенчмарков, поэтому языковой охват и сохранение качества после квантизации по этим данным оценить нельзя.

unsloth/llama-3-8b — плотная авторегрессионная языковая модель семейства Llama 3, разработанная Meta и представленная в репозитории Unsloth. Модель содержит 7,5 млрд параметров, принимает текст и генерирует текст; заявленная длина контекста — 8192 токена. В метаданных указан английский язык. Репозиторий содержит веса в формате Safetensors. Модель подходит для генерации продолжений текста и диалоговых сценариев. README Unsloth также предлагает ноутбуки для дообучения Llama 3 8B, включая разговорный формат ShareGPT ChatML/Vicuna и завершение произвольного текста; сам README описывает инструменты и примеры настройки обучения, а не отдельную специализацию чекпойнта. Репозиторий указывает лицензию Llama 3 (llama3); условия использования определяются лицензией Meta Llama 3.

Shenzhi Wang и соавторы разработали Llama3-8B-Chinese-Chat — диалоговую модель на базе Meta-Llama-3-8B-Instruct, дообученную методом ORPO для китайско- и англоязычных пользователей. Этот репозиторий содержит веса GGUF в формате F16; модель имеет плотную архитектуру LlamaForCausalLM, около 7,5 млрд параметров и контекст до 8192 токенов. Модель предназначена для диалогов и генерации текста, включая ролевые сценарии, использование инструментов и решение математических задач. По сравнению с базовой моделью авторы отмечают меньше случаев, когда на китайский запрос следует английский ответ, и меньше смешения китайского и английского в китайских ответах. В README описана версия v2.1 с улучшениями в ролевых диалогах, вызове функций и математике. Известное ограничение: модель не дообучали на сохранение своей идентичности, поэтому ответы о том, кто она и кем создана, могут быть случайными. Для использования действуют условия лицензии Llama 3.

MaziyarPanahi/Llama-3-8B-Instruct-DPO-v0.2 — диалоговая языковая модель, созданная MaziyarPanahi методом DPO дообучения Meta Llama 3 8B Instruct. Модель использует архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и рассчитана на контекст до 8192 токенов. Она принимает текстовые сообщения в шаблоне ChatML и генерирует текстовые ответы.

Llama-3-8B-Magpie-Align-SFT-v0.2 — разговорная языковая модель, дообученная командой Magpie-Align на базе meta-llama/Meta-Llama-3-8B. Для обучения использованы наборы Magpie-Pro-MT-300K-v0.1 и Magpie-Reasoning-150K с примерами математики, программирования и рассуждений. Модель содержит 7,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 8192 токенов. Модель предназначена для ответов на инструкции и диалоговых сценариев, включая задачи на рассуждение, математику и код. В README сообщаются результаты на MT-Bench, Alpaca Eval 2 и Arena Hard, но они не гарантируют качество на конкретных запросах. Для лучшей работы рекомендуется официальный шаблон чата Llama 3. Модель рассчитана прежде всего на английский язык. Распространяется по лицензии Meta Llama 3 Community License; применяются условия этой лицензии.

Карточка модели KnutJaegersberg/Llama-3-Deita-8b на Hugging Face совпадает с карточкой KnutJaegersberg/Deita-34b, поэтому описание составлено по ней. KnutJaegersberg/Deita-34b — языковая модель для генерации текста, построенная на архитектуре Llama с плотной схемой и 33,9 млрд параметров. Модель рассчитана на инструкции и диалоговые запросы; в README приведён пример ответа на вопрос о тонкой настройке языковой модели. Контекстное окно составляет 4096 токенов. Модель распространяется в формате safetensors по лицензии Apache-2.0. В метаданных указан датасет KnutJaegersberg/Deita-6k; они не уточняют связь модели с базовым чекпойнтом или способ её обучения.

Neurona 8B Beta — предварительная испаноязычная языковая модель от Iker, созданная дообучением Meta-Llama-3-8B. Это экспериментальная первая итерация проекта для проверки скриптов и инфраструктуры обучения; модель содержит около 7,5 млрд параметров и использует архитектуру Llama с плотным декодером causal language modeling. Модель предназначена для генерации текста и диалогов на испанском и английском языках. Обучение на смеси инструкционных, разговорных и тематических наборов данных формирует возможности ответов на вопросы, суммаризации, перевода между английским и испанским, помощи с кодом, function calling и работы со сценариями RAG. Контекст составляет 8192 токена. Модель распространяется в формате safetensors и использует лицензию Llama 3. README обозначает её как предварительную версию в разработке, поэтому качество и надёжность отдельных возможностей могут быть непостоянными; условия лицензии Meta Llama 3 распространяются на использование модели.

llama-3-wissenschaft-8B — плотная языковая модель семейства Llama 3, созданная nbeerbower с помощью слияния предобученных моделей через mergekit и метод Model Stock. В слиянии использованы nbeerbower/llama-3-slerp-kraut-dragon-8B, VAGOsolutions/Llama-3-SauerkrautLM-8b-Instruct, DeepMount00/Llama-3-8b-Ita и mlabonne/ChimeraLlama-3-8B-v3. Модель содержит 7,5 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текст для генерации продолжений и диалоговых ответов. Контекст составляет 8192 токена. Карточка указывает лицензию Meta Llama 3 Community License Agreement; перед использованием следует соблюдать её условия.

psx7/llama4B — текстовая модель семейства Llama, представленная в формате MLX; README указывает, что её преобразовали из rasyosef/Llama-3.1-Minitron-4B-Chat с помощью mlx-lm 0.18.1. По метаданным, модель содержит 3,9 млрд параметров, использует плотную архитектуру LlamaForCausalLM и поддерживает контекст до 131 072 токенов. Каталог связывает её с базовой моделью nvidia/Llama-3.1-Minitron-4B-Width-Base и датасетом OpenHermes-2.5; модель предназначена для генерации текста и диалогового использования. Репозиторий содержит веса в GGUF и safetensors, а README описывает использование через mlx-lm. Указана лицензия «other», поэтому точные условия использования следует проверять в файлах лицензии репозитория.

Llama DEUS v3 — языковая модель семейства Llama, разработанная автором репозитория teknium и основанная на Llama 7B. Это объединённая с базовой моделью версия LoRA-дообучения: адаптер не требуется подключать отдельно. Модель содержит 6,6 млрд параметров, использует архитектуру LlamaForCausalLM и принимает текстовые инструкции в формате «### Instruction: … ### Response:». Контекст — до 2048 токенов. Модель дообучена на наборах общих инструкций, программирования, ролевого общения, а также биологии, физики, химии и математики. Она предназначена для генерации ответов и выполнения инструкций в этих сценариях. В README автор характеризует датасеты и модель как uncensored, что может приводить к выдаче нежелательного или небезопасного содержания. Модель распространяется по лицензии MIT.

Deepcodr/llama_sample_chat2 — диалоговая модель генерации текста, разработанная Deepcodr путём дообучения NousResearch/Meta-Llama-3.1-8B-Instruct. Это плотная модель семейства Llama с архитектурой LlamaForCausalLM и 7,5 млрд параметров; для обучения использовались Unsloth и библиотека TRL. Модель предназначена для чата и генерации ответов на текстовые запросы. Контекстное окно составляет 131 072 токена; в карточке отмечена поддержка английского языка. Модель распространяется под лицензией Apache-2.0. Карточка не описывает специализированную предметную область или отдельные ограничения качества; ожидаемые возможности в целом связаны с базовой инструктивной моделью Llama 3.1 8B.

LLM-jp-4-33b-thinking — плотная трансформерная языковая модель семейства Llama, разработанная Центром исследований и разработок больших языковых моделей Национального института информатики Японии. Она предназначена для диалогов, генерации ответов и решения задач с рассуждением на японском и английском языках; поддерживает интерфейс вызова инструментов. Модель содержит 32,2 млрд параметров, имеет 64 слоя и контекст до 65 536 токенов. Она обучалась на этапах предварительного и промежуточного обучения на 11,7 трлн токенов, затем прошла SFT и выравнивание DPO без обучения с подкреплением. Доступна в формате Safetensors для Transformers, лицензия — Apache-2.0. Разработчики отмечают, что модель находится на раннем этапе исследований и разработок и не настроена для гарантированного соответствия человеческим намерениям и требованиям безопасности. Для корректной работы следует использовать приложенный токенизатор: он отличается от предположений библиотеки openai-harmony, несмотря на совместимость шаблона диалога с Harmony.

LongCat-Flash-Lite — языковая модель Meituan для генерации текста и диалогов. Она предназначена для агентных сценариев, вызова инструментов и задач программирования. Архитектура — LongcatFlashNgramForCausalLM; в README модель описана как MoE с N-граммными эмбеддингами, примерно 68,5 млрд общих параметров и около 2,9–4,5 млрд активных в зависимости от вычисления. Метаданные Hugging Face указывают 2,5 млрд параметров, поэтому оценка общего размера расходится с описанием в README. Модель поддерживает контекст до 327 680 токенов по метаданным; README указывает 256 тыс. токенов с методом YaRN. Для запуска через Transformers в README рекомендуется минимум два GPU с 80 ГБ видеопамяти каждый; также заявлена поддержка развёртывания в SGLang. В репозитории указаны веса Safetensors и лицензия MIT. Разработчик отмечает, что модель не разрабатывалась и не оценивалась для всех возможных прикладных задач.

Lorenzo-8B-Merge — генеративная языковая модель для продолжения и создания текста, опубликованная пользователем qingy2024 на Hugging Face. Модель предназначена для использования через библиотеку Transformers и относится к семейству Llama согласно метаданным. В карточке модели не приведены сведения о точной архитектуре слияния, исходных моделях, разработчиках, обучающих данных и методике обучения. Модель содержит около 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. Она может применяться для генерации ответов, написания и продолжения текстов, диалоговых сценариев и построения приложений на базе больших языковых моделей. Лицензия, поддерживаемые естественные языки, результаты оценки, рекомендуемые параметры запуска и специализированные ограничения в карточке не указаны. Перед использованием в продуктивных системах следует самостоятельно проверить качество на целевых данных, устойчивость к ошибкам и условия распространения.

M7Multiverseex26-7B — плотная языковая модель семейства Mistral с 7,1 млрд параметров, созданная Maxime Labonne автоматическим слиянием моделей через mergekit. В конфигурации указаны liminerity/M7-7b и allknowingroger/MultiverseEx26-7B-slerp; применён метод dare_ties, а результат сохранён в формате safetensors с точностью bfloat16. Модель предназначена для генерации текста и может использоваться в диалоговых приложениях и для создания текстовых ответов. Максимальная длина контекста — 32 768 токенов. Репозиторий распространяется по лицензии Apache-2.0.

M7T3qm7xp_Strangemerges_32T3qm7xp — слитая языковая модель на архитектуре Mistral, созданная объединением automerger/M7T3qm7xp-7B и automerger/Strangemerges_32T3qm7xp-7B. Она предназначена для генерации текста и может использоваться в приложениях, где нужны ответы или продолжение текста с длинным контекстом. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Веса представлены в формате safetensors. Языки применения не указаны. Модель распространяется по лицензии Apache-2.0.

M7Yamshadowexperiment28_Experiment27Experiment24 — объединённая модель Mistral, созданная из automerger/M7Yamshadowexperiment28-7B и automerger/Experiment27Experiment24-7B. Она предназначена для генерации текста и диалоговых сценариев. Модель содержит 7,1 млрд параметров, использует плотную архитектуру Mistral и поддерживает контекст до 32 768 токенов; репозиторий распространяет веса в формате safetensors. Лицензия — Apache-2.0. README и метаданные не описывают специализированные области применения или конкретные ограничения качества.

M7Yamshadowexperiment28_Experiment28Experiment24 — объединённая модель MaziyarPanahi на архитектуре Mistral для генерации текста. Она объединяет automerger/M7Yamshadowexperiment28-7B и automerger/Experiment28Experiment24-7B; размер модели — 7,1 млрд параметров, формат весов — safetensors, длина контекста — до 32 768 токенов. Модель предназначена для генерации текста и диалогов. Лицензия — Apache-2.0.

M7Yamshadowexperiment28_Inex16Calme — слитая модель для генерации текста, созданная на основе automerger/M7Yamshadowexperiment28-7B и automerger/Inex16Calme-7B. Модель использует плотную архитектуру Mistral с 7,1 млрд параметров и работает с контекстом до 32 768 токенов. Она предназначена для генерации текста и диалоговых ответов. Репозиторий содержит веса в формате safetensors. Модель опубликована по лицензии Apache 2.0.