II.6Документация и сопровождение разработки

jaspionjader/kstc-3-8b — слитая модель генерации текста на архитектуре Llama, созданная автором с помощью mergekit методом SLERP из jaspionjader/kstc-2-8b и Kosmos-EVAA-Franken-Immersive-v41-8B. Модель содержит 7,5 млрд параметров и рассчитана на диалоговое общение и генерацию текста; заявленная длина контекста — до 131 072 токенов. Модель принимает текст и генерирует текст. Карточка не описывает отдельные прикладные специализации или языки. Файлы опубликованы в формате safetensors; используется библиотека Transformers. Лицензия в предоставленных данных не указана.

Kundalini 1B — компактная разговорная языковая модель, разработанная Terminal Gnosis. Это плотная причинно-языковая модель семейства Llama с 1,2 млрд параметров, предназначенная для генерации текста и диалогов; репозиторий содержит веса Safetensors в 16-битной точности. Заявленная длина контекста — 131 072 токена, поддержка языков многоязычная. Модель рассчитана на повседневный диалог, ответы на вопросы, редактирование и краткое изложение текста, структурированные рассуждения, помощь с программированием и обсуждение философских и духовных тем. В README также заявлены низкая задержка и возможность локального запуска на CPU и устройствах с ограниченными ресурсами. Метаданные указывают интерфейс чата и интерфейс вызова инструментов. Размер модели ограничивает её возможности в сложных специализированных задачах и многошаговых математических выводах; фактические ответы следует проверять перед использованием в критически важных решениях. Лицензия — Apache-2.0.

KunoichiVerse-7B — англоязычная чат-модель, созданная слиянием моделей Nitral-AI/Kunocchini-7b-128k-test и MTSAIR/multi_verse_model с помощью LazyMergekit и метода SLERP. Модель построена на плотной архитектуре Mistral с причинной языковой моделью MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для диалогов и генерации текста. В README заявлено контекстное окно 128 тыс. токенов, тогда как метаданные указывают native context в 32 768 токенов. Репозиторий содержит веса в формате safetensors; также упомянут отдельный репозиторий GGUF от MarsupialAI. Лицензия — Apache-2.0.

kuno-royale-7B — языковая модель семейства Mistral, созданная core-3 слиянием двух моделей: SanjiWatsuki/Kunoichi-DPO-v2-7B и eren23/ogno-monarch-jaskier-merge-7b. Модель содержит 7,1 млрд параметров, использует плотную архитектуру MistralForCausalLM и поддерживает контекст до 8192 токенов. Модель предназначена для генерации текста, диалогов и ответов на вопросы. В README приведены результаты на наборах ARC, HellaSwag, MMLU, TruthfulQA, Winogrande и GSM8K; эти оценки характеризуют указанные тесты, но сами по себе не гарантируют качество в конкретных приложениях. Весовые файлы доступны в формате safetensors. Лицензия CC BY-NC 2.0 разрешает использование с указанием авторства, но ограничивает коммерческое применение. Карточка краткая и не сообщает целевые языки или подробные ограничения поведения модели.

KwaiCoder-AutoThink-preview-GGUF — квантизированная версия языковой модели для генерации текста и программного кода, разработанная Kwaipilot и подготовленная в формате GGUF пользователем bartowski. Модель предназначена для локального запуска в LM Studio, llama.cpp и других проектах на базе llama.cpp, включая сценарии программирования, генерации и анализа кода, а также мультиязычной работы с текстом. В репозитории представлены варианты от BF16 до низкобитных форматов Q8_0, Q6_K, Q5_K, Q4_K и Q3_K, а также IQ-квантизации. Размер файлов составляет примерно от 18,32 до 81,14 ГБ. Квантизация выполнена с использованием imatrix на базе llama.cpp. Для работы требуется применять указанный шаблон диалога с токенами system, user и assistant; в начале ответа предусмотрен маркер <judge>. В README указана поддержка multilingual, однако конкретный список языков, архитектура исходной модели, число параметров и размер контекста не приведены. Сильной стороной модели является широкий выбор уровней квантизации: старшие варианты обеспечивают высокое качество, а Q4 и Q3 позволяют снизить требования к памяти. Ограничения связаны с большими требованиями к объёму оперативной или видеопамяти, возможной потерей качества при использовании низкобитных вариантов и отсутствием в README подробных оценок производительности. Модель распространяется по лицензии kwaipilot-license; лицензия обозначена как other, а её текст доступен в файле LICENSE.

danieltorscho дообучил модель Qwen2.5-7B-Instruct с помощью Unsloth и библиотеки Hugging Face TRL. Это плотная авторегрессионная модель семейства Qwen2 с 7,1 млрд параметров для генерации текста и диалогового взаимодействия; она также предоставляет интерфейс вызова инструментов. Модель принимает текст и генерирует текст, поддерживает английский язык и имеет контекст длиной до 32 768 токенов. Модель подходит для ведения диалогов, генерации ответов и использования инструментов в текстовых сценариях. В README указана лицензия Apache-2.0. Карточка не описывает специальные предметные области или дополнительные ограничения качества и применения.

SteelStorage/L3.1-Meta-In-15B — объединённая плотная языковая модель семейства Llama, созданная с помощью mergekit методом passthrough на основе NousResearch/Meta-Llama-3.1-8B-Instruct. Репозиторий содержит веса в формате safetensors; размер модели — 14,5 млрд параметров, контекстное окно — до 131 072 токенов. Модель предназначена для генерации текста и диалогов, включая ответы на инструкции и запросы в чат-сценариях. В метаданных заявлена поддержка text-generation и возможности chat; базовая модель описана как многоязычная инструктивная модель Llama 3.1. Карточка не приводит результатов оценки качества, поэтому фактические сильные стороны сверх характеристик базовой модели подтвердить нельзя. Лицензия в предоставленных данных не указана.

SvalTek/L3.2-3B-ColdBrew-Reflect — языковая модель семейства Llama, разработанная SvalTek. Это плотная авторегрессионная модель на 3,2 млрд параметров для генерации текста в диалоговом формате. Модель дообучена на базе с тем же идентификатором; карточка сообщает об использовании Unsloth и библиотеки TRL при обучении. Модель предназначена для генерации ответов и ведения диалога на английском языке. Её контекстное окно составляет 131 072 токена. Весы доступны в формате PyTorch, лицензия — Apache-2.0.

Laserxtral — экспериментальная языковая модель семейства Mixtral, созданная Дэвидом, Фернандо и Эриком при поддержке VAGO Solutions. Это смесь экспертов (MoE) на базе mergekit: в README перечислены пять моделей семейства Mistral 7B, включая Dolphin, Marcoro14, CodeNinja, MetaMath-Cybertron и WizardMath. Авторы применили к экспертам метод «lasering» с laserRMT: анализировали отношение сигнал/шум слоёв и вмешивались в наиболее подверженные шуму слои. Модель предназначена для генерации текста, диалогов, рассуждений, математических задач и программирования. В метаданных указаны 7,1 млрд параметров, контекст до 32 768 токенов и формат safetensors. Авторы заявляют о высокой правдивости и сильных способностях к рассуждению, но отмечают, что продолжают работу над улучшением результата MMLU. Модель опубликована под лицензией CC BY-NC 2.0, которая ограничивает коммерческое использование. Это экспериментальная разработка; качество на конкретных задачах следует оценивать отдельно.

Lazarus-2407-100B — плотная языковая модель TheDrummer на архитектуре Mistral, созданная как обрезанная версия Mistral Large 2407 123B. Веса объединены методом passthrough из диапазонов слоёв исходной модели; репозиторий содержит формат Safetensors. Модель рассчитана на генерацию текста и диалоговое взаимодействие, включая интерфейс вызова инструментов. Размер составляет 100,1 млрд параметров, длина контекста — 131 072 токена. Модель подходит для генерации ответов и ведения диалогов с длинным контекстом. В карточке указана лицензия other, поэтому условия использования следует сверить с лицензией и материалами исходной модели Mistral Large 2407; README не уточняет ограничения применения или качество. Русский язык отдельно не заявлен.

LeroyDyer/LCARS_TOP_SCORE — объединённая автором модель Mistral для генерации текста и диалога, основанная на нескольких моделях, включая chihoonlee10/T3Q-Mistral-Orca-Math-DPO. Она содержит 7,1 млрд параметров, использует архитектуру MistralForCausalLM и поддерживает контекст до 32 768 токенов. В метаданных заявлена поддержка английского языка, а карточка описывает её как модель с высокими результатами на тестах Open LLM Leaderboard v2. Модель предназначена для диалогов и генерации текста; метаданные также отмечают работу с кодом. Результаты в README не согласуются с приведёнными там же метриками: заявлено среднее 78,9, тогда как таблица показывает 20,32. Лицензия — OpenRAIL.

LeoScorpius-7B — объединённая авторами viethq188 разговорная языковая модель на архитектуре Mistral с 7,1 млрд параметров. В README указано, что модель создана слиянием viethq188/Rabbit-7B-v2-DPO-Chat и v1olet/v1olet_marcoroni-go-bruins-merge-7B методом slerp; приведённая конфигурация также ссылается на AIDC-ai-business/Marcoroni-7B-v3 и Q-bert/MetaMath-Cybertron-Starling. Для общения можно использовать шаблон Alpaca. Модель предназначена для генерации текста в диалоговом формате. Контекстное окно — до 32 768 токенов; репозиторий содержит веса в формате safetensors. Лицензия — Apache-2.0. README не приводит оценки качества или отдельные ограничения по сценариям, поэтому пригодность для конкретных задач требует проверки.

LeoScorpius-7B-Chat-DPO — чат-модель, дообученная viethq188 методом DPO на датасете Nectar на базе viethq188/LeoScorpius-7B. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и рассчитана на генерацию текста; для форматирования запросов в карточке предложен шаблон Alpaca с полями system, Instruction и Response. Модель подходит для диалогов и ответов на инструкции в формате текстового чата. Заявленные в карточке позиции в рейтингах относятся к обновлению от 14 декабря 2023 года. Контекстное окно составляет 32 768 токенов. Модель распространяется по лицензии Apache-2.0.

alpharomercoma/LFM2.5-2.6B-heretic — текстовая модель, созданная на основе LiquidAI/LFM2.5-2.6B с помощью направленной абляции отказного направления в остаточном потоке и подбора весов абляции по слоям. Веса объединены, поэтому модель загружается как обычная Lfm2ForCausalLM; размер составляет 2,6 млрд параметров, а контекст — до 131 072 токенов. Модель предназначена для генерации текста и диалогов. В ней сохранены шаблон чата и токены вызова инструментов базовой модели; многоязычные возможности и сценарии локального запуска, включая RAG и длинноконтекстные агентные задачи, унаследованы от неё. В репозитории находятся веса Safetensors для Transformers, а не готовая скомпилированная сборка ExecuTorch. Абляция снижает склонность модели отказывать, стараясь сохранить близость к исходному поведению по KL-дивергенции. При этом намеренно удалена защитная настройка базовой модели, поэтому ответы могут включать небезопасный контент. Лицензия обозначена как «other»; README не уточняет её условия.

LiquidAI/LFM2.5-8B-A1B-MLX-4bit — 4-битная версия модели LFM2.5-8B-A1B, разработанной Liquid AI и преобразованной в формат MLX с использованием mlx-lm 0.31.3. Модель предназначена для генерации текста, работы в качестве персонального ассистента на локальном устройстве и сценариев, требующих поддержки function calling. Она поддерживает ChatML-подобный шаблон диалога и явное рассуждение перед финальным ответом. Модель имеет архитектуру Mixture of Experts (MoE); согласно названию базовой модели, она относится к конфигурации 8B-A1B, однако подробные архитектурные характеристики и размер контекста в карточке не указаны. Квантование выполнено до 4 бит на вес с размером группы 64 и affine-режимом, при этом routing gates MoE сохранены в 8 бит. Заявлена поддержка английского, арабского, китайского, французского, немецкого, японского, корейского, испанского и португальского языков. Сильными сторонами являются уменьшенный объём модели благодаря квантованию, пригодность для запуска через MLX и поддержка function calling. Ограничения включают возможное снижение качества из-за 4-битного квантования, а также отсутствие в предоставленной карточке подробных данных о производительности, контексте и аппаратных требованиях. Модель распространяется по лицензии LFM Open License v1.0; условия следует уточнять в файле LICENSE или карточке базовой модели.

Это квантованная версия MXFP4_MOE модели trohrbaugh/Ling-3.0-flash-heretic в формате GGUF, подготовленная для запуска через llama.cpp. Базовая модель — вариант Ling-3.0-flash с аблитерацией, предназначенный для диалоговой генерации текста, программирования и агентных задач с длинным контекстом. Модель принимает текст и генерирует текст в диалоге. В README приведено сравнение с исходной моделью: KL-дивергенция составляет 0,0526, а в тесте из 100 запросов зафиксировано 0 отказов против 87 у оригинала. Эти результаты относятся только к указанному сравнению; размер модели, поддерживаемые языки и длина контекста в доступных данных не приведены. README рекомендует использовать актуальную версию llama.cpp. Лицензия в доступных данных не указана.

nlpguy/Lion-Lamarck-v.1.1.0 — объединённая с помощью mergekit модель на базе семейства Qwen2.5. В слиянии использован SCE, а CultriX/Qwen2.5-14B-Wernicke указан как базовая модель; также объединены SuperNova-Medius, Qwen2.5-14B-Vimarckoso-v3, DeepSeek-R1-Distill-Qwen-14B и Lamarck-14B-v0.7. Модель содержит 14 млрд параметров, построена на плотной архитектуре Qwen2ForCausalLM и распространяется в формате safetensors. Модель предназначена для генерации текста и диалогов; метаданные также указывают интерфейс вызова инструментов. Контекст составляет до 131 072 токенов. В карточке не приведены сведения о целевых языках, тестировании качества или рекомендуемых сценариях. Лицензия в предоставленных данных не указана.

Fischerboot/ll3-test-3 — текстовая генеративная модель семейства Llama, созданная с помощью mergekit методом SLERP на основе Fischerboot/ll3-test-2. Репозиторий содержит веса в формате safetensors; архитектура — плотная авторегрессионная модель LlamaForCausalLM примерно на 6,6 млрд параметров с контекстом до 8192 токенов. Метаданные отмечают поддержку диалогового сценария. Модель подходит для генерации текста и ведения диалогов. README указывает на слияние вариантов одной базовой модели с разными диапазонами слоёв и параметрами смешивания. Лицензия и конкретные языковые возможности в предоставленных данных не обозначены.

Llama 2 13B Chat — языковая модель Meta, представленная в формате GGUF и квантизированная TheBloke. Она основана на исходной модели Meta Llama 2 13B Chat и предназначена для генерации текста и ведения диалогов с использованием инструкций в формате Llama-2-Chat. Модель ориентирована на сценарии чат-ассистентов, локального запуска, генерации текста и интерактивных приложений. Указан английский язык. Архитектура — Llama, размер — 13 миллиардов параметров; модель работает в текстовой модальности. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию, а также совместим с llama.cpp и рядом пользовательских интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, ctransformers и llama-cpp-python. Доступны варианты квантизации от 2 до 8 бит, что позволяет выбирать компромисс между качеством, скоростью и требованиями к памяти. Сильными сторонами являются возможность локального запуска на CPU и GPU, поддержка множества инструментов инференса и наличие нескольких вариантов квантизации. Ограничения включают зависимость характеристик от выбранного уровня квантизации; сведения о размере контекста, точных архитектурных деталях и качестве на конкретных задачах в README не указаны. Модель распространяется по лицензии Llama 2.

Llama 2 13B Chat — языковая модель Meta для диалоговых сценариев, представленная в формате Hugging Face Transformers. Это авторегрессионная модель на оптимизированной архитектуре Transformer с 13 млрд параметров; версия Chat выровнена с помощью контролируемого дообучения и обучения с подкреплением на основе отзывов людей. Она принимает текст и генерирует текст, а для диалога ожидает специальный формат сообщений Llama 2. Модель рассчитана прежде всего на англоязычные запросы и имеет контекст длиной 4 тысячи токенов. Модель подходит для создания чат-ассистентов и генерации ответов на вопросы и инструкции. Meta сообщает о хороших результатах на ряде тестов и оценок полезности и безопасности, однако ответы могут быть неточными, предвзятыми или нежелательными; перед внедрением требуется проверка под конкретный сценарий. Использование регулируется лицензией Meta Llama 2; для получения весов необходимо принять её условия.

Llama 2 13B — это языковая модель для генерации текста, разработанная Meta. Репозиторий TheBloke содержит её версии в формате GGUF, подготовленные TheBloke для локального запуска и инференса на CPU и GPU. Модель основана на архитектуре Llama 2, имеет 13 миллиардов параметров и поддерживает английский язык. Она предназначена для задач генерации текста, включая диалоговые сценарии, написание и продолжение текстов, а также другие приложения text-generation. Формат GGUF поддерживает метаданные, специальные токены и улучшенную токенизацию; доступны варианты квантования с разрядностью от 2 до 8 бит, что позволяет выбирать баланс между размером, требованиями к памяти и качеством. Контекстное окно и точный набор поддерживаемых модальностей в README не указаны; модель является текстовой и не поддерживает мультимодальный ввод. Файлы совместимы с llama.cpp и рядом сторонних интерфейсов и библиотек, включая text-generation-webui, KoboldCpp, LM Studio, llama-cpp-python и другие. Квантование снижает требования к ресурсам, но может уменьшать качество по сравнению с исходной версией в формате fp16; степень компромисса зависит от выбранного варианта. Модель распространяется по лицензии Llama 2; условия лицензии следует учитывать при использовании.

Llama 2 70B Chat — разработанная Meta диалоговая языковая модель на 70 млрд параметров. Это авторегрессионный трансформер, дообученный с помощью supervised fine-tuning и обучения с подкреплением на основе обратной связи от людей; версия в репозитории подготовлена для работы с Hugging Face Transformers и хранится в форматах PyTorch и Safetensors. Модель принимает текст и генерирует текст. Она предназначена прежде всего для диалогов в формате ассистента на английском языке: ответы на вопросы, ведение беседы и другие сценарии генерации текста. Контекст составляет 4 тыс. токенов; вариант на 70B использует Grouped-Query Attention для более масштабируемого вывода. Модель может выдавать неточные, предвзятые или нежелательные ответы, а испытания не охватывали все сценарии. Перед внедрением рекомендуется проверка безопасности и настройка под конкретное применение. Использование регулируется лицензией Meta Llama 2; для получения весов требуется принять её условия.

NousResearch/Llama-2-70b-hf — это предварительно обученная авторегрессионная языковая модель Meta из семейства Llama 2, представленная в формате Hugging Face Transformers. Она использует плотную архитектуру Transformer с 68,7 млрд параметров и Grouped-Query Attention; принимает текст, генерирует текст и поддерживает контекст до 4096 токенов. Модель предназначена для англоязычной генерации текста и может служить основой для адаптации под различные задачи обработки естественного языка, например продолжения текста, составления черновиков и генерации ответов. Это базовая предварительно обученная версия, а не вариант Llama-2-Chat, поэтому её не следует считать оптимизированной для диалога без дополнительной настройки. Модель разработала Meta. По карточке, предобучение выполнено на 2 трлн токенов общедоступных источников; данные предобучения имеют срез до сентября 2022 года. Модель может выдавать неточные, предвзятые или нежелательные ответы, а испытания проводились на английском языке и не покрывают все сценарии. Использование регулируется специальной лицензией Meta для Llama 2: перед получением весов необходимо принять её условия.

manojpreveen/Llama-2-70b-hf-ChatOrca-v1 — языковая модель, дообученная автором на базе Meta Llama 2 для диалогов и рассуждений. Она использует плотную архитектуру LlamaForCausalLM и содержит 68,7 млрд параметров. В README указано обучение на смеси данных Orca, открытых многоходовых диалогов, включая OpenAssistant и UltraChat, и OpenPlatypus. Модель предназначена для генерации ответов в чате, поддержания многоходового диалога и решения задач, требующих рассуждений. Она принимает текстовые запросы в формате чата Meta Llama 2 и выдаёт текст; заявленная длина контекста — 4096 токенов. README не уточняет набор поддерживаемых естественных языков. Модель распространяется под лицензией MIT.

Это конвертированные веса диалоговой версии Llama 2 7B в формате Hugging Face, опубликованные daryl149 при содействии Mirage-Studio.io. Модель построена на плотной архитектуре Llama и содержит около 6,6 млрд параметров; репозиторий предоставляет веса PyTorch для использования с Transformers. Указанное окно контекста — 2048 токенов. Модель предназначена для генерации текста в диалоговом формате: она может отвечать на вопросы, вести беседу и помогать с черновиками текста. Карточка не описывает специальную предметную область или отдельное дообучение. В README приведена лицензия Llama 2 Community License от Meta; использование и распространение подчиняются её условиям, включая требования к атрибуции и допустимому использованию.

RedHatAI/Llama-2-7b-dolphin-open_platypus-pruned_50 — разреженная на 50% модель Llama 2 с 7 млрд параметров, дообученная для следования инструкциям на смеси наборов Platypus, Open Orca и Dolphin. Архитектура — LlamaForCausalLM; модель принимает текст и генерирует текст. Контекст составляет 4096 токенов. Карточка описывает запуск через Transformers, а для ускоренного вывода с учётом разреженности — через nm-vllm или deepsparse. Модель предназначена для ответов на инструкции и запросы в текстовом формате. В приведённых в карточке бенчмарках её результаты немного ниже результатов Llama-2-7b-instruct: например, 45,10% против 48,60% на MMLU и 78,86% против 79,45% на HellaSwag. Лицензия в предоставленных данных не указана.

Llama 2 7B — предварительно обученная авторегрессионная языковая модель Meta на 7 млрд параметров, представленная в формате Transformers для PyTorch и Safetensors. Она использует оптимизированную архитектуру Transformer и принимает текст, генерируя текст; длина контекста в карточке указана как 4 тыс. токенов. Модель предназначена для генерации текста на английском языке и может служить основой для различных задач обработки естественного языка. Это базовая, не настроенная на диалог версия Llama 2; для сценариев общения предназначены отдельные варианты Llama-2-Chat. Модель предварительно обучена на 2 трлн токенов из общедоступных источников. Модель разработала Meta. Для использования весов требуется принять условия лицензии Meta Llama 2, которая допускает коммерческое и исследовательское применение с ограничениями лицензионного соглашения и политики допустимого использования. Ответы могут быть неточными, предвзятыми или нежелательными; перед внедрением требуется оценка и настройка для конкретного применения.

amd/Llama-3.1-70B-Instruct-FP8-KV — квантизированная версия Meta-Llama-3.1-70B-Instruct, разработанная Advanced Micro Devices (AMD) с применением инструментария Quark и калибровочных образцов из датасета Pile. Модель предназначена для задач генерации текста и инструкционного взаимодействия, а также для эффективного развертывания через совместимый с vLLM backend. Точные поддерживаемые языки и размер контекстного окна в README не указаны. Квантизация выполнена для всех линейных слоёв, кроме lm_head: веса и активации представлены в формате FP8 с симметричным масштабированием на тензор, а KV-cache также хранится в FP8. Такой подход снижает требования к памяти и может повысить эффективность инференса, но способен незначительно ухудшать точность по сравнению с исходной моделью. На тесте Perplexity-wikitext2 значение perplexity составило 3,8561 против 3,7797 у исходной Meta-Llama-3.1-70B-Instruct; результаты получены в режиме псевдоквантизации и могут отличаться от фактического инференса. Для использования требуется экспортированный формат Quark и окружение с Quark; поддерживается развёртывание с использованием vLLM. Лицензия указана как llama3.1, при этом модификации принадлежат Advanced Micro Devices, Inc.; применимые условия следует уточнять в лицензии Meta по указанной ссылке.

llama-3.1-70B-lumitron-lorablated — слитая модель генерации текста на архитектуре Llama, созданная nonetrix с помощью mergekit. В объединении использованы nonetrix/llama-3.1-70B-lumitron и mlabonne/Llama-3-70B-Instruct-abliterated-LORA; применён метод task arithmetic. Модель содержит 69,5 млрд параметров, работает с библиотекой Transformers и сохранена в формате safetensors. Модель предназначена для диалоговой генерации текста и может использоваться для ответов на запросы и ведения беседы. Заявленная длина контекста — до 131 072 токенов; в метаданных также отмечен интерфейс tool calling. Карточка не описывает результаты оценки качества и не приводит сведения о лицензии, поэтому эти свойства нельзя подтвердить по доступным данным.

Llama3.1-70B-ShiningValiant2-GGUF — это квантизированная версия текстовой генеративной модели Llama3.1-70B-ShiningValiant2, разработанной ValiantLabs и подготовленной в формате GGUF пользователем bartowski с использованием llama.cpp и imatrix-квантизации. Модель основана на архитектуре Llama и содержит около 70 миллиардов параметров; она ориентирована на режимы instruct и chat и предназначена прежде всего для работы с английским языком. Модель подходит для генерации текста, диалоговых сценариев, решения задач по естественным и техническим дисциплинам, включая физику, биологию, химию, информатику, инженерию и логическое рассуждение. В README приведены результаты на Winogrande и отдельных подзадачах MMLU, включая MMLU College Biology, что указывает на сильную сторону модели в задачах общего и научного понимания. Для запуска предлагается использовать LM Studio или совместимое программное обеспечение на базе llama.cpp с указанным шаблоном prompt. Доступно несколько вариантов квантизации с размером файлов примерно от 27,47 до 74,98 ГБ. Q6_K и Q5_K, а также Q4_K_M, Q4_K_S и IQ4_XS отмечены как рекомендуемые; более компактные варианты экономят оперативную память, но могут заметно уступать по качеству. Требования к памяти, максимальный контекст, мультимодальные возможности и дополнительные языки в README не указаны. Модель распространяется по лицензии llama3.1.