I.12Рекомендации и персонализация

airoboros-m-7b-3.1.2-dare-0.85-Mistral-7B-Instruct-v0.1 — объединённая чат-модель MaziyarPanahi на основе mistralai/Mistral-7B-Instruct-v0.1 и uukuguy/airoboros-m-7b-3.1.2-dare-0.85. Модели объединены методом SLERP; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров. Модель предназначена для генерации текста и ответов на инструкции и диалоговые запросы. Она принимает текст и выдаёт текст; максимальный контекст — 32 768 токенов. В карточке не заявлены специальные прикладные области или поддержка конкретных естественных языков. Репозиторий содержит веса в формате safetensors, а лицензия — Apache-2.0. Качество и поведение объединённой модели могут отличаться от исходных моделей; ограничения отдельно не описаны.

Sakalti/Anemoi-3B — плотная языковая модель на архитектуре Qwen2, созданная объединением весов Qwen/Qwen2.5-3B-Instruct и bunnycore/Qwen-2.5-3b-Rp-lora_model с помощью mergekit и метода passthrough. Модель содержит 3,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно использовать для ответов на вопросы, следования инструкциям и создания текстов; в метаданных также отмечен интерфейс вызова инструментов. Базовая модель Qwen2.5-3B-Instruct характеризуется как компактная многоязычная чат-модель, однако конкретные языки Anemoi отдельно не перечислены. Для запуска указана библиотека Transformers, а веса представлены в формате safetensors. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой модели и лицензиями базовых компонентов. README не сообщает результатов оценки качества или специфических ограничений.

AquilaChat2-34B-16K — диалоговая языковая модель BAAI из серии Aquila2, предназначенная для генерации ответов и работы с длинными текстами. Модель основана на плотной авторегрессионной архитектуре AquilaForCausalLM и содержит 33,1 млрд параметров; максимальная длина контекста — 16 384 токена. Доступны веса в формате PyTorch. Модель подходит для диалогов, генерации и суммирования длинных текстов, а также выполнения инструкций в обычных сценариях общения. В README описана версия V1.2, в которой улучшены синтез длинных текстов и выполнение инструкций по сравнению с V1. Для модели указана лицензия other; конкретные условия следует сверять с лицензией репозитория.

Virtuoso-Large-GGUF — это набор квантизированных версий языковой модели Virtuoso-Large, разработанной arcee-ai и подготовленной пользователем bartowski. Модель предназначена для генерации текста и запуска локально через llama.cpp, LM Studio и другие совместимые проекты на базе llama.cpp. Для общения используется шаблон сообщений в формате ChatML с ролями system, user и assistant. Модель доступна в формате GGUF с различными вариантами квантизации от Q8_0 до Q2_K и IQ2_M. Размер файлов составляет примерно от 29,34 до 77,26 ГБ; более высокие уровни квантизации обычно обеспечивают лучшее качество, но требуют больше памяти. В README не указаны точный размер исходной модели, архитектурные детали, поддерживаемые языки, длина контекста или мультимодальные возможности. Сильной стороной набора является широкий выбор вариантов для разных ограничений по памяти и производительности. Рекомендуемыми названы Q6_K, Q5_K_M, Q5_K_S, Q4_K_L, Q4_K_M, Q4_K_S и IQ4_XS; версии с более низкой квантизацией экономичнее, но могут заметно уступать по качеству. Лицензия обозначена как qwen и связана с лицензией Qwen2.5-72B-Instruct, однако точные условия следует проверять в указанном лицензионном документе.

Athene-70B-Preview — диалоговая большая языковая модель с открытыми весами, разработанная командой Nexusflow и дообученная с помощью RLHF на основе Llama-3-70B-Instruct. Репозиторий содержит копию первоначального выпуска Athene-70B; в карточке рекомендуется использовать более новую версию. Модель построена на плотной архитектуре Llama и содержит 69,5 млрд параметров; для запуска используется библиотека Transformers, веса представлены в формате safetensors. Контекстное окно составляет 8192 токена, основной язык — английский. Модель предназначена для диалогов и генерации текста, включая ответы на вопросы и выполнение пользовательских инструкций. В README отмечен результат 77,8% на Arena-Hard-Auto — прокси-бенчмарке Chatbot Arena. Модель распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

BgGPT-7B-Instruct-v0.2 — инструктивно дообученная языковая модель INSAIT Institute при Софийском университете, созданная на основе Mistral-7B-v0.1. Это плотный авторегрессионный трансформер с 7,1 млрд параметров и контекстом до 32 768 токенов; для работы с инструкциями использует формат Mistral с маркерами [INST] и [/INST]. Модель предназначена для диалогов, ответов на вопросы и генерации текста на болгарском и английском языках. В версии 0.2 продолжено предварительное обучение на болгарских веб-данных и специализированных наборах, а также на переводах англоязычных данных; токенизатор расширен для более эффективной обработки болгарского текста на кириллице. Английские данные использовались для сохранения навыков английского языка и логического рассуждения. Модель распространяется по лицензии Apache 2.0. В карточке приведены бенчмарки, основанные на переводах англоязычных тестов; их результаты могут не полностью отражать качество на исходных языковых наборах. Указанный контекст — технический предел модели, а качество ответов и рассуждений зависит от запроса и сценария применения.

Citaman/command-r-3-layer — текстовая генеративная модель, созданная автором репозитория Citaman с помощью mergekit. В README описано слияние методом SLERP двух срезов весов Citaman/command-r-4-layer; метаданные каталога классифицируют связь с этой моделью как дообучение. Архитектура — плотная причинная языковая модель CohereForCausalLM, около 4,6 млрд параметров, формат файлов — safetensors. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Поддерживаемый контекст — до 8192 токенов. Условия лицензирования в предоставленных данных не приведены.

DeepSeek-R1-0528-Qwen3-8B-MLX-4bit — это 4-битно квантованная версия модели DeepSeek-R1-0528-Qwen3-8B, разработанной deepseek-ai. Квантование выполнено командой LM Studio с использованием mlx_lm и формата MLX, ориентированного на работу на устройствах с Apple Silicon. Модель предназначена для генерации текста и связанных с ней языковых сценариев. README не содержит сведений о точном числе параметров, поддерживаемых языках, размере контекста, модальностях или специализированных ограничениях исходной модели. Ключевое преимущество версии — уменьшенный размер благодаря 4-битному представлению и оптимизация для Apple Silicon; при этом квантование может снижать точность по сравнению с исходной моделью, а применение вне экосистемы MLX и Apple Silicon может быть ограничено. Модель распространяется по лицензии MIT.

ERNIE-4.5-300B-A47B-W4A8C8-TP4-Paddle — текстовая MoE-модель семейства ERNIE 4.5, разработанная Baidu и распространяемая с весами для PaddlePaddle. Репозиторий содержит вариант W4A8C8 с 4-битными и 8-битными весами; в карточке указаны 47,1 млрд параметров, а README описывает семейство как модель с 300 млрд параметров всего и 47 млрд активируемых на токен. Архитектура включает 54 слоя и 64 текстовых эксперта, из которых активируются 8. Модель предназначена для диалогов, генерации текста и общего языкового понимания. Семейство ERNIE 4.5 обучалось на текстовых и визуальных данных, однако именно этот вариант обозначен как текстовая модель. Поддерживает английский и китайский языки; контекстное окно — 131072 токена. Для запуска предназначены PaddlePaddle и FastDeploy. Модель выпущена под лицензией Apache-2.0. Возможности и качество зависят от аппаратных ресурсов и настроек развёртывания; README приводит пример конфигурации FastDeploy с ограничением длины ввода 32768 токенов.

MaziyarPanahi/Experiment28T3q_Ognoexperiment27M7 — объединённая модель семейства Mistral с 7,1 млрд параметров, созданная на основе automerger/Experiment28T3q-7B и automerger/Ognoexperiment27M7-7B. Она предназначена для генерации текста и имеет контекстное окно длиной до 32 768 токенов. Модель принимает текст и генерирует текст; заявленный тег задачи — text-generation. Веса опубликованы в формате safetensors. Лицензия — Apache-2.0.

CallComply/gemma-2-27b-it — текстовая инструкционная модель семейства Gemma 2 от Google, представленная в формате safetensors и предназначенная для диалоговой генерации. Это плотная decoder-only языковая модель с 27,6 млрд параметров и контекстом до 8192 токенов; она принимает текст и генерирует текст. Карточка описывает семейство Gemma как англоязычное, а отдельные сведения о дообучении именно этой версии не приведены. Модель подходит для чат-ботов и виртуальных помощников, ответов на вопросы, суммаризации и создания черновиков текстов. Указанные ограничения включают возможные фактические ошибки, устаревшие сведения, смещения в ответах и трудности с неоднозначностью и сложными инструкциями. Для использования действует лицензия Gemma.

Это квантизированная версия Gemma 3 12B IT, разработанная Google и преобразованная пользователем nocturne23 в формат GGUF с помощью llama.cpp и инструмента GGUF-my-repo. Модель предназначена для запуска через llama.cpp в CLI-режиме или как сервер для генерации ответов и выполнения задач, поддерживаемых исходной инструкционной моделью. Известно, что модель основана на google/gemma-3-12b-it и имеет размер 12 миллиардов параметров. Вариант Q4_K_M использует 4-битную квантизацию, что уменьшает требования к памяти по сравнению с полной версией, но может снижать точность. В метаданных указана мультимодальная задача image-text-to-text, однако подробные сведения о поддерживаемых языках, длине контекста, архитектуре и возможностях работы с изображениями в README отсутствуют. В качестве ограничения также следует учитывать зависимость от llama.cpp и необходимость настройки под используемое оборудование. Для доступа и использования модели требуется принять лицензию Google Gemma на Hugging Face; в README лицензия обозначена как gemma. Условия коммерческого и иного применения следует проверять в исходной лицензии Google и оригинальной карточке модели.

German-RAG-MISTRAL-7B-v3.0-ORPO-HESSIAN-AI — авторегрессионная языковая модель на архитектуре Transformer Mistral, разработанная командой Avemio AI при поддержке Hessian AI. Модель содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Модель дообучена методом ORPO на немецкоязычных и англоязычных данных для сценариев Retrieval-Augmented Generation (RAG). Она предназначена для ответов на вопросы по найденным документам и контексту, извлечения релевантной информации, суммаризации и рассуждений. В README приведены результаты тестирования на наборах для извлечения, ответов на вопросы, суммаризации и сложных рассуждений; это результаты авторской оценки, а не гарантия качества для конкретных данных. Модель может выдавать неверные факты, поэтому ответы следует проверять. Без дополнительной фильтрации она может генерировать вредный или чувствительный контент. Лицензия модели и кода — Apache 2.0.

Vontra/GLM-5.3-Flash-MLX-2bit-MTP — это конвертированная и гибридно квантованная версия мультимодальной модели GLM-5.3-Flash от Z.ai, подготовленная Vontra для Apple Silicon на базе MLX. Модель предназначена для генерации текста и работы с изображениями в совместимых MLX- и VLM-средах, включая oMLX. Заявлены английский и китайский языки. Модель использует архитектуру glm5_next с разреженной смесью экспертов (MoE), чередованием KDA-линейного и разреженного внимания, vision encoder и одним нативным NextN/MTP-слоем для спекулятивного декодирования. Объём параметров составляет 320 млрд, из них 18 млрд активны при обработке запроса; заявленный контекст — до 1 048 576 токенов. Чекпойнт хранится в MLX safetensors и занимает около 111,3 ГБ. Квантование выполнено по гибридной схеме: основные экспертные веса имеют точность 2 бита, отдельные проекции — 8 или 4 бита, а чувствительные компоненты, включая vision encoder, projector, эмбеддинги и выходную голову, сохранены в BF16. К сильным сторонам относятся существенное уменьшение размера весов, поддержка мультимодальных сценариев, сохранённый нативный MTP и совместимость с экосистемой Apple MLX. В тесте на Apple M3 Studio включение MTP повысило скорость декодирования с 6,063 до 6,257 токена в секунду при совпадении результатов. Производительность и прирост от MTP зависят от оборудования, запроса и степени принятия черновых токенов. Для работы требуется runtime с поддержкой архитектуры glm5_next, нативного MTP и покомпонентных метаданных квантования MLX; указаны совместимые версии oMLX 0.6.3rc3, MLX 0.32.0, mlx-lm 0.31.3 и mlx-vlm 0.6.3. Лицензия — MIT.

djuna/GSHT-GEMMAMA-16B — языковая модель на архитектуре Gemma 2, созданная объединением предварительно обученных моделей djuna/G2-GSHT и djuna/Gemma-2-gemmama-9b с помощью mergekit и метода passthrough. В конфигурации чередуются диапазоны слоёв двух исходных моделей; веса сохранены в формате safetensors.

Hunyuan-7B-Pretrain — предварительно обученная плотная языковая модель Tencent из семейства Hunyuan. Она содержит 7,5 млрд параметров и предназначена для генерации текста и дальнейшей адаптации под прикладные задачи. Модель работает с Transformers и использует архитектуру HunYuanDenseV1ForCausalLM с Grouped Query Attention; метаданные также отмечают поддержку диалогового режима и интерфейса вызова инструментов. Модель рассчитана на длинные контексты до 262 144 токенов и поддерживает режимы быстрого и пошагового рассуждения. Её можно применять для генерации и продолжения текста, обработки длинных документов, а после настройки — для агентных сценариев. В README приведены результаты тестов базовых моделей семейства, но они не гарантируют аналогичное качество в каждом пользовательском сценарии. Модель выпущена Tencent в июле 2025 года. README описывает семейство как открытое, но доступный фрагмент не содержит точных условий лицензии для этой модели. Языки обучения или поддержки в предоставленных источниках не перечислены.

Inkbot — разговорная языковая модель, разработанная автором репозитория Tostino и основанная на плотной архитектуре Llama. Она предназначена для генерации ответов по структурированным запросам, с дополнительным контекстом или без него. Модель насчитывает 12,9 млрд параметров, использует формат PyTorch и имеет нативное окно контекста 4096 токенов. В карточке описана настройка позиционных эмбеддингов для работы с контекстом до 8k токенов. Inkbot подходит для RAG-сценариев и ответов по предоставленному контексту, редактирования и упрощения текста, суммаризации, перефразирования, создания текстов и извлечения знаний в виде графа. Структурированный шаблон запроса принимает дату, задачу, системную инструкцию и контекст пользователя; модель рассчитана на более функциональные и лаконичные ответы. Для лучших результатов требуется соблюдать шаблон и ясно задавать контекст. На сложных задачах возможны зацикливание генерации, бесконечное добавление узлов графа знаний и потеря влияния пользовательского контекста через один-два запроса. Указана лицензия Llama 2.

InternLM2.5-20B-Chat — разговорная текстовая модель семейства InternLM, разработанная командой InternLM. Данный репозиторий содержит её квантизованные версии в формате GGUF, подготовленные Second State Inc. на основе модели internlm/internlm2_5-20b-chat и предназначенные для локального запуска средствами, совместимыми с GGUF, включая LlamaEdge. Модель предназначена для генерации текста и диалоговых сценариев; README также указывает поддержку использования инструментов через специальный шаблон prompt. Это текстовая модель без заявленной поддержки других модальностей. Она содержит 20 миллиардов параметров, использует шаблон ChatML и поддерживает контекст размером до 32 000 токенов. Доступны варианты квантования от Q2_K до Q8_0, а также f16; их размер составляет примерно от 7,55 до 39,7 ГБ. Основное преимущество репозитория — выбор компромисса между размером файлов и качеством: Q4_K_M рекомендован как сбалансированный вариант, а Q5_K_M и Q5_K_S — как варианты с минимальной потерей качества. Более агрессивное квантование уменьшает требования к памяти, но может заметно ухудшить качество ответов. Для запуска с LlamaEdge требуется версия 0.13.0 или выше. Лицензия указана как other, без дополнительных условий в README.

IridiumLlama-72B-v0.1 — языковая модель с архитектурой Llama, созданная leafspark путём слияния Qwen2-72B-Instruct, calme2.1-72b и magnum-72b-v1 с помощью model_stock. Модель содержит 71,5 млрд параметров, использует плотную архитектуру LlamaForCausalLM и принимает текст для генерации текста; заявленная длина контекста — около 32 тысяч токенов. Карточка отмечает разговорный режим и описывает сочетание выразительной прозы Magnum с возможностями Calme. Модель подходит для диалогов, генерации связных текстов и задач, решаемых инструктивными языковыми моделями. Веса размещены в формате safetensors и рассчитаны на использование с Transformers; для запуска в исходном виде README указывает около 150 ГБ свободного места и VRAM. Лицензия указана как other, поэтому условия использования следует сверить с карточкой модели и лицензиями компонентов.

Jais Family 13B Chat — диалоговая языковая модель семейства Jais, разработанного Inception Institute of Artificial Intelligence. Это дообученная для общения версия базовой модели inceptionai/jais-family-13b с плотной архитектурой JAISLMHeadModel и примерно 13 млрд параметров. Модель принимает текст и генерирует ответы в чате; она рассчитана прежде всего на арабский и английский языки. Размер контекста — 2048 токенов. Модель подходит для создания арабоязычных и двуязычных чат-ассистентов, ответов на вопросы, суммаризации арабских и английских документов, а также задач понимания текста, таких как классификация тональности. Для загрузки требуется пользовательский класс модели с параметром trust_remote_code=True. Лицензия — Apache 2.0. Ответы могут быть ошибочными, предвзятыми, вводящими в заблуждение или оскорбительными; результаты требуют проверки, особенно в важных решениях. Модель оптимизирована для арабского и английского, поэтому её не следует считать одинаково компетентной в других языках или диалектах.

Josiefied-Qwen3-4B-abliterated-v2 — диалоговая языковая модель Goekdeniz-Guelmez на архитектуре Qwen3, дообученная на основе Qwen/Qwen3-4B-Instruct-2507 и модифицированная методом Gabliteration. Она предназначена для генерации текста, общения и выполнения инструкций; сохранена поддержка вызова инструментов через соответствующий интерфейс. Модель содержит 3,7 млрд параметров и поддерживает контекст до 262 144 токенов. Разработчик заявляет, что модификация снижает отказы и ограничения на генерацию, сохраняя следование инструкциям и работу с инструментами. Доступны веса в формате safetensors; в карточке также упоминаются варианты GGUF и i1 GGUF. Лицензия в предоставленных данных не указана.

KangalKhan-RawEmerald-7B — языковая модель для диалогов и генерации текста, созданная Yuma42. Это слияние моделей argilla/CapybaraHermes-2.5-Mistral-7B и argilla/distilabeled-OpenHermes-2.5-Mistral-7B с помощью LazyMergekit. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров; заявленная длина контекста — 32 768 токенов. Модель предназначена для общения в формате ChatML, ответов на вопросы и генерации текста. В карточке приведены результаты оценки на Open LLM Leaderboard. Автор предупреждает, что варианты GGUF от стороннего автора могут иногда выдавать опечатки и рекомендует в таком случае вариант Q4_K_S GGUF. Модель распространяется по лицензии Apache-2.0.

Keefe-Discere-v3.2 — дообученная языковая модель семейства Qwen2, опубликованная KeefeBuild. Это плотная авторегрессионная модель с 7,1 млрд параметров, предназначенная для генерации текста в диалоговом формате; метаданные также указывают интерфейс вызова инструментов. Модель обучалась с использованием Unsloth и библиотеки TRL от Hugging Face. Модель принимает текст и выдаёт текст. В метаданных указаны английский язык и контекст до 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия — Apache-2.0. README указывает на дообучение от KeefeBuild/Keefe-Discere-v3.2, то есть от модели с тем же идентификатором, поэтому исходная базовая модель отдельно не подтверждена.

KunaiBeagle-Hermes-7b — объединённая языковая модель, созданная seyf1elislam с помощью mergekit методом DARE TIES. В объединение вошли seyf1elislam/KunaiBeagle-7b и teknium/OpenHermes-2.5-Mistral-7B; базовая архитектура — Mistral-7B-v0.1. Модель предназначена для генерации текста и диалоговых сценариев. Она содержит 7,1 млрд параметров, использует архитектуру Mistral с плотной причинной языковой моделью и поддерживает контекст до 32 768 токенов. Репозиторий предоставляет веса в формате safetensors. Карточка не описывает специализированную предметную область или отдельные гарантии качества. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

Llama-3.1-Niitorm-8B — объединённая диалоговая языковая модель на архитектуре Llama 3.1, созданная слиянием Sao10K/L3.1-8B-Niitama-v1.1 и akjindal53244/Llama-3.1-Storm-8B методом NEARSWAP с параметром t=0.0001. В README также указано включение варианта Niitama с LoRA для abliteration. Модель содержит 7,5 млрд параметров, работает с текстом и имеет контекстное окно до 131 072 токенов. Модель предназначена для диалогов и генерации текста, в том числе ответов на инструкции и вызова функций через соответствующий интерфейс. В карточке заявлена преимущественно выполненная abliteration, однако подробные оценки качества и гарантии поведения не приведены. Доступны веса в формате safetensors; README также упоминает сторонние квантизированные сборки GGUF. Лицензия в предоставленных данных не указана.

LeoScorpius-7B-Chat-DPO-Mistral-7B-Instruct-v0.2-slerp — диалоговая языковая модель, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и viethq188/LeoScorpius-7B-Chat-DPO методом SLERP с помощью Mergekit. Модель семейства Mistral имеет плотную архитектуру MistralForCausalLM и около 7,1 млрд параметров. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. Её можно использовать для ответов на вопросы, ведения беседы и создания текстовых черновиков. Поддерживается контекст до 32 768 токенов; файлы представлены в формате Safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не приводит результатов оценки качества или специальных ограничений применения, поэтому качество ответов для конкретных сценариев следует проверять отдельно.

atakankutalp/LFM2.5-2.6B-heretic — это изменённая версия LiquidAI/LFM2.5-2.6B, созданная с помощью Heretic 1.4.0. В модели применена направленная абляция: из весов удалено направление, связанное с отказами. Число параметров не изменилось и составляет 2,69 млрд; архитектура LFM2 — плотная языковая модель из 30 слоёв, сочетающая блоки коротких свёрток и группированное внимание. Контекст — 131 072 токена. Репозиторий содержит веса Safetensors и варианты GGUF, включая квантизированные сборки. Модель предназначена для генерации текста в диалоге и агентных сценариев: вызова инструментов, извлечения данных, RAG и работы с длинным контекстом. Базовая LFM2.5 поддерживает 17 языков, включая русский, английский, китайский, арабский и другие; карточка не сообщает, насколько абляция влияет на качество по отдельным языкам. В сравнении с исходной моделью отказы на чувствительных запросах стали заметно реже, поэтому ответы не следует считать защищёнными фильтрами безопасности. Исходная карточка также не рекомендует базовую модель для агентного программирования и задач, требующих обширных знаний. Лицензия указана как other, без конкретных условий в предоставленных данных.

Dingdust выпустил Dingdust/LFM2.5-350M-heretic — производную текстовую модель Liquid AI LFM2.5-350M-Base с архитектурой LFM2 и 444,6 млн параметров. По карточке это версия с abliteration: в приведённом сравнении частота отказов снизилась с 89 до 7 на 100 запросов; модель рассчитана на диалоговую генерацию текста и локальный запуск. Для базовой модели в README описаны извлечение данных, выдача структурированных результатов и вызов инструментов. Указаны 16 слоёв, гибридные сверточные блоки и блоки GQA, а также поддержка девяти языков: английского, арабского, китайского, французского, немецкого, японского, корейского, португальского и испанского. Метаданные указывают контекст 128 000 токенов; README базовой модели приводит 32 768 токенов, поэтому фактическая длина контекста именно этой производной версии по источникам неясна. Лицензия обозначена как other, без дополнительных условий в предоставленных данных.

MaziyarPanahi/Llama-3-16B-Instruct-v0.1-GGUF — набор файлов модели в формате GGUF, созданный и квантованный MaziyarPanahi на основе MaziyarPanahi/Llama-3-16B-Instruct-v0.1. Модель относится к семейству Llama 3 и предназначена для генерации текста и диалогового взаимодействия по инструкциям. Основной сценарий использования — локальный запуск через совместимые инструменты, включая llama.cpp, с применением специального шаблона промпта Llama 3. Доступны варианты квантования с разной разрядностью: 2, 3, 4, 5, 6 и 8 бит, что позволяет выбирать компромисс между размером файлов, требованиями к ресурсам и качеством генерации. В README не указаны точная архитектура, максимальная длина контекста, поддерживаемые языки, конкретные характеристики вариантов квантования и лицензия. Сильной стороной модели является наличие нескольких GGUF-вариантов для локального инференса и адаптации под разные аппаратные ограничения. Ограничения включают возможную потерю качества при низкоразрядном квантовании, необходимость использовать корректный шаблон Llama 3 и отсутствие в предоставленных данных сведений о лицензии и детальных технических характеристиках.

Это объединённая модель генерации текста семейства Llama 3.1, созданная с помощью mergekit путём линейного слияния unsloth/Meta-Llama-3.1-8B и unsloth/Meta-Llama-3.1-8B-Instruct. В модели около 7,5 млрд параметров; она построена на архитектуре LlamaForCausalLM и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогового взаимодействия. Контекстное окно составляет до 131 072 токенов; в метаданных также отмечен интерфейс вызова инструментов. Карточка не уточняет языковой охват и отдельные области применения, поэтому модель следует рассматривать как универсальную. Лицензия в предоставленных данных не указана. Качество слияния и сравнительные результаты не описаны; возможности вызова инструментов обозначают наличие интерфейса и не гарантируют надёжность выполнения каждого вызова.