I.6Перевод и языковая адаптация

DeepSeek-R1-Distill-Qwen-1.5B-GGUF — это GGUF-квантизированная версия модели DeepSeek-R1-Distill-Qwen-1.5B, разработанной deepseek-ai и подготовленной для квантизации компанией Second State Inc. Модель предназначена для генерации текста в диалоговых приложениях и локального запуска через LlamaEdge, включая режимы API-сервиса и командного чат-приложения. В README также указана совместимость с библиотекой transformers. Модель основана на архитектуре Qwen и содержит 1,5 млрд параметров. Она поддерживает текстовый ввод и вывод, использует шаблон запросов ChatML и контекст размером до 32 000 токенов. Доступны варианты GGUF с квантизацией от 2 до 16 бит и размером файлов примерно от 753 МБ до 3,56 ГБ. Варианты с более низкой разрядностью экономят память, но сильнее теряют в качестве; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые для баланса размера и качества. Основные преимущества модели — компактный размер, возможность локального запуска и широкий выбор уровней квантизации. Ограничения включают снижение качества при агрессивной квантизации и отсутствие в README сведений о поддерживаемых языках, результатах тестирования и специализированных сценариях применения. Модель распространяется по лицензии MIT.

Это японская дообученная версия DeepSeek-R1-Distill-Qwen-32B, созданная Рёсуке Исигами. Модель предназначена для генерации текста и диалоговых ответов на японском языке; базовая модель также ориентирована на рассуждения, математику и программирование. Модель использует плотную архитектуру Qwen2 и содержит 32 млрд параметров. Максимальная длина контекста — 131 072 токена. Доступны веса в формате safetensors, лицензия — MIT. Карточка подтверждает японскую настройку, но не приводит подробностей о данных дообучения или отдельных результатах оценки.

Weyaxi/Einstein-v6.1-LLama3-8B-Instruct-Ties — языковая модель, созданная Weyaxi слиянием TIES через mergekit. В качестве основы использована meta-llama/Meta-Llama-3-8B; в слияние также вошли Weyaxi/Einstein-v6.1-Llama3-8B и meta-llama/Meta-Llama-3-8B-Instruct. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM, примерно 7,5 млрд параметров и контекстом до 8192 токенов. Она предназначена для генерации текста и диалоговых ответов. Карточка не приводит отдельные оценки качества или подробности об ограничениях; лицензия указана как other.

Everyone-LLM-7b-Base — базовая языковая модель из серии EveryoneLLM, созданная сообществом и опубликованная rombodawg. Это объединённая модель на архитектуре Mistral с 7,1 млрд параметров, предназначенная для генерации текста и выполнения инструкций в шаблоне Alpaca. В карточке приведены результаты тестов Open LLM Leaderboard, включая задачи на рассуждение и здравый смысл. Модель принимает текст и генерирует текст; заявленная длина контекста — 32 768 токенов. README сообщает о слиянии множества дообученных моделей сообщества, но не приводит их названия, поэтому базовые компоненты установить нельзя. Лицензия в метаданных обозначена как unknown; условия использования следует уточнить у автора перед применением.

Experiment26Neuralsirkrishna_Experiment27Experiment28 — объединённая методом SLERP модель для генерации текста, созданная на основе двух моделей Mistral: automerger/Experiment26Neuralsirkrishna-7B и automerger/Experiment27Experiment28-7B. Она предназначена для запросов и сценариев, где требуется генерация текста; архитектура — плотная MistralForCausalLM, размер — 7,1 млрд параметров, контекст — до 32 768 токенов. Модель распространяется в формате Safetensors по лицензии Apache-2.0.

Experiment26Yam-7B — объединённая модель для генерации текста, созданная Maxime Labonne с помощью автоматизированного слияния моделей. В конфигурации использован метод dare_ties с моделями rwitz/experiment26-truthy-iter-0 и mayacinka/yam-jom-7B; метаданные каталога указывают mayacinka/yam-jom-7B как базовую модель и отмечают дообучение. Модель построена на архитектуре Mistral, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Она предназначена для генерации текста по текстовому запросу. Репозиторий использует формат safetensors; модель распространяется по лицензии Apache-2.0.

MaziyarPanahi/Experiment26Yamshadow_Ognoexperiment27Multi_verse_model — объединённая модель для генерации текста, построенная на архитектуре Mistral. Она объединяет модели automerger/Experiment26Yamshadow-7B и automerger/Ognoexperiment27Multi_verse_model-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста по текстовому запросу. Данные не описывают конкретную специализацию или языки, поэтому её можно рассматривать как модель общего назначения. Веса опубликованы в формате safetensors, лицензия — Apache-2.0.

ssmits/Falcon2-8B-Norwegian — текстовая авторегрессионная модель семейства Falcon, созданная слиянием предобученных языковых моделей через mergekit. В README среди объединённых моделей указана ssmits/Falcon2-5.5B-Norwegian; метаданные также связывают модель с этой базовой моделью. Модель предназначена для генерации текста и диалогового использования; каталог также указывает поддержку ответов на вопросы, классификации текста и разметки сущностей. В метаданных указаны 11,8 млрд параметров, контекст до 8192 токенов, архитектура FalconForCausalLM и формат safetensors. Название и базовая модель указывают на ориентацию на норвежский язык. Лицензия в доступных данных не приведена.

FimbulHermes-15B-v0.1 — текстовая чат-модель, созданная с помощью mergekit объединением NousResearch и Sao10K. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и 15,2 млрд параметров; она принимает текст и генерирует текст, поддерживает контекст до 4096 токенов. Модель предназначена для диалогов и генерации текста. В README её характеризуют как стабильную и выразительную, однако отмечают, что она не прошла тщательную оценку. Репозиторий содержит веса в формате safetensors. Лицензия в предоставленных данных не указана.

FineRadio-3.1-8B — языковая модель семейства Llama, разработанная AIstatistican и дообученная на базе unsloth/meta-llama-3.1-8b-bnb-4bit. Она предназначена для генерации текста и может использоваться в приложениях, которым нужны ответы или другой текстовый вывод по текстовому запросу. Модель имеет плотную архитектуру LlamaForCausalLM с 7,5 млрд параметров и контекстом до 131 072 токенов. В карточке указан английский язык. Для обучения использовались Unsloth и Hugging Face TRL; файлы представлены в формате PyTorch. Модель распространяется по лицензии Apache-2.0.

codegood/gemma-2b-it-Q4_K_M-GGUF — это конвертированная в формат GGUF версия инструкционной модели google/gemma-2b-it, разработанной Google. Репозиторий подготовлен с использованием llama.cpp и сервиса GGUF-my-repo. Модель предназначена для диалоговых и текстовых сценариев, включая ответы на вопросы и локальный запуск через llama.cpp в командной строке или в режиме сервера. Модель имеет размер 2B параметров и использует квантизацию Q4_K_M, что уменьшает требования к памяти по сравнению с полноразмерными весами, но может снижать точность по сравнению с неквантизированной версией. В README приведён пример контекста 2048 токенов для сервера; другие характеристики, включая поддерживаемые языки, максимальный контекст и результаты оценки, не указаны. Ключевое преимущество — возможность относительно компактного локального развертывания в экосистеме llama.cpp. Ограничения связаны с небольшим размером модели и потерями от квантизации. Для использования требуется принять лицензию Google Gemma на Hugging Face; конкретные условия лицензии следует уточнять в оригинальной карточке модели.

Gemma 4 31B IT NVFP4 Turbo GGUF — перепакованная и дополнительно квантованная версия Gemma 4 31B IT для диалоговой генерации текста. В README указано, что веса self-attention переведены из BF16 в FP4 методом RTN с group size 16; MLP сохраняют калиброванную квантизацию NVIDIA, а эмбеддинги токенов и нормализации — BF16. Также изменены конфигурация архитектуры и квантования и удалены кодировщики изображений и аудио. Модель предназначена для чат-ответов и генерации текста. Автор README заявляет, что вариант занимает на 68% меньше видеопамяти и работает примерно в 2,5 раза быстрее исходной модели при потере качества в пределах 1–3%; заявлена возможность запуска на одной RTX 5090. Для работы требуется версия llama.cpp с изменениями из PR #21971. Репозиторий распространяется по лицензии Apache-2.0.

brandonmusic/GLM-5.3-Flash-tr3-4bpw — это квантованная версия GLM-5.3-Flash, разработанная brandonmusic на основе zai-org/GLM-5.3-Flash-BF16. Модель предназначена для генерации текста и мультимодальных сценариев с обработкой изображений; в карточке указана интеграция с Transformers и pipeline image-text-to-text. Это EXL3/TR3-чекпойнт с равномерным K4-квантованием маршрутизируемых экспертов и точностью 4 бит на вес, ориентированный на высокопроизводительный запуск на двух GPU с архитектурой SM120. Модель поддерживает профили мультимодального и текстового запуска с DFlash2, а также текстовый профиль с встроенной головой MTP3. Для опубликованного мультимодального профиля заявлен предел запроса 98 304 токена и 129 473 токена KV-кэша; текстовый профиль с MTP3 рассчитан на существенно больший объём кэша — до 1 376 256 измеренных KV-токенов. Реализация использует NVFP4-кэш MLA KV, CUDA graphs и специализированную сборку vLLM/B12X, поэтому несовместима со стандартным upstream vLLM. Для мультимодального запуска требуется отдельный чекпойнт GLM-5.3-Flash-DFlash2. К сильным сторонам относятся низкая разрядность, поддержка изображений, режимы ускоренного декодирования и заявленная близость распределения токенов к BF16-версии: средняя токеновая KL-дивергенция указана на уровне 0,02455 ната на закрытом тестовом наборе. Ограничения включают зависимость от специализированного ПО и оборудования SM120, необходимость отдельного DFlash2-чекпойнта для некоторых профилей, ограниченную ёмкость резидентного контекста в мультимодальном режиме и постановку дополнительных запросов в очередь. Модель распространяется по лицензии shapleymcg-license-1.0; отдельный DFlash2-чекпойнт имеет лицензию CC-BY-NC-ND-4.0.

Huihui-Devstral-Small-2-24B-Instruct-2512-abliterated-mlx-4bit — это 4-битная квантизованная версия модели Huihui-Devstral-Small-2-24B-Instruct-2512-abliterated, опубликованная пользователем veeceey на базе модели huihui-ai. Модель предназначена для генерации текста и диалогового применения, а также может использоваться в сценариях, где требуется выполнение инструкций. Суффикс abliterated указывает на изменённую версию исходной модели, а uncensored в метаданных — на заявленное отсутствие части ограничений, однако подробности этих изменений не приведены. Модель рассчитана на запуск с библиотекой MLX и использует 4-битное представление весов, что может снизить требования к памяти по сравнению с полноразмерной версией. В названии указано 24 миллиарда параметров и принадлежность к семейству Devstral Small 2; точная архитектура, поддерживаемые языки, размер контекста и мультимодальные возможности в предоставленных данных не указаны. Лицензия — Apache 2.0, но перед использованием изменённой версии следует также проверить условия лицензии базовой модели и применимые ограничения.

Карточка модели jetmoe/jetmoe-8b-sft на Hugging Face совпадает с карточкой jetmoe/jetmoe-8b, поэтому описание составлено по ней. JetMoE-8B — открытая языковая модель семейства JetMoE, созданная Yikang Shen, Zhen Guo, Tianle Cai и Zengyi Qin. Она предназначена для генерации текста и может служить базой для дообучения и исследовательских экспериментов. Авторы сообщают, что модель обучена на 1,25 трлн токенов из общедоступных наборов данных. Архитектура состоит из 24 блоков, в каждом из которых есть слой смеси голов внимания (MoA) и слой смеси экспертов MLP (MoE). В каждом слое восемь экспертов, из которых для токена активируются два. README указывает 8 млрд параметров всего и 2,2 млрд активных параметров при выводе; метаданные Hugging Face указывают размер 1,6 млрд параметров. Модель принимает текст, генерирует текст и имеет контекстное окно 4096 токенов. Авторы заявляют о конкурентных результатах относительно ряда моделей большего размера и о сравнительно низкой стоимости обучения, однако приведённые в карточке таблицы неполны, поэтому независимо оценить эти сравнения по ней нельзя. Модель доступна в формате safetensors под лицензией Apache-2.0; карточка сообщает об открытом коде и обучении только на публичных данных.

L3SAO-Mix-SuperHermes-NovaPurosani-8B — объединённая текстовая модель ZeroXClem на архитектуре Llama 3.1. Она создана методом Della Linear из ZeroXClem/Llama3.1-Hermes3-SuperNova-8B-L3.1-Purosani-2-8B и Casual-Autopsy/L3-bluuwhale-SAO-MIX-8B-V1_fp32-merge-calc; в метаданных базовой моделью указана первая из них. Модель содержит 7,5 млрд параметров, поддерживает контекст до 131 072 токенов и распространяется в формате safetensors по лицензии Apache-2.0. Модель предназначена для следования инструкциям, диалогов, ролевых сценариев и генерации длинных текстов. Её можно применять для интерактивных историй, разработки персонажей и игровых диалогов, а также для подготовки черновиков статей, романов и отчётов, суммаризации и задач ассистента. Карточка заявляет сочетание возможностей Hermes 3 и bluuwhale, но не приводит сравнительных оценок или результатов испытаний. Указанные языки — английский и русский; специальных ограничений применения в карточке не описано.

Farggin/Lobo-Qwen3.8-27B-GSQ-RCO-IQ3_S-MTP-GGUF — это одnofайловая GGUF-сборка модели Qwen3.8-27B, разработанная для проекта Lobo. В основе лежит базовая модель Qwen/Qwen3.8-27B, а сборка оптимизирована как inference appliance для одной видеокарты NVIDIA RTX 5070 Ti с 16 ГБ памяти и архитектурой SM120. Модель предназначена для генерации текста и запуска локальных сценариев инференса через runtime Lobo, включая профили Balanced и headless. Модель содержит 27 миллиардов параметров и использует квантизацию IQ3_S с компонентами IQ4_XS и IQ3_S, тогда как небольшие нормализационные тензоры сохранены в F32. В сборку добавлены тензоры MTP; при этом заявлено сохранение исходных весов без дополнительного обучения или приближения. Формат GGUF и размер файла около 11,98 млрд байт позволяют разместить модель в памяти целевой видеокарты с использованием специализированной конфигурации. Сведения о поддерживаемых языках и размере контекстного окна в README не указаны. Сильной стороной модели является адаптация к ограниченному локальному GPU-ресурсу, а также воспроизводимая сборка с зафиксированными версиями исходных компонентов и контрольной суммой. Ограничение состоит в том, что официально заявленная совместимость относится к Windows 11, CUDA 13.3 и NVIDIA SM120; поддержка других платформ не гарантируется. Исходные веса распространяются по лицензии Apache-2.0 с сохранением атрибуции, а runtime Lobo распространяется отдельно на условиях, совместимых с MIT.

Louis_GRC-7B-slerp-M1 — объединённая автором LouisGRC текстовая модель на архитектуре Mistral, созданная методом slerp с помощью LazyMergekit из liminerity/M7-7b и yam-peleg/Experiment20-7B. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста и диалогового взаимодействия. Веса опубликованы в формате safetensors. Карточка не описывает специализированные области применения или результаты оценки качества; лицензия в предоставленных данных не указана.

Lumina-5.5-Instruct — диалоговая модель семейства Mixtral, созданная Ppoyaa с помощью LazyMergekit. Она предназначена для генерации текста в чате и использует архитектуру Mixture of Experts (MoE). В README заявлено 32 млрд параметров и контекст до 32 тыс. токенов; метаданные Hugging Face указывают 12,3 млрд параметров. Размер поэтому указан противоречиво. Модель основана на Ppoyaa/Lumina-5-Instruct и классифицирована в метаданных как дообучение этой модели. Опубликована в формате Safetensors; доступны отдельные варианты GGUF от mradermacher. Лицензия — Apache-2.0. Оценки Open LLM Leaderboard в README обозначены как ожидаемые.

MaziyarPanahi/M7T3qm7xp_T3qm7xpStrangemerges_32 — объединённая разработчиком модель Mistral для генерации текста. Она создана слиянием automerger/M7T3qm7xp-7B и automerger/T3qm7xpStrangemerges_32-7B и содержит 7,1 млрд параметров. Модель подходит для генерации текста и диалоговых сценариев на основе текстового ввода. Архитектура — плотная MistralForCausalLM, максимальная длина контекста составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0. Карточка не описывает языковую специализацию или конкретные ограничения качества.

M7Yamshadowexperiment28_Experiment26T3qm7xp — объединённая модель MaziyarPanahi на архитектуре Mistral для генерации текста и диалогов. Она содержит 7,1 млрд параметров, принимает текст и поддерживает контекст до 32 768 токенов. Веса опубликованы в формате Safetensors. Модель объединяет automerger/M7Yamshadowexperiment28-7B и automerger/Experiment26T3qm7xp-7B. Она подходит для генерации ответов и продолжения текста; сведения о специализации по языкам и предметным областям в карточке отсутствуют. Модель распространяется по лицензии Apache-2.0.

MeliodasPercival_01_Experiment27Experiment29 — объединённая модель, созданная из automerger/MeliodasPercival_01-7B и automerger/Experiment27Experiment29-7B. Она предназначена для генерации текста и диалогов. Модель построена на архитектуре Mistral с плотной авторегрессионной языковой моделью, содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель опубликована в формате Safetensors под лицензией Apache-2.0. Сведения о языковой специализации и конкретных ограничениях в карточке не приведены.

MeliodasPercival_01_Strangemerges_32Strangemerges_30 — объединённая языковая модель, собранная из automerger/MeliodasPercival_01-7B и automerger/Strangemerges_32Strangemerges_30-7B. Она построена на архитектуре Mistral с причинным языковым декодером и содержит 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов, поддерживает контекст до 32 768 токенов. Модель принимает текст и выдаёт текст. Репозиторий содержит веса в формате Safetensors; лицензия — Apache-2.0. Данные карточки не описывают отдельные преимущества модели или специальные ограничения качества.

Карточка модели anas89ji/Ming-flash-omni-Preview на Hugging Face совпадает с карточкой inclusionAI/Ming-flash-omni-Preview, поэтому описание составлено по ней. Ming-flash-omni Preview — предварительная мультимодальная модель компании inclusionAI, дообученная на основе Ling-flash-2.0. Это разреженная MoE-модель с 100 млрд параметров, из которых активны 6 млрд на токен; архитектура указана как BailingMM2NativeForConditionalGeneration. Модель принимает текст, изображения, аудио и видео и может выдавать текст, изображения и аудио. Модель предназначена для мультимодального диалога: понимания изображений и видео, распознавания речи с учётом контекста и китайских диалектов, синтеза речи, генерации и редактирования изображений. Среди заявленных возможностей — генеративная сегментация, улучшенное сохранение сцены и идентичности при редактировании, а также отрисовка текста внутри изображений. Разработчик сообщает о сильных результатах на мультимодальных тестах, включая контекстное распознавание речи и распознавание 15 китайских диалектов. Модель опубликована под лицензией MIT. Это Preview-версия; карточка не приводит длину контекста и подробные требования к оборудованию. Для практического применения следует учитывать большой общий размер модели и проверять качество на целевых задачах.

MiniMax-M2.7-JANG_3L-CRACK — производная от MiniMaxAI/MiniMax-M2.7 модель, подготовленная Jinho Jang. Это причинная языковая модель архитектуры MiniMax M2 MoE: в README заявлены 230 млрд параметров, 256 экспертов и около 10 млрд активных параметров на токен. Каталог Hugging Face указывает 2,9 млрд параметров; размер модели также указан в README как 89 ГБ. Модель предназначена для генерации текста, диалога и рассуждений; по карточке она всегда формирует цепочку рассуждений перед ответом. Версия JANG_3L использует смешанную квантизацию для Apple Silicon: 8 бит для attention, 4 бита для эмбеддингов и 3 бита для экспертов. CRACK — заявленное авторами удаление отказов от ответа на уровне весов. Для запуска требуются инструменты с поддержкой JANG, в частности MLX Studio или jang-tools; README рекомендует MLX и vMLX. Контекст — 196 608 токенов. Метаданные отмечают английский, китайский и корейский языки, а также интерфейс вызова инструментов. Подходит для диалоговых помощников, генерации и анализа текста, а также задач рассуждения на компьютерах Apple Silicon с достаточной памятью. README приводит результаты MMLU и HarmBench, однако это собственные заявления авторов карточки. Модель может отвечать на запросы, от которых исходные защитные настройки обычно отказываются; применяйте её с учётом этого свойства. Также авторы указывают, что модель сохраняет ограничения исходной версии на воспроизведение защищённых авторским правом книг и текстов песен. Лицензия указана как other; README отдельно заявляет исследовательское и образовательное назначение.

MiniMax M2.7 JANGTQ + CRACK — производная модель Jinho Jang на базе MiniMaxAI/MiniMax-M2.7, предназначенная для генерации текста и диалогового рассуждения. Это разреженная MoE-модель: в README указаны 230 млрд параметров, 256 экспертов и около 10 млрд активных параметров на токен; метаданные каталога указывают 2,9 млрд параметров, поэтому размер модели в источниках расходится. Контекст составляет 196 608 токенов. Модель рассчитана на английский, китайский и корейский языки. Веса подвергнуты экстремальной квантизации JANGTQ: эксперты хранятся в 2-битном формате TurboQuant, а пути внимания, эмбеддинги и выходная голова — в 8-битном; README указывает размер файлов около 55 ГБ. CRACK — вмешательство в веса, удаляющее защитные отказы. Модель ориентирована на запуск через MLX на Apple Silicon; README называет MLX Studio и пакет jang-tools поддерживающими её средствами. Лицензия обозначена как other, поэтому условия распространения следует сверять с карточкой репозитория.

Mistral-7B-Instruct-v0.1 — чат-модель Mistral AI, полученная дообучением Mistral-7B-v0.1. Она предназначена для диалогов и генерации ответов на запросы; архитектура — плотная авторегрессионная MistralForCausalLM с 7,1 млрд параметров и контекстом до 32 768 токенов. README показывает форматирование запросов через токенизатор Mistral и генерацию текста с помощью mistralinference. Модель подходит для диалоговых приложений, ответов на вопросы и демонстрации адаптации базовой модели к инструкциям. По README, у неё нет механизмов модерации, поэтому выходы могут не соответствовать требованиям приложений, которым нужны встроенные защитные ограничения. Лицензия — Apache-2.0.

Это разговорная языковая модель Arcee-ai, созданная на основе Mistral-7B-Instruct-v0.2 с помощью прореживания слоёв. Авторы применили идеи из работы «The Unreasonable Ineffectiveness of the Deeper Layers» и инструменты MergeKit и PruneMe, чтобы сократить избыточность глубоких слоёв. Модель имеет плотную архитектуру MistralForCausalLM, около 5,4 млрд параметров и контекст до 32 768 токенов; распространяется в формате safetensors и рассчитана на работу через Transformers. Модель предназначена для генерации связного текста в диалоге, а также может служить основой для дообучения и продолжения предобучения под конкретные задачи. README заявляет о сохранении исходных возможностей при меньших требованиях к ресурсам, однако не приводит результатов бенчмарков, поэтому качество и выигрыш эффективности следует проверять для целевого сценария. Лицензия в предоставленных данных не указана.

nztinversive собрал эту плотную языковую модель методом TIES с помощью mergekit на основе NousResearch/Llama-2-7b-hf, объединив веса Mistral-7B-Instruct-v0.2 и Orca-2-7b. Модель содержит 6,6 млрд параметров, распространяется в формате safetensors и предназначена для генерации текста по запросам и инструкциям. Максимальная длина контекста составляет 4096 токенов. Модель можно применять для диалоговых ответов, черновиков и других текстовых задач общего назначения. В карточке не указаны отдельные языковые предпочтения или специализированная предметная область. Лицензия в предоставленных данных не указана; качество и ограничения этого конкретного слияния отдельно не описаны.

bartowski/openchat-3.6-8b-20240522-GGUF — это набор GGUF-квантизаций языковой модели OpenChat 3.6 8B, разработанной командой OpenChat на базе Meta-Llama-3-8B. Квантизация выполнена bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы пользователя, при работе через llama.cpp и совместимые инструменты. Для корректного взаимодействия README указывает специальный шаблон промпта с ролями GPT4 Correct User и GPT4 Correct Assistant. Модель содержит около 8 миллиардов параметров в исходной версии и распространяется в нескольких вариантах квантизации от Q8_0 до IQ1_S, размером примерно от 2,01 до 8,54 ГБ. Варианты с более высокой разрядностью обычно обеспечивают лучшее качество, а компактные варианты снижают требования к оперативной памяти. В README рекомендуются, в частности, Q6_K, Q5_K_M, Q5_K_S, Q4_K_M, Q4_K_S и некоторые IQ-варианты; наиболее сильно сжатые версии характеризуются заметным снижением качества. Сильная сторона набора — возможность локального запуска на системах с разным объёмом памяти при сохранении формата GGUF и совместимости с llama.cpp. Ограничения включают потери качества, зависящие от выбранной квантизации; сведения о поддерживаемых языках, размере контекстного окна, мультимодальности, результатах тестирования и специализированных ограничениях в README не указаны. Лицензия обозначена как llama3.