I.3Извлечение и структурирование данных

phi-3.1-qlora-blend-dpo — объединённая модель на архитектуре Phi-3, созданная ndavidson с помощью mergekit и метода TIES. В состав слияния входят microsoft/Phi-3-mini-4k-instruct и две модели ndavidson/phi-3.1-qlorablend-1 и ndavidson/phi-3.1-qlorablend-0; итоговая модель содержит 3,7 млрд параметров и распространяется в формате safetensors. Модель предназначена для диалогов и генерации текста. Она принимает текст и выдаёт текст, поддерживает контекст до 4096 токенов. В метаданных указана лицензия Apache-2.0. Данные карточки не описывают отдельные специализированные области применения или языки, поэтому модель можно охарактеризовать как общего назначения.

wls04/Qwen2.5-14B-AcaciaWL-Add — диалоговая языковая модель, дообученная разработчиком на базе Qwen/Qwen2.5-14B-Instruct с помощью TRL. Она предназначена для генерации текста и ответов в формате чата; пример карточки показывает запрос с открытым вопросом и генерацию ответа. Модель использует плотную архитектуру Qwen2 и содержит 14 млрд параметров. Она работает с текстом, поддерживает контекст до 32 768 токенов и распространяется в формате safetensors для Transformers. Лицензия в доступных данных не указана.

Qwen2.5-7B-TitanFusion — объединённая языковая модель на основе Qwen2.5-7B, созданная автором репозитория с помощью mergekit и метода Model Stock. В объединение вошли FourOhFour/Vapor_7B, huihui-ai/Qwen2.5-7B-Instruct-abliterated-v2 и Qwen/Qwen2.5-7B. Модель имеет плотную архитектуру Qwen2ForCausalLM и 7,1 млрд параметров; доступна в формате safetensors для библиотеки Transformers, а заявленная длина контекста составляет 131 072 токена. Модель предназначена для генерации текста и диалогового взаимодействия. Её можно применять для составления ответов, черновиков и продолжения текста; метаданные также отмечают интерфейс вызова инструментов. README не приводит оценок качества или конкретных тестов. Лицензия в предоставленных данных не указана.

Parda21/Qwen3-4B-NWC — версия языковой модели Qwen3-4B, представленная в формате Neural Weight Compression (NWC). Линейные слои и связанные эмбеддинги хранятся в сжатом BF16-виде; веса восстанавливаются непосредственно CUDA-ядром при умножении матриц. По заявлению автора, веса побитово совпадают с исходной моделью и не квантизированы. Репозиторий содержит 3,7 млрд параметров и рассчитан на контекст до 40 960 токенов. Модель предназначена для генерации текста и диалогов. По сравнению с исходной версией BF16 автор сообщает о сокращении размера весов с 8,04 до 5,55 ГБ, использовании видеопамяти с 8,10 до 5,67 ГБ и скорости 55 против 45 токенов в секунду на RTX 4070 в указанном режиме. Для запуска нужны библиотека nwc, Transformers, Accelerate и CUDA; специальный формат требует поддержки NWC. Лицензия весов — Apache-2.0, как у базовой модели.

litert-community/Qwen3-4B-Thinking-2507 — это квантизированная версия модели Qwen3-4B-Thinking-2507, разработанной командой Qwen и преобразованной в формат LiteRT-LM для локального вывода на устройствах. Модель предназначена для генерации текста и задач, требующих пошагового рассуждения: перед итоговым ответом она формирует цепочку рассуждений в блоке <think>…</think>. Основные сценарии — on-device и edge-инференс на компьютерах, мобильных устройствах и одноплатных компьютерах с использованием runtime Google LiteRT-LM. Модель представляет собой плотную causal language model архитектуры Qwen3ForCausalLM с 4 млрд параметров и 36 слоями. Доступны артефакты с INT4-квантизацией: вариант с блоком 128 размером около 2,3 ГБ и динамический вариант с блоком 32 размером около 2,1 ГБ; для первого также используются INT8-эмбеддинги и целочисленные вычисления. Контекст KV-кэша составляет 4096 токенов. Производительность зависит от устройства и backend: на Apple M4 Max с Metal GPU заявлены около 68,5 токенов/с при декодировании и задержка до первого токена около 0,28 с, а на Raspberry Pi 5 — около 1,5 токена/с. Сильные стороны модели — поддержка локального выполнения, относительно компактный размер, оптимизации LiteRT-LM для GPU и сохранение значительной части качества исходной модели после INT4-квантизации: на GSM8K указано 86% против 90% у reference-версии в формате bfloat16. Ограничения включают зависимость скорости от аппаратной платформы, сокращение качества из-за квантизации и необходимость выделять достаточно большой лимит генерации: рекомендуется max_tokens не менее 2048, иначе цепочка рассуждений может быть оборвана до появления ответа. Модель распространяется по лицензии Apache-2.0.

Карточка модели speakguru/Qwen3-Omni-30B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Omni-30B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Omni-30B-A3B-Instruct — мультимодальная модель общего назначения от команды Qwen компании Alibaba. Она принимает текст, изображения, аудио и видео и формирует потоковые ответы текстом и естественной речью; вариант Instruct включает компоненты Thinker и Talker. Архитектура MoE использует разделение на Thinker и Talker, а модель рассчитана на низколатентное взаимодействие в реальном времени и управление поведением через системные промпты. Модель предназначена для голосовых диалогов, распознавания и понимания речи, описания аудио и видео, а также ответов на вопросы по изображениям и смешанным мультимодальным входам. README заявляет поддержку 119 языков для текста, 19 языков для речевого ввода и 10 для речевого вывода; среди явно перечисленных языков речи есть русский. В примере запуска указан максимальный контекст 65 536 токенов. Для работы предлагаются Transformers и vLLM; README отмечает, что на момент публикации требовалась установка Transformers из исходников. Лицензия в метаданных обозначена как other, без уточнения условий.

Qwen-Qwen3.8-27B-MTPLX — модель генерации текста, созданная на основе Qwen/Qwen3.8-27B и адаптированная для Apple Silicon с использованием MLX. Модель разработана в формате MTPLX командой или проектом MTPLX Forge и предназначена для локального запуска на устройствах Apple Silicon. Модель использует подход multi-token prediction, позволяющий предсказывать несколько токенов за один шаг и ускорять генерацию по сравнению с авторегрессионным базовым режимом. Указан размер базовой модели 27B параметров. Модель поддерживает текстовый ввод и вывод; сведения о языках, размере контекста и дополнительных модальностях в README не приведены. По данным верификации, лучший режим имеет глубину D3, а ускорение относительно авторегрессионной базовой модели составляет 2,24 раза. Проверка проводилась на Apple M4 Pro с параметрами семплирования temperature 0,6, top_p 0,95 и top_k 20. Ограничения включают зависимость от экосистемы MLX и целевых устройств Apple Silicon, а также отсутствие подробных данных о качестве на бенчмарках и совместимости с другими платформами. Условия лицензирования в README не раскрыты: предлагается обратиться к файлу LICENSE.

Reflection-Llama-3.1-70B-ep2-working — рабочая версия модели Reflection от Matt Shumer, дообученная на основе Meta Llama 3.1 70B Instruct. Это плотная авторегрессионная языковая модель с 69,5 млрд параметров, рассчитанная на генерацию текста и диалоговое взаимодействие. Метаданные указывают контекст до 131 072 токенов и интерфейс для вызова инструментов. Модель предназначена для диалогов и генерации ответов с возможностью использовать инструменты. Автор описывает её как рабочую версию второго этапа обучения, которая немного уступает по мощности более поздней версии Reflection; README также сообщает, что третий этап ещё завершался. Модель опубликована в формате Safetensors и распространяется по лицензии Llama 3.1.

SciPhi-Self-RAG-Mistral-7B-32k-Mistral-7B-Instruct-v0.1 — объединённая методом SLERP чат-модель на архитектуре Mistral, созданная на основе Mistral-7B-Instruct-v0.1 и SciPhi-Self-RAG-Mistral-7B-32k. Модель содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для генерации ответов на инструкции и диалоговые запросы, в том числе для сценариев Self-RAG с поиском и использованием внешних материалов. Может применяться в чат-ботах и системах ответов на вопросы по документам. В карточке не приведены результаты оценки качества или сведения о поддерживаемых естественных языках. Файлы опубликованы в формате safetensors. Лицензия — Apache-2.0.

Sparse-Llama-3.1-8B-2of4 — разреженная версия Llama-3.1-8B, разработанная Neural Magic. Это авторегрессионная языковая модель с 2:4 структурированной разреженностью: в каждой группе из четырёх весов сохраняются два. Линейные операторы в блоках трансформера были прорежены с помощью SparseGPT, затем модель дообучали с дистилляцией знаний на 13 млрд токенов, чтобы восстановить качество. Размер модели — 7,5 млрд параметров, контекст — до 131 072 токенов; она принимает и генерирует текст. Модель предназначена для генерации текста и развёртывания языковых моделей с более эффективным использованием вычислений и памяти. README сообщает о результатах на OpenLLM и Mosaic Eval Gauntlet, близких к плотной версии Llama-3.1-8B, и описывает развёртывание через vLLM. Базовая модель поддерживает восемь языков, однако карточка не перечисляет их по отдельности. Лицензия — llama3.1; применение должно соответствовать её условиям.

Карточка модели conor9999/t5-large на Hugging Face совпадает с карточкой google-t5/t5-large, поэтому описание составлено по ней. T5-Large — языковая модель семейства Text-To-Text Transfer Transformer, разработанная Colin Raffel, Noam Shazeer и коллегами. Она преобразует текстовый ввод в текстовый вывод и обучалась в едином формате для разных задач обработки естественного языка. В карточке Hugging Face основная задача модели указана как перевод; размер версии в метаданных — 385,2 млн параметров, архитектура — T5ForConditionalGeneration. В README приведён размер 770 млн параметров, поэтому сведения о размере в источниках расходятся. Модель предназначена для перевода и может применяться после соответствующей настройки для суммаризации, ответов на вопросы, классификации и других текстовых задач. Заявленные языки — английский, французский, румынский и немецкий; длина контекста — 512 токенов. Предобучение проводилось на C4 и наборах данных для языковых задач. Модель доступна в форматах PyTorch, TensorFlow, Flax и safetensors. Лицензия — Apache 2.0. Возможности модели ограничены обучающими данными и контекстом; результаты могут содержать ошибки и отражать смещения данных. README не приводит подробных оценок качества или конкретных ограничений для отдельных сценариев.

TIES-Merging — объединённая диалоговая модель на базе Mistral-7B-Instruct-v0.2, созданная с помощью LazyMergekit. В слияние вошли Open-Orca/Mistral-7B-OpenOrca, openchat/openchat-3.5-0106 и WizardLM/WizardMath-7B-V1.1; применён метод TIES, итоговый формат весов — safetensors. Модель предназначена для генерации текста и ответов на инструкции в диалоговом режиме. Она может быть полезна для общения, выполнения запросов на естественном языке и решения математических задач. Архитектура — плотная MistralForCausalLM с 7,1 млрд параметров; контекст — до 32 768 токенов. Лицензия — Apache-2.0.

WestBeagle-7B — объединённая модель для генерации диалогового текста, созданная с помощью LazyMergekit путём слияния mlabonne/NeuralBeagle14-7B и FelixChao/WestSeverus-7B-DPO-v2. Это плотная модель семейства Mistral с архитектурой MistralForCausalLM и 7,1 млрд параметров; веса опубликованы в формате safetensors. Модель предназначена для чат-ботов и генерации ответов на текстовые запросы. Контекстное окно составляет 32 768 токенов. В README приведены результаты Open LLM Leaderboard: среднее значение 75,22, включая 72,27 на AI2 Reasoning Challenge и 88,29 на HellaSwag. Модель лицензирована по CC BY-NC 4.0, которая ограничивает коммерческое использование. Карточка не сообщает о специальных гарантиях качества или других ограничениях применения.

YamshadowStrangemerges_32_YamshadowT3q — объединённая языковая модель на архитектуре Mistral, созданная путём слияния automerger/YamshadowStrangemerges_32-7B и automerger/YamshadowT3q-7B. Модель содержит 7,1 млрд параметров и принимает текст для авторегрессионной генерации текста; максимальный контекст составляет 32 768 токенов. Она предназначена для генерации текста и ответов на математические запросы. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией Apache-2.0.

yuq-zhou/2026-05-o-b0p3-a1p0-gc0p5-exp-td4p0-tw5p0-r1-7-fixed-20260804 — исследовательский чекпойнт генеративной языковой модели в стандартном формате Hugging Face для загрузки через AutoModelForCausalLM. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и имеет контекстное окно до 131 072 токенов. Модель предназначена для генерации текста и диалогового взаимодействия; в метаданных также отмечен интерфейс вызова инструментов. Данные не описывают специализацию по задачам или языкам, поэтому сценарии применения ограничены общим использованием как чат-модели и генератора текста. Чекпойнт сохранён в формате safetensors и работает с библиотекой Transformers. Сведения о лицензии в предоставленных источниках отсутствуют.

Карточка модели qihoo360/360Zhinao-7B-Chat-360K на Hugging Face совпадает с карточкой qihoo360/360Zhinao-7B-Base, поэтому описание составлено по ней. 360Zhinao-7B-Base — базовая авторегрессионная языковая модель семейства 360Zhinao, разработанная командой 360 (Qihoo 360). Модель содержит 7,1 млрд параметров и обучена на корпусе объёмом 3,4 трлн токенов, преимущественно на китайском и английском языках, а также на коде. Это базовая, а не чат-версия; для диалогового применения в серии отдельно выпущены модели Chat. Модель предназначена для генерации текста и служит основой для задач понимания языка, работы со знаниями, математики, логических рассуждений и генерации кода. Она поддерживает контекст до 4096 токенов, построена на архитектуре ZhinaoForCausalLM и распространяется в формате safetensors для Transformers. README сообщает о сравнительной оценке базовой модели на наборах OpenCompass, включая C-Eval, MMLU, GSM8K и HumanEval. Лицензия — Apache-2.0. Как базовая языковая модель, она не настроена специально для следования инструкциям или ведения диалога; качество ответов зависит от промпта и сценария применения.

AISquare-Instruct-SOLAR-10.7b-v0.5.32 — инструкционная языковая модель команды UI Platform компании Inswave Systems. Она основана на upstage/SOLAR-10.7B-v1.0 и предназначена для генерации текста по запросам и инструкциям. Модель использует плотную архитектуру LlamaForCausalLM, содержит 10,6 млрд параметров и принимает текст; нативное окно контекста — 4096 токенов. В метаданных указан английский язык. Модель опубликована в формате PyTorch и распространяется по лицензии CC BY-NC 4.0, которая ограничивает коммерческое использование.

Apertus-SEA-LION-v4-8B-IT — многоязычная диалоговая языковая модель AI Singapore, разработанная при финансировании Национального исследовательского фонда Сингапура. Это плотная decoder-модель семейства Apertus с 10,3 млрд параметров по метаданным Hugging Face; в README она описана как модель на 8 млрд параметров. Модель дообучена на Apertus-8B-Instruct-2509 на примерно 6,4 млн пар инструкций и текстов, включая примеры для вызова инструментов. Использует токенизатор базовой модели и поддерживает контекст до 65 536 токенов. Модель предназначена для диалога и генерации текста с адаптацией к языкам и культурному контексту Юго-Восточной Азии. Она ориентирована на индонезийский, вьетнамский, тайский, филиппинский, тамильский, бирманский и малайский языки, а также обучалась на английском. Подходит для ответов на вопросы, многоходового чата, следования инструкциям, перевода, суммаризации и анализа тональности; карточка также сообщает о включении обучающих примеров для вызова инструментов. Модель распространяется по лицензии MIT. В README отмечены возможные галлюцинации и нерелевантные или непоследовательные ответы; устойчивость к состязательным запросам не проверялась, а отдельное выравнивание безопасности не проводилось.

ASTRA-32B-Thinking-v1 — дообученная модель на основе Qwen/Qwen3-32B, представленная авторами работы ASTRA: Automated Synthesis of Agentic Trajectories and Reinforcement Arenas. Это плотная языковая модель семейства Qwen3 на 29,7 млрд параметров с контекстом до 133 120 токенов, предназначенная для многошаговых задач с вызовом инструментов и структурированными рассуждениями. Модель обучали в два этапа: на примерах многоходового использования инструментов, а затем с помощью обучения с подкреплением и проверяемыми наградами в исполняемых средах. Модель рассчитана на агентные сценарии: планирование последовательностей вызовов инструментов, работу с их схемами и выполнение сложных задач в несколько шагов. В README заявлен результат уровня state of the art на многоходовой подвыборке BFCL-V3 для сопоставимого масштаба моделей. Метаданные также указывают интерфейс диалога и вызова инструментов. Модель распространяется под лицензией Apache-2.0; авторы описывают её как предназначенную для исследований и обучения и снимают с себя ответственность за последствия использования.

Atom-Olmo3-7B — языковая модель VANTA Research для диалога и совместного решения задач. Она создана дообучением Olmo-3-7B-Instruct с помощью LoRA и ориентирована на итеративное обсуждение идей, структурированный анализ и понятные образовательные объяснения. Модель содержит 6,9 млрд параметров, использует архитектуру Olmo3 и формат Safetensors; для диалога доступны текстовые входы и выходы. В карточке указана рекомендуемая длина контекста 4096 токенов, тогда как метаданные каталога указывают native context в 65536 токенов. Модель подходит для мозговых штурмов, объяснения сложных понятий, обобщения исследований и структурирования решений. Она рассчитана прежде всего на английский язык и может отвечать чрезмерно подробно; скорость генерации, по заявлению карточки, ниже примерно в пять раз по сравнению с более компактными специализированными моделями. Модель наследует ограничения знаний и возможные смещения базовой модели, поэтому факты следует проверять. Лицензия Apache 2.0 допускает коммерческое использование.

Barcenas-Qwen3.8-27B-Fable — плотная диалоговая модель на архитектуре Qwen3.5, созданная разработчиком Danielbrdz путём дообучения Qwen/Qwen3.8-27B на наборе saidutta69/fable-5-premium. В карточке она представлена как модель для генерации текста и работы с изображениями; поддерживает чат, а нативная длина контекста составляет 262 144 токена. В репозитории указано 22,3 млрд параметров и формат safetensors. Модель предназначена для диалогов и других задач генерации текста; разработчик отмечает, что обучение на данных чатов, дистиллированных из Claude Fable 5, призвано улучшить разговорные способности Qwen. Заявление о производительности, сопоставимой с GPT 5.6 Luna и более крупными моделями, приводится автором без результатов независимой оценки. Лицензия — Apache-2.0.

BLOSSOM-v4-qwen15-4b — диалоговая языковая модель, созданная на основе Qwen1.5-4B и дообученная командой Blossom на смешанных наборах данных Blossom Orca, Wizard, Chat и Math. Это плотная авторегрессионная модель семейства Qwen2 с 3,6 млрд параметров и контекстом до 32 768 токенов. Она принимает текстовые инструкции и историю диалога и генерирует ответы; обучение включало одноходовые инструкции и многоходовые беседы на китайском и английском языках. Модель предназначена для диалоговых помощников, ответов на вопросы, следования инструкциям и решения задач общего назначения, включая математические запросы. README описывает формат диалогового продолжения и шаблон промпта для одиночного и многоходового диалога. Модель опубликована в формате Safetensors по лицензии Apache-2.0. Карточка не приводит количественных оценок качества; результаты могут зависеть от формата промпта и выбранного сценария использования.

SvalTek/ColdBrew-Aphid-Large — разговорная причинно-языковая модель семейства Llama с 5,8 млрд параметров, созданная методом passthrough merge из SvalTek/ColdBrew-Aphid. Она предназначена для генерации текста и диалогов; интерфейс модели поддерживает вызов инструментов. Модель использует библиотеку Transformers и распространяется в формате safetensors. Контекстное окно — до 131 072 токенов. Модель подходит для диалоговых приложений, генерации ответов и сценариев с вызовом инструментов. В метаданных указана связь с SvalTek/ColdBrew-Aphid как с базовой моделью. Сведений о лицензии и специальных языковых возможностях в предоставленных данных нет.

Citaman/command-r-21-layer — языковая модель Cohere, созданная методом слияния SLERP на основе Citaman/command-r-22-layer. Модель содержит 19,4 млрд параметров, использует плотную архитектуру CohereForCausalLM и распространяется в формате safetensors для библиотеки Transformers. Модель предназначена для генерации текста и диалогов; в метаданных также отмечен интерфейс вызова инструментов. Она принимает текст и генерирует текст, поддерживает контекст до 8192 токенов. Данных о конкретных языках и специализированных областях применения нет. Карточка описывает слияние двух срезов одной базовой модели с использованием SLERP и конфигурации bfloat16. Лицензия в предоставленных данных не указана. Качество и ограничения модели отдельно не описаны; перед применением следует проверить корректность генерации и вызова инструментов в целевых сценариях.

Kaballas/Cyber20 — дообученная компанией Kaballas модель семейства Llama для генерации текста и диалогов. Она основана на Kaballas/Cyber18, содержит 7,5 млрд параметров и имеет контекстное окно до 131 072 токенов. Модель обучалась с использованием Unsloth и библиотеки Hugging Face TRL. Модель предназначена для генерации текста и общения на английском языке; метаданные также указывают поддержку чатового интерфейса и интерфейса вызова инструментов. Репозиторий содержит веса в формате safetensors. Модель распространяется по лицензии Apache-2.0.

Decision-2.0-Eos-0.8B — компактная плотная модель семейства Decision 2.0 от vLLM Semantic Router, дообученная на базе vllm-sr/Decision-1.0-Eos-0.8B. Принимает текст или JSON с контекстом и вопросами о кандидатах и за один проход оценивает варианты выбора, ответы «да/нет» и баллы, возвращая вероятности для ответов без генерации текста. Размер модели — 0,75 млрд параметров, длина контекста — 16 384 токена. Модель предназначена для классификации и ранжирования вариантов в сценариях принятия решений, когда по одному контексту нужно получить ответы на несколько вопросов. В README приведены результаты сравнительной оценки и медианное время 6 мс на один вопрос на одном GPU; эти показатели относятся к описанным условиям оценки. Репозиторий содержит веса safetensors и использует Transformers. Лицензия — Apache-2.0.

netcat420/DeepSeek-R1-Distill-Qwen-MFANN-Slerp-7b — языковая модель, созданная разработчиком netcat420 слиянием через SLERP двух предварительно обученных моделей: deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и netcat420/Qwen2.5-Coder-Scholar-7B-Abliterated-MFANN-Slerp-Unretrained. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и доступна в формате safetensors для библиотеки Transformers; заявленная длина контекста — 131 072 токена. Модель предназначена для диалогов и генерации текста. Базовая модель DeepSeek поддерживает многошаговые рассуждения, в том числе математические задачи и программирование; вторая модель в слиянии ориентирована на код и обучение. Метаданные также отмечают интерфейс вызова инструментов, но не содержат примеров или оценок его надёжности. В README не приведены сведения о лицензии, поэтому условия использования по доступным данным определить нельзя. Качество и поведение полученного слияния отдельно не оценены; свойства исходных моделей не гарантируют их сохранения в полном объёме.

DeepSeek-V4-Flash-4bit — модель для генерации текста в формате MLX, опубликованная сообществом mlx-community при поддержке Lambda.ai. Она предназначена для использования с библиотекой mlx-lm и поддерживает сценарии диалоговой генерации через chat template, если такой шаблон доступен в токенизаторе. Из доступных данных известно, что модель представлена в 4-битном варианте, что указывает на применение 4-битного квантования. README не содержит сведений об архитектуре, количестве параметров, поддерживаемых языках, размере контекста, дополнительных модальностях, сильных сторонах, ограничениях или лицензии. Для работы требуется библиотека mlx-lm; конкретные требования к оборудованию в карточке не указаны.

DIOD-Mistral-0.2 — диалоговая языковая модель на архитектуре Mistral, созданная дообучением OpenHermes-2-Mistral-7B. Для обучения использовался набор пар предпочтений argilla/distilabel-intel-orca-dpo-pairs. Модель предназначена для генерации ответов в диалоге и других сценариев общения с текстовым помощником. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Репозиторий содержит веса в формате Safetensors; в метаданных указаны английский язык и возможность чата. Лицензия — Apache-2.0.

FuseChat-Llama-3.1-8B-Instruct-GGUF — это набор квантованных версий инструкционной языковой модели FuseChat-Llama-3.1-8B-Instruct, разработанной FuseAI. Модель предназначена для генерации текста и диалоговых сценариев, включая работу с пользовательскими запросами в локальных приложениях на базе llama.cpp и LM Studio. Квантованные файлы представлены в формате GGUF и подготовлены bartowski с использованием llama.cpp и метода imatrix. Модель относится к классу текстовых генеративных моделей и имеет около 8 млрд параметров в исходной версии. Доступны варианты от F32 и F16 до различных форматов квантования Q8, Q6, Q5, Q4 и Q3, что позволяет выбирать между качеством, размером файла и требованиями к оперативной памяти. Размер файлов составляет примерно от 4,3 до 32,1 ГБ. Для работы предусмотрен специальный шаблон промпта с ролями system, user и assistant. Сильной стороной набора является широкий выбор квантований: варианты Q6 и Q5 ориентированы на высокое качество, а Q4 и Q3 — на снижение требований к памяти. Некоторые файлы оптимизированы для ARM или AVX, однако отдельные варианты не рекомендуются для Mac или GPU. README не содержит сведений о поддерживаемых языках, размере контекстного окна, точной архитектуре, результатах оценки и лицензии, поэтому эти характеристики нельзя подтвердить.