I.12Рекомендации и персонализация

megatron_1.1_MoE_2x7B — разговорная языковая модель на архитектуре Mixtral с механизмом смеси экспертов (MoE). Карточка приводит результаты оценки на Open LLM Leaderboard, включая средний балл 69,94, 65,53 на AI2 Reasoning Challenge и 84,52 на HellaSwag. Модель предназначена для генерации текста в диалогах и решения задач на рассуждение и понимание текста. Она содержит 7,1 млрд параметров и поддерживает контекст до 8192 токенов. В репозитории используются веса safetensors; лицензия — Apache-2.0.

MiniMax-M2.7-MXFP4-Mixed-CT-AutoRound — смешанная MXFP4-версия MiniMax-M2.7, подготовленная Intel с помощью AutoRound в режиме RTN. Это языковая модель для генерации текста и диалогового общения; в примере применения показан запуск через vLLM с поддержкой выбора инструментов и разбора вызовов инструментов. В тестах карточки приведены результаты на AIME 2025, GPQA Diamond, GSM8K и PIQA; сравнение с исходной версией показывает близкие значения на этих наборах. Модель распространяется в формате safetensors и имеет 8-битную маркировку в метаданных, при этом README описывает вариант MXFP4. Для запуска в примере используется контекст до 102 400 токенов и несколько GPU; это параметры примера инференса, а не подтверждённый нативный размер контекста. Применяется лицензия исходной MiniMax-M2.7; её конкретные условия следует проверять в карточке базовой модели. Модель может выдавать фактически неверные, предвзятые или оскорбительные ответы, поэтому перед использованием требуется оценка безопасности.

FriendliAI публикует эту версию Mistral-7B-Instruct-v0.2, квантованную в FP8 для более эффективного инференса; исходную модель разработала Mistral AI. Это плотная авторегрессионная языковая модель Mistral с 7,1 млрд параметров, предназначенная для генерации текста и диалоговых ответов на инструкции. Контекстное окно составляет 32 768 токенов. Модель принимает текст и генерирует текст. Её можно использовать для чат-ботов, ответов на вопросы и выполнения текстовых инструкций. Для запуска в README указан Friendli Container; FP8 поддерживается на GPU NVIDIA Ada, Hopper и Blackwell. Лицензия — Apache-2.0. README предупреждает, что у исходной instruct-модели нет механизмов модерации, поэтому её ответы могут требовать отдельного контроля.

Модель thewordsmiths/Mistral-7B-v0.3_sft_merged_100000 — дообученная разработчиком thewordsmiths версия языковой модели Mistral-7B-v0.3. Она предназначена для генерации текста и может использоваться в приложениях, где требуется создавать продолжения или ответы на текстовые запросы. Модель имеет плотную архитектуру MistralForCausalLM и 7,1 млрд параметров, принимает текст и генерирует текст. Контекст составляет до 32 768 токенов, язык карточки модели — английский. Для обучения использовались Unsloth и библиотека TRL; веса доступны в формате safetensors. Лицензия — Apache-2.0.

NeuralLogic-7B-V — языковая модель на архитектуре Mistral, созданная Kukedlc слиянием моделей Kukedlc/Triunvirato-7b и mlabonne/NeuralHermes-2.5-Mistral-7B методом SLERP с помощью LazyMergekit. Модель содержит 7,1 млрд параметров и рассчитана на генерацию текста; базовые модели описаны как диалоговые и настроенные на выполнение инструкций. Модель подходит для диалоговых сценариев, ответов на инструкции и генерации текста. Заявленный размер контекста — 32 768 токенов. Репозиторий содержит веса в формате safetensors; лицензия в предоставленных данных не указана.

ChaoticNeutrals/Prima-LelantaclesV5-7b — слитая методом DARE TIES текстовая модель на архитектуре Mistral, опубликованная ChaoticNeutrals. В объединение вошли Test157t/Pasta-Lake-7b и Test157t/Prima-LelantaclesV4-7b-16k; README указывает, что обе модели использованы с весом 1. Модель содержит 7,1 млрд параметров, распространяется в формате safetensors и рассчитана на генерацию текста с контекстом до 32 768 токенов по метаданным.

Qwen1.5-MoE-A2.7B-Chat — диалоговая языковая модель на архитектуре Transformer с декодером и смесью экспертов (MoE), разработанная командой Qwen. Она создана на основе Qwen-1.8B и предназначена для генерации текста в чате и ответов на запросы. По карточке модели, всего в ней 14,3 млрд параметров, из которых при генерации активируются 2,7 млрд; каталог Hugging Face указывает 1,5 млрд параметров. Контекст модели — до 32 768 токенов. Разработчики сообщают о сопоставимой с Qwen1.5-7B производительности при меньших затратах на обучение и о более высокой скорости инференса. Карточка советует использовать параметры генерации из generation_config.json при проблемах с переключением языков или других нежелательных результатах. Модель рассчитана на текстовый ввод и выдачу текста; в метаданных указан английский язык. Лицензия обозначена как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

philbert440/Qwen3.6-40B-DeckardUncensored-OpusDistilled-HermesCalibrated-W4A16-AWQ — мультимодальная vision-language модель семейства Qwen3.6, разработанная philbert440. Она предназначена для генерации текста по текстовым и визуальным входным данным, а также для сценариев с использованием инструментов и function calling. Модель относится к коллекции Deckard-40B Uncensored и прошла Hermes-калибровку для задач работы с инструментами. Модель имеет размер 40B параметров и использует 4-битное квантование весов W4A16-AWQ с FP16-активациями и форматом compressed-tensors. Указана совместимость с 1Cat-vLLM на Tesla V100 с архитектурой SM70, включая режим TurboMind, а также со стандартным vLLM на GPU Ampere и новее. README не содержит сведений о поддерживаемых языках и максимальной длине контекста. К сильным сторонам относятся мультимодальность, поддержка tool use и function calling, а также возможность запуска крупной модели в квантованном формате на ограниченных GPU-ресурсах. Модель позиционируется как abliterated, то есть из неё удалены отказы, связанные с механизмами безопасности; это может расширять диапазон ответов, но повышает риски небезопасного или неправомерного использования и требует самостоятельного контроля со стороны пользователя. Модель распространяется по лицензии Apache-2.0.

TheCluster/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS — модель семейства Qwen3.8 с 27 млрд параметров, опубликованная TheCluster. Она преобразована в формат MLX из KridgeDookie/Qwen3.8-27B-ABLITERATED-UNCENSORED-PHILADELPHIA-CLASS с использованием mlx-vlm 0.6.13. По метаданным модель предназначена для сценариев image-text-to-text и поддерживает работу с текстом и изображениями в совместимых фреймворках. Модель использует смешанное квантование: большинство тензоров представлены в 8-битном аффинном формате с размером группы 32, а отдельные важные тензоры сохранены в bf16. Итоговая точность составляет 9,450 бит на вес, что снижает требования к памяти по сравнению с полноразмерной моделью, но может ограничивать качество относительно исходной версии. Заявлена поддержка множества языков, включая английский, китайский, русский, испанский, французский, немецкий, японский, корейский, арабский, украинский и другие; размер контекста в README не указан. Модель ориентирована на универсальные задачи генерации и анализа с заявленным режимом без ограничений содержательного характера. По умолчанию reasoning_effort установлен в low, чтобы избегать избыточного рассуждения. Для режима рассуждений рекомендуются temperature 1.0, top_p 0.95 и top_k 20, а для instruct-режима — temperature 0.7, top_p 0.80, top_k 20 и presence_penalty 1.5. Повышение presence_penalty может уменьшать повторения, но иногда приводит к смешению языков и снижению качества. Лицензия — Apache-2.0.

minjaechoi/qwen3next-80b-a3b-2p25bit-r24 — исследовательский вариант Qwen3-Next-80B-A3B-Thinking с разреженной MoE-архитектурой. Веса маршрутизируемых экспертов усечены до среднего уровня 2,25 бита, остальные веса хранятся в BF16; тензоры весов сохранены в BF16 после деквантизации. Модель предназначена для генерации текста и диалоговых сценариев, включая сложные рассуждения и работу с длинным контекстом; метаданные указывают контекст длиной до 262 144 токенов и интерфейс вызова инструментов. Размер в метаданных указан как 2,3 млрд параметров. Репозиторий использует библиотеку Transformers и формат safetensors. README сообщает, что загрузка возможна через стандартные Transformers и vLLM. Модель основана на Qwen/Qwen3-Next-80B-A3B-Thinking; лицензия наследуется от базовой модели, поэтому её условия следует проверять в карточке базы. README обозначает её как внутренний исследовательский чекпойнт.

QwQ-LCoT1-Merged — объединённая текстовая языковая модель, созданная prithivMLmods методом Model Stock с помощью mergekit. В объединение вошли QwQ-LCoT-7B-Instruct и QwQ-LCoT2-7B-Instruct, а базовой моделью служит Qwen/Qwen2.5-7B-Instruct. Модель построена на архитектуре Qwen2, содержит 7,1 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель предназначена для диалогов, следования инструкциям, генерации текста и решения задач, требующих логических рассуждений и пошагового анализа. Она работает с текстом и может использоваться для составления подробных объяснений и структурированных ответов. Ограничения по качеству и языковому охвату в карточке не описаны; возможности рассуждения не гарантируют правильность ответов. Файлы опубликованы в формате safetensors, библиотека — Transformers. Лицензия в предоставленных данных не указана.

RQwen-v0.1 — диалоговая языковая модель, разработанная ehristoforu и дообученная методом SFT на базе Qwen/Qwen2.5-14B-Instruct с использованием Unsloth и Transformers. Она предназначена для генерации текста и общения в формате ChatML на английском и русском языках. Модель имеет плотную архитектуру Qwen2, 14 млрд параметров и контекстное окно длиной 32 768 токенов. В карточке отмечены reflection tuning, работа с логикой и длинным контекстом, а метаданные указывают поддержку следования инструкциям и интерфейса вызова инструментов. Для модели заявлена лицензия Apache-2.0.

WarpQuant Qwen3.5-4B R16E4 Text — текстовая версия чекпойнта Qwen3.5-4B, опубликованная HarimxChoi. Это плотная авторегрессионная языковая модель с 3,4 млрд параметров для генерации текста и диалога; она принимает текст и выдаёт текст. Контекст модели составляет до 262 144 токенов, в карточке указаны английский и корейский языки. Веса проекций сжаты методом block-GPTQ до INT3 с преобразованием signed Hadamard и восстановлением выбранных столбцов BF16 по Output-Fisher; эмбеддинги токенов используют групповой INT4. Репозиторий хранит значения в формате safetensors, совместимом с BF16. В README приведены результаты для базовой модели и других форматов, но отдельные метрики именно для этой версии не приведены. Модель предназначена для текстовой генерации и диалога, в том числе с длинным контекстом. Это текстовый экспорт: возможности понимания изображений исходной мультимодальной модели сюда не входят. Для запуска README указывает на необходимость актуальной основной ветки Transformers. Лицензия — Apache-2.0.

Xenon1/Xenon-2 — диалоговая языковая модель, разработанная на основе Mistral-7B-v0.1 и дообученная на наборе Ultrafeedback с применением подходов из статьи Self-Rewarding Language Models. Модель использует плотную архитектуру Mistral с Grouped-Query Attention, Sliding-Window Attention и токенизатором Byte-fallback BPE; содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для генерации текста в ответ на инструкции и ведения диалога. Она принимает сообщения в формате Mistral с маркерами [INST] и [/INST], а также поддерживает шаблон чата Transformers. В метаданных указан английский язык. Веса опубликованы в формате safetensors под лицензией Apache-2.0.

VMware/xgen-7b-8k-open-instruct — языковая модель VMware с архитектурой LLaMA, дообученная для выполнения инструкций на основе SalesForce/xgen-7b-8k-base. Модель содержит 6,7 млрд параметров и поддерживает контекст до 8192 токенов; для токенизатора требуется библиотека tiktoken и параметр trust_remote_code=True. Модель предназначена для генерации ответов на инструкции и zero-shot рассуждений, в том числе на примерах из наборов Flan v2. Карточка описывает обучение на 140 тысячах инструкционных примеров, включая Open-instruct и подмножество задач COT. Указана лицензия CC BY 3.0; README заявляет возможность коммерческого использования.

Zelensky — экспериментальная командная модель V1, созданная автором nisten на основе семейства Qwen2.5. По карточке, модель обучали один проход с низкой скоростью обучения и многократно объединяли с тремя другими моделями; метаданные также указывают связь merge с Qwen/Qwen2.5-72B-Instruct и другими вариантами Qwen2.5 и ChatWaifu. Это плотная причинно-языковая архитектура Qwen2 с 76,7 млрд параметров и контекстом до 98 304 токенов. Модель предназначена для диалогов и генерации текста; каталог также отмечает интерфейс вызова инструментов. В карточке упоминаются прогоны GPQA Diamond Zero-shot на LM Eval Harness, но результаты оценки не приведены. Указана лицензия MIT, а автор отдельно отмечает, что продолжает действовать лицензия Qwen.

Zenith-7B-dpo-v3 — разговорная языковая модель Xenon1 на 7,1 млрд параметров, созданная дообучением Mistral-7B-v0.1 на датасете UltraFeedback с применением методов из работы Self-Rewarding Language Models. Модель предназначена для генерации текста в ответ на инструкции и диалоговые запросы; для форматирования запросов используется шаблон Mistral с маркерами [INST] и [/INST]. Архитектура — плотный трансформер Mistral с Grouped-Query Attention и Sliding-Window Attention; поддерживаемый контекст — до 32 768 токенов. Модель работает с текстом и ориентирована прежде всего на английский язык. В карточке приведены результаты на ARC Challenge, HellaSwag, TruthfulQA и Winogrande. Модель распространяется в формате safetensors по лицензии Apache-2.0.

OpenCSG Agentic-30B-A3B — первая модель серии OpenCSG Agentic, дообученная для локальных и корпоративных ИИ-агентов, выполнения Skills и работы с инструментами. Она предназначена для сценариев, где агенту нужно следовать инструкциям, выбирать навык, формировать аргументы, анализировать ответы инструментов и выполнять многошаговые задачи в нескольких системах. В основе лежит Qwen/Qwen3-30B-A3B с архитектурой MoE Qwen3MoeForCausalLM: в README указаны 30,53 млрд параметров всего и около 3,3 млрд активных на токен, 128 экспертов и 8 активных экспертов. Модель выпущена в BF16, поддерживает контекст до 40 960 токенов и ориентирована на китайский и английский языки. Для запуска авторы приводят измерения на одной NVIDIA A800 80 ГБ с vLLM. Сильная сторона модели — обучение на сценариях вызова инструментов и восстановления после ошибок; среди приведённых удачных примеров — управление почтой и календарём, CRM и планирование проектов. Оценка Agentic Eval также показывает заметное снижение результатов на сложных, длинных и межсистемных задачах, особенно на китайском языке. Авторы рекомендуют проверять результаты и требовать подтверждения человека для чувствительных операций. Лицензия указана как other; условия использования следует сверять с лицензионным соглашением репозитория.

GLM4-32B-Neon-v2-GGUF — это квантизированная версия языковой модели GLM4-32B-Neon-v2, разработанной allura-org и подготовленной в формате GGUF пользователем bartowski. Модель предназначена для генерации текста и запуска в локальных приложениях, совместимых с llama.cpp, включая LM Studio. В карточке указана поддержка английского языка и лицензия MIT. Модель содержит 32 млрд параметров; доступны варианты от BF16 до различных форматов квантизации Q8, Q6, Q5, Q4, Q3 и IQ. Квантизация выполнена с использованием imatrix на базе llama.cpp release b5228. Старшие варианты обеспечивают более высокое качество, а младшие требуют меньше оперативной памяти, но могут заметно уступать по качеству. Для работы рекомендуется использовать указанный формат промпта с системным сообщением, пользовательским запросом и ответом ассистента. Это текстовая модель: сведения о поддержке изображений, аудио, других модальностей, размере контекста и архитектурных особенностях в README не приведены. Для запуска необходима совместимая инфраструктура llama.cpp и объём памяти, соответствующий выбранному файлу; размеры файлов варьируются примерно от 13,66 до 65,14 ГБ.

Bernstein-120b — объединённая языковая модель, созданная с помощью mergekit линейным слиянием моделей ShinojiResearch/Senku-70B-Full и Sao10K/Euryale-1.3-L2-70B. Модель разработана авторами карточки bcse/Bernstein-120b; архитектура — плотная LlamaForCausalLM, размер — 120,1 млрд параметров, формат весов — Safetensors. Она предназначена для генерации текста и диалогового взаимодействия, поддерживает контекст до 32 764 токенов. Модель принимает текст и генерирует текст; заявленный pipeline — text-generation. Карточка также указывает доступность квантованных вариантов Bernstein-120b в репозиториях mradermacher. Данные не описывают конкретную специализацию по предметной области или языкам. Лицензия в предоставленных сведениях не указана; условия использования следует сверить с карточкой модели и лицензиями исходных моделей.

Citaman/command-r-25-layer — слитая с помощью mergekit методом SLERP языковая модель на архитектуре Cohere для генерации текста и диалогов. В README указано объединение двух диапазонов слоёв одной модели Citaman/command-r-26-layer; метаданные также связывают её с этой базовой моделью. Модель содержит 22,6 млрд параметров, работает с текстом и имеет контекстное окно 8192 токена. Метаданные отмечают поддержку чата и интерфейса вызова инструментов. Модель подойдёт для диалоговых приложений и генерации текста. В README не приведены оценки качества или результаты тестирования. Репозиторий содержит веса в формате Safetensors; лицензия в предоставленных данных не указана.

DareVox-7B — объединённая языковая модель на архитектуре Mistral, созданная из Mistral-7B-v0.1, OpenHermes-2.5-Mistral-7B, Slerp-CM-mist-dpo и Starling-LM-7B-alpha. Модель разработана для генерации текста; в конфигурации указаны метод слияния dare_ties и точность bfloat16. Модель содержит 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Её можно применять для диалогов, составления текстов и ответов на запросы. Репозиторий распространяется по лицензии Apache-2.0.

NVIDIA DeepSeek-V3.1-NVFP4 — квантизированная версия авторегрессионной языковой модели DeepSeek-V3.1, подготовленная NVIDIA с помощью TensorRT Model Optimizer. Архитектура основана на трансформере DeepseekV3ForCausalLM; модель содержит 37,6 млрд параметров и поддерживает контекст до 163 840 токенов. Принимает текстовые последовательности и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для разработчиков, которым нужна готовая к развёртыванию языковая модель для чат-ботов, AI-агентов, RAG-систем и других приложений. Квантизация весов и активаций линейных операторов до FP4 сокращает требования к диску и памяти GPU примерно в 1,6 раза. Для инференса предусмотрен TensorRT-LLM; заявлена совместимость с GPU NVIDIA Blackwell, а пример развёртывания требует восемь GPU B200. README характеризует модель как готовую к коммерческому и некоммерческому использованию; метаданные указывают лицензию MIT. Базовая модель не разработана NVIDIA: это сторонняя модель DeepSeek-V3.1. Она может воспроизводить токсичность и общественные предубеждения из обучающих данных, а также выдавать неточные, неполные, нерелевантные или повторяющиеся ответы. Перед внедрением необходимы проверки на данных и требованиях конкретного применения.

Elita-0.1-Distilled-R1-Abliterated — текстовая генеративная модель на базе DeepSeek-R1-Distill-Qwen-7B, дообученная prithivMLmods на данных для рассуждений по цепочке мыслей. Модель использует плотную архитектуру Qwen2 и содержит 7,1 млрд параметров; заявленная длина контекста — 131 072 токена. Она принимает текст и генерирует текст, поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для следования инструкциям, многошаговых рассуждений, логических задач, ответов на вопросы и создания связных объяснений. Её можно применять в виртуальных помощниках, образовательных инструментах, автоматизации, подготовке сводок и отчётов. В карточке указана английская локаль; иных языков README и метаданные не подтверждают. Модель распространяется по лицензии Apache-2.0. Среди ограничений автор отмечает риск фактических ошибок и предвзятости, слабые результаты в узкоспециализированных областях и зависимость качества ответа от ясности запроса. Для запуска требуются значительные вычислительные ресурсы; оптимизация для развёрнутых рассуждений может быть менее подходящей для простых задач.

EXAONE-4.5-33B-FP8 — плотная vision-language-модель с 33 млрд параметров, разработанная LG AI Research и подготовленная FuriosaAI для запуска на аппаратуре FuriosaAI RNGD через Furiosa-LLM. Модель объединяет выделенный vision encoder с языковой архитектурой EXAONE 4.5 и принимает изображения вместе с текстом, возвращая текстовые ответы. Модель предназначена для мультимодального диалога, анализа изображений и текстовых запросов, гибридного рассуждения и вызова инструментов через функции. Рассуждение включено по умолчанию, но может отключаться для отдельных запросов. Поддерживаются английский, корейский, испанский, немецкий, японский и вьетнамский языки. Архитектура обозначается как Exaone4_5_ForConditionalGeneration; максимальная длина контекста в README не указана. Вариант использует статическую per-channel FP8-квантизацию выбранных весов линейных слоёв и динамическую token-wise-квантизацию активаций без офлайн-калибровки. Vision encoder, attention projections, LM head и MTP attention projections исключены из FP8-квантизации, а KV-кэш сохраняется в 16-битной точности. Сильными сторонами являются мультимодальность, гибридное reasoning и нативная поддержка tool calling. Ограничения включают зависимость описанной сборки от Furiosa-LLM и RNGD; для работы требуется tensor parallelism на 32 PE, то есть четыре карты RNGD. Модель распространяется по лицензии EXAONE AI Model License.

Gemma-4-26B-A4B-it-NVFP4 — это версия Google Gemma 4, подготовленная FusenAI в формате modelopt и оптимизированная для запуска через vLLM на GPU NVIDIA Blackwell (SM120). Модель предназначена для генерации текста и использует архитектуру MoE. Она подходит для локального и серверного инференса, включая сценарии с высокой параллельной нагрузкой. Модель применяет квантизацию NVFP4 с размером группы 16 к экспертам MoE и MLP-слоям, тогда как self-attention, router, vision tower и lm_head сохранены в BF16. Размер весов составляет около 17,2 GiB, размер на диске — около 17 GB. README не указывает полный набор поддерживаемых языков, точное число параметров активной части или максимальный контекст; в примерах используется длина контекста 4096 токенов. Модель поддерживает текстовую генерацию, а наличие vision tower указывает на мультимодальные компоненты, однако их сценарии использования в README не описаны. К сильным сторонам относятся сниженное потребление памяти, сохранение attention-слоёв в BF16 для уменьшения потерь качества и высокая производительность на RTX 5090 при использовании CUDA Graphs. Ограничения включают необходимость совместимого оборудования NVIDIA Blackwell или новее, vLLM 0.19.x с параметром modelopt и соответствующими исправлениями, а также зависимость производительности от конфигурации KV-кэша: FP8 увеличивает его ёмкость, но снижает скорость обработки отдельных запросов. Модель распространяется по лицензии Apache 2.0 и наследует лицензионные условия Gemma 4 от Google.

p-e-w/gpt-oss-20b-heretic-v2 — версия модели gpt-oss-20b, обработанная методом abliteration для снижения частоты отказов. В приведённом сравнении число отказов составило 49 из 100 против 98 из 100 у исходной openai/gpt-oss-20b; KL-дивергенция относительно оригинала — 0,1248. Модель предназначена для диалогов и генерации текста, включая задачи рассуждения и сценарии с инструментами при использовании формата Harmony. Это разреженная MoE-модель семейства gpt_oss с архитектурой GptOssForCausalLM. В README для исходной gpt-oss-20b указано 21 млрд параметров, из которых активно 3,6 млрд; однако метаданные этого репозитория указывают 1,6 млрд параметров. Контекст составляет 131 072 токена. Модель использует формат safetensors; библиотека — Transformers. README описывает gpt-oss как модель с открытыми весами под лицензией Apache 2.0 и отмечает необходимость формата Harmony. Подходит для локальных диалоговых приложений, генерации и анализа текста, а также агентных сценариев с вызовом функций. Abliteration уменьшила отказы в приведённой оценке, но не устраняет их полностью; результаты оценки ограничены указанной выборкой из 100 примеров. Для этой производной версии README не приводит отдельной оценки качества по задачам.

Hermes-3-Llama-3.1-70B-IMat-GGUF — это квантизированная версия текстовой языковой модели NousResearch/Hermes-3-Llama-3.1-70B, подготовленная пользователем legraphista в формате GGUF для запуска через llama.cpp. Исходная модель имеет размер 70B параметров и тип данных BF16, а доступные варианты включают BF16, FP16 и несколько уровней квантования от 1 до 8 бит, в том числе варианты с IMatrix. Модель предназначена для генерации текста, диалоговых сценариев и работы в формате instruct/chat. В описании также заявлены поддержка ChatML, function calling и JSON mode, а среди возможных применений указаны ролевые диалоги и задачи, связанные с синтетическими данными и дистилляцией. Указан английский язык; сведения о других языках и размере контекстного окна отсутствуют. Модель является текстовой и не заявляет поддержку изображений или других дополнительных модальностей. Основное преимущество сборки — возможность выбрать баланс качества, размера файлов и требований к ресурсам за счёт большого набора GGUF-квантов; IMatrix применяется в ряде вариантов с более низкой разрядностью. Ограничения связаны с очень большим размером модели: файлы занимают примерно от 26 до 141 ГБ, а некоторые варианты разделены на несколько частей. Квантизация может снижать точность по сравнению с исходной BF16-моделью, особенно в вариантах с меньшей разрядностью. Лицензия указана как llama3.

inception42/jais-family-6p7b-chat — диалоговая версия двуязычной большой языковой модели Jais, созданной Inception Institute of Artificial Intelligence. Это дообученная для следования инструкциям модель с авторегрессионной decoder архитектурой; репозиторий содержит веса Safetensors, а для загрузки требуется пользовательский класс модели с параметром trust_remote_code=True. Размер модели по идентификатору — 6,7 млрд параметров. Модель предназначена для диалога и генерации текста на арабском и английском языках. Её можно использовать для создания чат-ассистентов, ответов на вопросы, суммаризации двуязычных документов и анализа тональности; также она подходит для дальнейшей адаптации под конкретные задачи. Модель оптимизирована для арабского языка и обладает сильными возможностями на английском. Она может выдавать неверные, вводящие в заблуждение или предвзятые ответы; качество на других языках и диалектах не гарантируется. Не следует полагаться на неё при принятии важных медицинских, юридических, финансовых или связанных с безопасностью решений без контроля человека. Лицензия — Apache 2.0.

J.O.S.I.E.3-Beta10-7B-slerp — чат-модель для генерации текста, созданная слиянием Weyaxi/Einstein-v5-v0.2-7B и argilla/CapybaraHermes-2.5-Mistral-7B методом SLERP с помощью LazyMergekit. Она использует плотную архитектуру Mistral с 7,1 млрд параметров и поддерживает контекст до 32 768 токенов. Модель предназначена для диалогов и генерации ответов на текстовые запросы. Веса опубликованы в формате Safetensors; лицензия — Apache-2.0.