II.4Отладка, тестирование и качество ПО

gaunernst/gemma-3-27b-it-int4-awq — конвертированная в формат Hugging Face и AWQ модель Gemma 3 27B Instruction-tuned, разработанная Google DeepMind. Это QAT INT4-чекпойнт из Flax, первоначально полученный из Kaggle; в репозитории указано, что AWQ не применялся для самой квантизации. Модель предназначена для генерации текста и понимания изображений по текстовым и визуальным запросам, включая ответы на вопросы, суммаризацию, рассуждения и описание содержимого изображений. Модель имеет 27 млрд параметров, поддерживает текстовый и графический ввод и генерирует текст. Для изображений используется нормализация до 896×896 пикселей с кодированием в 256 токенов на изображение. Контекстное окно составляет 128 000 токенов, максимальный заявленный объём вывода — 8192 токена. Gemma 3 поддерживает более 140 языков и рассчитана на развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре, хотя 27B-модель и мультимодальный режим требуют значительных вычислительных ресурсов. К сильным сторонам относятся мультимодальность, большое контекстное окно, многоязычность и снижение требований к памяти благодаря INT4-квантизации. Ограничения включают возможные потери качества по сравнению с полноразмерной моделью из-за квантизации, а также необходимость совместимого программного окружения и достаточных аппаратных ресурсов. Для использования требуется принять условия лицензии Google Gemma на Hugging Face; в карточке указана лицензия gemma.

OnlyTextLLMs выпустила текстовую версию инструкционной модели Google Gemma 4 12B IT: из исходной модели удалены блоки обработки изображений и аудио и мультимодальные специальные токены, а текстовая часть и LM-голова сохранены. Это плотная причинная языковая модель Gemma4UnifiedForCausalLM с 11,6 млрд параметров и контекстом до 262 144 токенов; репозиторий содержит веса Safetensors в формате bfloat16. Модель предназначена для диалогов и генерации текста на основе текстовых запросов. По заявлению авторов, дообучение не проводилось, новые обучающие данные и возможности не добавлялись. Модель распространяется по лицензии Apache-2.0.

Saxo (Джи Юнсон), специалист по данным компании Linkbricks Horizon-AI, дообучил эту плотную языковую модель семейства Llama на базе Saxo/Linkbricks-Horizon-AI-Japanese-Superb-V3-70B. Модель с 69,5 млрд параметров прошла японское SFT и DPO; заявленное окно контекста — 128 тыс. токенов. Для обучения использовались японские новости и Википедия, а также данные для задач на японском, корейском, китайском и английском языках. Модель предназначена для генерации текста, письма и программирования, математических и логических рассуждений, анализа отзывов и публикаций в социальных сетях. В карточке заявлена поддержка вызова функций и инструментов. Репозиторий использует формат safetensors и библиотеку Transformers; лицензия — Apache-2.0. Описание не приводит результатов независимой оценки качества или подробностей о безопасном применении модели.

Диалоговая модель shibing624 на базе Llama-3-8B-Instruct-262k, дообученная методом ORPO на наборе предпочтений для китайского и английского языков. Модель использует плотную архитектуру LlamaForCausalLM и содержит около 7,5 млрд параметров; поддерживает контекст до 262 144 токенов и рассчитана на многоходовый диалог, генерацию текста, кодирование и рассуждения, а также сценарии RAG с длинными документами. Модель поддерживает китайский и английский языки. В README отмечены ограничения: при ответах на вопросы о знаниях возможны галлюцинации, особенно по китайской тематике и классической китайской литературе. Для запуска приведены ориентиры по видеопамяти: около 18,66 ГБ для кодирования 2 048 токенов и 24,58 ГБ для генерации 8 192 токенов в FP16/BF16; для Int4 — около 9,21 ГБ и 14,62 ГБ соответственно. Лицензия указана как other, поэтому конкретные условия использования следует сверять с лицензией репозитория.

RedHatAI/Llama-4-Scout-17B-16E-Instruct-quantized.w4a16 — мультимодальная instruct-модель, разработанная Red Hat совместно с Neural Magic на основе Meta Llama-4-Scout-17B-16E-Instruct. Она предназначена для диалоговых приложений, генерации и обработки текста, а также задач image-text-to-text с изображениями и текстовыми запросами на входе и текстом на выходе. Поддерживаются арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. Модель использует архитектуру Llama4ForConditionalGeneration. Её веса квантизированы в INT4 по схеме W4A16 без квантизации активаций, что примерно на 75% снижает требования к памяти GPU и размер на диске по сравнению с представлением весов в 16 бит. Для инференса предусмотрена интеграция с vLLM, Red Hat AI Inference Server, Red Hat Enterprise Linux AI и OpenShift AI; модель валидирована в RHOAI 2.20, RHAIIS 3.0, RHELAI 1.5 и vLLM 0.8.4. К сильным сторонам относятся мультимодальность, поддержка нескольких языков и сниженные требования к ресурсам благодаря квантизации. README не указывает число активируемых параметров, максимальную длину контекста, точные показатели качества или аппаратные требования, поэтому производительность в конкретных сценариях следует проверять отдельно. Модель выпущена 25 апреля 2025 года и распространяется по лицензии Llama 4; применяются условия лицензии Meta Llama 4.

bunnycore/Qwen2.5-7B-Instruct-Fusion — языковая модель для генерации текста, созданная автором репозитория с помощью слияния нескольких предварительно обученных моделей методом Model Stock через mergekit. В качестве основы использована Qwen/Qwen2.5-7B; также объединены rombodawg/Rombos-LLM-V2.5-Qwen-7b, fblgit/cybertron-v4-qw7B-MGS и sethuiyer/Qwen2.5-7B-Anvita. Модель имеет плотную архитектуру Qwen2 и 7,1 млрд параметров. Она принимает текст и генерирует текст, поддерживает диалоговый интерфейс и интерфейс вызова инструментов. Заявленная длина контекста — 131 072 токена. Подходит для диалогов и широких задач генерации текста; в README приведены результаты оценивания на IFEval и BBH. Веса опубликованы в формате Safetensors и указана библиотека Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования по ним определить нельзя.

dealignai/Qwen3.8-27B-JANG_6D-CRACK — квантованная версия модели Qwen/Qwen3.8-27B, разработанная dealignai для запуска на Apple Silicon через MLX. Это плотная гибридная vision-language модель с 27 млрд параметров и 64 слоями, сочетающая линейное внимание GatedDeltaNet с полным gated attention. Модель поддерживает текст, изображения и видео, работает на английском и китайском языках, умеет рассуждать, вызывать инструменты через XML-схему и использовать встроенную голову Multi-Token-Prediction для speculative decoding. Модель подвергнута CRACK-обработке — удалению поведения, связанного с отказами в ответах, на уровне весов. Поэтому она ориентирована на исследовательские и прикладные сценарии, где требуется максимальная готовность выполнять запросы в различных категориях, включая потенциально опасные. Рассуждение включено по умолчанию с уровнем xhigh; доступны уровни xhigh, medium и low, а также полное отключение рассуждений. Для данной JANG_6D-квантизации заявлен размер около 24 ГБ и примерно 6-битное affine-кодирование с imatrix. В тестах README указаны 89,12% на MMLU и 100% соответствия на HarmBench-240 по критерию выполнения запросов. Сильными сторонами являются сохранение мультимодальности, видеоанализа, рассуждений, вызова инструментов и многоязычности при существенно меньшем размере, чем у полной модели. Ограничения включают требование совместимого MLX-окружения и значительного объёма памяти, а также отсутствие защитных отказов, что повышает риск генерации небезопасного или вредоносного содержания. Максимальный размер контекста в README не указан. Модель распространяется под лицензией Apache-2.0.

utautako/Qwen3.8-27B-NVFP4-MTP-Q8attn-GGUF — это квантованная GGUF-версия модели Qwen3.8-27B, разработанной командой Qwen. Конверсию выполнил автор репозитория с использованием NVIDIA ModelOpt: MLP-слои представлены в формате NVFP4, а проекции attention и линейного внимания DeltaNet сохранены в Q8_0 для повышения точности, особенно при работе с длинным контекстом. Модель предназначена для запуска через llama.cpp. Модель поддерживает текстовые и визуальные сценарии: для обработки изображений поставляется отдельный BF16 vision projector, совместимый с путём Qwen3-VL. Архитектура содержит 64 текстовых слоя и один MTP-слой для speculative decoding; общий размер основного файла составляет около 17,81 GiB, а плотность — примерно 5,60 бит на вес. Заявлена поддержка контекста до 213056 токенов в текстовом режиме и до 163840 токенов при подключённом vision projector на RTX 5090 с 32 ГБ видеопамяти. К сильным сторонам относятся сохранение качества attention-компонентов за счёт Q8_0, поддержка изображений и ускорение генерации с помощью MTP: на RTX 5090 производительность достигает примерно 120–130 токенов в секунду, что примерно вдвое выше авторегрессионного режима. Ограничения включают зависимость от совместимой версии llama.cpp, значительные требования к видеопамяти и снижение эффективности speculative decoding при глубине чернового предсказания четыре и более. Модель распространяется по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q3_K_M-GGUF — это независимая vanilla-квантизация модели Qwen3.8-27B, разработанной командой Qwen. Модель распространяется в формате GGUF и предназначена для локального запуска через llama.cpp. Квантизация Q3_K_M выполнена без дообучения, слияния, изменения выравнивания или шаблона чата. Модель поддерживает генерацию текста, нативный tool calling, обработку изображений и видео, а также режимы управления рассуждением через параметры enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Hybrid Gated DeltaNet/full-attention, vision tower и проектор; в репозитории сохранены MTP-тензоры, однако ускорение speculative decoding не заявлено. Основной файл занимает около 13,5 ГБ, vision projector — в формате F16, общий размер репозитория — около 14,4 ГБ. Для запуска рекомендуется не менее примерно 18 ГБ доступной памяти, при этом KV-cache дополнительно увеличивает потребление в зависимости от контекста. К сильным сторонам относятся сохранённые возможности исходной модели, проверенная поддержка текста, инструментов, изображений и видео, а также совместимость с нативным форматом вызова инструментов Qwen. Ограничение — возможное снижение качества из-за низкобитной квантизации; заявленные проверки не позволяют делать выводы о максимальной длине контекста. Для работы требуется runtime с поддержкой архитектуры Qwen3.8, vision-компонентов, токенизатора и MTP-метаданных. Модель и её vanilla-квантизация распространяются по лицензии Apache-2.0.

Chungulus/Qwen3.8-27B-Q4_K_M-GGUF — это неизменённая vanilla-квантизация базовой модели Qwen/Qwen3.8-27B в формате GGUF. Репозиторий подготовлен Chungulus и содержит основной файл модели с квантизацией Q4_K_M, а также отдельный vision projector в формате F16. Это не дообученная, не объединённая и не изменённая с точки зрения шаблона чата модель. Модель предназначена для генерации текста, работы с изображениями и видео, а также вызова инструментов через нативный формат Qwen. Сохранены механизмы управления рассуждениями, включая enable_thinking, reasoning_effort и preserve_thinking. Архитектура включает гибридную структуру Gated DeltaNet и полноразмерного внимания, зрительную башню и проектор; заявленный размер базовой модели — 27 млрд параметров. Поддерживаемые языки и максимальная длина контекста в README не указаны. Преимущества модели — подтверждённая работоспособность генерации текста, vision- и video-сценариев, tool calling и совместимость с llama.cpp при наличии соответствующей поддержки архитектуры. Квантизация уменьшает требования к памяти, однако может снижать качество, особенно по сравнению с полной точностью. Для запуска рекомендуется иметь примерно 21 ГБ доступной памяти, причём KV-кэш дополнительно увеличивает расход памяти в зависимости от контекста. Максимальный контекст README не подтверждает тестированием. Модель и её квантизация распространяются по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — мультимодальная модель на базе Qwen3.8-27B, разработанная HauhauCS и распространяемая в формате GGUF. Она предназначена для генерации текста, рассуждений, агентских сценариев, обработки изображений и видео, а также задач с длинным контекстом. Aggressive-профиль ориентирован на прямые ответы без выраженного поведения отказа и с минимальным вступлением в сложных запросах. Модель представляет собой плотную языковую модель на 27 млрд параметров с vision encoder: 64 слоями, скрытым размером 5120, размером FFN 17408, словарём на 248 320 токенов, 48 слоями Gated DeltaNet и 16 слоями gated attention. Поддерживаются английский, китайский и другие языки. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. В текстовых GGUF сохранён встроенный MTP/NextN, а отдельный профиль HauhauCS FastMTP 32K предназначен для ускорения генерации; для обработки изображений и видео требуется отдельный BF16 vision projector. Сильными сторонами являются мультимодальность, большой контекст, широкий набор квантованных вариантов и потенциальное ускорение за счёт MTP. Ограничения включают необходимость значительных аппаратных ресурсов для моделей размером до 31,46 ГБ, зависимость мультимодального ввода от отдельного проектора и возможное снижение надёжности в критически важных длинноконтекстных агентских сценариях из-за Aggressive-профиля. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантизированная GGUF-версия модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, работы с изображениями и видео. Она ориентирована на прямые ответы с минимальным вступлением и профилем без отказов, поэтому подходит для задач, где требуется снизить склонность модели к отказу от ответа. Заявлены поддержка английского, китайского и других языков, а также мультимодальный режим с отдельным vision-проектором BF16 для обработки изображений и видео. Модель представляет собой плотную causal language model на 27 млрд параметров с 64 слоями, размером скрытого представления 5120, размером FFN 17408 и словарём на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Нативный контекст составляет 262 144 токена и может быть расширен до 1 000 000 токенов. Встроенный MTP/NextN сохранён, а дополнительный профиль HauhauCS FastMTP 32K предназначен для ускорения спекулятивного декодирования; заявлено ускорение до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с режимом без MTP. Доступны варианты квантизации от Q8_K_P до IQ2_M, что позволяет выбирать баланс между качеством, размером и требованиями к памяти; размер текстовых файлов составляет примерно от 10,32 до 31,46 ГБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка длинных документов и ускорение генерации. Ограничение Aggressive-профиля — намеренное отсутствие отказного поведения, из-за чего он может быть менее подходящим для надёжно контролируемых и критически важных агентских сценариев; для них автор рекомендует Balanced-вариант, если он доступен. Модель распространяется по лицензии Apache-2.0.

devan-carlin/Qwen3.8-Flash-Next-W4A16 — сообщественная W4A16-квантизированная версия Qwen3.8-Flash-Next, базовую модель и лицензию которой разработала команда Qwen. Репозиторий предоставляет квантизацию и рецепт запуска на Intel XPU с использованием patched vLLM. Модель предназначена для генерации текста, рассуждений, вызова инструментов и мультимодальных сценариев с обработкой изображений; доступны текстовые и графические входы через процессор Qwen3-VL. Модель использует MoE-архитектуру с 125B параметров и примерно 6B активных параметров. Экспертные веса квантизированы в int4 по схеме group-128 с активациями A16, а отдельные компоненты, включая визуальный модуль, эмбеддинги и ряд служебных слоёв, сохранены в BF16. Поддерживается контекст до 256K токенов и FP8 KV-кэш. В составе присутствует 27-блочный vision tower, совместимый с Qwen3-VL. Для корректной работы требуется PLE n-gram table объёмом около 96 ГБ в оперативной памяти. К сильным сторонам относятся большой контекст, MoE-эффективность, поддержка изображений и возможность производительного запуска на Intel Arc Pro B70: заявлено около 53,4 токена в секунду на конфигурации из четырёх ускорителей. Ограничения существенны: необходимы четыре Intel Arc Pro B70 с суммарно 128 ГБ VRAM, не менее 128 ГБ оперативной памяти, специальная версия vLLM и закреплённые версии XPU-зависимостей. Для этого чекпойнта рекомендуется температура не выше примерно 0,7, поскольку при более высоких значениях наблюдаются повторения и деградация вывода. Модель распространяется по Qwen Community License 1.0; лицензия указана как other.

Qwen3-VL-30B-A3B-Thinking-1M-GGUF — GGUF-репозиторий весов мультимодальной модели Qwen3-VL-30B-A3B-Thinking, разработанной командой Qwen; сборка и адаптация опубликованы Unsloth. Модель предназначена для совместной обработки текста и изображений, а также для анализа видео, визуального рассуждения, OCR, генерации описаний и ответов, STEM-задач, пространственного анализа, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. Модель использует MoE-архитектуру и относится к Thinking-редакции с усиленным рассуждением; в названии указаны 30B общих параметров и 3B активных параметров. Она поддерживает нативный контекст до 256K токенов с заявленной возможностью расширения до 1M, а также обработку длинных документов и продолжительных видео. Среди архитектурных особенностей указаны Interleaved-MRoPE для временных и пространственных позиций, DeepStack для объединения признаков ViT разных уровней и выравнивание текста с временными метками. OCR заявлен для 32 языков, однако полный перечень языков в README не приведён. К сильным сторонам относятся визуальное и мультимодальное рассуждение, понимание пространственных отношений, видео и длинного контекста, распознавание текста в сложных условиях и возможности визуального агента. Ограничения конкретной GGUF-квантизации, требования к ресурсам, точные параметры квантизации и результаты тестов в README не указаны; заявленные преимущества Unsloth Dynamic 2.0 приведены без подробных подтверждающих данных. Для запуска с llama.cpp требуется использовать параметр --jinja. Репозиторий распространяется по лицензии Apache-2.0.

Solar-Open-100B-NVFP4A16 — сборка модели Solar-Open-100B, разработанной компанией Upstage, которую FuriosaAI самостоятельно квантизировала в формате NVFP4A16 и подготовила для запуска на аппаратуре FuriosaAI RNGD с использованием Furiosa-LLM. Это авторегрессионная текстовая языковая модель с архитектурой Mixture-of-Experts (MoE), предназначенная для генерации текста, чат-взаимодействия, задач с рассуждениями и без них, а также вызова инструментов через функции. Поддерживаются английский и корейский языки, входные и выходные данные представлены в текстовом формате. Веса модели используют 4-битный формат NVFP4, тогда как активации и KV-кэш сохраняются в 16-битной точности. Для рассуждений можно задавать уровень reasoning_effort: low, medium или high; модель также поддерживает отдельную передачу рассуждений и автоматический выбор инструментов при соответствующей настройке сервера. На FuriosaAI RNGD модель работает с tensor parallelism на 32 PE, что соответствует четырём картам RNGD. В README не указаны общий и активный размер модели, длина контекста и точные параметры архитектуры, поэтому эти характеристики нельзя определить по имеющимся данным. Основное преимущество модели — сочетание крупной MoE-архитектуры, возможностей рассуждения и вызова инструментов с экономией памяти благодаря 4-битной квантизации. Сборка ориентирована прежде всего на FuriosaAI RNGD и Furiosa-LLM, хотя квантизированные веса также заявлены как совместимые с vLLM, SGLang и Transformers. Модель распространяется по лицензии Upstage Solar License; в карточке она обозначена как license: other, с отдельной ссылкой на текст лицензии.

Breeze-13B-32k-Instruct-v1_0 — чат-модель на базе архитектуры Mistral, созданная MediaTek Research с помощью объединения моделей через mergekit. В карточке в качестве компонентов слияния указан MediaTek-Research/Breeze-7B-32k-Instruct-v1_0; запись повторяется несколько раз. Метаданные указывают 12,5 млрд параметров, плотную архитектуру и контекст до 32 768 токенов. Модель предназначена для генерации текста в диалоговом формате и выполнения инструкций. Длинный контекст позволяет использовать её для ответов по объёмным текстам и продолжительных диалогов. Репозиторий содержит веса safetensors. Лицензия — Apache 2.0.

FriendliAI публикует версию C4AI Command R+, квантизированную в FP8 для ускорения инференса при сохранении высокой точности. В основе — авторегрессионный трансформер CohereForAI примерно на 103,8 млрд параметров; модель принимает текст и генерирует текст. Для этой версии метаданные указывают контекст 8192 токена. Указанные в карточке базовой Command R+ 128K токенов к этой версии не относятся. Модель предназначена для диалогов, ответов на вопросы, суммаризации, RAG и многошагового использования инструментов. Она оптимизирована для английского, французского, немецкого, испанского, итальянского, португальского, японского, корейского, китайского и арабского языков; русский входил в дополнительные языки предобучения. Для работы с FP8 нужны GPU NVIDIA Ada, Hopper или Blackwell; README описывает запуск через Friendli Container. Лицензия — CC-BY-NC-4.0, с ограничениями на коммерческое использование.

Citaman/command-r-9-layer — объединённая текстовая модель, созданная автором репозитория с помощью mergekit из срезов Citaman/command-r-10-layer методом SLERP. Это плотная авторегрессионная архитектура Cohere с 9,5 млрд параметров; метаданные также указывают поддержку диалога и интерфейса вызова инструментов. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на запросы и работу с инструментами. Контекст — до 8192 токенов; вход и выход — текст. Репозиторий содержит веса в формате safetensors. Модель опубликована под лицензией, сведения о которой не представлены в предоставленных данных.

sail-ing-north/DeepSeek-V3-rescaled — это версия языковой модели DeepSeek-V3, размещённая в формате safetensors FP8 и предназначенная для генерации текста и диалогового общения. В карточке указаны архитектура DeepSeek-V3 и 37,6 млрд параметров; исходная модель описана как Mixture-of-Experts с 671 млрд общих и примерно 37 млрд активных параметров на токен, использующая Multi-head Latent Attention и DeepSeekMoE. Метаданные указывают длину контекста 163 840 токенов. Модель подходит для диалогов, генерации и продолжения текста, ответов на вопросы, а также вызова инструментов через соответствующий интерфейс. В README описаны предобучение на 14,8 трлн токенов, последующая настройка с учителем и обучение с подкреплением, а также перенос навыков рассуждения из DeepSeek-R1. Эти сведения относятся к DeepSeek-V3 в целом; карточка не уточняет, как именно была получена версия rescaled. Репозиторий содержит веса FP8, что может снизить требования к памяти при выводе, однако запуск требует подходящей инфраструктуры для крупной модели. README перечисляет способы развертывания через SGLang, LMDeploy, TensorRT-LLM и vLLM. Лицензия в предоставленных данных не указана.

DeepSeek-V4.1-Flash-EXL3-2.9bpw — это квантованная версия мультимодальной модели DeepSeek-V4.1-Flash, разработанной DeepSeek-AI. Квантование выполнено Mia’s AI Lab в формате EXL3 с использованием exllamav3 версии 1.4.2. Модель предназначена для задач генерации и анализа текста и изображений, включая сценарии с рассуждением и большим контекстом, при запуске в совместимых средах vLLM, ExLlamaV3 или TabbyAPI. В основе лежит MoE-архитектура с 552 млрд параметров и активацией 8–16 млрд параметров на токен. Поддерживаются мультимодальный ввод, зрительный модуль, DSpark, CED, CSA2 и Engram memory; заявлен контекст до 1 млн токенов. Средняя битность квантования декодера составляет 2,90 bpw, размер сборки — около 197 ГБ в 39 safetensors-частях. Включены vision-компоненты и DSpark, однако таблицы Engram не квантованы и требуют дополнительных оригинальных шардов 47 и 48 базовой модели общим объёмом около 190 ГБ. Сильными сторонами являются существенно сниженные требования к хранению по сравнению с полноразмерной моделью, поддержка длинного контекста, мультимодальность и встроенное спекулятивное декодирование DSpark. Ограничения связаны с необходимостью дополнительных Engram-шардов, использованием специализированного EXL3-совместимого стека и тем, что показатели качества из карточки базовой модели не относятся напрямую к этой квантованной сборке. Модель распространяется по лицензии MIT без дополнительных ограничений со стороны квантования.

DictaLM 3.0 24B Thinking — разговорная reasoning-модель семейства Mistral, разработанная Dicta. Она предназначена для диалога и генерации ответов с предварительным рассуждением в отдельном блоке; также поддерживает вызов внешних инструментов и API. Модель содержит 23,4 млрд параметров, использует плотную архитектуру Mistral и принимает текстовые запросы, выдавая текстовые ответы. Она обучена на обширных корпусах на иврите и английском; длина контекста составляет 65 280 токенов. Для работы с инструкциями следует использовать шаблон чата модели. В карточке указаны веса safetensors и лицензия Apache-2.0.

EpistemeAI/Fireball-Llama-3.1-8B-v1dpo — диалоговая языковая модель на архитектуре Llama 3.1, выпущенная EpistemeAI. Это дообученная версия unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit с 7,5 млрд параметров; она поддерживает генерацию текста, диалог и интерфейс вызова инструментов. Модель предназначена для создания чат-ассистентов, генерации ответов и интеграции с внешними инструментами. Контекстное окно составляет 131 072 токена. В карточке описано использование через Transformers и исходную кодовую базу Llama. Указаны английский и поддержка многоязычного ввода и вывода; исходная Llama 3.1 поддерживает также французский, немецкий, хинди, итальянский, португальский, испанский и тайский. Качество и безопасность ответов могут варьироваться: возможны ошибки, предвзятые или нежелательные ответы, поэтому перед развёртыванием нужны проверки для конкретного сценария. Лицензия — Apache-2.0.

Многоязычная инструкционно настроенная языковая модель Meta на архитектуре авторегрессионного трансформера Llama 3.1. Репозиторий unsloth/Llama-3.1-8B-Instruct основан на meta-llama/Llama-3.1-8B-Instruct и содержит плотную модель примерно на 7,5 млрд параметров в формате Safetensors; для настройки использовались supervised fine-tuning и обучение с обратной связью от людей. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов, а длина контекста составляет до 131 072 токенов. Модель предназначена для диалоговых помощников и генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Её можно применять для ответов на вопросы, составления и преобразования текстов, суммаризации и генерации синтетических данных. К сильным сторонам относятся широкий контекст, многоязычность и возможность интеграции с инструментами. Качество и безопасность ответов могут различаться между языками и сценариями; карточка рекомендует осторожность при использовании неподдерживаемых языков и интеграции сторонних инструментов. Модель распространяется по лицензии Llama 3.1 Community License с условиями коммерческого и исследовательского использования.

Jongbin-kr/llama-3.1-8b-instruct-4x1-moe-switch-top1 — диалоговая языковая модель на архитектуре Llama 3.1, разработанная Jongbin. Она предназначена для генерации текста и общения по инструкциям; среди сценариев — ответы на вопросы, помощь в написании текстов и использование интерфейса вызова инструментов. Модель построена на базе meta-llama/Llama-3.1-8B-Instruct и содержит около 7,5 млрд параметров. В каждом слое Transformer используются четыре клонированных FFN-эксперта, а маршрутизатор выбирает одного эксперта для каждого токена. В отличие от варианта с нормализованным коэффициентом гейта, выбранный эксперт сохраняет исходную вероятность softmax. При обучении использованы коэффициент балансировки нагрузки 0,01 и z-loss маршрутизатора 0,001. Контекст — до 131 072 токенов; модель работает через Transformers, веса доступны в формате safetensors. Модель унаследовала многоязычные возможности базовой Llama 3.1 8B Instruct, однако README не перечисляет конкретные поддерживаемые языки. Для загрузки требуется trust_remote_code=True. Лицензия — llama3.1; применяются условия лицензии Llama 3.1 от Meta.

LLaMa-3.1-Instruct-Zeroed-13B — объединённая языковая модель семейства Llama, созданная сообществом mergekit методом passthrough на основе unsloth/Meta-Llama-3.1-8B-Instruct. Она предназначена для диалогов и генерации текста по инструкциям; поддерживает интерфейс вызова инструментов. Модель содержит 12,5 млрд параметров, принимает текст и имеет контекстное окно до 131 072 токенов. Модель подходит для чат-ботов, ответов на вопросы и других сценариев генерации текста. В репозитории указаны веса Safetensors для Transformers. Лицензия в предоставленных данных не указана.

Карточка модели vy22215/Llama-3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Карточка модели ModelCloud/Llama3.2-1B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.2-1B-Instruct, поэтому описание составлено по ней. Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Meta разработала Llama 3.2 3B — авторегрессионную языковую модель с оптимизированной архитектурой Transformer и механизмом Grouped-Query Attention. Вариант на 3,21 млрд параметров предназначен для генерации текста и обучен на общедоступных данных; модель принимает и выдаёт текст, включая код. Она поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Заявленная длина контекста семейства — до 128 тысяч токенов. Модель подходит для диалоговых приложений, поиска знаний, суммаризации, мобильных помощников для письма и переформулирования запросов. Карточка описывает семейство с предварительно обученными и настроенными на инструкции вариантами; конкретный репозиторий — базовая модель для генерации текста. Меньший размер рассчитан в том числе на устройства с ограниченными ресурсами, но качество и безопасность могут уступать более крупным моделям и требуют проверки под конкретный сценарий. Знания модели ограничены данными до декабря 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Карточка модели aratadev/Llama-3.2-3B-Instruct на Hugging Face совпадает с карточкой unsloth/Llama-3.2-3B-Instruct, поэтому описание составлено по ней. unsloth/Llama-3.2-3B-Instruct — текстовая диалоговая модель семейства Llama 3.2, разработанного Meta и опубликованного Unsloth в виде модели на базе meta-llama/Llama-3.2-3B-Instruct. Это плотный авторегрессионный трансформер с архитектурой LlamaForCausalLM и примерно 3,2 млрд параметров; веса представлены в формате safetensors. Модель принимает и генерирует текст, поддерживает контекст до 131 072 токенов и предназначена для многоязычных диалогов. Модель подходит для генерации ответов, суммаризации, поиска знаний в диалоговых сценариях и построения приложений с вызовом инструментов. В карточке Unsloth также приведены ноутбуки для дообучения и экспорта моделей, но это описание относится к самому чекпойнту. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные отдельно отмечают английский. Использование регулируется лицензией Llama 3.2 Community License — специальной коммерческой лицензией Meta.

SillyTilly/Meta-Llama-3.1-405B-Instruct — текстовая инструкция-настроенная модель Meta из семейства Llama 3.1. Это авторегрессионный плотный Transformer с архитектурой LlamaForCausalLM и механизмом Grouped-Query Attention; в репозитории указано около 408 млрд параметров, формат весов safetensors и контекст до 131 072 токенов. Модель принимает и генерирует текст и предназначена для диалоговых сценариев с ассистентом, генерации текста и использования в коммерческих и исследовательских приложениях. Модель поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Ключевые особенности семейства включают настройку инструкциями с помощью supervised fine-tuning и обучения с обратной связью от людей, а также возможности многоязычного диалога и интеграции с внешними инструментами на стороне приложения. Репозиторий создан пользователем SillyTilly; README описывает модель Meta Llama 3.1. Использование регулируется пользовательской коммерческой лицензией Llama 3.1 Community License и Acceptable Use Policy. К ограничениям относятся непредсказуемые или небезопасные ответы, а также недостаточно надёжное качество и безопасность на языках, не входящих в перечень поддерживаемых; при подключении инструментов разработчик должен отдельно контролировать их безопасность и целостность.