II.2Создание и понимание программного кода

Hermes-2-Pro-Mistral-10.7B — языковая модель Nous Research, созданная методом Depth Up-Scaling из Hermes-2-Pro-Mistral-7B на базе Mistral. Это плотная авторегрессионная модель на 10,6 млрд параметров с контекстом до 32 768 токенов; веса представлены в формате safetensors и доступны по лицензии Apache-2.0. Модель предназначена для диалогов и следования инструкциям, а также может использоваться как основа для дальнейшего дообучения или как замена версии на 7 млрд параметров. Она поддерживает формат ChatML и обучалась для вызова функций и выдачи структурированных ответов в JSON. В карточке сообщается о результатах оценки 90% для вызова функций и 84% для структурированного вывода JSON. Карточка указывает английский язык. Описанные вызов функций и JSON-режим требуют соответствующего формата запросов и обработки ответов в приложении. Конкретные ограничения качества и сравнительные результаты для других задач в карточке не приведены.

Карточка модели sagar-rasakonda/Mistral-7B-Instruct-v0.2 на Hugging Face совпадает с карточкой mistralai/Mistral-7B-Instruct-v0.2, поэтому описание составлено по ней. Mistral-7B-Instruct-v0.2 — диалоговая языковая модель Mistral AI для генерации ответов на инструкции и сообщения пользователя. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров; для общения используется формат instruct. Она рассчитана на чат, ответы на вопросы, объяснения и другие задачи генерации текста. В метаданных указан контекст до 32 768 токенов. Модель принимает текст и генерирует текст. Карточка показывает пример кодирования запроса и генерации ответа, но не приводит перечень поддерживаемых языков или специализированных областей. Модель выпущена под лицензией Apache-2.0. По заявлению авторов, это демонстрация возможностей дообучения базовой модели; встроенных механизмов модерации нет, поэтому ответы могут не соблюдать заданные ограничения.

Qwen1.5-1.8B-Chat — чатовая языковая модель из семейства Qwen, разработанная командой Qwen. Это бета-версия Qwen2, основанная на декодерной архитектуре Transformer и предназначенная для диалогов и генерации текста. Модель содержит 1,5 млрд параметров и рассчитана на контекст до 32 768 токенов. Модель поддерживает многоязычный ввод и вывод, а её токенизатор адаптирован к разным естественным языкам и программному коду. В архитектуре используются активация SwiGLU и смещение QKV в механизме внимания. Карточка относит её к чатовым моделям и отмечает улучшение предпочтений пользователей для диалоговой версии семейства. Модель подходит для чат-ботов, ответов на запросы и генерации текста. В README советуют использовать Transformers версии 4.37.0 или новее и параметры генерации из generation_config.json, чтобы снизить проблемы с переключением языков и другие нежелательные результаты. Лицензия указана как other, поэтому условия использования следует сверять с лицензией репозитория.

Qwen2.5-1.5B-Instruct — инструктивно дообученная языковая модель семейства Qwen2.5, разработанная командой Qwen. Она предназначена для диалогов и генерации текста по инструкциям, включая ответы на вопросы, создание длинных текстов и выдачу структурированных результатов, например JSON. Модель имеет плотную архитектуру причинного трансформера Qwen2 с RoPE, SwiGLU и RMSNorm и содержит 1,5 млрд параметров. Контекст составляет 32 768 токенов, максимальная длина генерации — 8 192 токена. Карточка описывает поддержку более 29 языков, включая русский и английский; метаданные указывают английский как язык карточки. Модель загружается через Transformers и распространяется по лицензии Apache-2.0. Среди сильных сторон — следование инструкциям, работа с длинными текстами и структурированными данными, а также интерфейс для вызова инструментов. Это компактная модель, поэтому её возможности ограничены по сравнению с более крупными языковыми моделями; оценочные результаты для этой конкретной версии в карточке не приведены.

Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP-GGUF — квантованная GGUF-версия плотной языковой модели Qwen3.8-27B, разработанная HauhauCS на базе Qwen/Qwen3.8-27B. Модель предназначена для генерации текста, рассуждений, агентских сценариев, а также работы с изображениями и видео; поддерживает текстово-визуальный ввод через отдельный vision-проектор. Заявлены языки English, Chinese и multilingual. Модель содержит 27 млрд параметров, 64 слоя, скрытый размер 5120, размер FFN 17408 и словарь на 248 320 токенов. Архитектура включает 48 слоёв Gated DeltaNet и 16 слоёв gated attention. Сохранены встроенные механизмы MTP/NextN, а также добавлен профиль ускорения HauhauCS FastMTP 32K для speculative decoding. Нативный контекст составляет 262 144 токена, с заявленной возможностью расширения до 1 000 000 токенов. Доступны варианты квантования от Q8_K_P до IQ2_M размером примерно от 10,32 до 31,46 ГБ; для изображений и видео требуется отдельный BF16 vision-проектор размером 931 МБ. К сильным сторонам относятся большой контекст, мультимодальность, поддержка рассуждений и агентских задач, а также заявленное ускорение генерации FastMTP до 3,02 раза для документов и до 1,93 раза для рассуждений по сравнению с вариантами без MTP. Aggressive-профиль ориентирован на прямые ответы с минимальным вступлением и практически отсутствующим отказным поведением, поэтому может быть менее подходящим для критически важных длинных агентских сценариев, где предпочтительнее более сбалансированный профиль. Модель распространяется по лицензии Apache-2.0.

SR²AM-v1.0-30B — агентная языковая модель, разработанная командой sailing-lab на базе Qwen3-30B-A3B-Thinking-2507. Она разделяет рассуждение на реактивное выполнение действий, симулятивное планирование последствий и конфигуратор, который выбирает, когда и насколько глубоко планировать. Модель дообучена методом SFT с последующим обучением с подкреплением GRPO; архитектура — Qwen3 MoE, формат весов — Safetensors, библиотека — Transformers. Заявленная длина контекста — 262 144 токена. Модель предназначена для агентных задач с использованием инструментов: веб-поиска и просмотра страниц, выполнения Python-кода в изолированной среде, а также решения задач по математике, естественным наукам и табличным данным. В README сообщается Pass@1 71,3 на 11 бенчмарках и сокращение числа токенов рассуждения на 25–95% относительно сопоставимых агентных моделей; это результаты авторской оценки. Метаданные указывают 2,6 млрд параметров. Модель распространяется по лицензии Apache-2.0.

unsloth/gemma-3n-E2B-it-unsloth-bnb-4bit — это квантизированная 4-битная instruction-tuned версия модели Gemma 3n E2B, подготовленная Unsloth на базе google/gemma-3n-E2B-it. Исходную модель разработала Google DeepMind. Gemma создана как семейство компактных открытых моделей для эффективного запуска, в том числе на устройствах с ограниченными ресурсами. Модель предназначена для диалогов, ответов на вопросы, обработки и суммаризации документов и других задач генерации текста. Семейство Gemma 3n поддерживает мультимодальный ввод текста, изображений, видео и аудио с генерацией текста, однако в данном README для этой версии отдельно указано, что в текущей конфигурации поддерживается только текст. Максимальный контекст составляет 32K токенов; заявленная языковая поддержка включает английский, а обучение проводилось на данных более чем на 140 разговорных языках. Ключевая особенность Gemma 3n — технология выборочной активации параметров, обеспечивающая эффективный размер около 2B параметров при меньших требованиях к ресурсам. Формат Unsloth bnb 4bit снижает требования к памяти, но может сопровождаться потерей точности по сравнению с полноточной версией. Для корректной работы рекомендуется использовать chat template Gemma 3n и параметры temperature 1.0, top_k 64 и top_p 0.95. Модель распространяется по лицензии Gemma; условия использования определяются официальными Terms of Use Google.

unsloth/GLM-4.6V-GGUF — GGUF-версия мультимодальной модели GLM-4.6V из семейства GLM-V. Исходную модель разработала команда Z.ai, а данный вариант подготовлен Unsloth с использованием формата GGUF и методов квантования Unsloth Dynamic 2.0. Модель предназначена для облачных и высокопроизводительных кластерных сценариев, а также для задач мультимодальных агентов. GLM-4.6V поддерживает обработку изображений и текста, включая документы, скриншоты, страницы с таблицами, графиками и сложной разметкой. Она рассчитана на контекст до 128 тысяч токенов, поддерживает китайский и английский языки и имеет заявленный размер 106 млрд параметров. Ключевые возможности включают визуальное понимание, мультимодальный Function Calling, интерливинг изображений и текста, анализ длинных и многодокументных материалов, а также восстановление интерфейсов по скриншотам с генерацией и редактированием HTML/CSS. Сильными сторонами являются сочетание визуального восприятия с выполнением действий через инструменты, работа с насыщенными документами и заявленная конкурентоспособность на мультимодальных бенчмарках. Ограничения связаны с очень крупным размером модели и высокими требованиями к вычислительным ресурсам; конкретные требования к памяти и характеристики квантования в предоставленных данных не указаны. Модель распространяется по лицензии MIT.

GLM-5.3-W4A8 — квантизированная версия модели GLM-5.3, разработанная на базе официального чекпойнта zai-org/GLM-5.3. Это генеративная текстовая модель для англоязычных и китайскоязычных сценариев, включая рассуждения и другие задачи генерации текста. Модель предназначена для развёртывания через vLLM и SGLang. Модель сохраняет около 753 млрд параметров и использует архитектуру Mixture-of-Experts. Маршрутизируемые экспертные веса представлены в INT4 с размером группы 128, активации и неэкспертные слои — в FP8. Формат хранения — compressed-tensors; чекпойнт занимает около 372,3 GiB вместо 703,7 GiB у официальной FP8-версии. На конфигурации из 8 GPU H20 это примерно вдвое увеличивает доступный KV-кэш — до 1,26 млн токенов, что полезно для длинного контекста и высокой параллельности запросов. Поддерживается MTP-спекулятивное декодирование. По опубликованным измерениям, заметного ухудшения качества относительно официальной FP8-версии не обнаружено: показатели GPQA-Diamond находятся в пределах статистического шума, а прирост teacher-forced NLL составляет около 0,001 натов на токен. Основное преимущество — экономия памяти и возможность запускать две реплики с TP4 на тех же восьми GPU. Ограничения включают требование GPU с архитектурой SM90, использование CUTLASS W4A8 и необходимость включать expert parallelism; на одной конфигурации TP8 модель может быть медленнее FP8-версии. Лицензия указана как glm-5.3; подробные условия приведены в лицензии базовой модели на странице zai-org/GLM-5.3.

Llama-3.1-Nemotron-92B-Instruct-HF-early — текстовая диалоговая модель на архитектуре Llama, созданная слиянием весов через mergekit методом passthrough на основе nvidia/Llama-3.1-Nemotron-70B-Instruct-HF. Репозиторий содержит модель примерно с 90,9 млрд параметров в формате safetensors; для работы используется библиотека Transformers. Модель предназначена для генерации ответов на инструкции и диалоговых запросов, а также поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. Длина контекста составляет 131 072 токена. В карточке не приведены сведения о поддерживаемых естественных языках и лицензии, поэтому их нельзя уточнить; условия использования следует сверить с лицензией базовой модели и репозитория.

Модель mlx-community/Meta-Llama-3.1-70B-Instruct-bf16 — преобразованная в формат MLX версия Meta Llama 3.1 70B Instruct, подготовленная сообществом mlx-community. Это плотная авторегрессионная языковая модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов, генерации текста и использования в качестве ассистента; поддерживает интерфейс вызова инструментов. Модель принимает текст и генерирует текст. В карточке перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; длина контекста — до 131 072 токенов. Формат MLX предназначен для запуска на оборудовании Apple через библиотеку mlx-lm. Репозиторий основан на meta-llama/Llama-3.1-70B-Instruct и содержит веса в safetensors; конвертация выполнена с помощью mlx-lm версии 0.19.0. Лицензия — Llama 3.1 Community License. Модель крупная и требует значительных вычислительных ресурсов; заявленная длина контекста не гарантирует одинаковую скорость или качество на всём диапазоне.

Qwen3.5-9B-text-only — текстовый вариант семейства Qwen3.5, опубликованный Principled Intelligence. Из контрольной точки удалены веса визуального энкодера, поэтому модель сохраняет языковую часть и генерирует текст, занимая меньше места на диске и в памяти. Архитектура — плотная причинная языковая модель Qwen3.5 с примерно 7,2 млрд параметров; заявленная длина контекста — 262 144 токена. Модель предназначена для диалогов и генерации текста в задачах, поддерживаемых исходной языковой моделью Qwen3.5. По карточке, она использует тот же токенизатор и шаблон чата, что и исходная модель; загрузка поддерживается через Transformers, начиная с версии 5.2.0. Контрольная точка распространяется в формате safetensors по лицензии Apache-2.0. Удаление визуального энкодера уменьшает размер файлов примерно на 7%, а потребление VRAM — примерно на 5% по сравнению с Qwen3.5-9B. Модель не принимает изображения. В README указана проверка только с Transformers; совместимость с vLLM, SGLang, llama.cpp, Ollama и другими движками пока не заявлена. Автор также характеризует публикацию как экспериментальную, а не как готовую производственную линейку.

philbert440/Qwen3.8-27B-NVFP4 — это 4-битная NVFP4-квантизованная версия плотной мультимодальной модели Qwen3.8-27B, разработанной Qwen. Модель предназначена для работы с текстом и изображениями, включая задачи рассуждения, ответов на вопросы, анализа визуальной информации и генерации текста. Режим рассуждений включён по умолчанию, а визуальная часть модели и голова MTP для спекулятивного декодирования сохранены. Модель содержит 27 млрд параметров и использует гибридную архитектуру из 64 слоёв: 16 слоёв с полноценным вниманием и 48 слоёв GatedDeltaNet с линейным вниманием. Основная часть весов представлена в формате NVFP4 E2M1 с групповым масштабированием FP8, при этом отдельные чувствительные компоненты, эмбеддинги, выходная голова, vision tower и MTP-head сохранены в BF16. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 млн токенов посредством YaRN. Доступный размер файлов модели — около 25,2 ГБ. Главное преимущество этой сборки — оптимизация под инференс на видеокартах NVIDIA V100: она рассчитана на запуск на двух V100 с 32 ГБ памяти через 1Cat-vLLM и, согласно приведённым измерениям, обеспечивает около 42–47 токенов в секунду в однопоточном режиме рассуждений. К ограничениям относятся зависимость от совместимого стека 1Cat-vLLM и особенности поддержки аппаратных платформ; заявленные показатели получены на конкретной конфигурации и могут отличаться в других условиях. Модель распространяется по лицензии Apache-2.0.

Qwen3.8-27B-Opus-Distill-v2-FP8 — это квантизированная версия модели barozp/Qwen3.8-27B-Opus-Distill-v2, опубликованная пользователем или организацией barozp. Модель предназначена для задач рассуждения и мультимодального общения с текстом и изображениями; в карточке также заявлена поддержка MTP и speculative decoding. Она распространяется в формате, совместимом с Transformers, и основана на архитектуре Qwen3.8 с 27 млрд параметров, однако точные сведения о контекстном окне и поддерживаемых языках не указаны. В модели используется блочная FP8-квантизация E4M3 с блоками 128×128 и динамическим масштабированием активаций. Квантизируются главным образом веса, без калибровочного набора данных; vision tower, MTP head, нормализующие и gate-слои, embedding-слои и отдельные параметры Gated-DeltaNet сохраняются в исходной точности. Размер checkpoint составляет примерно 31 ГБ против около 55 ГБ у исходной BF16-версии. По представленным тестам, снижение качества на MMLU, HellaSwag и ARC-Challenge находится в пределах статистической погрешности. Сильные стороны модели — существенно меньший размер, поддержка native FP8 на совместимом оборудовании и близкое к BF16 качество на проверенных задачах. Ограничения связаны с требованиями к программному окружению и аппаратуре: для native FP8 в Transformers требуется специальный FP8 kernel, а некоторые сценарии MTP и sampling на Blackwell могут быть ограничены проблемами flashinfer. На A100 модель автоматически вычисляется через BF16 после де-квантизации. Лицензия — Apache-2.0.

Qwen3-VL-32B-Thinking — плотная мультимодальная модель семейства Qwen3-VL от Qwen, предназначенная для диалога и рассуждений по тексту и визуальным данным. Репозиторий содержит веса модели для использования с библиотекой Transformers; заявлена лицензия Apache-2.0. Модель принимает изображения и текст, а также рассчитана на понимание видео, пространственных отношений, OCR и визуальных интерфейсов. Она подходит для ответов на вопросы по изображениям и видео, распознавания и разбора документов, STEM-задач, визуального программирования и взаимодействия с графическими интерфейсами через инструменты. В README заявлены контекст 256 тысяч токенов с возможностью расширения до 1 миллиона и поддержка OCR на 32 языках. Ключевые особенности включают объединение текстовой и визуальной обработки, временное позиционирование для видео и извлечение признаков на нескольких уровнях. Это вариант Thinking, ориентированный на усиленное рассуждение; качество и скорость на конкретных задачах зависят от сценария и реализации. Описание не приводит результаты бенчмарков или подробные ограничения применения.

hugging-quants/gemma-2-9b-it-AWQ-INT4 — общественная квантованная версия Google Gemma 2 9B Instruct, подготовленная сообществом с использованием AutoAWQ. Это текстовая decoder-only языковая модель с открытыми весами, ориентированная на генерацию текста на английском языке. Модель предназначена для диалоговых приложений, ответов на вопросы, суммирования, рассуждений и других задач генерации текста. Она использует 4-битное представление INT4 с GEMM-ядрами, zero-point-квантованием и размером группы 128, что уменьшает требования к памяти и упрощает локальное или облачное развёртывание. Для загрузки контрольной точки требуется около 6 ГиБ видеопамяти без учёта KV-кэша и CUDA-графов; рекомендуется иметь немного больше доступной памяти. Модель поддерживается через transformers, AutoAWQ и Text Generation Inference. Для работы требуется transformers версии 4.45.0 или выше; токенизатор из репозитория несовместим с более старыми версиями. Квантование может снизить точность по сравнению с исходной версией Gemma 2 9B Instruct в BF16, однако README не содержит количественной оценки этого эффекта. Лицензия указана как gemma.

professorf/gpt-oss-20b-mxfp4-gguf — GGUF-квантизация модели gpt-oss-20b, опубликованная профессором Ником В. Флором. Это открытая языковая модель OpenAI семейства gpt-oss с архитектурой MoE: около 21 млрд параметров, из которых активно используются 3,6 млрд. Вариант MXFP4 рассчитан на локальный запуск и, согласно карточке, укладывается примерно в 16 ГБ памяти; модель работает в формате диалога Harmony и поддерживает настройку уровня рассуждений. Модель предназначена для диалога, генерации текста, задач рассуждения и агентных сценариев, включая вызов функций и работу с инструментами. Её можно запускать через Transformers, vLLM, Ollama и LM Studio. Карточка предупреждает, что формат Harmony обязателен для корректной работы, а цепочку рассуждений не следует показывать конечным пользователям. Лицензия — Apache 2.0.

Granite 4.2 30B GGUF — квантизированная версия языковой модели IBM Granite 4.2 30B, разработанной IBM и опубликованной как ibm-granite/granite-4.2-30b. Квантизацию выполнил bartowski с использованием llama.cpp и метода imatrix. Модель предназначена для генерации текста, рассуждений, диалоговых сценариев и вызова инструментов. Модель содержит около 29 млрд параметров и работает с текстовыми входными данными. Заявлена поддержка английского, немецкого, испанского, французского, японского, португальского, арабского, чешского, итальянского, корейского, нидерландского и китайского языков. В карточке не указаны архитектура и размер контекстного окна. Спекулятивное декодирование не поддерживается. Для работы предусмотрен специальный шаблон запросов с системными и пользовательскими сообщениями, а также секцией рассуждений <think>. Главное преимущество этой версии — выбор множества вариантов квантизации с разным соотношением качества, размера и требований к памяти: от BF16 и Q8_0 до компактных вариантов Q2 и IQ3. В README наиболее сбалансированным вариантом назван Q4_K_M размером 18,03 ГБ, а варианты Q5 и Q6 характеризуются как высококачественные. При этом снижение разрядности может ухудшать качество ответов, особенно у компактных вариантов, а для запуска требуются значительные ресурсы. Лицензия модели — Apache-2.0.

Hermes 2 Pro — диалоговая языковая модель Nous Research, разработанная совместно с @interstellarninja и Fireworks.AI. Это дообученная плотная модель семейства Llama 3 с 7,5 млрд параметров, основанная на NousResearch/Meta-Llama-3-8B. Она предназначена для диалогов и выполнения инструкций, а также для вызова функций и генерации структурированных ответов в JSON. Модель обучалась на обновлённом и очищенном датасете OpenHermes 2.5 и дополнительных наборах данных для вызова функций и JSON-режима. Модель использует формат диалога ChatML и поддерживает многошаговое взаимодействие с инструментами через специальный шаблон. Контекст составляет 8192 токена. В карточке указана поддержка английского языка; веса доступны в формате Safetensors. Лицензия — Llama 3 License.

Hermes 2 Pro на Mistral 7B — диалоговая языковая модель, разработанная Nous Research совместно с Interstellarninja и Fireworks.AI. Это дообученная плотная модель Mistral с 7,1 млрд параметров; она использует формат ChatML и контекст до 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, а также для вызова функций и формирования структурированных ответов в JSON. Авторы сообщают о точности 90% в собственной оценке вызова функций и 84% в оценке JSON-вывода. Она подходит для ассистентов, которым нужно передавать вызовы инструментам и возвращать ответы по заданной схеме. Модель принимает текст и генерирует текст, включая представления вызовов инструментов и JSON. В метаданных указан английский язык. Модель распространяется по лицензии Apache-2.0. Результаты оценок приведены авторами модели; качество ответов и корректность вызовов инструментов следует проверять в целевом приложении.

Llama3.1-Dark-Enigma — объединённая языковая модель на архитектуре Llama 3.1, опубликованная пользователем agentlans. По карточке модели, веса нескольких моделей Llama 3.1 8B объединены методом model_stock из mergekit; метаданные указывают 7,5 млрд параметров и контекст до 131 072 токенов. Модель работает с текстом и предназначена для генерации ответов и диалога. Модель подходит для анализа текстов и исследовательских идей, написания и редактирования материалов, ролевых диалогов и помощи с кодом. Карточка характеризует её как uncensored, поэтому она может отвечать на чувствительные темы. Указана лицензия Llama 3.1; использование должно соответствовать её условиям. В карточке отмечено, что качество не оценивалось конкретными метриками. Модель может ошибаться в фактах, особенно при ответах без предоставленного контекста; результаты следует проверять. Она не подключается к интернету и, согласно карточке, не знает специфичных API, библиотек и фреймворков.

Llama 3.2 1B Instruct — языковая модель Meta на 1,23 млрд параметров для генерации текста и диалогов. Она использует авторегрессионную архитектуру Transformer с Grouped-Query Attention и настроена с помощью supervised fine-tuning и обучения с подкреплением на основе отзывов людей. Модель принимает текст и генерирует текст, в том числе код; контекстное окно составляет 128 тысяч токенов. Модель предназначена для многоязычных диалоговых помощников и агентных сценариев: поиска сведений, суммаризации, помощи в написании текста и переформулирования запросов. Компактный размер позволяет использовать её в приложениях с ограниченными вычислительными ресурсами, включая мобильные устройства. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель разработана Meta и распространяется по специальной лицензии Llama 3.2 Community License, условия которой допускают коммерческое и исследовательское использование. Это статическая модель с отсечкой знаний в декабре 2023 года; качество и безопасность ответов могут уступать более крупным моделям, поэтому для конкретного применения требуется проверка и настройка защитных мер.

Meta Llama 4 Maverick 17B 128E Instruct FP8 — инструкционная квантованная версия модели семейства Llama 4, разработанная Meta. Она предназначена для диалоговых сценариев и генерации текста, включая ответы на запросы, выполнение инструкций и интеграцию в приложения на базе Transformers. Модель заявлена как мультиязычная и поддерживает арабский, немецкий, английский, испанский, французский, хинди, индонезийский, итальянский, португальский, тайский, тагальский и вьетнамский языки. В идентификаторе указаны 17B и 128E, однако README не раскрывает архитектурные детали, длину контекста, точные модальности и характеристики качества. Обозначение FP8 указывает на 8-битное представление весов, но конкретные преимущества и ограничения этой версии не приведены. Модель распространяется по Llama 4 Community License от Meta. Лицензия разрешает использование, копирование, модификацию и распространение на установленных условиях, включая передачу текста лицензии, атрибуцию «Built with Llama» и соблюдение Acceptable Use Policy. Для продуктов или сервисов с более чем 700 миллионами ежемесячно активных пользователей предусмотрено получение отдельной лицензии Meta.

Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

QuantFactory/Meta-Llama-3.1-8B-GGUF — это квантованная версия большой языковой модели Llama 3.1 с 8 млрд параметров, представленная в формате GGUF. Базовую модель разработала Meta, а QuantFactory подготовила её распространение в квантованном формате. Модель предназначена для генерации текста и может использоваться в локальных приложениях, чат-ботах, ассистентах, системах обработки естественного языка и других сценариях, где требуется текстовая генерация. Модель поддерживает текстовую модальность. В карточке заявлены языки английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский. Дополнительные сведения об архитектуре, размере контекстного окна, конкретном методе и уровне квантования, производительности, формате инструкционного дообучения и системных требованиях не указаны, поэтому её характеристики в этих аспектах требуют проверки по файлам модели. Главные преимущества — компактность по сравнению с полноразмерной версией, возможность запуска через совместимые инструменты для GGUF и многоязычная текстовая генерация. Ограничения включают возможные потери качества из-за квантования, зависимость результатов от выбранного варианта квантования и отсутствие заявленных возможностей работы с изображениями или другими модальностями. Модель распространяется по лицензии Llama 3.1 Community License от Meta; при использовании и распространении необходимо соблюдать её условия, включая требования к атрибуции, маркировке «Built with Llama», Acceptable Use Policy и специальные коммерческие ограничения.

Карточка модели rombodawg/Meta-Llama-3.1-8B-reuploaded на Hugging Face совпадает с карточкой unsloth/Meta-Llama-3.1-8B, поэтому описание составлено по ней. Meta-Llama-3.1-8B — плотная авторегрессионная языковая модель семейства Llama, опубликованная Meta и представленная в репозитории Unsloth в формате safetensors. Модель предназначена для генерации текста и диалоговых сценариев; карточка также описывает её как основу для дообучения с помощью ноутбуков Unsloth. Модель содержит 7,5 млрд параметров, работает с текстом и поддерживает контекст длиной до 131 072 токенов. В метаданных указан английский язык. Для использования действует лицензия Llama 3.1. README не приводит результатов оценки качества или подробных ограничений применения.

unsloth/mistral-7b-instruct-v0.3 — версия Mistral 7B Instruct, опубликованная Unsloth. Это плотная авторегрессионная языковая модель на 7,1 млрд параметров для генерации текста и диалогов по инструкциям; в метаданных указаны библиотека Transformers и контекст до 32 768 токенов. Модель принимает текст и выдаёт текст, поддерживает английский язык и интерфейс вызова инструментов. Модель подходит для диалоговых помощников и генерации ответов по запросу. README описывает её как основу для дообучения в разговорном формате ShareGPT/ChatML или Vicuna, а также для задач продолжения текста и DPO. Репозиторий содержит веса Safetensors; указана лицензия Apache 2.0. Это instruct-модель общего назначения, поэтому её ответы могут содержать ошибки и требуют проверки в критичных сценариях. README посвящён примерам и инструментам дообучения Unsloth и не приводит оценки качества самой модели.

hugging-quants/Mixtral-8x7B-Instruct-v0.1-AWQ-INT4 — общественная квантованная версия инструкционной модели Mistral AI Mixtral-8x7B-Instruct-v0.1. Модель предназначена для генерации текста и диалоговых сценариев, включая ответы на вопросы и работу в формате chat completion. Указанные языки: французский, итальянский, немецкий, испанский и английский. В основе лежит генеративная разреженная архитектура Mixture of Experts с конфигурацией 8x7B. Версия в репозитории преобразована из FP16 в INT4 с использованием AutoAWQ, GEMM-ядер, zero-point-квантования и размера группы 128. Поддерживаются Transformers, AutoAWQ и Text Generation Inference. Размер контекстного окна и точное число параметров в README не указаны. Ключевое преимущество версии — снижение требований к памяти по сравнению с полноточной моделью при сохранении возможностей исходной Mixtral; в README также заявлено превосходство над Llama 2 70B в большинстве протестированных бенчмарков. Для загрузки чекпойнта требуется около 24 ГиБ VRAM без учета KV-кэша и CUDA Graphs, поэтому необходим запас видеопамяти. Квантование INT4 может влиять на точность по сравнению с исходной версией. Лицензия — Apache-2.0.

Muse Glimmer 30B GGUF — это квантизированная версия 30-миллиардной каузальной языковой модели Muse Glimmer, разработанной Meta Superintelligence Lab и дистиллированной из Muse Spark. Репозиторий содержит сборки в формате GGUF для локального запуска через llama.cpp на пользовательском оборудовании без облачной инфраструктуры и сетевого доступа. Релиз датирован августом 2026 года, лицензия — Apache 2.0. Модель предназначена для автономных агентных задач, многошагового рассуждения, надёжного использования инструментов, мультимодального понимания и восстановления после сбоев. Базовые GGUF-файлы работают с текстом, а для обработки изображений требуется отдельный perception encoder. Дополнительно доступен DFlash drafter для ускорения генерации с помощью speculative decoding. Указан контекст до 131072 токенов при запуске сервера, однако конкретная доступная длина зависит от конфигурации и ресурсов устройства. Доступны две текстовые квантизации: Q4_K_M размером около 16,8 ГБ, ориентированная на видеокарты с 24 ГБ памяти, и Dynamic Q4_K_XL размером около 19,7 ГБ для систем с 32 ГБ памяти. Вместе с энкодером изображений и drafter требуется примерно до 23 ГБ памяти. Сильными сторонами являются локальная работа, поддержка агентных сценариев, рассуждения и изображений; ограничениями — крупный размер, необходимость совместимой версии llama.cpp не ниже b10353 и отсутствие опубликованной bf16 GGUF-сборки в этом репозитории.

Nous Hermes 2 Mixtral 8x7B DPO — диалоговая языковая модель Nous Research, дообученная на базе Mixtral 8x7B с помощью SFT и DPO. Она использует разреженную архитектуру Mixture of Experts (MoE); в репозитории указано 7,1 млрд параметров и контекст до 32 768 токенов. Модель предназначена для генерации ответов в чате, следования инструкциям и многошагового диалога. Она обучалась на более чем миллионе примеров, преимущественно созданных GPT-4, а также на данных из открытых наборов. Для диалога применяется формат ChatML с системными инструкциями и шаблоном чата Hugging Face. Карточка приводит результаты нескольких бенчмарков и сообщает об улучшении относительно базовой Mixtral и Mixtral Instruct. Основной язык карточки — английский. Модель распространяется по лицензии Apache-2.0. Для запуска в 4-битном режиме README указывает потребность более чем в 24 ГБ видеопамяти; фактические требования зависят от конфигурации и способа запуска.