II.1Анализ требований и архитектура ПО

CrystalMistral_7b_v.02 — языковая модель, созданная Crystalcareai объединением Crystalcareai/Mistral-Evol-Coder и Crystalcareai/mistral-InstructGPT с помощью LazyMergekit и метода SLERP. Это плотная авторегрессионная модель семейства Mistral с 7,1 млрд параметров и контекстом до 32 768 токенов. Модель предназначена для генерации текста, в том числе для сценариев, сочетающих инструкции и задачи, связанные с кодом. В репозитории указаны веса Safetensors; конфигурация слияния использует тип данных bfloat16. Лицензия в предоставленных данных не указана.

Dans-PersonalityEngine-V1.3.0-12b — дообученная PocketDoc языковая модель на архитектуре Mistral с 12,1 млрд параметров, созданная на базе mistralai/Mistral-Nemo-Base-2407. Модель обучалась на более чем 50 специализированных датасетах и предназначена для диалогов, ролевых сценариев, совместного написания текстов, генерации кода, использования инструментов и сложных рассуждений. Версия 1.3.0 поддерживает десять языков: арабский, китайский, английский, французский, немецкий, хинди, японский, корейский, португальский и испанский. Основной язык — английский; на нём ожидается наилучшее качество. Карточка указывает контекст 32 768 токенов и возможность увеличить его до 131 072 токенов с ухудшенным извлечением информации. Для диалогов модель использует формат DanChat-2. Она распространяется под лицензией Apache-2.0.

Dans-PersonalityEngine-V1.3.0-24b-GGUF — текстовая генеративная модель, опубликованная под идентификатором Mungert/Dans-PersonalityEngine-V1.3.0-24b-GGUF. Она создана на базе Mistral-Small-3.1-24B-Base-2503 и представлена в формате GGUF; сборка выполнена с использованием llama.cpp. В README не указано имя отдельной организации-разработчика, однако модель связана с серией Dans и использует наборы данных PocketDoc и других авторов. Модель предназначена для универсальной генерации текста, ролевого общения, написания и редактирования историй, работы с инструкциями, математикой, рассуждениями, кодом, инструментами и специализированными темами, включая химию, биологию, климат, право, медицину и финансы. Заявлены английский, арабский, немецкий, французский, испанский, хинди, португальский, японский и корейский языки. Мультимодальность не заявлена, поэтому модель следует рассматривать как текстовую. Ключевая особенность — низкобитные варианты квантования IQ-DynamicGate с адаптивным распределением точности по слоям, ориентированные на снижение требований к памяти при сохранении качества. Такие варианты подходят для ограниченных по памяти GPU, CPU и периферийных устройств, но могут уступать более точным форматам по качеству. Приведённые в README результаты относятся к тестам Llama-3-8B, а не непосредственно к этой 24-миллиардной модели, поэтому их нельзя напрямую считать её характеристиками. Размер контекста для данной модели не указан. Лицензия — Apache-2.0.

Vontra/DeepSeek-V4-Flash-0731-MXFP4-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731 от DeepSeek, распространяемая Vontra. Модель предназначена для генерации текста и запуска локальных LLM-приложений на устройствах Apple с MLX, включая диалоги, программирование и работу с длинным контекстом. Исходная модель имеет 305 млрд параметров, из которых около 13 млрд активируются для одного токена, и использует архитектуру Mixture-of-Experts. В данной версии эксперты представлены в формате MXFP4, attention — в MXFP8, а выходная голова сохраняется в формате bfloat16. Поддерживается текстовая модальность; сведения о полном наборе языков и максимальной длине контекста в README не указаны, однако приведены измерения на контексте 23 тысячи токенов. Конверсия заявлена как побитово идентичная исходному checkpoint: значения весов после деквантизации совпадают с оригиналом, а размер составляет около 167,1 ГБ. Модель сохраняет DSpark MTP-головы, что позволяет использовать нативное speculative decoding в oMLX 0.5.4rc2 и повысить скорость генерации примерно до 41,7 токена в секунду на Mac Studio с M3 Ultra против 26,1 токена в секунду без спекуляции. Для работы требуется значительный объём памяти и совместимое окружение MLX/oMLX; заявленные показатели зависят от оборудования, настроек и кэширования промптов. Лицензия — MIT.

DeepSeek-V4-Flash-0731-REAP37-native-MLX — это MLX-конверсия модели DeepSeek-V4-Flash-0731, разработанной командой DeepSeek. Модель предназначена для генерации текста, диалоговых приложений, агентских сценариев и вызова инструментов через формат DSML. Она работает только с текстом и не содержит компонентов для обработки изображений. Модель использует архитектуру deepseek_v4 с механизмом внимания HISA, hyper-connections и маршрутизацией экспертов: в 40 слоях применяется обучаемая маршрутизация, а в первых трёх — hash-routing. Из исходных 256 экспертов в каждом слое сохранено 163, что соответствует сокращению примерно на 36,7%. Размер модели на диске составляет около 96 ГБ против примерно 155 ГБ у исходного варианта с 304 млрд параметров. Сохранённая точность является штатной для исходных весов — дополнительное квантование не применялось; выжившие эксперты побитово совпадают с исходным checkpoint. Главное преимущество модели — уменьшенный размер при сохранении исходной 4-битной точности оставшихся весов, а также поддержка нативного вызова инструментов DSML. Модель рассчитана на запуск в экосистеме MLX и тестировалась с oMLX; также доступна через mlx_vlm. Ограничения включают отсутствие независимого сравнения с полной моделью на стандартных бенчмарках, поэтому качество следует проверять на собственных задачах. Лицензия — MIT, унаследованная от базовой модели.

Dolphin 3.0 Llama 3.2 3B — инструктивно дообученная языковая модель, созданная Eric Hartford, Ben Gitter, BlouseJury и Cognitive Computations на основе Meta Llama 3.2 3B. Это плотная авторегрессионная модель семейства Llama с 3,2 млрд параметров и контекстом до 131 072 токенов; веса доступны в формате Safetensors. Модель предназначена для локального использования как универсальный диалоговый помощник. Она подходит для генерации текста, программирования, математических задач и работы в агентных сценариях, включая интерфейс вызова функций. Для диалогов используется шаблон ChatML; системный промпт позволяет задавать тон и правила поведения. Обучение опиралось на наборы данных для инструкционного диалога, кода, математики и вызова функций. Модель рассчитана на текстовый ввод и выдаёт текст. В карточке указан английский язык. Количественные результаты оценки качества не приведены. Лицензия — Llama 3.2; условия использования определяются этой лицензией.

Gemini 3.7 Flash — мультимодальная модель Google для быстрых агентных сценариев, программирования и сложных многошаговых рассуждений. Она предназначена для задач, где важны отзывчивость и надёжное выполнение последовательности шагов. Каталог классифицирует модель как image-text-to-text, что указывает на обработку изображений с выдачей текстового ответа. Данных о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных сведениях нет. README описывает модель как мультимодальную, но не уточняет перечень модальностей и конкретные ограничения.

Gemini 3 Flash Preview — предварительная версия быстрой мультимодальной модели Google для диалога, агентных сценариев и помощи с программированием. Карточка описывает её как thinking-модель с рассуждениями, близкими к уровню Pro, и поддержкой работы с инструментами. Модель предназначена для многошагового чата, агентных рабочих процессов и задач по программированию. Метаданные каталога относят её к задаче image-text-to-text. Данных о размере, длине контекста, поддерживаемых языках и лицензии в предоставленных материалах нет.

DuoNeural разработала Gemma-4-26B-A4B-Abliterated — изменённую версию диалоговой Gemma 4 от Google DeepMind. Это модель генерации текста на архитектуре MoE с 26 млрд параметров, из которых около 3,8 млрд активны при обработке токена; в README указано 128 маршрутизируемых экспертов и один общий, из которых одновременно задействуются восемь. Модель принимает текстовые запросы и предназначена для диалога, следования инструкциям, рассуждений, генерации кода, работы с инструментами и структурированного вывода. От базовой Gemma-4-26B-A4B-it она отличается удалением отказов с помощью изменения весов методом representation engineering. README заявляет сохранение общих возможностей и многоязычной генерации, но не приводит конкретного перечня поддерживаемых языков; метаданные отмечают английский и многоязычность. В карточке также приведён пример запуска GGUF через llama.cpp с контекстом 16 384 токена, однако метаданные этого репозитория указывают формат safetensors и библиотеку Transformers. Модель рассчитана на пользователей, которым нужна инструкция-следующая языковая модель с менее ограничительным поведением. Удаление отказов означает, что она может отвечать на запросы, которые базовая модель отклонила бы; качество и безопасность таких ответов требуют проверки. README указывает исследовательское и образовательное применение и отсылает к условиям Google Gemma Terms of Use; метаданные обозначают лицензию как gemma.

RedHatAI/gemma-4-31B-it-FP8-block — квантизированная версия мультимодальной модели google/gemma-4-31B-it, разработанная RedHatAI на базе модели Google. Архитектура — Gemma4ForConditionalGeneration; модель принимает текст и изображения и генерирует текст. Поддерживаются генерация текста, выполнение инструкций и tool calling, включая function calling через vLLM. Режим рассуждений включён по умолчанию в настройках шаблона чата. Модель использует FP8-квантизацию весов и активаций: веса масштабируются поблочно блоками 128×128, активации — динамически группами размера 128. Квантизация применяется к линейным операторам трансформерных блоков, тогда как vision tower, embedding и output head сохраняют исходную точность. Это примерно вдвое сокращает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением, что делает её подходящей для эффективного инференса. Модель предназначена прежде всего для развёртывания с vLLM; заявлена проверка совместимости с vLLM 0.24.0, RHOAI 3.5 и RHAIIS 3.5. В примере развёртывания используется контекст до 32768 токенов и поддержка изображений. Среди ограничений — необходимость совместимой инфраструктуры и специальных параметров vLLM для рассуждений и вызова инструментов; влияние FP8-квантизации на качество зависит от задачи, хотя в README приведены оценки на наборах GSM8K Platinum, MMLU-Pro, IFEval, MATH-500, AIME 2025, GPQA Diamond, LiveCodeBench v6 и BFCLv4. Модель распространяется по лицензии Apache-2.0.

Карточка модели Iambackup/gemma-4-E4B-it на Hugging Face совпадает с карточкой AtharvOG/Atharvs_Model, поэтому описание составлено по ней. Atharvs_Model — дообученная мультимодальная модель на базе Google Gemma 4 E4B, опубликованная под лицензией Apache 2.0. Она использует архитектуру Gemma4ForConditionalGeneration и формат safetensors, принимает текст и изображения и формирует текстовые ответы. Семейство Gemma 4 поддерживает контекст до 128 тысяч токенов для малых моделей, включая E4B, и многоязычную работу; карточка этой конкретной модели не уточняет языки дообучения. Модель подходит для диалога, генерации и суммаризации текста, программирования, рассуждений, а также анализа изображений и документов, включая OCR. В README Gemma 4 также заявлены видеопонимание и аудиозадачи для E2B и E4B, однако метаданные конкретного репозитория не подтверждают эти возможности отдельно. Возможности исходной модели не обязательно полностью сохранены или улучшены после дообучения; перед использованием ответы следует проверять.

Gemopus-4-31B-it — дообученная Jackrong версия инструкционной модели Google Gemma 4 31B-it. Это плотная текстовая генеративная модель для диалогов и следования инструкциям; при настройке автор стремился сохранить исходный стиль рассуждений Gemma 4 и улучшить качество, структуру, ясность и последовательность ответов. Модель обучалась с использованием исправленного стека Unsloth и Transformers. Модель рассчитана на повседневную работу с текстом: подготовку структурированных ответов и сводок, редактирование текста и интерактивное программирование. В README автор отдельно отмечает улучшения в организации длинных ответов, объяснении технических тем и естественности диалога. В метаданных указаны английский, китайский, корейский и японский языки; мультимодальные возможности базовой модели не следует автоматически считать возможностями этой текстовой версии. Автор предупреждает, что модель может уступать более крупным облачным моделям в объёме знаний и сложных математических или логических рассуждениях; в узкоспециализированных темах возможны ошибки и галлюцинации. Автор называет веса экспериментальными. Лицензия — Apache-2.0.

GLM-4.6-REAP-252B-A32B — сжатая версия диалоговой языковой модели GLM-4.6, созданная командой Cerebras методом REAP (Router-weighted Expert Activation Pruning). Это причинная разреженная MoE-модель: из 160 экспертов удалены 30%, осталось 112; на токен активируются 8 экспертов. README указывает 252 млрд параметров всего и 32 млрд активных на токен, тогда как метаданные Hugging Face указывают 23,4 млрд параметров. Контекст — до 202 752 токенов. Модель предназначена для генерации текста и кода, агентных рабочих процессов, понимания больших репозиториев и вызова функций. Карточка заявляет производительность, близкую к исходной GLM-4.6, и снижение требований к памяти примерно на 30%; после однократного прореживания дополнительное дообучение не требуется. Указаны поддержка запуска через vLLM и английский язык. README предупреждает, что для BF16-версии оценки не приведены; результаты доступны для FP8-варианта. Лицензия — MIT.

GLM-4.7-GGUF — это GGUF-версия языковой модели GLM-4.7, разработанная организацией Z.ai и опубликованная Unsloth. Модель предназначена прежде всего для генерации текста, программирования и агентских сценариев с использованием инструментов. Она ориентирована на multilingual coding, задачи в терминале, веб-навигацию, математическое и общее рассуждение, создание веб-интерфейсов и презентаций, а также на диалоги, творческое письмо и ролевые сценарии. В карточке указаны поддерживаемые языки English и Chinese, библиотека Transformers и базовая модель zai-org/GLM-4.7. Заявлены режимы thinking before acting, interleaved thinking и preserved thinking, однако сведения о размере модели, точной архитектуре, длине контекста и доступных модальностях отсутствуют. По приведённым результатам модель показывает сильные стороны в кодировании, использовании инструментов, математике и рассуждении; среди ограничений следует учитывать, что показатели зависят от конкретных бенчмарков и не гарантируют аналогичное качество в каждом прикладном сценарии. Модель распространяется по лицензии MIT. README не содержит подробностей о требованиях к оборудованию, конкретных квантизациях GGUF или полной процедуре локального запуска.

GLM-4-9B — плотная языковая модель с архитектурой ChatGLM, разработанная Zhipu AI и выпущенная как открытая базовая версия семейства GLM-4. Модель содержит 10,7 млрд параметров и принимает текст, формируя текстовые ответы; базовая версия поддерживает контекст до 8 192 токенов. Модель предназначена для генерации текста и решения задач на понимание языка, знания, математику, рассуждение и программирование. Семейство GLM-4 поддерживает 26 языков, включая японский, корейский и немецкий; карточка также указывает китайский и английский. Упомянутые в README возможности многоходового диалога, вызова инструментов и контекста до 128K относятся к версии GLM-4-9B-Chat, а не к этому базовому чекпойнту. Весы распространяются в формате safetensors. Лицензия указана как other; README отсылает к LICENSE репозитория для условий использования. Заявленные в карточке сравнительные результаты не гарантируют качество на конкретных данных и сценариях.

GLM-5.3-Flash-GGUF — квантизованное GGUF-представление модели GLM-5.3-Flash, разработанной командой GLM-5 и распространяемой в данном формате Unsloth. Модель предназначена для генерации текста, программирования, агентских сценариев и работы с мультимодальными данными. Заявлена поддержка английского и китайского языков. Модель имеет гибридную архитектуру, сочетающую разреженное и линейное внимание, а также использует Manifold-Constrained Hyper-Connections для повышения эффективности масштабирования. Общий размер составляет 320 млрд параметров, из них 18 млрд активны при обработке запроса. Это первая нативно мультимодальная модель серии GLM-5; обучение проводилось на мультимодальном корпусе объёмом 30 трлн токенов. Архитектура ориентирована на снижение стоимости обработки длинного контекста при сохранении возможностей работы с большими объёмами данных, однако точный размер контекстного окна в README не указан. К сильным сторонам относятся мультимодальность, высокая заявленная эффективность, поддержка длинного контекста, задачи программирования и автономной работы с инструментами. Ограничения включают отсутствие подробных сведений о конкретных модальностях, точных характеристиках GGUF-квантизации и требованиях к оборудованию. Модель распространяется по лицензии MIT; для запуска рекомендуется совместимый стек llama.cpp или Unsloth Desktop.

Карточка модели crusoeai/gpt-oss-20b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

Granite 3.2 8B Instruct — языковая instruction-tuned модель семейства Granite, разработанная IBM (ibm-granite). Представленная версия — GGUF-квантизация исходной модели granite-3.2-8b-instruct, подготовленная bartowski с использованием llama.cpp. Модель предназначена для генерации текста и диалоговых сценариев, включая задачи, требующие развитых способностей к рассуждению. Модель имеет размер 8 миллиардов параметров и поддерживает контекст длиной до 128 тысяч токенов. Она работает с текстом и поддерживает английский, немецкий, испанский, французский, японский, португальский, арабский, чешский, итальянский, корейский, нидерландский и китайский языки. Формат GGUF ориентирован на локальный инференс в совместимых инструментах, включая llama.cpp и LM Studio. К сильным сторонам относятся большой контекст, многоязычность и настройка на задачи, связанные с рассуждением. Ограничения включают влияние квантизации на качество по сравнению с исходной моделью, а также возможность получать неточные, неподходящие или вводящие в заблуждение ответы. В README не указаны конкретные параметры квантизации и требования к аппаратным ресурсам. Модель распространяется по лицензии Apache 2.0.

Grok 4.5 — модель SpaceXAI, заявленная как модель с передовыми возможностями в программировании, интеллектуальной работе и задачах STEM. Она предназначена для помощи в написании и разборе кода, работе со знаниями и решении научных, технических, инженерных и математических задач. Доступные сведения не подтверждают конкретные архитектуру, размер, модальности, языки или длину контекста. Лицензия не указана.

harkov000/hermes-dolphin-8B — объединённая модель на архитектуре Llama, созданная методом SLERP из NousResearch/Hermes-3-Llama-3.1-8B и cognitivecomputations/dolphin-2.9.4-llama3.1-8b. Репозиторий содержит веса в формате safetensors; размер модели — 7,5 млрд параметров, заявленная длина контекста — 131 072 токена. Модель предназначена для диалоговой генерации текста и следования инструкциям; метаданные также отмечают интерфейс вызова инструментов. Её можно применять для ответов на вопросы, рассуждений, помощи с кодом и сценариев с использованием инструментов. Базовая модель Hermes 3 ориентирована на английский язык; карточка этой объединённой модели не уточняет языковой охват. Модель опубликована 23 октября 2024 года. Условия лицензии в предоставленных данных не приведены.

Hermes-Dolphin-out — объединённая языковая модель на архитектуре Llama, созданная автором harkov000 методом SLERP из NousResearch/Hermes-3-Llama-3.1-8B и cognitivecomputations/dolphin-2.9.4-llama3.1-8b. Модель содержит около 7,5 млрд параметров, работает с текстом и имеет контекст до 131 072 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, рассуждений, написания кода и сценариев с вызовом инструментов; эти возможности унаследованы от моделей, участвовавших в объединении. В метаданных основная задача — text-generation. Карточка не сообщает результаты оценки качества именно этого объединения. Языковая ориентация и отдельные ограничения модели не описаны; базовая Hermes 3 характеризуется как англоязычная. Модель распространяется в формате safetensors. Сведения о лицензии в предоставленных данных отсутствуют.

JiRack DeltaNet 27B — текстовая генеративная модель разработчика CMSManhattan, основанная на архитектуре семейства Qwen3.5 и адаптированная для эффективного инференса на CPU. Модель имеет 22,3 млрд параметров, использует гибридную архитектуру DeltaNet с attention и SSM, поддерживает контекст до 262 144 токенов. Доступны веса Safetensors и варианты GGUF с разными уровнями квантования; заявлена поддержка Ollama и llama.cpp. Модель предназначена для диалогов, программирования, вызова инструментов и использования как экспертной модели в RAG-системах. В README также заявлены сценарии маршрутизации запросов, мультимодальных задач и робототехники, однако метаданные указывают только text-generation, а само описание не содержит подтверждённых деталей о работе с изображениями, видео или аудио. Заявлена поддержка языков от английского и русского до китайского, японского, корейского и ряда европейских и азиатских языков. Метаданные указывают лицензию MIT для модели. README отдельно сообщает, что Docker-образы, предварительно собранные квантизации для Ollama и интерфейсы JiRack могут распространяться на коммерческих условиях; условия их использования следует проверять отдельно. Заявления о качестве и скорости не сопровождаются результатами сравнительных оценок.

KAT-V1-40B (Kwaipilot-AutoThink) — открытая большая языковая модель, разработанная Kwaipilot. Она обучена выбирать, когда явно разворачивать ход рассуждений, а когда отвечать напрямую, чтобы снижать избыточные рассуждения. Модель построена на архитектуре Qwen2, имеет 39,8 млрд параметров и контекстное окно 131 072 токена; для работы с ней указана библиотека Transformers. Модель предназначена для генерации текста в диалогах и решения задач, где полезны как развёрнутые рассуждения, так и краткие ответы. README описывает структурированный формат ответа с режимами включённого и пропущенного рассуждения; метаданные также отмечают интерфейс вызова инструментов. В README сообщается о высоком результате Kwaipilot-AutoThink на LiveCodeBench Pro, но это не раскрывает показатели именно данного чекпойнта KAT-V1-40B. Репозиторий содержит веса Safetensors. Лицензия указана как other, поэтому конкретные условия использования следует проверять в карточке модели. README сообщает, что документация AutoThink и дополнительные обучающие ресурсы планируются к публикации; подробности обучения и ограничения качества этой версии в предоставленных данных не раскрыты.

DuoNeural/LFM2.5-8B-A1B-Abliterated-GGUF — набор GGUF-квантизированных версий модели DuoNeural LFM2.5-8B-A1B-Abliterated, созданной на основе Liquid AI LFM 2.5-8B-A1B. Модель предназначена для генерации текста, рассуждений, программирования, математических задач и формирования структурированных данных, включая JSON. Указан английский язык. Модель распространяется в формате GGUF и совместима с llama.cpp, Ollama и LM Studio; используется шаблон ChatML. Архитектура описана как гибридная, сочетающая MoE и hybrid attention, с 8B общих параметров и обозначением A1B; в ней присутствуют шесть полносвязных GQA-слоёв. Доступны варианты Q4_K_M размером 4,9 ГБ с рекомендуемым объёмом RAM около 6 ГБ и Q5_K_M размером 5,7 ГБ с требованием около 8 ГБ. Для Q4_K_M заявлена работа с контекстом до 128k, для Q5_K_M подтверждён контекст 64k. Q5_K_M рекомендован как баланс качества и размера. Это локальная и вычислительно эффективная модель, способная работать даже на видеокартах потребительского уровня; заявлено сохранение возможностей исходной модели после аблерации и минимальное изменение распределения ответов на доброкачественных запросах. При этом README сообщает об удалении большей части исходного отказного поведения, поэтому модель может быть менее безопасной для неконтролируемого применения. Подробные ограничения, результаты независимой оценки и полный набор поддерживаемых языков не указаны. Лицензия — Apache 2.0.

Meta Llama 3.1 405B — большая авторегрессионная языковая модель на основе оптимизированной архитектуры Transformer с Grouped-Query Attention. Она принимает и генерирует текст; семейство Llama 3.1 включает базовые и дообученные версии, а этот репозиторий представляет модель размером 405 млрд параметров. В метаданных указаны библиотека Transformers и формат safetensors. Модель предназначена для генерации текста и многоязычного диалога: её можно применять как основу для помощников и чат-систем, а также адаптировать к другим задачам генерации естественного языка. Семейство поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. В карточке отмечены расширенное контекстное окно и возможность интеграции с инструментами разработчиками, но точный размер контекста этой модели не указан. Модель разработана Meta и выпущена в июле 2024 года. Она распространяется по специальной коммерческой лицензии Llama 3.1 Community License; применение должно соответствовать лицензии и Acceptable Use Policy. К ограничениям относятся статичность обученных весов, отсутствие гарантии безопасности или корректности ответов и рекомендация не использовать неподдерживаемые языки без дополнительного дообучения и системных мер контроля.

NVIDIA Llama 3.1 405B Instruct FP8 — версия Meta Llama 3.1 405B Instruct, квантизованная NVIDIA до FP8 с помощью TensorRT Model Optimizer. Это плотная авторегрессионная Transformer-модель семейства Llama с примерно 403,7 млрд параметров; она принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Окно контекста составляет до 131 072 токенов. Модель предназначена для диалоговых систем и генерации ответов по инструкциям, а также для инференса через TensorRT-LLM или vLLM. По данным README, FP8-квантизация весов и активаций линейных операторов в блоках трансформера уменьшает требования к диску и видеопамяти примерно вдвое; на H200 заявлено ускорение примерно в 1,7 раза. README указывает совместимость с NVIDIA Blackwell, Hopper и Lovelace. Модель построена на базе Meta-Llama-3.1-405B-Instruct и не является разработкой NVIDIA: README уточняет, что NVIDIA подготовила её под требования конкретного сценария. Лицензия — Llama 3.1; карточка заявляет готовность к коммерческому и некоммерческому использованию в рамках её условий.

Llama-3.1-Nemotron-70B-Instruct-GGUF — квантованная версия инструкционной модели Llama 3.1 Nemotron 70B, разработанной NVIDIA и опубликованной в формате GGUF сообществом Backyard AI. Модель основана на nvidia/Llama-3.1-Nemotron-70B-Instruct-HF и предназначена для локального текстового общения, генерации текста и решения задач, требующих рассуждений. Модель содержит около 70,6 млрд параметров, поддерживает текстовую модальность и английский язык. Заявленный размер контекста составляет до 131 072 токенов. Формат GGUF совместим с приложениями на базе llama.cpp и позволяет распределять вычисления между CPU и GPU, снижая требования к видеопамяти по сравнению с полноразмерными форматами. Квантование уменьшает потребление ресурсов, но при низкой точности квантования может ухудшать связность и качество ответов. Сильными сторонами модели заявлены улучшенные способности к рассуждению и потенциальное превосходство над значительно более крупными моделями в соответствующих задачах. Ограничениями являются высокая вычислительная требовательность 70-миллиардной модели, зависимость качества от используемого уровня квантования и отсутствие заявленной поддержки языков, кроме английского. Модель распространяется по лицензии Llama 3.1.

QuantFactory/Llama-3.1-Storm-8B-GGUF — квантизированная версия модели Llama-3.1-Storm-8B, созданная с помощью llama.cpp. Исходную модель разработали Ashvini Kumar Jindal, Pawan Kumar Rajpoot, Ankur Parikh и Akshita Sukhlecha. Она основана на Llama-3.1-8B-Instruct и дополнительно обучена с применением целевого fine-tuning и объединения с Llama-Spark методом SLERP. Модель предназначена для генерации текста, диалоговых приложений, следования инструкциям, ответов на вопросы, рассуждений и function calling. Заявлены улучшения по сравнению с Meta-Llama-3.1-8B-Instruct в instruction following, knowledge-driven QA, reasoning, truthful answer generation и агентских сценариях. В частности, авторы сообщают о лучших результатах на IFEval, GPQA, MMLU-Pro, ARC-C, MuSR, BBH, TruthfulQA и BFCL. Квантизация ориентирована на запуск модели с более ограниченными вычислительными ресурсами. Модель имеет около 8 миллиардов параметров и работает с текстом. В README указана поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Размер контекстного окна и конкретные варианты квантизации в представленном описании не указаны. GGUF-формат предназначен для использования в совместимых инструментах экосистемы llama.cpp, включая Ollama. Модель позиционируется как универсальная и улучшенная в следовании инструкциям, рассуждениях, function calling и снижении галлюцинаций, однако заявленные преимущества основаны на бенчмарках авторов и могут зависеть от сценария и настроек запуска. Условия использования определяются лицензией llama3.1; дополнительные ограничения или требования в README не приведены.

NVIDIA Llama 3.3 70B Instruct NVFP4 — FP4-квантизованная версия инструктивной языковой модели Meta Llama 3.3 70B Instruct. Это авторегрессионная плотная модель на архитектуре Transformer/Llama 3.3 с 69,5 млрд параметров, принимающая текст и генерирующая текст. Контекст — до 128 тысяч токенов; модель поддерживает диалоговый режим и интерфейс вызова инструментов. Модель предназначена для диалоговых ассистентов и генерации текста. Квантизация весов и активаций линейных операторов в блоках Transformer выполнена с помощью NVIDIA TensorRT Model Optimizer; по данным карточки, она уменьшает требования к дисковому пространству и памяти GPU примерно в 3,3 раза. Для инференса указан TensorRT-LLM, аппаратная совместимость — NVIDIA Blackwell. Модель основана на Meta Llama 3.3 70B Instruct и подходит для коммерческого и некоммерческого использования в соответствии с условиями лицензии Llama 3.3. В README не приведены конкретные языки и результаты бенчмарков, поэтому языковой охват и сохранение качества после квантизации по этим данным оценить нельзя.

Cerebras Llama-3-CBHybridL-8B — языковая модель Cerebras, созданная на базе Llama-3.1-8B-Instruct для работы с длинным контекстом. Это вариант с гибридным плотным и разреженным вниманием: 25 из 32 слоёв внимания дообучены для разреженного lambda-mask attention. По данным авторов, такой подход уменьшает память KV-кэша в 1,6–1,7 раза при сохранении большей части качества на задачах с длинным контекстом. Модель предназначена для генерации текста и диалогов, включая ответы на вопросы по длинным документам и работу с несколькими источниками. Метаданные указывают 7,5 млрд параметров и контекст до 33 792 токенов; поддерживается интерфейс вызова инструментов. В README приведены результаты на LongBench и HELMET: качество зависит от задачи и может снижаться относительно исходной модели. Для улучшения работы с длинным контекстом авторы предлагают вставлять вспомогательные токены памяти; их добавление требует соответствующей обработки входа. Модель распространяется в формате safetensors под лицензией other; конкретные условия лицензии следует уточнить на странице репозитория. Карточка описывает её как эксперимент Cerebras на основе инструкционной модели Llama 3.1, а не как универсальную замену исходной модели.