II.1Анализ требований и архитектура ПО

unsloth/Llama-3.1-Nemotron-Nano-8B-v1-GGUF — GGUF-версия модели Llama-3.1-Nemotron-Nano-8B-v1, разработанной NVIDIA и подготовленной Unsloth. Это языковая reasoning-модель на базе Meta Llama 3.1 8B Instruct, предназначенная для диалогов, следования инструкциям, генерации кода, математических и логических задач, RAG-систем, tool calling и AI-агентов. Модель рассчитана прежде всего на английский язык и языки программирования, также заявлена поддержка немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Модель представляет собой плотный decoder-only Transformer с архитектурой Llama 3.1 и примерно 8 млрд параметров. Она поддерживает текстовый ввод и вывод, контекст до 131 072 токенов, а также режимы с рассуждением и без него, переключаемые системным промптом. Постобучение включало supervised fine-tuning для математики, кода, рассуждений и tool calling, а также этапы reinforcement learning и оптимизации предпочтений. GGUF-формат и заявленная эффективность позволяют использовать модель локально, в том числе на одной RTX GPU; рекомендуемые аппаратные платформы исходной модели — NVIDIA Hopper и Ampere. Сильными сторонами являются сочетание качества рассуждений, чат-возможностей и вычислительной эффективности, а также поддержка длинного контекста и агентских сценариев. Ограничения включают преимущественную ориентацию на английский язык и языки программирования, зависимость поведения от корректной настройки режима рассуждения и устаревание части знаний: дата среза предобучающих данных Meta Llama 3.1 указана как 2023 год. Использование регулируется NVIDIA Open Model License; дополнительно указано соглашение Meta Llama 3.1 Community License Agreement. Модель заявлена как пригодная для коммерческого использования.

unsloth/Llama-3.3-70B-Instruct — инструктивная мультиязычная языковая модель Meta на архитектуре Llama 3.3, представленная в формате safetensors. Это авторегрессионный трансформер с 69,5 млрд параметров, обученный следовать инструкциям с помощью SFT и RLHF. Модель принимает и генерирует текст; поддерживает диалоговые сценарии и интерфейс вызова инструментов, который разработчики интегрируют самостоятельно. Контекст — до 131 072 токенов. Модель предназначена для чат-ассистентов и генерации текста, в том числе для коммерческого и исследовательского применения. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Условия распространения определяются пользовательской лицензией Llama 3.3 Community License; перед использованием следует соблюдать её положения и Acceptable Use Policy. Модель статична и обучена на офлайн-данных; качество и безопасность ответов требуют проверки, а для неподдерживаемых языков разработчик рекомендует дообучение и дополнительные системные меры.

SKT AI LABS представила SKT-NRS/NRS_QWEN_MYTHOS_1M — дообученную модель на архитектуре Qwen3.5-9B для диалогов, рассуждений и генерации текста. Карточка заявляет контекст до 1 048 576 токенов с масштабированием YaRN и настройку на примерах по программированию, математике и логике. Метаданные также указывают поддержку изображений в базовой мультимодальной архитектуре Qwen, хотя описание модели сосредоточено на текстовых сценариях. Модель предназначена для анализа длинных документов и кодовых баз, пошаговых рассуждений, программирования и вызова инструментов, включая Python и веб-поиск. Заявлены диалоговый режим и оптимизация инференса, однако сведения о скорости и стократном повышении качества являются утверждениями авторов без приведённых сравнительных результатов. Для обработки вывода могут потребоваться специальные меры из-за блоков <think>; критические ответы следует проверять из-за риска галлюцинаций. Лицензия в предоставленных данных не указана.

unsloth/Qwen3.6-27B — мультимодальная модель с открытыми весами, основанная на Qwen/Qwen3.6-27B и дообученная после предварительного обучения. Она предназначена для диалогов, программирования, агентных сценариев и работы с изображениями; модель поддерживает вызов инструментов и рассчитана на разработчиков, использующих Transformers и совместимые среды запуска. Архитектура — плотная причинная языковая модель с визуальным энкодером, 27 млрд параметров; контекст составляет 262 144 токена и может расширяться до 1 010 000 токенов. Модель принимает текст и изображения и генерирует текст. В карточке отмечены улучшения в работе с кодом, включая фронтенд-задачи и рассуждение по репозиториям, а также сохранение контекста рассуждений между сообщениями. README упоминает текстовый, графический и видеоввод, однако метаданные классифицируют модель только как image-text-to-text. Указанная лицензия — Apache-2.0.

unsloth/Qwen3.6-35B-A3B-GGUF — GGUF-версия открытой модели Qwen3.6-35B-A3B, разработанной командой Qwen и подготовленной Unsloth. Это каузальная языковая модель с визуальным энкодером, предназначенная для программирования, агентных сценариев, работы с репозиториями, фронтенд-разработки, рассуждений и вызова инструментов. Модель ориентирована на более стабильную и продуктивную интерактивную разработку, поддерживает сохранение контекста рассуждений из предыдущих сообщений и улучшенный разбор вложенных объектов при tool calling. Архитектура основана на Mixture of Experts: всего 35 млрд параметров, из которых активируется около 3 млрд. Модель содержит 40 слоёв, 256 экспертов, из которых для каждого запроса выбираются 8 маршрутизируемых и 1 общий эксперт; также используются Gated DeltaNet и Gated Attention. Нативная длина контекста составляет 262 144 токена, с возможностью расширения до 1 010 000 токенов. В README языки и точные визуальные возможности не перечислены, но заявлена поддержка обработки текста и изображений. Сильные стороны модели — большой контекст, экономичная активация параметров благодаря MoE, ориентация на агентное программирование, repository-level reasoning и работу с инструментами. Ограничения включают отсутствие в представленных данных подробностей о поддерживаемых языках, конкретном формате квантования GGUF, требованиях к ресурсам и полном наборе результатов тестирования; качество также может зависеть от выбранного квантования. Модель распространяется по лицензии Apache 2.0.

Карточка модели a-ibrahim-pwc/Qwen3-Next-80B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

Карточка модели unsloth/Qwen3-Next-80B-A3B-Instruct на Hugging Face совпадает с карточкой Qwen/Qwen3-Next-80B-A3B-Instruct, поэтому описание составлено по ней. Qwen3-Next-80B-A3B-Instruct — языковая модель от команды Qwen, предназначенная для диалогов, генерации текста и сценариев с вызовом инструментов. Это причинная модель семейства Qwen3-Next с разреженной архитектурой смеси экспертов (MoE), гибридной обработкой контекста через Gated DeltaNet и Gated Attention и поддержкой ускорения вывода с помощью Multi-Token Prediction. В модели 80 млрд параметров, из которых активируются около 3 млрд на токен; при этом метаданные Hugging Face указывают размер 2,3 млрд параметров. Модель рассчитана на инструкции в обычном, нетщательном режиме и поддерживает контекст до 262 144 токенов; в README описано расширение контекста примерно до миллиона токенов с YaRN. Подходит для длинных диалогов и документов, генерации ответов и агентных сценариев с инструментами. Карточка сообщает о результатах на ряде бенчмарков, но не приводит полный набор таблиц в предоставленном тексте. Лицензия Apache-2.0.

Salience-27B-R6-i1-GGUF — набор GGUF-квантизаций модели Salience-27B-R6, разработанный vectionlabs на базе Qwen3.8. Модель предназначена для генерации текста, рассуждений, программирования, агентских сценариев и вызова инструментов; заявлена поддержка мультимодальных задач с обработкой изображений через отдельный vision encoder mmproj. Основной язык — английский. Это плотная модель примерно на 27 млрд параметров с гибридной архитектурой: 48 из 64 слоёв используют линейное внимание с рекуррентным состоянием, а остальные — обычное внимание. Для запуска рекомендуется llama.cpp; пример конфигурации использует контекст до 32 768 токенов, шаблон чата jinja и reasoning-формат deepseek. Квантизации используют importance matrix и распределение битов по тензорам, что особенно направлено на сохранение качества вызова инструментов и агентского поведения. Доступны варианты от IQ2_XXS и IQ2_M до Q6_K; размер файлов составляет примерно 8,2–21 ГБ. Сильными сторонами являются поддержка рассуждений, кода, инструментов, длинного контекста и изображений, а также возможность запуска на системах с ограниченной памятью благодаря широкому выбору квантизаций. При этом низкие уровни IQ2 и Q2 не рекомендуются: качество заметно снижается, а ошибки могут сильнее накапливаться при увеличении длины контекста. Для обработки изображений требуется отдельный файл vision encoder; без jinja-шаблона возможны некорректные вызовы инструментов. Модель и квантизации распространяются по лицензии Apache-2.0.

Step-3.5-Flash-FP8 — открытая foundation-модель, разработанная StepFun и представленная в формате FP8 на базе stepfun-ai/step-3.5-flash. Она предназначена для сложного рассуждения, программирования, агентских сценариев, многошагового выполнения задач, поиска и обработки больших объёмов информации. Модель ориентирована на интерактивное применение и локальное развёртывание, включая высокопроизводительное потребительское оборудование. Архитектура модели основана на разреженной Mixture of Experts (MoE): всего модель содержит 196 млрд параметров, из которых для каждого токена активируется около 11 млрд. Технология Multi-Token Prediction (MTP-3) обеспечивает заявленную скорость генерации около 100–300 токенов в секунду, с пиковыми значениями до 350 токенов в секунду для однопоточных задач программирования. Поддерживается контекстное окно объёмом 256K токенов; для его эффективной обработки используется гибридная схема Sliding Window Attention с соотношением 3:1. К сильным сторонам относятся высокая скорость вывода, эффективность MoE-архитектуры, способность работать с длинным контекстом и результаты на задачах рассуждения, программирования и автономных агентов, включая 74,4% на SWE-bench Verified и 51,0% на Terminal-Bench 2.0. Ограничения, включая языковую специализацию, мультимодальность и требования к аппаратным ресурсам, в README явно не описаны. Модель распространяется по лицензии Apache 2.0.

Step-3.5-Flash-GGUF-Q4_K_S — это квантизированная версия Step 3.5 Flash от команды StepFun, созданная на базе stepfun-ai/step-3.5-flash и распространяемая в формате GGUF с квантизацией Q4_K_S. Модель предназначена для локального развёртывания и ориентирована на задачи рассуждения, программирования, агентного взаимодействия и обработки длинных документов или больших кодовых баз. В основе модели лежит разреженная архитектура Mixture of Experts (MoE): всего модель содержит 196 млрд параметров, из которых при генерации каждого токена активируется около 11 млрд. Используется 3-way Multi-Token Prediction (MTP-3), обеспечивающий заявленную скорость генерации примерно 100–300 токенов в секунду в типичных сценариях и до 350 токенов в секунду в однопоточном программировании. Контекстное окно составляет до 256 тысяч токенов благодаря сочетанию Sliding Window Attention и полноразмерного внимания. Для локального запуска модель адаптирована под llama.cpp; на NVIDIA DGX Spark заявлена скорость около 20 токенов в секунду, а INT8-квантизация KV-кэша позволяет использовать контекст до 256 тысяч токенов. Сильные стороны модели — сочетание высокой эффективности, поддержки длинного контекста, задач программирования и многошаговых агентных сценариев, а также возможность обработки данных локально с сохранением приватности. В качестве ограничений следует учитывать значительный общий размер модели и высокие требования к оборудованию, несмотря на разреженную архитектуру и квантизацию. README не указывает поддерживаемые языки и мультимодальные возможности, поэтому их нельзя подтвердить. Модель распространяется по лицензии Apache 2.0.

Tess-4-9B — мультимодальная модель с 9,65 млрд параметров, созданная Мигелем Тиссера на базе Qwen/Qwen3.5-9B-Base. Это плотная архитектура Qwen3.5 для генерации текста по текстовым и визуальным входам; веса доступны в формате BF16 Safetensors и лицензированы по Apache 2.0. Модель предназначена для агентного программирования, анализа больших кодовых баз и документов, сложных задач по математике и естественным наукам, отладки и технических рассуждений. Она дообучена на 64K-токенных агентных трассах и поддерживает вызов инструментов, чат и обработку изображений. В карточке приведены результаты тестов, в том числе 88% на GSM8K и 62% на GPQA Diamond при лимите генерации 24K токенов; отдельные сложные примеры выигрывали от увеличения лимита до 48K. Для корректной работы следует сохранять встроенный шаблон чата Qwen3.5 и разрешать большой бюджет генерации на трудных задачах. Полные веса BF16 занимают около 19,3 ГБ; совместимость требует актуальной версии Transformers с поддержкой Qwen3.5. Упомянутые в README сборки GGUF содержат только текстовую модель и не поддерживают унаследованный путь обработки изображений.

Zero Gemma 4 E4B OpenZero — компактная локальная модель для генерации текста, созданная на базе unsloth/gemma-4-E4B-it и распространяемая автором репозитория shafire в рамках семейства OpenZero. Это самостоятельная объединённая GGUF-модель: обученные веса OpenZero уже встроены, поэтому отдельные LoRA-адаптер и базовая модель не требуются. Модель предназначена для локальных агентных сценариев, включая планирование, структурированное выполнение и проверку действий, разработку и отладку кода, ревью, проектирование тестов, исследовательский анализ с проверкой свидетельств, работу с инструментами и автономные процессы. Она совместима с llama.cpp и OpenZero, может использоваться через Ollama и OpenAI-совместимый локальный API. Заявлена поддержка работы на CPU; в README приведён ориентир для Intel Core i7-2600: около 2,70 токена/с при обработке промпта и 2,37 токена/с при генерации. Модель относится к классу Gemma 4 E4B, имеет размер файла 5,46 GiB и рассчитана на контекст до 8192 токенов в рекомендованных командах запуска. Указан английский язык. Квантование сочетает тензоры базовой модели Q5_K_M с 66 обученными attention-тензорами в F16. Сильные стороны — автономность поставки, компактность, возможность локального и потенциально более приватного развёртывания, а также ориентация на агентные и инструментальные рабочие процессы. Производительность зависит от оборудования, а приведённый CPU-бенчмарк не является универсальной гарантией скорости. Лицензия указана как other, с названием openzero-community-source-v1; дополнительные условия в предоставленном README не раскрыты.

airoboros-c34b-2.2.1 — экспериментальная языковая модель jondurbin, дообученная на синтетических инструкционных данных набора airoboros-2.2.1. Это плотная авторегрессионная модель семейства Llama на 33,5 млрд параметров с контекстом до 16 384 токенов; опубликована в формате PyTorch под лицензией Llama 2. Модель предназначена для выполнения инструкций, ответов на вопросы с опорой на предоставленный контекст, суммаризации, написания текстов и кода. В README также описаны генерация структурированных аргументов для вызова функций и составление планов выполнения задач, однако для вызова инструментов требуется отдельная система, которая обработает такой план. Для диалога используется шаблон с метками USER и ASSISTANT. В сравнении с airoboros-c34b-2.2 в этой версии обновлены примеры письма, добавлены более длинные блоки контекста, удалены данные ролевых игр и снижена интенсивность снятия цензуры; обучение проводилось в пять эпох. README характеризует модель как универсальную, но ориентированную прежде всего на следование инструкциям, а не на непринуждённый чат. Автор предупреждает, что без настроенных критериев остановки модель может продолжить ответ от имени пользователя; для вопросов по контексту советует явно просить не придумывать ответ при нехватке сведений.

A.X K1 — большая языковая модель SKT, обученная с нуля без инициализации от существующей предварительно обученной модели. Это декодерный Transformer с разреженной архитектурой Mixture-of-Experts: в README указано 519 млрд параметров всего, из которых активны 33 млрд на токен; метаданные Hugging Face сообщают 37,9 млрд параметров. Архитектура включает 192 эксперта и один общий эксперт, механизм Multi-Latent Attention и контекст длиной 131 072 токена. Модель предназначена для диалоговой генерации текста, следования инструкциям и рассуждений. Режим Think позволяет получать развёрнутые ответы с промежуточными шагами, а Non-Think — более краткие ответы с меньшей задержкой. Токенизатор оптимизирован для английского, корейского, китайского, японского и испанского языков, а также исходного кода и структурированного текста. Метаданные карточки подтверждают английский и корейский; модель опубликована в формате safetensors и поддерживает чат. Модель подходит для задач, требующих высокой ёмкости и работы с длинным контекстом; разреженная архитектура рассчитана на более эффективное использование вычислений, чем плотная модель сопоставимой общей ёмкости. README предупреждает, что ответы могут быть неверными или вводящими в заблуждение, объяснения в режиме Think не следует считать достоверным отражением внутренних процессов модели, а качество может различаться по предметным областям и языкам. Лицензия — Apache-2.0.

Cohere и Cohere Labs разработали Command R+ — авторегрессионную языковую модель на архитектуре Transformer с 104 млрд параметров. Модель принимает и генерирует текст, поддерживает контекст до 128 тысяч токенов и предназначена для диалогов, рассуждений, суммаризации и ответов на вопросы. После предварительного обучения она прошла дообучение с учителем и обучение на предпочтениях людей. Command R+ специально обучена для генерации ответов с опорой на предоставленные документы: она может указывать релевантные источники и включать цитаты в ответ. Модель также умеет выбирать внешние инструменты и работать с ними в несколько шагов, что подходит для сложных сценариев с API, базами данных и поиском. Для корректной работы этих функций важно использовать предусмотренный шаблон промпта; отклонение от него может снизить качество. Модель оптимизирована для английского, французского, испанского, итальянского, немецкого, бразильского португальского, японского, корейского, арабского и упрощённого китайского языков. Русский и ещё 12 языков присутствовали в данных предварительного обучения, но не входят в перечень языков, для которых заявлена оптимизация. Веса доступны по лицензии CC-BY-NC-4.0; также требуется соблюдать политику допустимого использования Cohere Labs, а коммерческое использование ограничено условиями лицензии.

DeepSeek-V2.5-GGUF — квантованная в формате GGUF версия модели DeepSeek-V2.5, разработанной командой DeepSeek-AI. Квантование подготовлено bartowski на основе llama.cpp b3658 и предназначено для локального запуска, в том числе через LM Studio. Модель объединяет возможности инструкционной и кодовой версий DeepSeek и ориентирована на диалоговые сценарии, генерацию текста, программирование и широкий круг универсальных задач. Заявлена поддержка контекстного окна до 163 840 токенов. Используется архитектура MoE: по описанию, модель сочетает вычислительные возможности уровня 200B параметров со скоростью модели уровня 21B, однако точные размеры и характеристики квантования в README не указаны. К сильным сторонам относятся большой контекст, развитые чатовые и кодовые возможности, а также удобство локального использования в формате GGUF. Ограничения включают возможные неточности, вредный или неподходящий контент, а также зависимость качества и производительности от конкретной квантовки и оборудования. Языки и поддержка мультимодальных входов не указаны. Модель распространяется по лицензии DeepSeek; подробные условия приведены по ссылке, указанной в README.

Arli AI выпустила Derestricted-версию GLM-4.6-REAP-268B-A32B, разреженной языковой модели семейства GLM с архитектурой Mixture of Experts. Веса изменены методом Norm-Preserving Biprojected Abliteration, чтобы ослабить поведение отказа и сохранить нормы весов; это не обычная квантизация. Базовая модель была сжата методом REAP: из 160 экспертов оставлено 120, а всего в ней 268 млрд параметров, из которых активируются 32 млрд на токен. Для этой версии README не приводит отдельные результаты оценки качества. Модель предназначена для генерации текста и диалогов, рассуждений, написания кода и агентных сценариев; унаследованные возможности базовой модели включают вызов функций. Она поддерживает английский язык и контекст до 202 752 токенов. Для запуска требуется совместимая инфраструктура с большим объёмом памяти; базовая модель описана как совместимая с актуальным vLLM. Лицензия — MIT.

GLM-5 — большая языковая модель семейства GLM, разработанная zai-org для сложных задач разработки систем и длительных агентных сценариев. Модель предназначена для генерации текста, рассуждений, программирования и взаимодействия с инструментами в диалогах. В README заявлена версия на 744 млрд параметров, из которых 40 млрд активны; репозиторий Hugging Face содержит 30,4 млрд параметров. Эти данные расходятся, поэтому размер конкретной опубликованной сборки нельзя однозначно определить. Архитектура в метаданных обозначена как glm_moe_dsa, формат весов — safetensors, а нативная длина контекста составляет 202 752 токена. Поддерживаются английский и китайский языки. README сообщает об интеграции DeepSeek Sparse Attention для снижения стоимости развёртывания при сохранении длинного контекста, а также о сильных результатах в рассуждениях, программировании и агентных задачах. Модель можно запускать через Transformers и ряд других фреймворков; для использования инструментов описана настройка сервера vLLM. Лицензия — MIT. Указанные в карточке результаты бенчмарков являются заявлениями разработчика; фактическая производительность зависит от сценария и конфигурации.

Карточка модели Ishowbackup/GLM-5.2 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.

InternLM2-Chat-7B-SFT — диалоговая языковая модель семейства InternLM2, разработанная командой InternLM. Это версия с supervised fine-tuning на базе InternLM2-Base-7B; позднее модель InternLM2-Chat-7B дополнительно обучалась с помощью Online RLHF. Параметры модели представлены плотной архитектурой InternLM2ForCausalLM, вес составляют 7,4 млрд параметров, формат репозитория — Safetensors, нативное окно контекста — 32 768 токенов. Модель предназначена для диалогов и генерации текста по инструкциям. Её можно использовать для ответов на вопросы, рассуждений, математических и кодовых задач, творческого письма и анализа длинных текстов; README также описывает возможности вызова инструментов и анализа данных. Карточка отдельно указывает, что SFT-версия выпущена для изучения влияния RLHF. Модель поддерживает китайский и английский языки, а в карточке представлены также результаты оценки языковой компетенции. Заявление README о контексте до 200 тысяч относится к возможностям семейства и запуску через LMDeploy; для этого репозитория метаданные указывают нативный контекст 32 768 токенов. Модель может выдавать предвзятые, дискриминационные или иные вредоносные ответы. Лицензия обозначена как other, конкретные условия в предоставленных данных не раскрыты.

Meta Llama 3.1 405B Instruct — разработанная Meta инструктивно дообученная большая языковая модель для диалогового взаимодействия. Это авторегрессионный трансформер с оптимизированной архитектурой и Grouped-Query Attention; вариант Instruct использует supervised fine-tuning и обучение с подкреплением на основе обратной связи от людей. Модель работает с текстом на входе и выходе и рассчитана на многоязычные сценарии. Модель предназначена для диалоговых помощников, ответов на вопросы и генерации текста по инструкциям, а также для создания синтетических данных. Заявлены английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Для некоторых дополнительных возможностей, включая интеграцию с инструментами, требуется самостоятельная настройка приложения. Модель представляет собой статический чекпойнт, обученный на офлайн-данных. Качество и безопасность ответов могут различаться по языкам и сценариям, а выводы требуют проверки. Использование регулируется пользовательской лицензией Meta Llama 3.1 Community License и Acceptable Use Policy; до коммерческого или иного применения следует ознакомиться с их условиями.

unsloth/Llama-3.1-8B-unsloth-bnb-4bit — это 4-битная версия языковой модели Llama 3.1 с 8 млрд параметров, подготовленная Unsloth на основе базовой модели Meta Llama 3.1 8B. Модель работает с текстом на входе и генерирует многоязычный текст и программный код. Архитектура — авторегрессионный Transformer с поддержкой Grouped-Query Attention (GQA), контекстное окно — до 128 тысяч токенов. Модель обучена на смеси общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. В README явно указан английский язык, при этом семейство Llama 3.1 описано как многоязычное. Модель предназначена для генерации текста и кода, диалоговых сценариев, дообучения под прикладные задачи и запуска в условиях ограниченных вычислительных ресурсов. 4-битное представление снижает требования к памяти по сравнению с полноразмерной версией и подходит для локального инференса и последующего fine-tuning, однако может сопровождаться компромиссами по точности и качеству генерации. README не содержит детальных результатов бенчмарков или характеристик аппаратных требований. Использование регулируется лицензией Llama 3.1; дополнительных условий для версии Unsloth в README не указано.

winglian опубликовал текстовую генеративную модель на архитектуре Meta Llama 3 с 7,5 млрд параметров. Модель использует плотный авторегрессионный Transformer с Grouped-Query Attention и распространяется в формате safetensors. Метаданные указывают на контекст до 131 072 токенов; название репозитория также содержит «64k» и «PoSE».

Meta-Llama-3.1-405B-Instruct-FP8-dynamic — квантизированная версия Meta-Llama-3.1-405B-Instruct, разработанная Neural Magic на базе модели Meta. Это текстовая instruction-tuned модель архитектуры Meta-Llama 3.1 с входом и выходом в виде текста, предназначенная прежде всего для ассистентских диалогов, генерации текста, решения задач с открытым ответом, математического рассуждения и программирования. Модель ориентирована на коммерческое и исследовательское использование. Весы и активации линейных слоёв трансформера квантизированы в FP8. Для весов применяется симметричная поканальная квантизация, а активации квантизуются динамически на уровне токенов. Это примерно вдвое уменьшает размер модели на диске и требования к памяти GPU по сравнению с 16-битным представлением; заявлено, что модель может запускаться на одном узле с 8 GPU H100 вместо нескольких узлов. Для инференса она подготовлена для vLLM и поддерживает совместимый с OpenAI режим сервинга. В README указаны языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai, однако в ограничениях отдельно сказано, что использование на языках, отличных от английского, находится вне заявленной области применения. В качестве ограничения также следует учитывать необходимость мощной GPU-инфраструктуры и возможные потери качества, связанные с квантизацией, хотя на приведённых бенчмарках модель продемонстрировала близкие к исходной модели результаты. Лицензия — llama3.1; дата выпуска — 22 августа 2024 года, версия 1.1.

aifeifei798/Meta-Llama-3.1-8B-Instruct — мультиязычная инструктивная языковая модель, разработанная Meta на архитектуре Llama 3.1. Это авторегрессионный трансформер с 7,5 млрд параметров и механизмом Grouped-Query Attention; репозиторий содержит веса в формате safetensors. Модель принимает и генерирует текст, настроена на диалог с помощью дообучения по инструкциям и обучения с обратной связью от людей. Контекстное окно — до 131 072 токенов. Модель предназначена для диалоговых помощников, ответов на запросы и других задач генерации текста. В карточке заявлена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков; метаданные также включают китайский, корейский и японский. Возможен интерфейс вызова инструментов, но его интеграцию и безопасность должен обеспечивать разработчик приложения. Условия использования определяет пользовательская лицензия Meta Llama 3.1 Community License; действуют её ограничения и Acceptable Use Policy.

Meta-Llama-3-70B-Instruct-iMat-GGUF — квантизированная GGUF-версия 70-миллиардной инструкционно настроенной языковой модели Meta Llama 3, разработанной Meta. Модель предназначена для диалоговых ассистентов, генерации текста и кода, а также коммерческих и исследовательских сценариев на английском языке. Инструкционная настройка выполнена с применением supervised fine-tuning и reinforcement learning with human feedback для повышения полезности и безопасности. Модель принимает только текст и генерирует текст или код. Она построена на авторегрессионной оптимизированной архитектуре Transformer с Grouped-Query Attention, имеет контекст длиной 8k токенов и обучалась на более чем 15 триллионах токенов общедоступных онлайн-данных; дата отсечения знаний — декабрь 2023 года. Данная сборка квантизирована с использованием importance matrix, включает варианты K и IQ, а также исправленный токен завершения для инструкционного режима. Для корректной работы требуется совместимый рантайм, например llama.cpp, актуальный chat template llama3 и правильная загрузка всех частей файлов, если модель разделена. Сильные стороны модели — большой размер, диалоговая специализация, поддержка генерации кода и улучшенная точность квантизации за счёт importance matrix. Ограничения включают английскую ориентацию, текстовую модальность, контекст 8k токенов, статичность обучающего набора и зависимость результатов от выбранного кванта и совместимости токенизатора. Указана кастомная коммерческая лицензия Llama 3; её условия определяются Llama 3 Community License и Acceptable Use Policy.

Meta-Llama-3-8B-Instruct-iMat-GGUF — это GGUF-квантизированная версия инструкционной языковой модели Meta-Llama-3-8B-Instruct, разработанной Meta. Модель предназначена для диалоговых сценариев и задач генерации текста и кода, включая использование в качестве ассистента. Вариант подготовлен с помощью llama.cpp и доступен в наборах K- и IQ-квантов от Q6_K до IQ1_S. Модель представляет собой авторегрессионный языковой трансформер с оптимизированной архитектурой и Grouped-Query Attention (GQA), содержит около 8 млрд параметров и поддерживает контекст до 8 тысяч токенов. Она принимает только текст и генерирует текст или код. Обучение включает предварительное обучение, supervised fine-tuning и reinforcement learning from human feedback для повышения полезности и безопасности. Основной язык — английский; применение для других языков обозначено как выходящее за рамки исходного назначения, хотя дополнительное дообучение возможно при соблюдении условий лицензии. Ключевые преимущества этого варианта — поддержка локального запуска через llama.cpp, наличие множества уровней квантования и использование importance matrix для снижения потерь качества при квантовании. Исправлены настройки токенизатора и EOS-токена для корректной работы инструкционного режима, однако для новых квантов требуется совместимая версия llama.cpp с соответствующими исправлениями и шаблоном чата Llama 3. Модель является статичной и обучена на офлайн-данных; дата отсечения знаний — март 2023 года. Использование регулируется пользовательской лицензией Meta Llama 3 и Acceptable Use Policy.

Карточка модели charleshyella/MISS_V0 на Hugging Face совпадает с карточкой zai-org/GLM-5.2, поэтому описание составлено по ней. GLM-5.2 — флагманская языковая модель компании Z.ai для длительных задач и диалогового взаимодействия. Она предназначена для генерации текста, программирования и решения задач, требующих работы с большим объёмом контекста. Модель построена на архитектуре GLM MoE DSA и содержит 30,4 млрд параметров. Поддерживает контекст до 1 048 576 токенов; в README также отмечены гибкие уровни усилий для задач программирования, механизм IndexShare для снижения вычислений на длинном контексте и улучшение MTP для ускорения спекулятивного декодирования. Заявлены английский и китайский языки. Модель доступна в формате safetensors для Transformers и поддерживается рядом сред локального запуска, включая vLLM и SGLang. Лицензия — MIT. README приводит сравнительные результаты на бенчмарках, но они зависят от настроек и сценариев оценки.