III.9Закупки и управление поставщиками

Virtuoso-Large — дообученная плотная языковая модель на базе Qwen2.5-72B, разработанная Arcee AI. Она предназначена для генерации текста и диалоговых сценариев, включая создание технических и творческих материалов, суммирование данных и подготовку отчётов, синтез сведений из разных источников и многоязычную коммуникацию. Модель содержит около 71,5 млрд параметров, использует архитектуру Qwen2ForCausalLM и поддерживает контекст до 131 072 токенов. Для работы доступны веса в формате safetensors; в README также упоминается вариант GGUF. Модель рассчитана на задачи общего назначения и имеет интерфейс для вызова инструментов. README заявляет многоязычную поддержку, но не перечисляет языки. Лицензия обозначена как Tongyi License от Qwen; условия её применения следует сверять с лицензией базовой модели.

Llama-3-70B-Instruct-Gradient-1048k — разработанная Gradient версия Meta Llama 3 70B Instruct с расширенным контекстом. Она предназначена для диалоговых приложений и обработки длинных текстов, например для анализа больших документов и работы с контекстом свыше миллиона токенов. Модель использует плотную архитектуру LlamaForCausalLM, содержит 69,5 млрд параметров и принимает текстовые запросы, выдавая текст. В README указано расширение контекста с 8 тысяч до более чем 1 048 тысяч токенов; метаданные задают длину контекста 1 048 576 токенов. Gradient сообщает о настройке RoPE theta и обучении на 34 млн токенов для этого этапа, около 430 млн токенов суммарно. Модель рассчитана прежде всего на английский язык. Для запуска README рекомендует Transformers или TGI. Лицензия — Llama 3; перед использованием следует учитывать её условия. Как и другие большие языковые модели, она может выдавать ошибки и небезопасные ответы; результаты и меры безопасности следует проверять для конкретного применения.

Qwen2.5-14B-Instruct-GGUF — это квантизированная в формате GGUF версия инструкционной языковой модели Qwen2.5-14B-Instruct, разработанной командой Qwen. Квантизация выполнена bartowski на основе llama.cpp, релиз b3772. Модель предназначена для диалоговых приложений, генерации текста и выполнения инструкций, включая работу со структурированными данными. Модель поддерживает контекст до 128 тысяч токенов с настройками YaRN RoPE и генерацию до 8 тысяч токенов. Для обучения использован набор данных объёмом 18 триллионов токенов. Заявлена поддержка более 29 языков, включая английский, китайский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. К сильным сторонам относятся длинный контекст, многоязычность и улучшенное понимание и формирование структурированных данных; конкретные ограничения производительности и требования к ресурсам в README не указаны. Модель распространяется по лицензии Apache 2.0. Использование Community Model предоставляется сторонним сообществом; LM Studio не является разработчиком и не гарантирует точность, безопасность или пригодность результатов. Как и другие генеративные модели, она может создавать неточный, вредный или неподходящий контент.

Llama-3-70B-Instruct-Gradient-262k — это дообученная Gradient версия Meta Llama 3 70B Instruct, разработанная Gradient при поддержке вычислительных ресурсов Crusoe Energy. Модель предназначена для диалоговой генерации текста и обработки очень длинных входных последовательностей: README сообщает о расширении контекста исходной модели с 8 тысяч до более чем 262 тысяч токенов за счёт настройки RoPE theta и обучения на дополнительных данных. В метаданных указаны архитектура LlamaForCausalLM, 69,5 млрд параметров и контекст 262 144 токена. Модель подходит для диалоговых помощников, анализа длинных документов и сценариев, где нужно учитывать большой объём контекста за один запрос. Карточка описывает англоязычный вариант; поддержка других языков не подтверждена. Для запуска предлагаются Transformers или TGI, а веса опубликованы в формате safetensors. Использование регулируется лицензией Llama 3; перед развёртыванием следует учитывать её условия и проверять ответы модели, поскольку возможны ошибки и остаточные риски безопасности.

Vikhr-YandexGPT-5-Lite-8B-it — инструктивная языковая модель команды Vikhr, созданная дообучением YandexGPT-5-Lite-8B-pretrain методом SFT. Модель имеет плотную архитектуру LlamaForCausalLM, содержит 7,5 млрд параметров и принимает текст, выдавая текст. Она рассчитана прежде всего на русский язык и также поддерживает английский; длина контекста составляет 32 768 токенов. Модель предназначена для диалогов и выполнения инструкций, включая ответы на вопросы и генерацию ответов с опорой на предоставленные документы в RAG-сценариях. Для обучения использованы датасеты GrandMaster-PRO-MAX и Grounded-RAG-RU-v2. В режиме RAG требуется системный промпт GROUNDED_SYSTEM_PROMPT; модель может дополнять сведения из документов собственными знаниями. В карточке также отмечен низкий уровень безопасности ответов и возможность дефектов генерации при высокой температуре. Репозиторий содержит веса safetensors и использует библиотеку Transformers. Указана лицензия other; конкретные условия лицензии следует сверять с карточкой модели.

GLM-5.3-Prime — высокоскоростной вариант модели GLM-5.3 от Z.ai. По описанию, ускорение инференса повышает пропускную способность генерации в 1,5–2 раза при сохранении возможностей GLM-5.3. Модель принимает и выдаёт текст; заявлен контекст длиной до 1 млн токенов. Модель предназначена для сценариев генерации текста, где важны высокая скорость ответа и работа с длинным контекстом. Сведения о лицензии и конкретных ограничениях в доступных данных отсутствуют.

alpindale/Llama-3.2-3B-Instruct — текстовая инструктивно настроенная модель семейства Llama 3.2, разработанного Meta. Это авторегрессионный трансформер с плотной архитектурой и примерно 3,2 млрд параметров, доступный через Transformers в формате Safetensors. Модель принимает и генерирует текст, рассчитана на диалоги и работу в приложениях с ограниченными ресурсами, включая мобильные устройства. Модель предназначена для чат-помощников, поиска знаний и суммаризации, а также для написания текстов и переформулирования запросов. README указывает поддержку английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Контекстное окно составляет 131 072 токена. Настройка включает контролируемое дообучение и обучение с подкреплением по оценкам людей; заявлены GQA и интерфейс для диалогового применения. Небольшой размер подходит для развертывания в условиях ограниченных ресурсов, но качество и профиль безопасности могут уступать более крупным моделям и требуют проверки для конкретного применения. Модель обучена на статическом наборе данных с отсечкой знаний в декабре 2023 года. Использование регулируется пользовательской лицензией Llama 3.2 Community License и Acceptable Use Policy.

Это объединённая модель для генерации текста, созданная слиянием mistralai/Mistral-7B-Instruct-v0.2 и cognitivecomputations/dolphin-2.0-mistral-7b методом SLERP. Модель построена на плотной архитектуре MistralForCausalLM и содержит 7,1 млрд параметров. Модель предназначена для диалога и выполнения инструкций в текстовом формате. Контекст составляет до 32 768 токенов, что позволяет использовать её для многошаговых бесед и работы с длинными текстовыми запросами. В карточке указаны формат safetensors и лицензия Apache-2.0.

Menlo/Jan-nano-128k-gguf — это квантованная GGUF-версия компактной языковой модели Jan-Nano-128k, разработанной Menlo Research; авторами указаны Alan Dao и Bach Vu Dinh. Модель предназначена для генерации текста и исследовательских сценариев, включая анализ научных статей и длинных документов, синтез информации из нескольких источников, работу с большими наборами данных и сложные многошаговые диалоги. Она также совместима с серверами Model Context Protocol (MCP) и поддерживает вызов инструментов при соответствующей настройке среды. Ключевая характеристика модели — нативное контекстное окно до 128 000 токенов, рассчитанное на сохранение производительности при работе с длинным контекстом. Указан английский язык; модель относится к нетерминологически «рассуждающим» моделям и не использует отдельный режим thinking. Архитектура, точный размер модели, тип и параметры квантования, а также перечень поддерживаемых модальностей в README не раскрыты, поэтому подтверждена только текстовая модальность. Сильными сторонами заявлены обработка больших документов, глубокий анализ и улучшение результатов на длинном контексте по сравнению с предыдущей версией Jan-Nano. Ограничения включают отсутствие подробных сведений об архитектуре, размере и конкретном варианте квантования, а также необходимость корректной настройки chat template и параметров масштабирования RoPE при некоторых способах развёртывания. Модель распространяется по лицензии Apache 2.0.

Mistral Medium 3.1 — обновлённая версия Mistral Medium 3 от Mistral AI. Это высокопроизводительная языковая модель корпоративного уровня, рассчитанная на широкий круг задач и призванная сочетать передовые возможности с более низкими эксплуатационными затратами. В доступном описании не приведены сведения об архитектуре, размере, контексте, языках, условиях лицензирования и конкретных сценариях применения.

Qwen2.5-7B-Instruct-MLX-4bit — это 4-битная квантованная версия инструкционной языковой модели Qwen2.5-7B-Instruct, подготовленная сообществом для запуска на Apple Silicon Mac. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставил bartowski на основе mlx-examples. Модель предназначена для диалогового взаимодействия, генерации текста и выполнения инструкций; её можно использовать в локальных сценариях через совместимое программное обеспечение, включая LM Studio. Модель поддерживает контекст до 32 000 токенов и генерацию до 8 000 токенов. Она ориентирована на работу с текстом и заявлена как поддерживающая более 29 языков, включая китайский, английский, французский, испанский, португальский, немецкий, итальянский, русский, японский, корейский, вьетнамский, тайский и арабский. Среди отмеченных особенностей — работа со структурированными данными и их генерация, а также широкий охват знаний, полученных из крупного обучающего набора. Ключевыми ограничениями являются зависимость от аппаратной платформы Apple Silicon и возможные ошибки, неточности, вредоносные или неподходящие ответы, характерные для генеративных моделей. README не содержит результатов бенчмарков или подробностей об архитектуре и точном объёме исходных параметров, кроме обозначения класса 7B. Модель распространяется по лицензии Apache-2.0.

Linkbricks-Horizon-AI-Avengers-V4-32B — дообученная Saxo и командой Linkbricks Horizon-AI языковая модель на архитектуре Qwen2 с 32 млрд параметров. Она основана на Saxo/Linkbricks-Horizon-AI-Avengers-V3-32B; авторы сообщают о дообучении SFT и DPO, а также ORPO, примерно 35% параметров модели. Модель принимает текст и генерирует текст, поддерживает диалог и интерфейс вызова инструментов. Для неё указано контекстное окно 32 768 токенов. Модель предназначена для генерации и написания текста, перевода между корейским, японским, китайским и английским языками, суммаризации, анализа отзывов и публикаций в социальных сетях, задач по программированию, математике и логическим рассуждениям. По заявлению авторов, при обучении использовались многоязычные новостные и вики-корпуса, наборы для перевода и другие данные по перечисленным задачам. Модель опубликована в формате safetensors и распространяется по лицензии Apache-2.0.

EXAONE 4.5-33B — открытая по весам мультимодальная модель LG AI Research для диалога и анализа изображений. Она сочетает причинную языковую модель с визуальным энкодером и содержит 33 млрд параметров, из которых около 1,29 млрд приходятся на визуальную часть. Архитектура использует плотные слои, гибридное внимание с локальными окнами и глобальными слоями; контекст — до 262 144 токенов. Модель предназначена для ответов на вопросы по изображениям и документам, распознавания и интерпретации их содержимого, а также для текстового диалога и рассуждений. Разработчик отмечает сильные результаты в понимании документов и корейских контекстов. Основные языки карточки — английский, корейский, испанский, немецкий, японский и вьетнамский. Для обслуживания рекомендуются оптимизированные движки, например vLLM, TensorRT-LLM или SGLang; запуск с длинным контекстом требует мощных GPU. Модель может выдавать неверные, предвзятые или неподходящие ответы, а её знания ограничены данными до декабря 2024 года. В метаданных указана лицензия «other»; конкретные условия следует сверять с лицензией репозитория и правилами LG AI Research.

Карточка модели florentin-one/Llama-3-8B-Instruct-V41-1048k на Hugging Face совпадает с карточкой WeMake/Llama-3-8B-Instruct-V41-1048k, поэтому описание составлено по ней. WeMake/Llama-3-8B-Instruct-V41-1048k — разговорная языковая модель WeMake на архитектуре Llama 3 с 7,5 млрд параметров. Модель создана на основе gradientai/Llama-3-8B-Instruct-Gradient-1048k и meta-llama/Meta-Llama-3-8B; в карточке указано, что она объединяет их с настройками WeMake V41 и обучалась методом WeMake ICU. Репозиторий содержит веса в формате safetensors, лицензия — llama3. Модель предназначена для диалоговых агентов, создания текстов, анализа данных и извлечения выводов. Заявлены учёт эмоционального контекста, согласование ответов с человеческими ценностями и поддержка нескольких языков. Максимальная длина контекста — 1 048 576 токенов, однако карточка не приводит независимых оценок качества и не перечисляет поддерживаемые языки помимо английского в метаданных. Перед использованием следует проверять точность и уместность ответов; заявления об эмоциональном интеллекте и согласовании приводятся разработчиком.

Astra-v1-12B — языковая модель на архитектуре Mistral, разработанная P0x0 как дообучение Mistral-Nemo-Base-2407. Модель содержит 12,1 млрд параметров и предназначена для генерации текста и выполнения инструкций в диалоговом формате. Её можно применять для создания и редактирования текстов, суммаризации, ответов на вопросы и диалоговых систем. В README заявлена настройка на качество и стиль ответов Claude 3 Sonnet и Opus. Указанное в метаданных контекстное окно — 1 024 000 токенов. Модель принимает текст и выдаёт текст. Карточка не подтверждает специализацию на конкретном языке или предметной области. Модель распространяется по лицензии Apache 2.0. README предостерегает от использования для принятия решений в реальном времени в критически важных сценариях и от генерации вредоносного или предвзятого контента.

Карточка модели ckoozzzu/d3 на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

LFM2.5-8B-A1B — мультиязычная текстовая модель Liquid AI для диалогов и рассуждений. Это дообученная версия базовой модели LiquidAI/LFM2.5-8B-A1B-Base; архитектура — гибридная MoE с 8,3 млрд параметров всего и примерно 1,5 млрд активных. Модель рассчитана на запуск на устройствах и поддерживает контекст до 128 000 токенов. Модель предназначена для персональных ассистентов, выполнения сложных инструкций, вызова инструментов, структурированного вывода и агентных сценариев. Она поддерживает английский, арабский, китайский, французский, немецкий, итальянский, японский, корейский, португальский и испанский языки. Для инференса доступны Transformers, vLLM и SGLang; авторы также отмечают поддержку llama.cpp и MLX. По карточке, модель показывает конкурентные результаты для своего размера в следовании инструкциям и агентных задачах. Она хуже подходит для сложного программирования и вопросов, требующих обширных знаний без поиска по источникам. Лицензия указана как other; конкретные условия следует сверить с файлами лицензии в репозитории.

Linkbricks-Horizon-AI-Avengers-V2-78B — многоязычная разговорная языковая модель, дообученная специалистом компании Linkbricks на базе MaziyarPanahi/calme-3.2-instruct-78b. Это плотная модель семейства Qwen2 с 76,7 млрд параметров и контекстом 32 768 токенов; репозиторий содержит веса Safetensors для Transformers. В README описаны этапы SFT, DPO, ORPO и слияния моделей, а также поддержка вызова функций и инструментов. Модель предназначена для генерации текста и диалогов, анализа отзывов клиентов и публикаций в социальных сетях, написания текстов и кода, решения математических и логических задач. Обучение включало многоязычные новостные и wiki-корпуса, а также данные для задач на корейском, японском, китайском и английском языках, включая переводы, суммаризацию и вопросы-ответы. По данным карточки, лицензия — Apache-2.0. Карточка описывает заявленные возможности, но не приводит результатов независимых оценок качества. Размер модели требует значительных вычислительных ресурсов для запуска; поддержка конкретных языков и сценариев может различаться по качеству.

Карточка модели crusoeai/Llama-3.1-8B-Instruct на Hugging Face совпадает с карточкой meta-llama/Llama-3.1-8B-Instruct, поэтому описание составлено по ней. Meta Llama 3.1 8B Instruct — языковая модель Meta для диалогов и генерации текста. Это авторегрессионная модель на основе оптимизированного трансформера с Grouped-Query Attention; версия Instruct настроена с помощью supervised fine-tuning и обучения с обратной связью от людей (RLHF). Модель принимает и генерирует текст, поддерживает диалоговый режим и предназначена для коммерческого и исследовательского применения. Модель подходит для создания чат-ассистентов, ответов на запросы и других задач генерации текста на английском, немецком, французском, итальянском, португальском, хинди, испанском и тайском языках. Контекстное окно в предоставленных материалах не указано. Модель обучена на статичном офлайн-наборе данных; возможны ошибки и небезопасные ответы, поэтому результаты следует проверять, а для использования инструментов требуется отдельная интеграция и контроль со стороны разработчика. Условия распространения и применения регулируются лицензией Meta Llama 3.1 Community License и Acceptable Use Policy.

Llama-Express.1-Tiny — компактная текстовая языковая модель, разработанная prithivMLmods на основе Meta Llama 3.2 1B Instruct и дообученная на наборах данных с длинными цепочками рассуждений. Это плотная авторегрессионная модель семейства Llama с 1,2 млрд параметров; для запуска карточка рекомендует Transformers версии 4.43.0 или новее. Метаданные указывают контекст до 131 072 токенов. Модель предназначена для многоязычного диалога, следования инструкциям, суммаризации и сценариев поиска с последующим извлечением и обобщением сведений. Она принимает текст и генерирует текст; также заявлен интерфейс для вызова инструментов. Английский указан в языковых метаданных, а описание заявляет многоязычное применение без перечисления остальных языков. Карточка заявляет оптимизацию для длинных рассуждений и диалогов, но не приводит независимых оценок качества. Возможны предвзятые или неуместные ответы, снижение качества на малоресурсных языках и ухудшение результатов при неоднозначных запросах или очень длинном контексте; модель не получает актуальные сведения из интернета сама по себе. Лицензия — Llama 3.2.

LwQ-Reasoner-10B — дообученная модель prithivMLmods для генерации текста и диалогов. Она основана на плотной авторегрессионной архитектуре Llama и обучена на синтетических наборах данных для рассуждений. Размер модели — 9,9 млрд параметров, контекстное окно — 32 768 токенов; веса доступны в формате safetensors, запуск предполагает библиотеку Transformers. Модель предназначена для многоязычных диалогов, следования инструкциям и решения задач, требующих математических рассуждений или использования заданного контекста. Её можно применять в чат-ботах, обучающих помощниках, для ответов на вопросы, составления сводок и генерации текстов. Карточка указывает лицензию Llama 3.1. Качество может различаться между языками; модель может ошибаться в узкоспециализированных темах и сложных многошаговых рассуждениях, а неоднозначные инструкции способны ухудшить результат. При работе с длинными материалами нужно учитывать ограничение контекста, а для запуска модели такого размера требуются значительные вычислительные ресурсы.

openchat-3.5-0106-128k-DPO-fixed-32000 — слитая модель на архитектуре Mistral, созданная с помощью LazyMergekit на основе NousResearch/Yarn-Mistral-7b-128k и Eric111/openchat-3.5-0106-128k-DPO. Модель содержит 7,1 млрд параметров и предназначена для генерации текста в диалоговом формате. Её можно применять для ответов на вопросы, написания текстов и работы с длинными документами; заявленная длина контекста в метаданных — 32 768 токенов. Репозиторий содержит веса в формате safetensors. Сведения о лицензии и конкретных языковых ограничениях в предоставленных данных отсутствуют.

bigstral-12b-32k-8xMoE — диалоговая языковая модель на архитектуре Mixtral с разреженной смесью экспертов (MoE), опубликованная bartowski. Она создана с помощью ветки MoE инструмента mergekit на основе Mistral-7B-Instruct-v0.2 и содержит 12,3 млрд параметров. Модель предназначена для генерации текста и ответов в диалоговом формате; заявленная длина контекста — 32 768 токенов. Модель принимает текст и выдаёт текст. В репозитории представлены веса Safetensors, библиотека для работы — Transformers. Лицензия в предоставленных данных не указана, поэтому условия использования определить нельзя.

meta-llama/Llama-3.1-405B-FP8 — крупная языковая модель семейства Llama 3.1, разработанная Meta. Она предназначена для генерации текста и может применяться в задачах обработки естественного языка, включая создание и преобразование текстового контента. Модель ориентирована на английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Из доступных данных следует, что модель содержит 405 миллиардов параметров и представлена в формате FP8. Архитектура, максимальная длина контекста, поддерживаемые модальности помимо текста и подробные сведения о сильных сторонах в README не указаны. Большой размер модели потенциально обеспечивает высокую способность к обработке сложных языковых задач, но также предполагает значительные требования к вычислительным ресурсам; конкретные требования и ограничения по производительности не приведены. Модель распространяется по Llama 3.1 Community License от Meta. Лицензия разрешает использовать, воспроизводить, распространять, изменять материалы и создавать производные работы на установленных условиях. При распространении необходимо сохранять текст лицензии и уведомление об атрибуции, указывать «Built with Llama», соблюдать Acceptable Use Policy и применимое законодательство. Для продуктов или сервисов с более чем 700 миллионами ежемесячных активных пользователей предусмотрено требование запросить отдельную лицензию у Meta.

unsloth/Llama-3.2-3B-Instruct-GGUF — GGUF-версия инструкционно дообученной языковой модели Llama 3.2 с 3 млрд параметров, разработанной Meta и опубликованной Unsloth. Это авторегрессионная модель на оптимизированной архитектуре Transformer с Grouped-Query Attention (GQA); варианты GGUF доступны в форматах квантования от 2 до 16 бит, что позволяет выбирать баланс между качеством, размером и требованиями к памяти. Модель предназначена для генерации текста и мультиязычного диалога, включая агентский поиск по данным и суммаризацию. Она работает в режиме «текст на входе — текст на выходе» и официально поддерживает английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Инструкционная версия обучалась с использованием supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF) для повышения полезности и безопасности. README не указывает размер контекстного окна и конкретные показатели производительности; модель является статичной и обучена на офлайн-данных. Использование регулируется Llama 3.2 Community License — специальной коммерческой лицензией Meta, а также Acceptable Use Policy. GGUF-квантизация может снизить требования к памяти и упростить локальный запуск, но при меньшей разрядности возможна потеря качества. Модель не является мультимодальной: заявлены только текстовые входы и выходы.

ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4 — это 4-битная AWQ-квантизированная версия Meta-Llama-3.3-70B-Instruct, первоначально выпущенной Meta AI и опубликованной в данном варианте пользователем ibnzterrell. Модель представляет собой крупную instruction-tuned языковую модель с текстовым вводом и выводом, предназначенную для генерации текста и многоязычного диалога. Модель подходит для чат-ассистентов, ответов на вопросы и других сценариев текстовой генерации на английском, французском, итальянском, португальском, хинди, испанском, тайском и немецком языках. Исходная модель имеет размер 70B параметров; доступный вариант использует INT4-квантизацию AWQ с GEMM-ядрами, zero-point quantization и размером группы 128. Для загрузки контрольной точки требуется около 35 ГиБ VRAM без учёта KV-кэша и CUDA Graphs, поэтому необходим некоторый дополнительный запас видеопамяти. Поддерживаются Transformers, AutoAWQ, Text Generation Inference и vLLM. К основным преимуществам относятся значительно сниженные требования к памяти по сравнению с полноточной версией и возможность запуска большой многоязычной instruction-tuned модели на совместимом оборудовании. Ограничения связаны с потерями качества, возможными при 4-битной квантизации, высокой потребностью в ресурсах и тем, что README не содержит сведений о длине контекста. Модель распространяется по лицензии Llama 3.3.

Nemotron-3-Nano-30B-A3B-GGUF — большая языковая модель, разработанная NVIDIA Corporation и представленная в GGUF-формате сообществом Unsloth на основе NVIDIA-Nemotron-3-Nano-30B-A3B-BF16. Модель предназначена для генерации текста, ответов на пользовательские запросы, решения задач с рассуждением и без него, а также для коммерческих приложений. Она может сначала формировать рассуждение, а затем итоговый ответ; режим рассуждений настраивается через chat template. Модель использует гибридную архитектуру Mixture-of-Experts: 23 слоя Mamba-2 и MoE, а также 6 attention-слоёв. Всего предусмотрено 30 млрд параметров, из которых 3,5 млрд активируются для каждого токена. Каждый MoE-слой содержит 128 экспертов и одного общего эксперта, при этом на токен активируются 5 экспертов. Поддерживаются английский, немецкий, испанский, французский, итальянский и японский языки. В README размер контекста и точные параметры GGUF-квантизации не указаны. Сильными сторонами модели являются сочетание режимов рассуждения и обычной генерации, разреженная MoE-архитектура с относительно небольшим числом активных параметров и многоязычная поддержка. Включение промежуточных рассуждений обычно повышает качество на сложных запросах, тогда как отключение рассуждений может немного снижать точность. Ограничениями являются отсутствие в предоставленных данных подробных результатов тестирования, сведений о размере контекста и характеристик конкретной GGUF-квантизации. Модель разрешена для коммерческого использования на условиях NVIDIA Open Model License.

Aya-23-8B — мультиязычная авторегрессионная языковая модель на архитектуре Transformer, разработанная Cohere For AI и Cohere. Это версия на 8 млрд параметров семейства Aya 23, дообученная следовать инструкциям на основе предварительно обученной модели семейства Command и коллекции Aya. Модель предназначена для диалогов, ответов на вопросы, написания и преобразования текстов на 23 языках, включая русский, английский, китайский, арабский, хинди и японский. Поддерживает текстовый ввод и генерацию текста, а также интерфейс вызова инструментов. Контекстное окно составляет 8192 токена. Веса доступны по лицензии CC-BY-NC-4.0; применение также регулируется политикой допустимого использования Cohere For AI. Для работы с моделью требуется версия Transformers с необходимыми изменениями. Модель ориентирована на мультиязычное следование инструкциям, но карточка не приводит подробностей об ограничениях качества по отдельным языкам.

MediaTek Research Breeze-7B-32k-Instruct-v1_0 — чат-модель семейства Breeze, разработанная MediaTek Research на основе Mistral-7B. Это плотный авторегрессионный трансформер с архитектурой MistralForCausalLM и 7,2 млрд параметров, дообученный для диалога и распространённых задач на английском и традиционном китайском. Расширенный словарь содержит 62 тыс. токенов, а контекст достигает 32 768 токенов, что позволяет работать с длинными документами. Модель подходит для многоходового чата, ответов на вопросы, суммаризации и RAG-сценариев, включая поиск ответов в длинных китайских текстах. В README отмечено, что специальной обработки вредоносных запросов нет, поэтому модель может не обеспечивать надёжную защиту от небезопасных ответов. Веса доступны в форматах PyTorch и Safetensors; лицензия — Apache-2.0.

MiniMax-M1 — крупная модель рассуждений с открытыми весами, разработанная MiniMax. Она предназначена для генерации ответов и решения задач, требующих многошагового рассуждения и обработки длинного контекста. Модель использует гибридную архитектуру Mixture-of-Experts (MoE) и механизм lightning attention. В доступных сведениях не приведены размер модели, длина контекста, поддерживаемые языки и лицензия, поэтому эти характеристики нельзя уточнить.