II.8Инженерия данных и аналитика

Qwen3.8-19B-Pruned-GGUF — набор официальных GGUF-квантований модели ewinregirgojr/Qwen3.8-19B-Pruned, опубликованный и квантованный ewinregirgojr. Модель предназначена для локальной генерации текста, диалоговых сценариев, задач рассуждения и function calling на потребительском оборудовании. Поддерживаются Ollama, LM Studio, Jan, llama.cpp, Unsloth, LocalAI и Open WebUI. Модель основана на архитектуре Qwen3.8 и использует 30% структурированной разреженности SparseGPT; заявлено около 18,9 млрд активных ненулевых параметров при сохранении 866 текстовых слоёв. Доступны варианты Q4_0, Q6_K и Q8_0 размером 17,79, 23,20 и 29,30 ГБ соответственно. Максимальная длина контекста заявлена до 262 144 токенов. Указаны английский и китайский языки, текстовая модальность и формат GGUF для локального инференса. В README приведены результаты MMLU 81,5% и GSM8K 86,9%, однако методика и воспроизводимость этих показателей требуют самостоятельной проверки. Сильные стороны — уменьшенный объём весов, возможность запуска на распространённых GPU и оптимизация для локального использования; для Q4_0 заявлена совместимость с видеокартами от 24 ГБ памяти, тогда как более точные варианты требуют больше RAM или VRAM. Ограничения связаны с компромиссом между размером, точностью и требованиями к оборудованию, а также с тем, что разреженность не обязательно ускоряется всеми программными стеками. Модель распространяется по лицензии Apache-2.0.

OsaurusAI подготовила JANG_1L — квантованный вариант Qwen/Qwen3.8-Flash-Next для запуска на компьютерах Apple Silicon через MLX. Это мультимодальная модель с архитектурой Qwen4-экспериментального семейства: в исходной системе заявлены 125 млрд параметров MoE, из которых активны 6 млрд, и таблица n-граммных эмбеддингов на 51 млрд параметров. В сборке JANG_1L присутствуют компоненты для обработки текста, изображений и видео; заявленный размер весов — около 59,8 GiB, а при обслуживании таблицы с SSD резидентное использование памяти составляет около 41 GiB. Модель предназначена для диалога, рассуждений, анализа изображений и видео, а также агентных сценариев с вызовом инструментов. Нативный контекст составляет 262 144 токена и может быть расширен до 1 млн с YaRN. В README приведены результаты сравнения квантования с bf16 на 5 931 позициях; сборка не включает голову multi-token prediction, а для вызова инструментов требуется совместимый с Qwen XML-парсер. Языковой тег карточки — английский. Лицензия обозначена как other, поэтому условия использования следует сверить с карточкой репозитория.

lmstudio-community/Qwen3-Next-80B-A3B-Instruct-MLX-5bit — это 5-битная квантованная версия инструкционной языковой модели Qwen3-Next-80B-A3B-Instruct, разработанной Qwen. Квантование выполнено командой LM Studio с использованием mlx_lm; модель оптимизирована для запуска на устройствах Apple Silicon через MLX. Она относится к классу моделей генерации текста и предназначена для диалогов, следования инструкциям и других задач, где требуется создание текстового ответа. В основе лежит модель с заявленным размером 80B и обозначением A3B; README не содержит дополнительных сведений об архитектуре, фактическом числе активируемых параметров, максимальном контексте, поддерживаемых языках или мультимодальных возможностях. Ключевое преимущество этой версии — снижение требований к памяти по сравнению с полной точностью и адаптация к экосистеме Apple Silicon. Ограничения включают возможные потери качества из-за 5-битного квантования, зависимость производительности от оборудования Apple Silicon и стандартные риски генеративных моделей: ответы могут быть неточными, вредными или неуместными. Модель распространяется по лицензии Apache-2.0.

Qwen3-Next-80B-A3B-Instruct-MLX-8bit — это 8-битная квантованная версия языковой модели Qwen3-Next-80B-A3B-Instruct, адаптированная для запуска на устройствах Apple Silicon. Исходную модель разработала команда Qwen, а MLX-квантизацию предоставила команда LM Studio с использованием mlx_lm. Модель предназначена для генерации текста и работы с широким спектром задач, поддерживаемых инструкционной языковой моделью, включая диалоговые сценарии и локальное использование через совместимую программную среду. Модель содержит 80B параметров, при этом заявлена конфигурация A3B; точная архитектура, поддерживаемые языки и размер контекстного окна в README не указаны. Формат MLX и 8-битная квантизация оптимизированы для Apple Silicon, что делает модель более подходящей для локального запуска на таких устройствах по сравнению с полноразмерной версией. Ограничениями являются зависимость от совместимого окружения MLX и оборудования Apple Silicon, а также возможные типичные для генеративных моделей ошибки, неточности и нежелательный контент. Модель распространяется по лицензии Apache-2.0. LM Studio не является разработчиком или владельцем модели и не гарантирует её точность, безопасность, доступность или соответствие конкретным требованиям.

Qwopus3.8-27B-Flash-NVFP4 — это конверсия базовой модели Jackrong/Qwopus3.8-27B-Flash в формате NVIDIA ModelOpt NVFP4, предназначенная для запуска на GPU NVIDIA Blackwell. Репозиторий содержит логическую модель объёмом 27,78 млрд параметров и использует формат safetensors. В README также указано, что исходную модель создал Kyle Hessling, а конверсия выполнена сообществом. Модель предназначена для диалоговых, мультимодальных и агентных сценариев: обработки текста и изображений, следования инструкциям, генерации структурированных ответов, вызова инструментов и работы в coding-agent циклах. Сохранены визуальный энкодер и проектор, а также встроенная MTP/NextN-голова для speculative decoding. Трансформерные веса используют NVFP4, тогда как lm_head, визуальная часть и MTP-голова сохранены в BF16 для повышения качества. Рекомендуемый сценарий обслуживания — SGLang с FlashInfer, поддержкой ModelOpt FP4 и совместимой моделью-черновиком Qwen3.8 27B DFlash2 NVFP4. В тестовом профиле заявлен контекст до 262 144 токенов, однако для этого требуются Blackwell GPU с достаточным объёмом памяти под основную и черновую модели, KV-кэш и накладные расходы. README не указывает поддерживаемые языки и результаты бенчмарков; для мультимодальной работы необходимо использовать поставляемый chat template, а для вызова функций — парсер инструментов Qwen. Лицензия указана как Apache-2.0, при этом пользователю рекомендуется соблюдать лицензионные условия базовой модели. Ограничениями являются зависимость от совместимого оборудования и программного стека NVIDIA Blackwell, необходимость специальной DFlash2-модели для рекомендованной спекулятивной генерации и возможное снижение доступного контекста на менее мощных GPU.

SG-Raccoon-Yi-55B-200k — авторегрессионная языковая модель на архитектуре Llama, собранная путём слияния двух дообученных моделей Yi 34B: Tess-M-v1.3 и Nous-Capybara-34B. Модель содержит 55,1 млрд параметров и поддерживает контекст до 200 000 токенов; файлы опубликованы в формате safetensors. Разработчик указывает, что это первая объединённая модель такого размера с контекстом 200K. Модель предназначена для генерации текста и диалогового общения. Для подачи запросов README предлагает формат с ролями SYSTEM, USER и ASSISTANT. Автор отмечает, что для Yi может потребоваться отключить BOS-токен или снизить температуру с MinP, а иногда добавить токен остановки в список условий завершения генерации. Лицензия в метаданных обозначена как other, поэтому конкретные условия использования по имеющимся данным определить нельзя. В README результаты бенчмарков не приведены.

SuperQwen3.8-27b-abliterated-i1-GGUF — набор GGUF-квантизаций мультимодальной модели SuperQwen3.8-27b-abliterated, базовая модель которой разработана Jiunsong. Квантизации подготовлены mradermacher при поддержке nethype GmbH; отдельная благодарность указана nicoboss за вычислительные ресурсы. Модель предназначена для задач image-text-to-text, рассуждений, вызова инструментов и работы с длинным контекстом. Модель имеет около 27 миллиардов параметров, поддерживает обработку текста и изображений, а заявленный размер контекста достигает 262 тысяч токенов. В метаданных указаны английский и корейский языки. Репозиторий содержит варианты с разной степенью квантизации — от i1-Q2_K размером около 11 ГБ до i1-Q6_K размером около 22,5 ГБ, что позволяет выбирать компромисс между размером, скоростью и качеством. Для работы с изображениями могут потребоваться отдельные mmproj-файлы из статического репозитория. Сильные стороны модели — мультимодальность, длинный контекст, поддержка reasoning и tool-calling, а также широкий выбор GGUF-вариантов для локального запуска. Ограничения включают неизбежные потери качества при низкой квантизации, необходимость совместимого программного обеспечения для GGUF и возможную потребность в дополнительных файлах для обработки изображений. Лицензия — Apache-2.0.

Sakalti/ultiima-108B — языковая модель для генерации текста, созданная автором репозитория с помощью mergekit из слоёв Sakalti/ultiima-72B. Использован метод passthrough: в итоговую модель включены диапазоны слоёв базовой модели, а веса записаны в формате float16. Архитектура — плотная Qwen2ForCausalLM с 106,6 млрд параметров и контекстом до 131 072 токенов. Модель предназначена для диалогов и генерации текста; метаданные также указывают интерфейс вызова инструментов. Лицензия обозначена как other, поэтому условия использования следует уточнять по карточке репозитория. README описывает способ сборки, но не приводит оценки качества или подробные ограничения применения.

Sakalti/ultiima-72B-v1.5 — объединённая языковая модель на архитектуре Qwen2, созданная с помощью mergekit методом TIES. В качестве основы использована Sakalti/ultiima-72B; в объединение также вошли newsbang/Homer-v1.0-Qwen2.5-72B и shuttleai/shuttle-3. Модель содержит 71,5 млрд параметров, работает с текстом и рассчитана на контекст до 131 072 токенов. Модель предназначена для генерации текста и диалоговых сценариев; метаданные также указывают интерфейс вызова инструментов. Веса представлены в формате safetensors. Лицензия обозначена как other, поэтому перед использованием следует проверить условия на странице модели.

Карточка модели Anthropic-ai/Audiotoaudiotranslate на Hugging Face совпадает с карточкой Anthropic-ai/Aiaudiotranslate, поэтому описание составлено по ней. Anthropic-ai/Aiaudiotranslate — мультиязычная разговорная языковая модель на архитектуре Qwen3.5 с 7,2 млрд параметров. Согласно карточке, это независимый проект открытой модели, дообученной для следования инструкциям, устойчивого поведения ассистента, рассуждений, письма, суммаризации и помощи с программированием. Метаданные указывают контекст до 262 144 токенов и варианты весов Safetensors и GGUF, включая квантизированные сборки. Модель предназначена для диалога и генерации текста на разных языках; в README также заявлены задачи транскрибирования и перевода аудио, но описание репозитория сосредоточено на текстовом ассистенте и не подтверждает аудиовход. Лицензия — MIT. Карточка называет проект независимым и неофициальным; приведённые в README показатели бенчмарков описаны как основанные на Qwen3.5 9B.

DeepSeek-R1-Distill-Qwen-7B — текстовая генеративная модель на архитектуре Qwen2 с 7,1 млрд параметров, созданная DeepSeek и размещённая ljsysfurry как зеркало полных весов. Она предназначена для диалогов, генерации текста и рассуждений, а также может служить локальной базой для агентных приложений. Модель принимает текст и выдаёт текст; README указывает исходный репозиторий deepseek-ai/DeepSeek-R1-Distill-Qwen-7B и описывает интеграцию с AgentFrame. В метаданных заявлен контекст длиной 131 072 токена. README отдельно упоминает до 1,38 млн токенов при использовании AgentFrame и сжатия KV-кэша; это характеристика связки с фреймворком, а не подтверждённый нативный контекст модели. Модель имеет формат safetensors и поддерживает чатовый интерфейс и интерфейс вызова инструментов. Карточка называет репозиторий резервной копией исходных весов, поэтому это зеркало, а не отдельное дообучение. Лицензия — MIT. Данные не подтверждают отдельные результаты оценки качества; для длинного контекста сверх 131 072 токенов требуется описанная в README инфраструктура AgentFrame.

Dolphin 2.5 Mixtral 8x7B GGUF — это набор квантованных файлов модели cognitivecomputations/dolphin-2.5-mixtral-8x7b, подготовленный MaziyarPanahi в формате GGUF. Модель предназначена для генерации текста и может использоваться локально через llama.cpp и совместимые приложения и библиотеки, включая text-generation-webui, KoboldCpp, GPT4All, LM Studio и llama-cpp-python. В основе лежит архитектура Mixtral с конфигурацией 8x7B; точный размер контекста и полный набор поддерживаемых языков в README не указаны, хотя модель помечена как предназначенная для английского языка. Доступны варианты квантования от 2 до 8 бит, включая форматы Q2_K, Q3_K, Q4_K, Q5_K и Q6_K, что позволяет выбирать между меньшим потреблением памяти и сохранением качества. Квантование упрощает запуск на локальном оборудовании, но варианты с меньшей разрядностью могут иметь более низкое качество генерации. Модель обучалась на наборах данных Dolphin, Airoboros, Dolphin Coder, Synthia, OpenHermes, Magicoder и других, перечисленных в карточке. Сценарии применения включают локальную генерацию текста и, судя по составу данных и тегам, задачи общего назначения и программирования, однако специализированные возможности и ограничения отдельно не описаны. Распространяется по лицензии Apache-2.0.

google/flan-t5-base — языковая модель семейства T5, разработанная Google и дообученная по инструкциям на более чем тысяче дополнительных задач. Она преобразует текстовый запрос в текстовый ответ и подходит для генерации, ответов на вопросы, рассуждений и выполнения разнообразных NLP-задач, в том числе в режимах zero-shot и few-shot. Модель имеет архитектуру T5 encoder-decoder с 123,8 млн параметров и контекстом до 512 токенов. Карточка описывает поддержку множества языков, включая русский, английский, французский, немецкий и румынский; метаданные также отмечают многоязычность. Доступны версии для PyTorch, TensorFlow и Flax, лицензия — Apache 2.0. Карточка сообщает о сильных результатах на широком наборе задач, но модель не проверялась в реальных приложениях. Она может воспроизводить предвзятость и неподходящее содержание из обучающих данных, поэтому перед применением требуется оценка безопасности и справедливости для конкретного сценария.

Gemma 3 1B IT QAT Q4_0 GGUF — лёгкая инструкционная мультимодальная модель Google DeepMind из семейства Gemma, созданная на основе технологий, использованных в Gemini. Модель принимает текст и изображения и генерирует текст; версия предназначена для запуска в формате GGUF, в том числе через llama.cpp и совместимые среды. Модель имеет размер 1B параметров, использует квантизацию Q4_0 и Quantization Aware Training, благодаря чему снижает требования к памяти при сохранении качества, близкого к версии bfloat16. Для варианта 1B заявлено контекстное окно до 32K токенов, максимальный объём генерируемого ответа — 8192 токена. Изображения обрабатываются с нормализацией до 896×896 пикселей и кодированием в 256 токенов; модель поддерживает более 140 языков. Gemma 3 1B IT подходит для генерации текста, ответов на вопросы, суммаризации документов, рассуждений и анализа изображений. Небольшой размер облегчает локальное развёртывание на ноутбуках, настольных компьютерах и собственной облачной инфраструктуре. Ограничения включают меньший контекст по сравнению с более крупными версиями Gemma 3 и зависимость мультимодальных возможностей от используемого программного обеспечения: например, указанное использование через Ollama поддерживает только текстовый ввод. Доступ к модели на Hugging Face требует принятия условий лицензии Google Gemma; точные условия определяются лицензией Gemma.

ZuzeTt/GLM-4.6V-Flash-heretic-Imatrix-GGUF — пользовательская модификация мультимодальной модели GLM-4.6V-Flash, первоначально разработанной организацией zai-org. Данная версия создана AlexH с использованием Heretic 1.1.0 и не является официальным релизом zai-org. Модель предназначена для локального развертывания и приложений с низкой задержкой. Модель относится к семейству GLM-V и имеет около 9 млрд параметров. Она работает с текстом и изображениями, включая документы, скриншоты, таблицы, графики и веб-интерфейсы. Заявлена поддержка контекста до 128 тысяч токенов, мультимодального понимания документов, native Function Calling, генерации смешанного текстово-визуального контента, восстановления HTML/CSS по скриншотам и визуального редактирования. В метаданных указаны китайский и английский языки. Ключевая особенность этой версии — decensored-модификация, направленная на снижение количества отказов и повышение отклика в сложных или нестандартных сценариях. В приведённом сравнении модель отказала в 63 из 100 тестовых случаев против 100 из 100 у исходной модели; при этом README не описывает методику тестирования. Ограничения связаны с неофициальным характером модификации, возможными отличиями в поведении и отсутствием подробных данных о качестве после изменений. В качестве лицензии указана MIT.

unsloth/GLM-4.6V-GGUF — GGUF-версия мультимодальной модели GLM-4.6V из семейства GLM-V. Исходную модель разработала команда Z.ai, а данный вариант подготовлен Unsloth с использованием формата GGUF и методов квантования Unsloth Dynamic 2.0. Модель предназначена для облачных и высокопроизводительных кластерных сценариев, а также для задач мультимодальных агентов. GLM-4.6V поддерживает обработку изображений и текста, включая документы, скриншоты, страницы с таблицами, графиками и сложной разметкой. Она рассчитана на контекст до 128 тысяч токенов, поддерживает китайский и английский языки и имеет заявленный размер 106 млрд параметров. Ключевые возможности включают визуальное понимание, мультимодальный Function Calling, интерливинг изображений и текста, анализ длинных и многодокументных материалов, а также восстановление интерфейсов по скриншотам с генерацией и редактированием HTML/CSS. Сильными сторонами являются сочетание визуального восприятия с выполнением действий через инструменты, работа с насыщенными документами и заявленная конкурентоспособность на мультимодальных бенчмарках. Ограничения связаны с очень крупным размером модели и высокими требованиями к вычислительным ресурсам; конкретные требования к памяти и характеристики квантования в предоставленных данных не указаны. Модель распространяется по лицензии MIT.

Карточка модели crusoeai/gpt-oss-20b-BF16 на Hugging Face совпадает с карточкой unsloth/gpt-oss-20b-BF16, поэтому описание составлено по ней. unsloth/gpt-oss-20b-BF16 — вариант модели gpt-oss-20b от Unsloth, основанный на openai/gpt-oss-20b и предназначенный для генерации текста, диалога и задач с рассуждениями. Это модель семейства gpt_oss с архитектурой MoE; метаданные указывают 1,6 млрд параметров и контекст 131 072 токена. Версия размещена в формате safetensors и использует библиотеку Transformers. Модель рассчитана на сценарии с низкой задержкой и локальный запуск, а также на специализированные приложения и агентные системы. Она поддерживает настраиваемый уровень рассуждений, вызов функций и структурированный вывод; для корректной работы требуется формат диалога Harmony. Вариант BF16 распространяется по лицензии Apache 2.0, допускающей коммерческое использование. Карточка описывает возможности семейства gpt-oss; сведения о языковой специализации именно этой версии не приведены.

amd/Llama-3.1-8B-Instruct-w-int8-a-int8-sym-test — это вариант Llama 3.1 8B Instruct, опубликованный AMD. Он предназначен для генерации текста, диалоговых ассистентов и других задач обработки естественного языка; инструкционно дообученная версия оптимизирована для многоязычного общения. Вариант содержит 8 млрд параметров и использует 8-битное симметричное квантование весов и активаций; на странице модели также указаны форматы BF16 и I8. README этого репозитория пуст, поэтому характеристики квантования следует считать основными подтверждёнными сведениями именно об этом варианте, а не результатами отдельной оценки качества. Базовая Llama 3.1 разработана Meta и представляет собой авторегрессионную модель на оптимизированной архитектуре Transformer с Grouped-Query Attention. Она работает с текстом на входе и выдаёт многоязычный текст и код, поддерживает контекст до 128 тысяч токенов и заявленные языки English, German, French, Italian, Portuguese, Hindi, Spanish и Thai. Инструкционная версия обучалась с применением supervised fine-tuning и reinforcement learning from human feedback; модель поддерживает диалоговые сценарии и tool use. Квантование может снизить требования к памяти и ускорить инференс на совместимом оборудовании, но конкретные показатели качества, скорости и совместимости для этого тестового репозитория не указаны. Использование регулируется Llama 3.1 Community License от Meta, а также Acceptable Use Policy. Лицензия допускает коммерческое и исследовательское применение при соблюдении её условий, включая требования к распространению и маркировке; для организаций с более чем 700 миллионами ежемесячных активных пользователей предусмотрено отдельное лицензионное условие.

unsloth/Llama-3.2-3B-bnb-4bit — 4-битная версия языковой модели Llama 3.2 с 3 млрд параметров, подготовленная Unsloth на базе Meta Llama 3.2. Это авторегрессионная текстовая модель с архитектурой оптимизированного Transformer и механизмом Grouped-Query Attention (GQA), предназначенная для генерации текста и диалоговых сценариев. Модель ориентирована на многоязычные задачи, включая диалоговые системы, агентный поиск с извлечением данных и суммаризацию. Официально поддерживаются английский, немецкий, французский, итальянский, португальский, хинди, испанский и тайский языки. Модель работает в режиме «текст на входе — текст на выходе»; сведения о размере контекста в карточке не указаны. Благодаря 4-битному квантованию версия рассчитана на более экономичное по памяти развертывание и удобна для локального использования и дообучения. Сильными сторонами являются компактный размер, сниженные требования к памяти и поддержка сценариев дообучения через инструменты Unsloth. Ограничения включают текстовую, а не мультимодальную специализацию, статичность модели и отсутствие гарантии актуальности знаний, поскольку она обучена на офлайн-данных. Использование регулируется кастомной коммерческой лицензией Llama 3.2 Community License и Acceptable Use Policy Meta.

mlx-community/Llama-3.3-70B-Instruct-bf16 — конверсия модели Meta Llama 3.3 70B Instruct в формат MLX, выполненная сообществом mlx-community с помощью mlx-lm 0.20.1. Это плотная авторегрессионная модель семейства Llama с 69,5 млрд параметров, предназначенная для диалогов, следования инструкциям и генерации текста; метаданные также указывают интерфейс вызова инструментов. Модель принимает текст и выдаёт текст. Контекстное окно составляет до 131 072 токенов. Поддерживаемые языки включают английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий. Модель подходит для диалоговых ассистентов, генерации и преобразования текста, а также работы с длинными текстовыми контекстами. Репозиторий содержит веса в safetensors и предназначен для использования с MLX. Лицензия — Llama 3.3; условия Meta следует соблюдать при использовании и распространении модели. Для запуска требуется совместимая среда MLX, а модель такого размера предъявляет значительные требования к памяти и вычислительным ресурсам.

Это конвертированная в формат MLX версия Llama 3.3 70B Instruct от Meta, опубликованная сообществом mlx-community. Модель с плотной архитектурой LlamaForCausalLM содержит 69,5 млрд параметров и предназначена для генерации текста и диалоговых сценариев; также поддерживает интерфейс вызова инструментов. Веса представлены в формате safetensors с точностью fp16, а нативный контекст составляет до 131 072 токенов. Модель поддерживает английский, французский, итальянский, португальский, хинди, испанский, тайский и немецкий языки. Для использования требуется MLX; README указывает конвертацию из meta-llama/Llama-3.3-70B-Instruct с помощью mlx-lm 0.22.2. Лицензия — Llama 3.3 License; перед использованием следует соблюдать её условия. Это крупная модель, поэтому для запуска требуются соответствующие аппаратные ресурсы.

Это консолидированный чекпойнт Meta-Llama-3.1-8B-Instruct, опубликованный camenduru и преобразованный в формат Hugging Face с помощью слегка изменённого скрипта convert_llama_weights_to_hf.py из репозитория Transformers. Это плотная авторегрессионная модель семейства Llama с архитектурой LlamaForCausalLM и примерно 7,5 млрд параметров. Она предназначена для диалоговой генерации текста и работы в сценариях, где нужно получать ответы на запросы пользователя. Модель принимает текст и выдаёт текст. Метаданные указывают контекст до 131 072 токенов, формат весов safetensors и возможность чата. Карточка не описывает отдельные дообучения или специализированные области применения этой копии. Условия лицензии в доступных данных не приведены.

Это преобразованная в формат MLX версия Meta-Llama-3.1-8B-Instruct, подготовленная сообществом mlx-community на основе модели Meta. Она предназначена для генерации текста в диалоге, ответов на вопросы и выполнения инструкций; также поддерживает интерфейс вызова инструментов. Модель с плотной архитектурой LlamaForCausalLM содержит 7,5 млрд параметров и поддерживает контекст до 131 072 токенов. В README указано преобразование с помощью mlx-lm версии 0.19.0; репозиторий содержит веса в формате safetensors с точностью bf16. В карточке перечислена поддержка английского, немецкого, французского, итальянского, португальского, хинди, испанского и тайского языков. Лицензия — llama3.1; условия её использования определяются лицензией Meta Llama 3.1.

Ministral-3-14B-Instruct-2512-textonly-NVFP4 — текстовая производная модели Ministral-3-14B-Instruct-2512-BF16 от Mistral, подготовленная сообществом ppetermann. Модель предназначена для генерации текста и использования в формате instruct, включая развёртывание сервиса вывода через vLLM и OpenAI-совместимый API. Модель содержит только языковую часть исходного мультимодального чекпойнта: поддержка изображений и другие функции компьютерного зрения удалены. Она основана на архитектуре MistralForCausalLM и имеет заявленный размер исходной модели 14B параметров. Веса полностью квантизованы в формате NVFP4 и сохранены в формате compressed-tensors, что ориентировано на эффективное выполнение при поддержке соответствующего аппаратного и программного стека. README не указывает языки, размер контекста и точные характеристики качества. Сильными сторонами являются уменьшенный формат хранения и ориентация на производительное серверное инференс-развёртывание; автор сообщает около 21 токена в секунду на запрос при работе через vLLM на машине с GB10. Ограничения включают отсутствие мультимодальности и зависимость от совместимости с vLLM и NVFP4. Модель распространяется по лицензии Apache-2.0.

Ministral 3 8B Instruct 2512 — мультимодальная модель семейства Ministral 3 от Mistral AI, представленная в FP8 и дообученная для выполнения инструкций. В архитектуре используются языковая модель на 8,4 млрд параметров и визуальный энкодер на 0,4 млрд параметров; модель принимает текст и изображения и отвечает текстом. Она предназначена для локального и периферийного развёртывания, включая системы с ограниченными ресурсами; по данным карточки, FP8-версия может помещаться в 12 ГБ видеопамяти. Модель подходит для диалоговых помощников, описания и анализа изображений и документов, перевода, генерации контента и агентных сценариев. Поддерживает системные инструкции, вызов функций и вывод JSON, а контекстное окно составляет 256 тыс. токенов. Среди заявленных языков — английский, французский, испанский, немецкий, итальянский, португальский, нидерландский, китайский, японский, корейский и арабский. Лицензия Apache 2.0 разрешает коммерческое и некоммерческое использование и модификацию. Для качества работы с изображениями карточка рекомендует использовать изображения с соотношением сторон, близким к квадратному.

Mistral-7B-Instruct-v0.1-GGUF — это квантизированная версия текстовой instruct-модели Mistral-7B-Instruct-v0.1, разработанной Mistral AI и подготовленной в формате GGUF компанией Second State Inc. Модель предназначена для генерации текста и выполнения инструкций, включая диалоговые и прикладные сценарии, в средах, совместимых с GGUF и LlamaEdge. Модель основана на архитектуре Mistral, имеет 7 миллиардов параметров и поддерживает только текстовую модальность. Размер контекста составляет 4096 токенов, а для взаимодействия используется шаблон mistral-instruct: <s>[INST] {prompt} [/INST]. README не указывает поддерживаемые языки. Доступны варианты квантизации от 2 до 8 бит размером примерно от 2,7 до 7,7 ГБ; Q4_K_M, Q5_K_M и Q5_K_S отмечены как рекомендуемые, поскольку обеспечивают баланс между размером и качеством. Основные преимущества модели — возможность локального запуска, широкий выбор уровней квантизации и совместимость с LlamaEdge версии 0.2.8 и выше. Более агрессивная квантизация уменьшает требования к ресурсам, но может приводить к заметной потере качества. Лицензия модели — Apache-2.0.

Mistral-7B-Instruct-v0.3 — плотная языковая модель Mistral AI на 7,1 млрд параметров, дообученная следовать инструкциям на базе Mistral-7B-v0.3. Она предназначена для диалогов, генерации текста по запросам и вызова функций. Модель поддерживает контекст до 32 768 токенов, использует токенизатор v3 и расширенный словарь из 32 768 токенов; для работы доступны веса в формате safetensors. Модель подходит для чат-ботов, ответов на вопросы и выполнения инструкций в приложениях, использующих генерацию текста. Карточка не указывает конкретные языки обучения или поддержки. В README отмечено, что у модели нет встроенных механизмов модерации, а сам чекпойнт предоставлен «как есть» и может быть неактуальным. Лицензия — Apache-2.0.

mistral-7b-openhermes-sft — дообученная методом supervised fine-tuning модель семейства Mistral, разработанная CorticalStack на базе unsloth/mistral-7b-bnb-4bit с использованием набора данных teknium/openhermes. Это плотная авторегрессионная языковая модель с 7,1 млрд параметров и контекстом до 32 768 токенов, предназначенная для генерации текста.

Карточка модели Openintelligent123/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 на Hugging Face совпадает с карточкой nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16, поэтому описание составлено по ней. NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 — языковая модель общего назначения от NVIDIA для диалога, рассуждений и генерации текста. Это эталонные веса в формате BF16, предназначенные прежде всего для дообучения, адаптации к предметным областям, исследований и подготовки собственных квантованных вариантов. Модель готова к коммерческому использованию; в карточке лицензия указана как other. Архитектура — гибридная Mixture-of-Experts с чередованием слоёв Mamba-2 и MoE и отдельными слоями Attention; также используются слои Multi-Token Prediction. В README заявлены 30 млрд параметров всего и 3 млрд активных, а в метаданных каталога — 1,9 млрд параметров. Модель поддерживает контекст до 262 144 токенов по метаданным; README указывает до 1 млн токенов для отдельных конфигураций оборудования. Основной язык — английский; также поддерживаются испанский, французский, немецкий, итальянский и японский, а README дополнительно описывает посттренировочные данные на китайском. Модель предназначена для настройки под пользовательские данные с помощью SFT, RL или дистилляции, а также для оценки и генерации текста в чат- и агентных сценариях. Полноточный вариант требует значительных ресурсов для инференса: README приводит 256K контекста для одной H100 80 GB и конфигурации до 1 млн токенов на более мощном оборудовании. Для более быстрой производственной генерации NVIDIA рекомендует отдельную NVFP4-версию.

Qwen-2.5-7B-Deep-Stock-v4 — объединённая языковая модель, созданная сообществом bunnycore с помощью mergekit и метода Model Stock. В качестве основы использована Qwen/Qwen2.5-7B-Instruct; в объединение также вошли FuseQwQen-7B, Qwen-2.5-7B-R1-Stock и Qwen-2.5-7B-Deep-Stock-v1. Модель построена на архитектуре Qwen2 с плотной причинной языковой сетью на 7,1 млрд параметров. Модель предназначена для генерации текста и диалогов, а также поддерживает интерфейс вызова инструментов. Её контекст составляет 32 768 токенов. Репозиторий содержит веса в формате safetensors и использует библиотеку Transformers. В README приведены результаты оценок IFEval и BBH, но они не дают полной картины качества для всех задач. Сведения о лицензии в доступных данных отсутствуют.